Дослідження класифікатора з випадковими підпросторами та його застосування для прогнозування динаміки фондового ринка

Размещено на http://www.allbest.ru/

Національна академія наук України

Інститут кібернетики імені В.М. Глушкова

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня кандидата економіко-математичних наук

ДОСЛІДЖЕННЯ КЛАСИФІКАТОРА З ВИПАДКОВИМИ ПІДПРОСТОРАМИ ТА ЙОГО ЗАСТОСУВАННЯ ДЛЯ ПРОГНОЗУВАННЯ ДИНАМІКИ ФОНДОВОГО РИНКА

Спеціальність: Математичне моделювання та обчислювальні методи

Жора Дмитро Володимирович

Київ, 2006 рік

1. ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Нейронно-мережеві алгоритми можуть бути застосовані до вирішення широкого кола проблем штучного інтелекту, таких як, наприклад, класифікація, кластеризація, регресія та інтерполяція, асоціативний пошук і т. ін. Значна частина спеціалістів в цій галузі вважають, що задачі класифікації є найбільш поширеними, та їх вирішення є суттєвим щодо отримання багатьох наукових та економічних результатів.

У роботі розглядається класифікатор з випадковими підпросторами, який є високопродуктивним нейронно-мережевим класифікатором, має загальне призначення та може бути ефективно реалізований як програмно так і апаратно. Незважаючи на стрімкий розвиток технологій виробництва обчислювальної техніки, даний класифікатор легко адаптується як до систем з лімітованими обчислювальними ресурсами, так і до сучасних потужних комп'ютерів. Це забезпечується завдяки регулюванню кількості нейронів прихованого шару та оптимізації різних параметрів структури класифікатора. Математичний аналіз моделі нейронної мережі, що проведено в дисертаційній роботі, дозволяє це зробити з урахуванням конкретного розподілу вхідних даних. Порівняння цієї моделі з іншими методами класифікації дозволяє зробити висновок, що класифікатор з випадковими підпросторами є досить конкурентоздатним і може бути застосований для вирішення задач фінансового прогнозування.

Вільні фінансові ринки, де ціна фінансового інструменту залежить виключно від рішень учасників ринку, складають економічну основу демократичного та ліберального суспільства. Найбільш значна роль ринків капіталу, яка часто залишається поза увагою, полягає у тому, що ринок є інструментом керування економікою. Зокрема, успішний гравець виймає фінансові активи з тих галузей, що мають малий економічний потенціал, та вкладає їх у той бізнес, який має кращі перспективи розвитку, та продукція якого буде затребувана суспільством. Успішний гравець, який використовує короткострокові позиції, зменшує мінливість та сприяє стабілізації ринка. Тому фінансове прогнозування є в першу чергу засобом успішного керування економікою.

З іншого боку, задача фінансового прогнозування є однією з найскладніших задач штучного інтелекту, оскільки учасниками ринку є реальні люди, крім того, загальна кількість гравців є дуже значною. Динаміка ціни фінансового інструменту, тобто залежність ціни інструменту від часу, обумовлюється різноманітними факторами, вплив яких не може бути математично формалізованим. Відповідно, успішне короткострокове фінансове прогнозування можливе лише з використанням сучасної обчислювальної техніки та із застосуванням найбільш розвинутих інструментів штучного інтелекту. Для рішення задач прогнозування можуть бути використані два модельних рішення: регресія та класифікація. Зокрема, остання парадигма є найбільш корисною для прийняття дискретних рішень.

Зв'язок роботи з науковими програмами, планами, темами. Основні дослідження за темою дисертації проводились в Інституті програмних систем НАН України в межах виконання таких науково-дослідних робіт:

- ”Розробка теорії та методів програмування високопродуктивної обробки в метакомп'ютерних системах на основі координаційних моделей обчислень” за програмою фундаментальних досліджень ІПС НАНУ, № держ. реєстру 0102U005995;

- ”Розробка серії нейрокомп'ютерів загального призначення” за програмою фундаментальних досліджень ІПММС НАНУ, реєстраційний № 04.01.03/ 0003128, класифікаційний № 4.1.03.А, № держ. реєстру 0103U006856;

- ”Розробка моделей, методів та інструментальних засобів розподіленої обробки інформації на основі інтелектуальних мультиагентних програмних технологій” за програмою фундаментальних досліджень ІПС НАНУ,
№ держ. реєстру 0102U005993.

Мета і задачі дослідження.

Метою дисертаційного дослідження є ймовірнісний аналіз функціонування нейронно-мережевого класифікатора з випадковими підпросторами, покращення його характеристик при вирішенні задач класифікації та фінансового прогнозування, розробка математичних засобів аналізу фінансових ринків за допомогою нейронних мереж.

В дисертаційній роботі поставлено та розв'язано такі задачі:

- розробка адекватної математичної моделі процесу обробки даних з використанням класифікатора з випадковими підпросторами та вибір оптимальної конфігурації нейронної мережі;

- дослідження здатності класифікатора з випадковими підпросторами вирішувати задачі довільної складності;

- аналіз якості функціонування даної нейронної мережі на класичних задачах розпізнавання та виявлення відповідних характеристик;

- вивчення факторів, що впливають на динаміку фондового ринку та створення моделі вхідних даних нейронно-мережевої системи прогнозування;

- експериментальне застосування класифікатора для технічного прогнозування динаміки фондового ринку з використанням реальних даних.

Об'єкт дослідження. Об'єктом дослідження є нейронно-мережевий класифікатор з випадковими підпросторами.

Предмет дослідження. Предметом дослідження є математична модель класифікатора та структури, що виникають при нейронно-мережевій обробці даних, такі, як вектори, матриці, розподіли ймовірностей, геометричні поняття тощо.

Методи дослідження. При розробці теоретичних моделей та алгоритмів нейронної мережі застосовувалися методи математичного аналізу, лінійної алгебри, комбінаторики, теорії ймовірностей, математичної статистики, теорії інформації, оптимізації, функціонального аналізу, імітаційного моделювання, структурного, об'єктного та орієнтованого програмування тощо.

Наукова новизна одержаних результатів. Основними науковими результатами дисертаційної роботи є наступні:

- специфіковано математичну модель класифікатора з випадковими підпросторами, вперше проведено ймовірнісний аналіз його функціонування, отримані;

- ймовірнісні характеристики активації нейронів прихованих шарів та оцінка мінімальної помітної відстані;

- умови оптимальності вибору параметрів структури класифікатора для максимізації відстані Хеммінга між бінарними образами двох довільних вхідних векторів у представленні передостаннього шару мережі.

Розроблені методи адаптації нейронно-мережі щодо вирішення конкретних задач:

- генерація чутливої структури класифікатора, що забезпечує щільність по-рогових значень пропорційною до реального розподілу відповідних компонент вхідних даних;

- локальне усереднення синаптичної матриці, що може наближати отримане класифікаційне рішення до байєсовського.

Досліджено лінійну незалежність бінарних образів у просторі ознак та вперше доведено універсальність класифікатора з випадковими підпросторами, тобто можливість безпомилкової інтерпретації довільної навчальної вибірки.

Проведено оцінку функціонування нейронної мережі на класифікаційній базі даних, що враховує різні геометричні та ймовірнісні аспекти, характеристики якості класифікації порівняно з показниками інших алгоритмів. Проведені експериментальні дослідження по прогнозуванню динаміки фондового ринка на реальних історичних даних та запропоновано використання японських свічок та нормалізованих індикаторів відхилення від ковзних середніх у якості вхідних даних, метод оцінки ефективності прогнозування з використанням поняття кількості інформації, що надається нейронною мережею.

Практичне значення одержаних результатів. Математичний аналіз роботи нейронної мережі, що проведено в дисертаційній роботі, дозволяє адекватний вибір параметрів конфігурації класифікатора та адаптацію до конкретної задачі класифікації без проведення емпіричного дослідження. Метод генерації чутливої структури класифікатора прискорює процес навчання та у більшості випадків покращує ймовірність успішної класифікації. Аналіз якості роботи класифікатора на спеціалізованій базі даних дозволяє зробити висновок, що на задачах із чіткими межами приналежності до того чи іншого класу, дана нейронна мережа не поступається таким відомим засобам класифікації як метод найближчих сусідів, багатошаровий метод навчання з квантизацією векторів. Метод локального усереднення синапатичної матриці дозволяє також застосування класифікатора до задач із суттєвим перетином розподілів щільності ймовірності. Доведення універсальності класифікатора демонструє, що дана нейронна мережа може бути використана для вирішення задач довільної складності.

Особистий внесок здобувача полягає в теоретичному та практичному дослідженні моделі нейронної мережі, в розробці та удосконаленні алгоритмів її функціонування. Всі основні результати дисертаційної роботи одержані автором самостійно. Робота містить математичний аналіз моделі класифікатора, переважна більшість отриманих теоретичних результатів підтверджена експериментально. В публікації, що написана в співавторстві, здобувачеві належить експериментальне дослідження функціонування нейронної мережі, практичний аналіз вхідних даних. Роботи розкривають аспекти практичного застосування нейронно-мережевих технологій. Статті присвячені фінансовому прогнозуванню фондового ринка з використанням класифікатора з випадковими підпросторами. Робота містить експериментальне дослідження роботи мережі на класифікаційній базі даних.

Апробація результатів роботи. Основні результати роботи доповідалися та обговорювалися на наукових семінарах та конференціях, зокрема на:

1. IV міжнародній науково-практичній конференції по програмуванню УкрПРОГ'2004, Київ, Україна, 1-3 квітня 2004 р.

2. V міжнародній науково-практичній конференції по програмуванню УкрПРОГ'2006, Київ, Україна, 23-25 травня 2006 р.

3. Міжнародній конференції “International Joint Conference on Neural Networks” IJCNN'04, Budapest, Hungary, July 25-28, 2004.

4. Міжнародній конференції “International Joint Conference on Neural Networks” IJCNN'05, Montreal, Canada, August 1-4, 2005.

5. міжнародній конференції “International Conference on Artificial Neural Networks”, Warsaw, Poland, September 11-14, 2005.

Публікації.

Основні результати дослідження опубліковано в 9 друкованих роботах, з яких 5 статей - у наукових фахових журналах, рекомендованих ВАК України. З них 4 роботи виконані автором одноосібно.

Структура дисертації.

Дисертація складається зі вступу, чотирьох розділів, висновків, списку використаних джерел з 100 найменувань, та 8 додатків. Повний обсяг дисертації - 192 сторінки, що викладені російською мовою, ілюстровані 51 малюнком та 15 таблицями. Додатки складають 18 сторінок.

Перший розділ роботи містить огляд засобів фінансового прогнозування, другий присвячений математичному дослідженню класифікатора з випадковими підпросторами, третя частина роботи представляє результати експериментів з фінансового прогнозування та аналізу ринкових даних, у четвертому розділі розглядаються перспективи застосування нейронних мереж у фінансових системах підтримки прийняття рішень.

До другого та третього розділів представлені висновки. Додатки містять двовимірне представлення використаних у дослідженні класичних задач класифікації, приклади програмного коду щодо обчислення технічних параметрів та оцінки ефективності прогнозування, графіки часових рядів найбільш відомих технічних показників і т. ін.

2. ОСНОВНИЙ ЗМІСТ РОБОТИ

У першому розділі обґрунтовано актуальність теми дисертаційної роботи та сформульовано задачі дослідження. Зокрема, нейронно-мережеві системи успішно використовуються для вирішення таких проблем, як фінансове прогнозування, розподіл інвестиційних активів, оцінка ризику та кредитоспроможності, передбачення банкрутства і т. ін. В роботі аргументовано застосування нейронних мереж у задачах фінансового прогнозування, що пов'язані з аналізом динаміки часових рядів.

Слід виділити декілька характерних рис нейронно-мережевих систем: можливість врахування великої кількості параметрів, толерантність до флуктуацій у вхідних даних, здатність вирішення задач, що важко формалізуються та для яких не можливо побудувати теоретичну модель. Крім того, процеси нейронно-мережевої обробки інформації є аналогічними процесам мислення людини.

Фактори, які суттєвим чином впливають на динаміку фондового ринку, розділяють на дві групи: фундаментальні та технічні. Врахування цих факторів можливе з використанням відповідних дійсних показників.

Фундаментальні показники є результатом обробки даних балансових документів та звітів прибутковості, які компанія оприлюднює кожен квартал. Основними, у даному випадку, є поточні прибутки компанії та оцінка її майбутніх прибутків.

Очевидно, що вартість компанії визначається через вартість всіх її прибутків у майбутньому.

У той самий час, ця проста теза не є придатною для точної оцінки, тому що невідомо, як довго компанія зможе існувати, яким буде майбутній розподіл прибутків, та яким чином вони мають бути враховані через інфляцію та інші макроекономічні чинники.

Технічні показники виводяться з п'яти базових параметрів, наявних за кожен бізнес-день: ціна відкриття торгової сесії, найвища ціна, найнижча ціна, ціна закриття торгової сесії та об'єм торгів. Завдяки тому, що ціна фінансового інструменту визначається лише учасниками ринку, тобто їх ордерами на придбання чи продаж того чи іншого типу фінансового активу, всі економічно змістовні події мають своє відображення в ціні.

Відповідно, історичні технічні дані можна використовувати для аналізу майбутньої цінової динаміки. Саме це і становить задачу технічного прогнозування.

В експериментальній частині дисертаційної роботи розглядається її вирішення за допомогою нейронно-мережевого класифікатора.

В роботі наведено приклад побудови моделі вхідних даних системи прогнозування з використанням як фундаментальних так і технічних показників.

Розглянуто конкретні технічні та фундаментальні характеристики, роз'яснюється алгоритм їх обчислення та принципи застосування.

Другий розділ присвячений аналітичному дослідженню нейронно-мережевого класифікатора з випадковими підпросторами. Зокрема, проведено ймовірнісний аналіз перетворення вхідної інформації, математично отримані умови ефективної роботи мережі в залежності від її конфігурації та розподілу вхідних даних.

Класифікатор, схема якого наведена на рис. 1, складається з чотирьох шарів нейронів:

- вхідного шару порогових елементів та ;

- шарів , та .

Перші три шари здійснюють нелінійне перетворення дійсного вхідного вектора в бінарний вектор великої розмірності, що представляється шаром .

Останні два шари та складають звичайний одношаровий персептрон з матрицею зв'язків .

Рис. 1. - Схема класифiкатора з випадковими пiдпросторами:

Архітектура нейронної мережі залежить від наступних параметрів:

- - кількість нейронних групп або нейронів шару ;

- параметр підпросторів , що задовольняє обмеженню, де - розмірність вхідного простору;

- параметри рецептивного поля та , що задовольняють умовам , . Перед навчанням мережі має бути генерована її структура, що включає порогові значення , та індекс підпросторів , , . Значення порогів обчислюються за формулами:

Де центр рецептивного поля - випадкова величина, що має рівномірний розподіл на відрізку, пів ширина поля - випадкова величина, що має рівномірний розподіл на . Кожна компонента є дискретною випадковою величиною, що приймає з рівною ймовірністю значення .

На практиці використовуються різні значення в межах однієї нейронної групи, тобто для деякого індексу .

Пряме поширення інформації в мережі здійснюється наступним чином. Нейрон , що може мати вихідний сигнал 0 чи 1, збуджується у разі виконання умови:

Фактично, нейрон реагує на попадання точки вхід-ного простору в область, що обмежена гіперплощинами, а група функціонує у відповідному лінійному підпросторі. Пост синоптичний потенціал нейронів шару обчислюється як:

Нейрон з найбільшим потенціалом визначає клас, до якого класифікатор відносить вхідний вектор.

Навчання мережі здійснюється згідно правила з фіксованим інкрементом, яке запропоновано Розенблаттом для одношарового персептрона. Модифікація синапсів робиться у разі помилкової класифікації.

Нехай це справжній номер класа, а - номер класа, що отримано класифікатором. Тоді синаптичні коефіці-єнти переобчислюються за формулами:



Іноді використовується симетричне правило, коли:

Будь яка скінченна задача класифікації може бути приведена до одиничного гіперкуба з використанням лінійного перетворення. Далі припускається, що всі вхідні вектори є нормалізованими. Ймовірнісний аналіз роботи мережі, що дозволяє оптимізацію її конфігурації, представлений наступними результатами.

Лема 1. Ймовірність активації нейрона при пред'явленні вхідного вектора x дорівнює:

Ймовірність одночасної активації нейрона при пред'явленні двох векторів x та y дорівнює:

Де функція визначається наступним чином:

Якщо аргумент :



Рис. 2. - Залежність від різниці компонент векторів:

Функція характеризує міру близькості двох векторів x та y. У порівнянні із відомим методом потенційних функцій вона є фінітною та обмеженою.

Лема 2. Ймовірність:

У випадку фіксованого індексу підпросторів обчислюється за формулою:

Зокрема, математичне очікування відстані Хеммінга між векторами та дорівнює:

Лема 3. Лінійна щільність активних порогових гіперплощин, перетин яких призводить до зміни бінарного образу, дорівнює:

Лема 4. Ймовірність того, що два вхідних вектори x та y будуть мати однакові бінарні образи, за умови малого значення блочної відстані:

Оцінюється наступним чином:

Для доведення леми та оцінки мінімальної помітної відстані проводиться аналіз залежності:

Лема 5. Математичне очікування відстані Хеммінга між бінарними образами двох векторів x та y має таке представлення:

Теорема 1.

Для того щоб ймовірність отримання однакових бінарних образів вхідних векторів x та y була не більше ніж деяке значення:



- достатньо, щоб виконувалась наступна нерівність:

Виділяють наступні характеристики класифікатора, що визначають якість його функціонування: швидкість розпізнавання, швидкість навчання та якість розпізнавання. У більшості випадків останнє є найбільш важливим. Як свідчать експерименти, зменшення параметру прискорює навчання. У той самий час, збільшення , як правило, покращує вірогідність успішної класифікації.

У більшості випадків експериментально підтверджується, що однією з умов якості роботи даної нейронної мережі є максимізація відстані Хеммінга між бінарними образами двох довільних вхідних векторів. Зокрема, достатньо якісне розпізнавання можна отримати при використанні значень:

Теорема 2.

Для максимізації функції:

В залежності від параметрів та , наступні умови є необхідними: значення має дорівнювати , оптимальне значення параметра для конкретної нейронної групи не менше ніж:



Теорема 3.

Якщо параметр підпросторів , то оптимальне значення для максимізації відстані Хеммінга є не меншим ніж незалежно від індекса підпросторів та взаємно-розташування точок x та y.

Для доведення останнього результату використовується аналіз ймовірності:

Та наступна лема виключно математичного змісту, справедливість якої доводиться по індукції.

Лема 6. У припущеннях:

Та довільному цілому справедлива наступна нерівність:

Практичну цінність складає максимізація відстані Хеммінга для конкретного ймовірнісного розподілу задачі класифікації. У той самий час, досить корисним є аналіз рівномірного розподілу векторів в одиничному гіперкубі. Зокрема, інтегрування дозволяє позбутися залежності від конкретної реалізації індексів . Якщо ввести заміну та урахувати що , то ймовірність дискримінаційної активації:



- отримує наступний вигляд:

Необхідно максимізувати:

- в залежності від .

Теорема 4. Для максимізації у випадку оптимальне значення параметру є рішенням рівняння:

Яке приблизно дорівнює значенню 0.558. У випадку оптимальне значення дорівнює:

Таким чином, оптимальне значення відстані між відповідними пироговими значеннями зростає при збільшенні , окрім того, при великих значеннях ця залежність близька до лінійної. Аналогічні результати отримані для інших гіпотез щодо розподілу вхідних векторів.

Наступний суттєвий результат роботи полягає в пропозиції використання чутливої структури класифікатора. Якість функціонування мережі, а саме швидкість навчання та узагальнюючу спроможність, можна значно покращити якщо щільність порогових значень обирати пропорційно до щільності розподілу компонент векторів вхідної вибірки. Як правило, компоненти вхідних векторів мають нерівномірний розподіл на відрізку 0,1 та єдиною інформацією щодо розподілу даних є сама вхідна вибірка. Позначимо довжину навчальної вибірки, а -ту компоненту -го вектора навчальної вибірки як . Тоді щільність розподілу -ї компоненти добре наближається з використанням вікон Парзена, наприклад, , де вважаємо - функція ймовірності отриманого розподілу:

Лема 7. Для того щоб порогові значення нейронів вхідного шару мали щільність розподілу пропорційною до на 0,1, їх достатньо генерувати згідно звичайного алгоритму в одному просторі , та потім перетворювати до початкового простору з використанням оберненої функції.

Структуру класифікатора, що отримана таким чином, назвемо чутливою. Функція може бути обчислена з використанням табличного вигляду .

В роботі наведені приклади формування розділяючих поверхонь. Зокрема, нижче на рис. 3 представлені двомірні задачі “подвійна спіраль” та Gaussian 2D.

Складність першої задачі полягає у значній не лінійності розподілу векторів навчальної вибірки. Основною характеристикою другої задачі є суттєвий перетин розподілів щільності ймовірності.

Рис. 3. - Розділення простору на дві категорії: (а) задача “подвійна спіраль”, (б) задача Gaussian 2D з класифікаційної бази даних ELENA:

Якість розпізнавання для класифікатора з випадковими підпросторами була оцінена на класифікаційній базі даних проекту Enhanced Learning for Evolutive Neural Architecture. База даних включає три базових штучні задачі, для яких є відомим байєсовське рішення, та чотири реальних задачі, що вирішуються для конкретної області застосування методів розпізнавання образів.

Всі реальні задачі також представлені вибірками, дані яких є нормалізованими, обробленими з використанням методу головних компонент чи багатофакторного дискримінантного аналізу. Порівняно з іншими методами класифікації дана нейронна мережа показує добрі та іноді найкращі результати для задач із чіткими межами приналежності до класів. Водночас, для задач малої розмірності, коли розподіли щільності ймовірності мають суттєвий перетин, успішність класифікації є меншою.

У зв'язку з цим в роботі запропоновано алгоритм локального усереднення коефіцієнтів синаптичної матриці.

Для задачі Gaussian 2D, що складається із двох центрованих ізотропних нормальних розподілів з різною дисперсією, цей метод зменшує ймовірність помилкової класифікації з 36.20% до 27.64%. Зокрема, байєсовське рішення гарантує рівень помилок у 26.37%.

Для опису даного алгоритму використовуються наступні поняття. Кожній рецептивній групі відповідає рецептивне поле - множина точок, що активує нейрон . Центр рецептивного поля визначається наступним чином:

,

Фактично, це - мірний вектор у вхідному просторі. Околом рецептивного поля є множина рецептивних полів, центри яких віддалені від центру даного не більш ніж на деяку відстань. Можливе застосування різних метрик, наприклад: 1. Метрика Чебишева:

2. Евклідова метрика:

3. Манхеттенська метрика:

Позначення відповідає максимальній можливій відстані між двома центрами рецептивних полів.

Усереднення матриці полягає у переобчисленні синаптичних зв'язків за формулою:

Де:

[0,1] - параметр околу;

[0,1] - параметр усереднення.

Підсумовування проводиться по відповідним рецептивним полям, центри яких належать - околу рецептивного центра , тобто відстань між їх центрами не перевищує значення:

- кількість рецептивних полів, що потрапляють до - околу.

Означення 1. Вибірка векторів називається - помітною, якщо існують такі вимірів, що вектори відрізняються по наборах відповідних компонент.

Лема 8. Якщо , то ймовірність того, що бінарні образи векторів - помітної навчальної вибірки будуть лінійно незалежними, прямує до 1.

Теорема 5. Класифікатор з випадковими підпросторами є універсальним класифікатором. Тобто, для довільної - помітної навчальної вибірки:

Існує така реалізація структури класифікатора й така синапатична матриця , що класифікатор інтерпретує навчальну вибірку без помилок. Нелінійне перетворення, що здійснюють перші три шари класифікатора, переводить вхідні вектори у вершини одиничного гіперкубу в просторі ознак. Якщо:

То розділяючи гіперплощини, що реалізуються одношаровим персептроном та у даному випадку проходять через початок координат, можуть забезпечувати довільний розділ образів у просторі ознак.

Класифікатор з випадковими підпросторами є ядерною нейронною мережею, що пояснює успішність його застосування для вирішення складних задач класифікації. Ядро, що є скалярним добутком у просторі ознак:

Та мірою близькості векторів x та y, фактично є кількістю спільних одиниць між бінарними образами та . Зокрема, використане архітектурне рішення має аналогії із методом опорних векторів та мережею на основі радіально-базисних функцій. Даний класифікатор, як і більшість інших нейронних мереж, дозволяє застосування таких поширених методів, як генетичний алгоритм та навчання зі збереженням найкращої синапатичної матриці.

У третьому розділі наведені методи та результати експериментів прогнозування категорії приросту ціни акцій на наступний день з використанням реальних історичних даних. У більшості експериментів використано чутливу структуру класифікатора та значення параметрів рецептивного поля. Технічним прогнозуванням називається оцінка майбутньої ціни фінансового інструменту з використанням показників , , , , та параметрів, що на них базуються. У перших експериментах з прогнозування ціни акцій використовувалися п'ять базових параметрів за поточний день та за декілька попередніх торгових сесій. Наприклад, якщо використовувалась історія за бізнес-днів, то класифікатор мав вхідних параметрів. Навчальна вибірка містила дані по акціях компанії IBM за 1998-2000 роки, 756 бізнес-днів. Тестова вибірка відповідала даним 2001 року, 248 бізнес-днів. Були розглянуті випадки класифікації на дві та на п'ять категорій, що визначаються наступними правилами:

Рис. 4. - Кількість помилок розпізнавання на навчальній вибірці (ліва вісь) та кількість помилок прогнозування (мінлива залежність, права вісь)
в залежності від номера епохи:

Найкращі результати для класифікації на дві категорії, що відповідають рівню успішного прогнозування 55.6%, отримані для дводенної історії.

Для п'яти категорій ймовірність 24.8% отримано при використанні одноденної історії. Задача прогнозування цінових показників є досить складною, що підтверджується розподілами, приведеними на рис. 5. Відповідні коефіцієнти кореляції дорівнюють:

Рис. 5. - Сумісний розподіл:

а) змін цін закриття с різницею в один день;

б) різниці цін закриття та об'єму торгів за той самий день.

Використана історія по акціям IBM за 1998-2001 роки, ціни наведені в доларах, об'єм - у мільйонах акцій.

Корисність того чи іншого методу прогнозування може бути оцінена як прибутковість деякої стратегії, що використовує цей метод. Водночас, інвестиційні стратегії можуть бути досить різними, що не дає бажаної однозначності в оцінках.

Для аналізу корисності використання класифікаційної моделі у роботі застосовані методи теорії інформації. Зокрема, обчислена кількість інформації, що надається класифікатором стосовно майбутньої зміни ціни. Нехай подія полягає у визначенні двозначної рекомендації класифікатора, а подія - в обчисленні класа по дійсній зміні ціни. Таким чином, події та можуть мати лише дві реалізації: Buy та Sell. Кількість інформації, що міститься в події , відносно події визначається наступним чином:

Де:

- ентропія (ступінь невизначеності) події ;

- середня умовна ентропія за умови виконання події .

Ентропія події має наступне визначення:

Де:

позначає ймовірність -ї реалізації.

Отримані результати демонструють, що класифікація на п'ять категорій є більш інформативною:

біта

біта

У наступних експериментах з прогнозування використовувалися нормалізовані дані:

Де:

- ковзне середнє ціни закриття за 256 днів, а - ковзне середнє об'єму торгів. Рішення щодо логарифмування об'єму є емпіричним та забезпечує кращі результати прогнозування. Зокрема, нормалізація дозволяє збільшити розмір навчальної вибірки, навчати мережу на даних одного типу акцій та проводити прогнозування для іншого. Останнє є важливим для роботи з такими типами акцій, що не мають достатньої історії торгів. Найкраща ймовірність успішної класифікації на дві категорії 58.1% отримана для історії в 6 днів. У випадку п'яти класів найкращий результат 27.7% відповідає історії в 14 днів.

Отримані результати з використанням нормалізованих вхідних даних є дуже високими і могли б забезпечити прибутковість відповідної стратегії. Однак проблема полягає у тому, що даний метод не забезпечує стабільності результатів при зміні часового періоду даних, що використані у дослідженні. Усереднення показників прогноз за 20 років (1985-2004) дає результати лише на рівні 50.5% та 21.6%. Виявляється, свобода вибору кількості днів в історії є засобом адаптації до конкретного розподілу даних навчальної та тестової вибірок. Методи добірки даних також можуть давати кращі результати для конкретних експериментів. Суттєвим є наступний висновок: конфігурацію мережі та вхідні дані дійсно необхідно адаптувати для отримання кращих результатів, однак перевірка ефективності прогнозування має бути виконана на різних відрізках часу. Даний приклад також демонструє інше тлумачення статистичної значності: різниця між рівнем успішної класифікації на дві категорії та значенням 50% не є такою важливою, якщо такий самий рівень не може бути гарантований для інших періодів.

Наступний метод добірки даних забезпечує кращу стабільність результатів при зміні часового періоду навчальної та тестової вибірок - середні значення складають 51.4% та 23.8%. Використовувалися наступні вхідні параметри: чотири індикатори відхилення:



Для різних періодів , та одинадцять параметрів, що репрезентують японські свічки, наприклад, як:

Зважене по об'єму експоненціальне ковзне середнє має наступне ітеративне визначення:

- експоненціальне ковзне середнє об'єм торгів. Позначення відповідає періоду . Важливим аспектом є те, що параметри, які базуються на , забезпечують кращі кореляційні залежності у порівнянні з іншими ковзними середніми. Навчальні вибірки містили дані за п'ять років, що є попередніми до року тестової вибірки.

Рис. 6. - Рівень успішної класифікації:

а) на дві;

б) на п'ять категорій в залежності від року тестової вибірки.

У четвертому розділі розглядаються перспективи застосування нейронно-мережевих систем прогнозування. Зокрема, розроблено метод базових алгоритмів функціонування класифікатора з випадковими підпросторами для використання на багатоядерних чи багатопроцесорних комп'ютерних системах зі спільною пам'яттю. Даний метод ефективно реалізується у вигляді багато поточного процесу завдяки тому, що класифікатор має високо паралельну архітектуру.

Також розглядаються принципи створення програмного агента для торгівлі цінними паперами. Аргументом застосування саме орієнтованої технології є автономність роботи отриманої програмної реалізації. В дисертаційній роботі розроблено алгоритм функціонування агента. Схема інформаційних потоків агента представлена на рис. 7, овальні елементи позначають зовнішні об'єкти до даної програмної системи. В алгоритмі передбачені наступні класифікаційні властивості агента: реактивність, автономність, цілеспрямованість, адаптивність та гнучкість. Агент збирає технічні та фундаментальні показники, обчислює прогнозні цінові дані, виконує функції вибору позицій та управління ордерами.

Рис. 7. - Схема інформаційних потоків системи:

Запропонована архітектура є адаптивною - модулі системи можуть мати й реалізацію, дозволяється застосування будь-якої системи прогнозування, що наявна на даний момент. Основною частиною даного агента є модуль прогнозування, який і потребує використання методів штучного інтелекту. Розвинутими методами з регресійною функціональністю, що доцільно використовувати для прогнозування цінових характеристик, є нейронна мережа на основі радіально-базисних функцій, багатошаровий, з деякою модифікацією алгоритму навчання зі зворотним розповсюдженням похибки, метод групового урахування аргументів, стохастична апроксимація і т. ін. Реалізація регресійної моделі можлива також з використанням класифікатора з випадковими підпросторами.

ВИСНОВКИ

Напрямком дисертаційного дослідження є математичний аналіз функціонування класифікатора з випадковими підпросторами, удосконалення алгоритмів навчання класифікатора та генерації його структури. Показано, що розглянута модель нейронної мережі є конкурентно-здатною у порівнянні з іншими класифікаційними алгоритмами. математичний алгоритм фондовий

Зокрема, можливості класифікатора дозволяють його успішне застосування у фінансовому прогнозуванні.

В дисертаційній роботі отримано такі основні результати.

1. Проведено ймовірнісний аналіз перетворення дійсно значного вхідного вектора у бінарний вектор в представленні прихованого шару нейронної мережі, обчислена ймовірність одночасної активації нейронів цього шару для двох довільних вхідних векторів. Отриманий аналітичний вираз для щільності активних порогових гіперплощин. Оцінена ймовірність генерації такої структури класифікатора, що два вхідних вектори будуть мати різні бінарні образи. Через використання ймовірнісних залежностей оцінена мінімальна помітна відстань, проаналізовані параметри, що впливають на її зменшення. Отримані умови оптимальності вибору параметрів структури класифікатора для максимізації відстані Хеммінга між бінарними образами двох довільних вхідних векторів.

2. Розроблено метод генерації чутливої структури класифікатора, що забезпечує щільність порогових значень пропорційною до щільності розподілу вхідних даних, значно прискорює навчання мережі та покращує її узагальнюючу спроможність.

Запропоновано метод локального усереднення коефіцієнтів матриці, який покращує ймовірність успішної класифікації для задач, де щільності розподілу суттєво перетинаються.

3. Функціонування нейронної мережі оцінено на класифікаційній базі даних ELENA. Показано, що класифікатор з випадковими підпросторами має одні з найкращих характеристик для задач, де області приналежності до того чи іншого класу мають чіткі межі.

4. Доведено, що класифікатор з випадковими підпросторами є універсальним, тобто має можливість безпомилково інтерпретувати довільну навчальну вибірку. Зокрема, це дозволяє використовувати дану мережу для вирішення задач класифікації будь-якої складності.

5. Побудовано модель вхідних даних нейронної мережі для технічного та фундаментального аналізу динаміки фондового ринку, проведено експерименти з технічного прогнозування на реальних історичних даних. Запропоновано метод оцінки ефективності прогнозування з використанням таких понять теорії інформації як ентропія та кількість інформації. Розроблено структуру орієнтованої системи підтримки різних аспектів прогнозування та торгівлі цінними паперами на фондовому ринку.

ПЕРЕЛІК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

Жора Д.В. Анализ функционирования классификатора со случайными порогами // Кибернетика и системный анализ. Киев. - 2003. - № 3. - С. 72-91.

Жора Д.В., Резник А.М., Дорошенко А.Е. Информационный анализ результатов финансового прогнозирования с использованием классификатора со случайными подпространствами // Математические машины и системы. - 2005. - №1. - С. 39-59.

Жора Д.В. Принципы построения агента по торговле ценными бумагами // Проблемы программирования. - 2004. - №2-3. Киев. - С. 534-545.

Жора Д.В. Распараллеливание алгоритмов функционирования классификатора со случайными подпространствами // Проблемы программирования. - 2006. - №2-3. Киев. - С. 124-134.

D.V. Zhora. Financial Forecasting using Random Subspace Classifier // Proc. Int. Joint Conf. Neural Networks 2004, vol. 4, pp. 2735-2740.

D.V. Zhora. Data Preprocessing for Stock Market Forecasting using Random Sub-space Classifier Network // Proc. Int. Joint Conf. Neural Networks 2005, pp. 2549-2554.

D.V. Zhora. Evaluating Performance of Random Subspace Classifier on ELENA Classification Database // Proc. Int. Conf. Artificial Neural Networks 2005, LNCS 3697, pp. 343-349.

Жора Д.В. Представление отношений между объектами при помощи ассоци-ативной нейронной сети // Управляющие системы и машины, Киев. - 1999. - №5, - С. 53-62.

Жора Д.В. Анализ численных характеристик ассоциативного нейронного поля // Деп. в УкрИНТЕИ, Киев. - 1997. - С. 13.

Жора Д.В. Анализ формирования разделяющих поверхностей для классификатора со случайными подпространствами // Кибернетика и системный анализ, Киев. Представлено к публикации.

Размещено на Allbest.ru

...