Інформаційна технологія прискорення синтезу нейронних мереж для вирішення задач прогнозування при прийнятті рішень

Размещено на http://www.allbest.ru

ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ ПОЛІТЕХНІЧНИЙ УНІВЕРСИТЕТ

ОЛЕШКО Дмитро Миколайович

УДК 004.832:004.032.26

ІНФОРМАЦІЙНА ТЕХНОЛОГІЯ ПРИСКОРЕННЯ СИНТЕЗУ НЕЙРОННИХ МЕРЕЖ ДЛЯ ВИРІШЕННЯ ЗАДАЧ ПРОГНОЗУВАННЯ ПРИ ПРИЙНЯТТІ РІШЕНЬ

05.13.06 - Автоматизовані системи управління

та прогресивні інформаційні технології

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

Одеса - 2005

Дисертацією є рукопис.

Робота виконана в Одеському національному політехнічному університеті Міністерства освіти і науки України на кафедрі системного програмного забезпечення.

Науковий керівник: доктор технічних наук, професор

Крісілов Віктор Анатолійович,

Одеський національний політехнічний університет, завідувач кафедри системного програмного забезпечення.

Офіційні опоненти:

доктор технічних наук, професор

Становський Олександр Леонідович,

Одеський національний політехнічний університет, завідувач кафедри нафтогазового та хімічного машинобудування;

кандидат технічних наук, доцент

Кондратенко Галина Володимирівна,

Національний університет кораблебудування ім. адмірала Макарова, доцент кафедри “Комп'ютеризовані системи управління”.

Провідна установа: Міжнародний науково-навчальний центр інформаційних технологій і систем, відділ нейромережевих технологій обробки інформації, НАН України та МОН України, м. Київ.

Вчений секретар

спеціалізованої вченої ради Д 41.052.01,

кандидат технічних наук, професор Ю.С. Ямпольський

Размещено на http://www.allbest.ru

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність роботи. В області розробки автоматизованих систем обробки інформації та управління, які забезпечують підтримку прийняття рішень, існує задача прогнозування процесу, що управляється або аналізується. Це обумовлено тим, що ефективне управління при розв'язанні задач електронного бізнесу (ЕБ) та економічного моніторингу (ЕМ) неможливе без вірогідного та оперативного прогнозування поведінки процесу. Рішення цієї задачі передбачає побудову інформаційних моделей об'єктів автоматизації і моніторингу, проведення їх аналітичного й імітаційного моделювання. прискорення синтез штучний нейронний мережа

У рамках розвитку сучасних інформаційних технологій найбільше поширення для побудови прогнозуючих моделей набув апарат штучних нейронних мереж (ШНМ). Широке застосування ШНМ для рішення розглянутих задач обумовлено їх високою апроксимуючою здатністю, здатністю до узагальнення інформації і стійкістю до перешкод. Використання їх у системах обробки інформації для підтримки прийняття рішень дозволило істотно підвищити надійність і вірогідність таких інформаційних систем.

В процесі синтезу ШНМ існує три основних етапи: 1 - формування навчальної вибірки (НВ); 2 - структурний синтез (СС) ШНМ; 3 - параметричний синтез (ПС) або навчання ШНМ. Аналіз відомих підходів до синтезу прогнозуючих нейромережевих (НМ) моделей дозволив виділити їх основні недоліки:

­ відсутність єдиної технології побудови прогнозуючих ШНМ, наслідком чого є розгляд етапів синтезу в якості окремих незв'язаних задач, що часто призводить до непогодженості очікуваних та отриманих результатів, а також збільшує витрати часу розроблювача на "творчий пошук";

­ відсутність критеріїв, які б давали конструктивну кількісну оцінку якості побудованої НВ, що призводить до додаткових ітерацій синтезу, які витрачаються на пошук задовільної, якісної ОВ, що відповідає вимогам та умовам конкретної задачі;

­ висока евристичність або трудомісткість методів та механізмів, розроблених для прискорення етапів СС та ПС, що для кожної нової задачі також стає причиною додаткових витрат часу.

Вимоги ж сучасних задач управління в ЕБ й ЕМ такі, що витрати часу на синтез та актуалізацію (донавчання) прогнозуючої моделі повинні бути мінімальні при достатній якості прогнозу.

Можливості для розв'язання цих проблем криються у поглибленому інтелектуальному аналізі характеристик, що описують кожен з зазначених етапів. Такий аналіз дозволив би знайти такі характеристики та параметри процесу синтезу прогнозуючих ШНМ, які є суттєвими та достатніми для отримання якісного та оперативного результату. Це, в свою чергу, дозволить формалізувати процес синтезу на якісно новому рівні, зробить його більш придатним до автоматизації і дозволить скоротити витрати часу на синтез.

Таким чином, дослідження, спрямовані на розробку й впровадження інформаційної технології прискорення синтезу автоматизованих комп'ютерних систем обробки інформації та управління для підтримки прийняття рішень на базі прогнозуючих НМ моделей, є актуальними.

Зв'язок роботи з науковими програмами, планами, темами. Дисертація виконувалася відповідно до завдань НДР Одеського національного політехнічного університету № 329-73 "Розробка інформаційного та програмного забезпечення сучасних автоматизованих систем" (номер державної реєстрації 01000001400), № 393-73 "Інформаційні системи в проектуванні та керуванні" та № 434-73 “Дослідження та проектування засобів інтелектуальної обробки даних” (номер державної реєстрації 0103U000036).

Метою дисертаційної роботи є зменшення часу синтезу прогнозуючих нейромережевих моделей у системах обробки інформації і управління для підтримки прийняття рішень та підвищення вірогідності прогнозу шляхом інтелектуалізації процесів формування навчальної вибірки, параметричного та структурного синтезу ШНМ.

Для досягнення зазначеної мети були розв'язані такі задачі:

­ проаналізовані існуючі методи і алгоритми, спрямовані на прискорення та підвищення якості структурного та параметричного синтезу прогнозуючих ШНМ зі зворотним поширенням помилки, виявлені їхні достоїнства та недоліки з боку прискорення процедури синтезу при збереженні якості навчання та рішення головної задачі мережі;

­ запропоновано ряд характеристик НВ, які дозволяють оцінити міру її якості;

­ виявлені залежності якості та швидкості параметричного синтезу від встановлених характеристик НВ;

­ розроблено комплексний критерій оцінки НВ, заснований на цих характеристиках та залежностях, який дозволяє автоматизувати процес побудови якісної НВ;

­ запропонований підхід до формалізації структурного синтезу ШНМ, заснований на аналізі характеристик ПС, що дозволяє в процесі навчання нейронної мережі робити реструктуризацію її прихованого шару;

­ розроблені механізми, що дозволяють істотно прискорити процес параметричного синтезу при збереженні якості навчання й функціонування ШНМ;

­ розроблена інформаційна технологія прискорення синтезу прогнозуючих НМ моделей для систем обробки інформації та управління в задачах ЕБ і ЕМ, яка поєднує розроблені методи та механізми в єдиний формалізований процес;

­ розроблена автоматизована комп'ютерна система, що реалізує розроблені методи й механізми, яка орієнтована на використання, як у корпоративних мережах, так й у мережі Internet.

Об'єктом дослідження є процес синтезу прогнозуючих моделей в системах підтримки прийняття рішень (СППР) для вирішення задач управління в електронному бізнесі та економічному моніторингу.

Предметом дослідження є методи та засоби побудови якісних НВ, автоматизації структурного і прискорення параметричного синтезу прогнозуючих моделей, а також методи та засоби одержання кількісних характеристик якості НВ.

Методи дослідження. Для оцінки якості побудованої НВ і синтезованої прогнозуючої моделі використовувалися методи математичної статистики та математичного аналізу, для формалізації і прискорення етапів структурного та параметричного синтезів використовувалися методи теорії оптимізації та теорії штучних нейронних мереж.

Наукова новизна отриманих результатів полягає в розвитку і поглибленні методологічних основ побудови автоматизованих комп'ютерних систем для підтримки прийняття рішень, що використовують НМ моделі зі зворотним поширенням помилки для побудови прогнозу. У дисертаційному дослідженні отримані наступні такі наукові результати:

­ вперше розроблений комплексний критерій, заснований на суперечливості, нерівномірності, середньоквадратичній помилці перетворення вхідних даних, кількості розпізнаваних класів НВ;

­ вперше розроблений автоматизований метод побудови якісної НВ для СППР, який базується на комплексній кількісній оцінці якості НВ;

­ одержав подальший розвиток метод навчання ШНМ зі зворотним поширенням помилки, який полягає у застосуванні: нового критерію оцінки розпізнавання навчальних наборів (НН) нейронною мережею, заснований на аналізі глобальної, локальної і елементарної помилок; нових правил відновлення вагових коефіцієнтів (ВК); формального механізму ініціалізації та динамічного коректування величини кроку зміни ВК;

­ вперше розроблена інформаційна технологія прискорення синтезу нейромережевих моделей для рішення задач прогнозування в СППР, яка містить формалізацію етапів побудови навчальної вибірки, структурного та параметричного синтезу, і поєднує всі етапи в єдиний формалізований процес.

Практична цінність отриманих результатів. Запропонований критерій оцінки НВ дає можливість оцінити якість побудованої НВ без проведення трудомісткого ПС. Розроблений метод побудови якісної НВ дозволив у 5 - 7 разів скоротити витрати часу на формування вибірки. Побудована за допомогою розробленого методу НВ забезпечує зниження витрат часу на навчання ШНМ і зниження помилки прогнозу в 1,5 - 2 рази.

Розвиток методу навчання ШНМ на основі зворотного поширення помилки дозволив скоротити час навчання нейронної мережі в 2 - 3 рази, а також робити донавчання на нових даних, використовуючи тільки нову частину НВ і вносячи зміни тільки у зв'язки, що вимагають коректування.

Запропонований механізм пакетного навчання нейронних мереж і правила додавання та виключення нейрона з прихованого шару дозволили об'єднати етапи структурного та параметричного синтезу і тим самим скоротити час, що витрачається на синтез прогнозуючої моделі в цілому.

Розроблена технологія синтезу прогнозуючих НМ моделей, що поєднує всі етапи синтезу ШНМ, дозволила скоротити загальний час синтезу у 7 - 10 разів.

За результатами дисертаційної роботи була розроблена автоматизована прогнозуюча комп'ютерна система "FORECAST", орієнтована як на роботу в корпоративних мережах, так й у мережі Internet.

Система була впроваджена для рішення задач прогнозування залишків на банківських рахунках (вірогідність прогнозу склала 94 %), а також, для вирішення задач прогнозування змін денного темпу продаж та формування оптимального товарного залишку (вірогідність прогнозу склала 96 %).

Програмний продукт і методологічні розробки використані в навчальному процесі на кафедрі системного програмного забезпечення у рамках НДРС, дипломного проектування та дисципліни "Засоби інтелектуальної обробки інформації".

Особистий внесок здобувача полягає в аналізі існуючих [1, 2, 9], виборі та удосконаленні найбільш перспективних методів синтезу прогнозуючих ШНМ для СППР у задачах управління в ЕБ і ЕМ.

Запропоновані шляхи використання і формалізація Принципу достатності в задачі синтезу прогнозуючих НМ моделей [4, 8]. Досліджено процеси побудови НВ і синтезу прогнозуючих ШНМ. Запропоновані характеристики для оцінки якості побудованої НВ і способи їх поліпшення [2]. Розроблений комплексний критерій оцінки якості НВ, а також, метод автоматизованої побудови НВ, яка відповідає умовам та вимогам поставленої задачі [6]. Розроблені формалізовані ефективні і нетрудомісткі методики для прискорення параметричного синтезу ШНМ [3, 10, 11]. Розроблена інформаційна технологія прискорення синтезу прогнозуючих НМ моделей [12]. Розроблена програмна система "FORECAST", за допомогою якої вирішений ряд задач прогнозування [5, 7].

Апробація результатів роботи. Результати роботи доповідалися й обговорювалися на першій міжнародній конференції "ИНФОТЕХ-2000" (Севастополь, 2000), на другій міжнародній науково-практичній конференції "СИЭТ-2001" (Одеса, 2001), на другій міжнародній конференції по індуктивному моделюванню "МКІМ-2002" (Львів, 2002), на міжнародному науковому семінарі "Інтелектуальний Аналіз Інформації" (Київ, 2003, 2004), на між народній науково-практичній конференції "Искусственный интеллект" (Кацивелі, 2002, 2004), на міжнародному семінарі по індуктивному моделюванню "МСIM-2005" (Київ, 2005), а також на щорічних конференціях студентів і молодих дослідників ОНПУ (Одеса, 1999 - 2005).

Програмні продукти, що реалізують розроблені в дисертації методи і механізми, демонструвалися на міжнародній виставці-симпозіумі "Комп'ютер, банк, офіс" (Одеса, 2000), на виставках-симпозіумах "Hi-Tech" (Одеса, 2000, 2001, 2005), на міжнародній виставці "CEBIT 2000" (Німеччина, 2000), на міжнародних виставках навчальних установ "Сучасна освіта в Україні" (Київ, 1999, 2000, 2002), на ювілейній виставці "Україна. Десять років незалежності" (Київ, 2001), на міжнародній спеціалізованій виставці "Інформатизація України" (Одеса, 2002) і на виставках-конференціях "Наука - Регіону" (Одеса, 2003, 2005).

Публікації. Матеріали дисертації викладені в 12 публікаціях, 7 з яких опубліковані в журналах зі списку спеціальних видань ВАК України.

Структура дисертації. Дисертація складається із вступу, чотирьох розділів та чотирьох додатків. Обсяг дисертації - 165 стор., додатків - 33 стор. Дисертація містить 26 рисунків, 24 таблиці (з них 10 рисунків та 15 таблиць - у додатках) та посилання до 72 літературних джерел.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі наведена загальна характеристика роботи, яка підкреслює її актуальність, відповідність державним науковим програмам, наукову новизну та практичну значимість, визначені об'єкт та предмет дослідження, сформульовані мета і задачі дисертації.

У першому розділі розглядається проблема синтезу прогнозуючих інформаційних моделей на базі ШНМ для вирішення задач управління в ЕБ та ЕМ.

Наведено основні поняття та визначення, пов'язані з теорією штучних нейронних мереж. Розглянуто основні етапи синтезу прогнозуючих НМ моделей: 1) формування НВ; 2) структурний синтез; 3) параметричний синтез. Розглянуто цілі й основні задачі цих етапів. Як приклад навчального алгоритму розглянутий алгоритм зі зворотним поширенням помилки - як най поширеніший алгоритм навчання ШНМ.

У зв'язку із тим, що у задачах прогнозування економічних процесів майже неможливо виявити усі фактори, що впливають на ці процеси, запропоновано використовувати методику аналізу часових рядів замість причинних моделей. Для ШНМ задача прогнозування часових рядів сформульована, як задача класифікації. У цьому випадку весь проміжок, у якому відбувалися зміни величини, що прогнозується, розбивається на ділянки із кроком, рівним припустимій помилці прогнозування. Кожна з таких ділянок розглядається як клас поводження величини, що прогнозується, у певний момент часу. Таким чином утворюється часовий ряд:

(1)

де - відліки часу, причому ; - значення величини, що прогнозується, у ці моменти часу; - кількість моментів, складаючих часовий ряд.

За допомогою метода "Ковзних вікон", що базується на теоремі Такенса, для ряду (1) формується НВ:

,

де - кількість НН, - вектор вхідних значень, - ідентифікатор -го класу, що визначає належність даного об'єкту до одного з класів.

Якщо деякі класи об'єднуються між собою, то вони утворюють новий клас , центроїд якого обчислюється за формулою , де - кількість початкових класів , що утворили . У дисертації прийнято вважати, що ідентифікатором класу є чисельне значення його центроїда.

Задачею прогнозування часового ряду є обчислення для (1) значень , , … , , де - горизонт прогнозу. У випадку рішення її як задачі класифікації для , це є задача віднесення певної ситуації (об'єкту), , до певного класу з множини чи .

Наведено огляд основних методів та алгоритмів, спрямованих на прискорення й підвищення точності процесу параметричного синтезу ШНМ, які також припускають автоматизацію процесу структурного синтезу. Зазначено переваги та недоліки цих методів:

­ висока евристичність та трудомісткість методів структурного синтезу при низькому рівні формалізації (конструктивні алгоритми та алгоритми скорочення);

­ повільна швидкість збіжності процесу навчання (метод найшвидшого спуску);

­ висока трудомісткість методів при високій точності одержуваного результату навчання (метод змінної метрики, метод Левенберга - Марквардта, метод сполучених градієнтів);

­ низка формалізація та висока доля евристичності (алгоритми "Quick Prop", "RProp" и "Delta-bar-Delta")

Зроблено висновки про необхідність розробки:

1) підходів, що дозволяють дати кількісну оцінку якості побудованої НВ до навчання на ній ШНМ;

2) формальних методик структурного синтезу ШНМ;

3) методів і механізмів, що дозволяють провести швидкий й якісний параметричний синтез нейронної мережі;

4) інформаційної технології прискорення синтезу прогнозуючих ШНМ, яка б поєднувала всі етапи в єдиний технологічний процес.

У другому розділі представлена методологічна база, що дозволяє формалізувати синтез ШНМ моделей та знизити витрати часу на побудову і актуалізацію моделей.

Поняття достатності в процесі синтезу ШНМ. Всі розроблені в даній роботі підходи до прискорення процесу синтезу ШНМ моделей на різних його етапах, так або інакше, базуються на понятті Принципу достатності (ПД). ПД у цьому випадку полягає у деякому огрубінні умов і, можливо, деякому ослабленні обмежень задачі. Така операція дозволяє формалізувати процес управління якістю рішення задач прогнозування шляхом цілеспрямованого підвищення точності за рахунок збільшення витрат часу і, навпаки, скорочення часу синтезу за рахунок обґрунтованого зниження точності.

Побудова якісної навчальної вибірки. Для оцінки якості НВ у роботі запропоновані наступні характеристики:

1. Нерівномірність НВ (). Для оцінки нерівномірності була розглянута випадкова величина - “кількість НН у класі”. В якості величини, що характеризує нерівномірність побудованої НВ, пропонується середньоквадратичне відхилення :

.

Для того щоб модель змогла будувати вірогідний прогноз, необхідно дотримуватись до того, щоб кількість НН у класах була сумірна, тобто необхідно знижувати нерівномірність.

2. Суперечливість НВ (). Якщо НВ містить у собі однакові об'єкти, що належать різним класам, то дані об'єкти називають суперечливими, і чим більше таких об'єктів, тим вище суперечливість всієї НВ. Суперечливість навчальних даних є серйозним недоліком для будь-якої системи, що навчається.

На відміну від існуючих, у даній роботі запропонований підхід, що дозволяє оцінити міру суперечливості всієї НВ у цілому.

Нехай є два навчальних набора та . Тоді - відстань між центроїдами, відповідно, -го й -го класів, а відстань між об'єктами цих класів буде обчислюватися по наступній формулі:

,

де , - дисперсія властивості-го виміру по НВ.

Нехай величина - суперечливість двох навчальних наборів. Тоді очевидно, що зростає, якщо зростає та, при цьому, убуває . На підставі цього запропонована наступна формула для обчислення :

.

Таким чином, суперечливість двох об'єктів лежить у діапазоні [0; 1] і досягає максимуму при збігу характеристик об'єктів, що належать різним класам.

Суперечливістю всієї НВ - буде середнє арифметичне всіх :

3. Середньоквадратична помилка перетворення вхідних даних (). Нехай для первинної НВ НН мають вигляд , а для перетвореної НВ, після розбивки множини значень на класи, НН мають вигляд . Тоді помилкою перетворення на -му наборі буде величина , а середньоквадратична помилка перетворення буде обчислюватися в такий спосіб:

,

де - кількість НН.

Для визначення міри якості отриманої розбивки важливим є те, що величина дозволяє оцінити компактність розбивки об'єктів по класах.

4. Кількість розпізнаваних класів () служить чинником, що обмежує зниження , а також оптимізує розмір нейронної мережі.

Нехай - показник, що дозволяє оцінити міру якості НВ на кожній окремій ітерації і обчислюється за формулою:

(2)

де - показники, що характеризують важливість відповідної характеристики для розроблювача в рамках поточної задачі.

Очевидно, що НВ тим краще, чим менше величина кожної з характеристик в (2). Тоді якісна НВ вибирається з побудованих вибірок відповідно до наступного критерію:

(3)

Автоматизація структурного синтезу нейронних мереж. Запропонований метод автоматизації СС поєднує в собі принципи конструктивних алгоритмів та алгоритмів скорочення, які використовуються для побудови прихованого шару ШНМ. Початкову кількість нейронів у прихованому шарі можна визначити, виходячи з наступних формул:

;

; , (4)

де N_y - розмірність вихідного сигналу, N_p - число елементів навчальної вибірки, N_x - розмірність вхідного сигналу, і - відповідно, мінімальна та максимальна кількості нейронів у прихованому шарі.

Рішення задач прогнозування курсів валют і цінних паперів, об'єму грошової маси в банкоматах банку, залишків на банківських рахунках показало, що для подібних процесів, оптимальна кількість нейронів у прихованому шарі знаходиться в околиці кількості нейронів у вихідному шарі: .

Основою для прийняття рішення про зміну кількості нейронів у прихованому шарі служать результати аналізу рівнів активацій нейронів та їхніх помилок. Статистика за даними характеристиками накопичується протягом обробки нейронною мережею НВ у пакетному режимі: значення ВК не змінюються, на кожній ітерації обчислюються тільки значення помилок нейронів мережі. Накопичена статистика використовується для аналізу повноти структури нейронної мережі.

Для реструктуризації прихованого шару мережі запропоновано наступні правила.

1. Якщо протягом епохи навчання значення помилки деякого нейрона прихованого шару носить виражений коливальний характер, то в прихованому шарі ШНМ недостатньо нейронів, а даний нейрон підлягає розщепленню.

2. Якщо протягом епохи навчання рівень активації деякого нейрона прихованого шару наближається до нуля, то даний нейрон є надлишковим для мережі і підлягає видаленню.

Інтелектуалізація параметричного синтезу нейронних мереж. Наступним етапом синтезу НМ моделі є параметричний синтез - навчання ШНМ. Для підвищення формалізації механізмів ПС з величин, що характеризують даний етап, були виділені три види помилок: елементарна (), локальна () та глобальна ():

 (5)

де - еталонне значення виходу, - рівень активації k-го нейрона вихідного шару ШНМ.

Елементарна помилка - це помилка одного нейрона на одній ітерації навчання. Локальна помилка - помилка нейронної мережі на одному навчальному наборі, яка є усередненим значенням елементарних помилок нейронів вихідного шару. Глобальна помилка - помилка нейронної мережі на всієї НВ - усереднене значення локальних помилок на наборах НВ.

У (5) наведена формула обчислення для нейрона вихідного шару. Для нейронів прихованих шарів обчислюється за формулами алгоритму навчання.

Визначення моменту зупинки процесу ПС. Для формування критерію зупинки процесу навчання використовуються глобальна та локальні помилки. Моментом зупинки навчання запропоновано вважати момент, коли успішно розпізнані всі НН з НВ.

У випадку рішення задачі прогнозування в якості задачі класифікації у області значень нейронів вихідного шару запропоновано розрізняти 3 зони (рис. 1).



Успішно розпізнаним вважається той НН, на якому у вихідному шарі найбільшу активність має нейрон, який відповідає потрібному класу. Значення й задають довірчі інтервали для значень виходів активного нейрона й неактивних відповідно. Розміри цих інтервалів регулюють надійність розпізнавання НН, а також здатність мережі виявляти закономірності в аналізованому часовому ряді, оскільки, чим ці інтервали вужче, тим вище ризик одержати перенавчену ШНМ. Виходячи із заданих значень і , розраховується граничне значення для :

,

де n - кількість нейронів у вихідному шарі ШНМ.

Таким чином, i-й НН вважається успішно розпізнаним нейронною мережею тоді, коли

(6)

Спираючись на наведені вище міркування, в якості критерію зупинки навчання ШНМ прийняте виконання нерівності (6) для всіх НН.

Значення границь і встановлюються, виходячи з міркувань достатності, з огляду на витрати часу на навчання, надійність розпізнавання й вірогідність прогнозу.

Обчислення нових значень ВК нейронної мережі. Аналіз значень помилок і поводження реальних біологічних систем, що навчаються, дозволив запропонувати такі правила, що управляють оновленням ВК мережі, які забезпечують скорочення витрат часу як на навчання НМ моделі, так і на актуалізацію вже навченої ШНМ.

1. Оновлення ВК ведеться доти, доки не досягне значення якогось , обумовленого вимогами до задачі, або поки не виконається нерівність (6).

2. Якщо на i-й ітерації виконується нерівність (6), то оновлення ВК не відбувається.

3. Якщо , або, для активного нейрона, , тоді або , відповідно, прирівнюється до 0 і, відбувається обчислення нових ВК із цим значенням елементарної помилки. Це забезпечує внесення змін тільки в ті зв'язки, які вимагають коректування. Такий підхід істотно знижує трудомісткість процесу донавчання ШНМ на нових даних.

Управління величиною кроку зміни ВК. В оригінальному варіанті методу навчання зі зворотним поширенням помилки формула зміни вагових коефіцієнтів, для пари нейронів i та j виглядає таким чином:

(7)

де - елементарна помилка j-го нейрона, - рівень активації i-го нейрона, а - крок зміни ваги.

В (7) - величина постійна, однак аналіз роботи градієнтних методів оптимізації приводить до очевидного факту - у процесі оптимізації величина кроку повинна динамічно мінятися.

При розв'язанні практичних задач прогнозування було проведено низку експериментів, які показали, що навчальний алгоритм швидше досягає точки оптимуму, якщо у процедурі управління величиною присутня тільки операція декрементування. Цей факт пов'язаний з тим, що збільшення кроку зміни вагових коефіцієнтів при послідовному зменшенні глобальної помилки призводить до високої інерційності алгоритму.

У роботі запропоновані наступні правила обчислення кроку зміни вагових коефіцієнтів:

1) якщо , то ;

2) якщо , то ;

3) якщо та , то ,

де й - значення кроку зміни вагових коефіцієнтів у моменти часу й відповідно, - величина декременту .

У третьому розділі представлена інформаційна технологія (табл. 1), спрямована на прискорення синтезу прогнозуючих НМ моделей.

Етап постановки задачі. Мета даного етапу визначити умови та обмеження, а також методику рішення поставленої задачі прогнозування. Виходячи з поставленої задачі, розроблювач визначає значення наступних параметрів алгоритмів синтезу НМ моделі:

­ для етапу побудови НВ - значення показників , що характеризують важливість кожної характеристики в критерії оцінки якості НВ (3), а також параметри алгоритму побудови НВ;

­ для етапу структурного синтезу - граничне значення середнього квадратичного рівня активації нейрона прихованого шару за епоху навчання;

­ для етапу параметричного синтезу - значення параметрів й , відповідальних за надійність розпізнавання НН.

Етап формування навчальної вибірки. Вхідними даними для даного етапу служить часовий ряд (1), або заданий текстовим файлом, або який одержується шляхом SQL-запиту з деякої бази даних.

За допомогою метода "Ковзних вікон" формується попередня НВ. Далі до неї застосовується метод побудови якісної навчальної вибірки. Розроблений метод став результатом об'єднання підходів, що розглядають можливість реорганізації множини розпізнаваних класів, і обмежень, що накладаються вимогами до точності подання даних та якості побудованої НВ. Задача методу - побудувати оптимальну розбивку на класи () множини еталонних значень НВ (), виходячи із запропонованого критерію (3).

При формуванні критерію та заданні показників, що характеризують ступінь важливості запропонованих характеристик НВ, розроблювач повинен керуватися досвідом й особливостями рішення конкретної задачі.

Після того, як НВ побудована, із множини НН вибираються ті, які надалі не будуть брати участь у параметричному синтезі й складуть тестову вибірку (ТВ).

Етап структурного синтезу НМ моделі. В основу методики структурного синтезу прогнозуючої НМ моделі була покладена методика розщеплення нейронів. Для пошуку нейронів, які підлягають розщепленню, у прихованому шарі мережі використовуються спрощені алгоритми, які не вимагають обчислення коваріаціоних матриць.

На першому кроці необхідно визначити початкову кількість нейронів у прихованому шарі мережі , виходячи із формул (4).

Таблиця 1

Інформаційна технологія синтезу прогнозуючих НМ моделей

Етап	Вхідні дані	Методи, методки, механізми	Результат	Виконавець
I. Постановка задачі	Інформація про процес, що прогнозується. Вимоги до точності подання даних в НВ, вірогідності прогнозу	Дослідження предметної області Методи аналізу часових рядів	Параметри алгоритмів синтезу прогнозуючої НМ моделі	Замовник, Особа яка приймає рішення, Розроблювач НМ моделей
II. Формування НВ	Текстовий файл База даних	Метод "Ковзних вікон" (*) Метод побудови якісної НВ	Навчальна вибірка Тестова вибірка	Система „FORECAST” (блок попередньої підготовки даних) Розроблювач НМ моделей
III. Структурний синтез НМ моделі	Навчальна вибірка Характеристики побудованої НВ	(*) Модифікована методика розщеплення нейронів	Структура НМ моделі	Система „FORECAST” (блок структурного синтезу) Розроблювач НМ моделей
IV. Параметричний синтез НМ моделі	Навчальна вибірка Структура НМ моделі	(*) Модифікований метод навчання зі зворотним поширенням помилки (*) Спрощена методика пакетного навчання	Навчена НМ модель	Система „FORECAST” (блок параметричного синтезу) Розроблювач НМ моделей
V. Верифікація	Навчена НМ модель Тестова вибірка	Обчислення середньо квадратичної помилки	Величина помилки навченої НМ моделі на тестовій вибірці	Система „FORECAST” (блок верифікації) Розроблювач НМ моделей

(*) - розроблено автором

Далі, після завдання значення , нейронна мережа переводиться в режим пакетного навчання. Для здійснення реконфігурації нейронної мережі використовується модифікована методика розщеплення нейронів.

Етап параметричного синтезу НМ моделі. Пропонована методика параметричного синтезу прогнозуючої НМ моделі ґрунтується на відомому методі навчання багатошарових нейронних мереж зі зворотним поширенням помилки.

Вхідними даними для даного етапу є:

­ побудована на першому етапі НВ, що відповідає заданому критерію якості;

­ сформована за допомогою методики структурного синтезу архітектура багатошарової нейронної мережі.

Перед проведенням параметричного синтезу розроблювачеві необхідно визначити початкове значення кроку зміни ВК . Для цього запропоновано використати принцип методу “Модельного загартування”. Для декілька значень (наприклад, 0.5, 1, 1.5) виконується по одній епосі навчання. Те значення , що дасть найменшу величину , буде обрано в якості початкового.

Для проведення параметричного синтезу прогнозуючої моделі передбачені наступні підходи:

­ модифікований алгоритм пакетного навчання - коректування ВК виконується тільки один раз - наприкінці епохи навчання - на основі накопичених значень помилок й активацій нейронів;

­ модифікований метод навчання зі зворотним поширенням помилки - метод базується на запропонованих правилах обчислення ВК, а також на механізмі ініціалізації та динамічного коректування шага зміни ВК.

Етап верифікації синтезованої НМ моделі. На даному етапі виконується оцінка якості побудованої прогнозуючої моделі. В якості характеристики прогнозу використовували квадратичну помилку:

(8)

де - дисперсія значень ТВ, - помилка прогнозу в -й точці.

Залежно від того, як була сформована ТВ, користувач може в різних режимах виконати тестування побудованої прогнозуючої НМ моделі. Тестування може проводитися у двох режимах.

1. Оцінка якості узагальнення знань отриманих з НВ. У цьому випадку користувач, в якості результату процесу верифікації, одержує значення квадратичної помилки (8) синтезованої моделі на множині тестових наборів.

2. Тестування мережі в режимі побудови прогнозів з горизонтом більше 1. У цьому випадку, починаючи від моменту часу, позначеного першим набором ТВ, будується прогноз із довжиною горизонту рівної кількості наборів ТВ. Далі, для побудованого таким чином прогнозу, також обчислюється квадратична помилка (8).

Таким чином, у розділі представлений комплекс розроблених методів і механізмів, спрямованих на зниження витрат часу, підвищення якості синтезу прогнозуючих ШНМ та об'єднаних у рамках розробленої інформаційної технології в єдиний формалізований процес.

У четвертому розділі представлено опис розробленої для СППР прогнозуючої програмної системи "FORECAST". Дано опис основних блоків і описані режими функціонування.

Блоки даної системи розроблялися таким чином, щоб була можливість їхнього використання з будь-яким інтерфейсом для зручності інтеграції їх у СППР. Прикладом використання блоків системи є демонстраційна версія WEB-орієнтованого клієнтського робочого місця прогнозуючої системи "FORECAST" для рішення задач електронного бізнесу на ринку "FOREX".

Також у розділі наведений аналіз впровадження системи для рішення задачі прогнозування залишків на банківському рахунку та застосування її для прогнозування пунктів англійського фунта на ринку "FOREX".

Проведено порівняльний тест рішення задач класичним методом та з використанням розробленої інформаційної технології. В обох випадках відзначено:

­ поліпшення характеристик НВ;

­ скорочення часу навчання моделі в 2 - 3 рази;

­ зниження помилки прогнозу в 1,5 - 2 рази;

­ підвищення вірогідності прогнозу при збільшенні його горизонту;

­ зменшення часу загального синтезу прогнозуючої моделі у 7 - 10 разів.

Одержані результати, щодо витрат часу на навчання та актуалізацію прогнозуючих моделей, дають можливість ще більше наблизитися до розв'язання задач управління в ЕМ та ЕБ, пов'язаних з побудовою прогнозів поведінки складних процесів в умовах реального часу.

ВИСНОВКИ

1. Аналіз існуючого підходу до синтезу прогнозуючих НМ моделей виявив ряд істотних недоліків, пов'язаних з відсутністю конструктивних кількісних критеріїв оцінки якості побудованої НВ, значною евристичністю або трудомісткістю підходів, розроблених для прискорення етапів структурного та параметричного синтезу, відсутністю формальної єдиної технології синтезу прогнозуючих НМ моделей.

2. Розглянуто ПД, в якості механізму, що дозволяє управляти якістю рішення задачі прогнозування на всіх етапах синтезу прогнозуючих ШНМ шляхом цілеспрямованого підвищення точності за рахунок збільшення витрат часу і, навпаки, скорочення часу синтезу за рахунок обґрунтованого зниження точності.

3. Запропоновано ряд характеристик НВ, на основі яких розроблений комплексний критерій оцінки якості побудованої НВ. Даний критерій дозволив формалізувати процедуру побудови НВ, врахувати умови конкретної задачі, дати кількісну оцінку якості НВ і зробив евристичність процесу побудови НВ виявленою та вираженою показниками ступенів важливості кожної з характеристик.

4. На основі розробленого комплексного критерію оцінки якості НВ запропоновано метод автоматизованої побудови якісної НВ. Використання даного методу дозволяє автоматизувати процес побудови НВ, знизити ймовірність одержання неякісної вибірки, скоротити витрати часу на синтез НМ моделей в цілому та підвищити вірогідність прогнозу.

5. Запропоновано формалізацію процесу структурного синтезу НМ моделей для рішення задач прогнозування. Дано рекомендації з вибору початкової кількості нейронів у прихованому шарі мережі та запропоновані правила для коректування цієї кількості, засновані на принципах конструктивних алгоритмів та алгоритмів скорочення.

6. Подальший розвиток у рамках навчання ШНМ одержав метод навчання зі зворотним поширенням помилки. На основі розглянутих у роботі типів помилок, що виникають при навчанні ШНМ, запропонований критерій розпізнання НН і ряд правил обчислення ВК нейронної мережі, які дозволяють:

­ визначити момент зупинки процесу параметричного синтезу ШНМ, задаючи значення границь і , виходячи із ПД;

­ скоротити обчислювальні витрати алгоритму навчання в середньому на 50 %;

­ збільшити швидкість збіжності методу в 2 - 3 рази;

­ донавчити навчену НМ модель, використовуючи тільки нові дані з НВ, і вносити мінімально-достатні зміни в навчену мережу.

7. Розроблено інформаційну технологію прискорення синтезу прогнозуючих НМ моделей, яка об'єднала окремі етапи синтезу в єдиний формалізований процес. Скорочення витрат часу фактично на порядок досягається:

­ за рахунок формалізації послідовності дій, які необхідно виконати для одержання ШНМ, здатної прогнозувати;

­ за рахунок формалізації раніше неформалізованого етапу побудови НВ, що дозволяє в автоматизованому режимі сформувати якісну НВ, яка відповідає умовам поставленої задачі;

­ за рахунок формалізації етапів структурного та параметричного синтезу, що дозволило автоматизувати процес структурного синтезу і знизити трудомісткість навчання.

8. На основі розробленої інформаційної технології створена програмна прогнозуюча система "FORECAST". Система була використана для розв'язання задачі прогнозування залишків на банківських рахунках (вірогідність прогнозу склала 94 %) і прогнозування курсів валют на міжнародному ринку електронної торгівлі валютами "FOREX" (вірогідність прогнозу 97 %).

9. Отримані в роботі наукові розробки й програмні засоби впроваджені в навчальний процес кафедри системного програмного забезпечення Одеського національного політехнічного університету.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Крисилов В.А. Применение нейронных сетей в задачах интеллектуального анализа информации / Крисилов В.А., Олешко Д.Н., Трутнев А.В. // Тр. Одес. политехн. ун-та. - Одесса: 1999. - Вып. 2 (8). - С. 134 - 140.

2. Крисилов В.А. Методы ускорения обучения нейронных сетей / Крисилов В.А., Олешко Д.Н., Лобода А.В. // Вест. СевГТУ. Информатика, электроника, связь. - Севастополь, 2001. - Вып. 32. - С. 19 - 26.

3. Крисилов В.А. Двухэтапное обучение нейронных сетей в задачах прогнозирования временных рядов / Крисилов В.А., Олешко Д.Н. // Искусств. интеллект. - 2002. - № 4. - С. 742 - 746.

4. Krissilov V.A. Acceleration of neural-network model training by application of sufficiency principle / Krissilov V.A., Oleshko D. N. // Тр. Одес. политехн. ун-та. - Одесса: 2002. - Спецвыпуск. - С. 89 - 90.

5. Decision Making rules for situations with dependent features / Krissilov V.A., Krissilov A.D., Blyukher B., Оleshko D.N // Вестник Херсонского ГТУ. - Херсон: 2003. - Вып. 3(19). - С. 190 - 193.

6. Олешко Д.Н. Построение качественной обучающей выборки для прогнозирующих нейросетевых моделей / Олешко Д.Н., Крисилов В.А., Блажко А.А. // Искусств. интеллект. - 2004. - № 3. - С.567 - 573.

7. Экономико-экологическое прогнозирование: методология, методы, приложения / Степанов В.М., Крисилов А.Д., Крисилов В.А., Олешко Д.М. др. - Одеса, ИПРЭЭИ НАН Украины, 2004. - 238 с.

8. Krissilov V.A. Application of the sufficiency principle in acceleration of neural networks training / Krissilov V.A., Krissilov A.D., Oleshko D.N. // Information Theories & applications. - 2003. - Vol.10. - № 2. - P. 179 - 183.

9. Крисилов В.А. Система прогнозирования поведения сложных процессов "FORECAST" / Крисилов В.А., Олешко Д.Н. // Тр. второй МНПК СИЭТ - 2001. - Одесса. - 2001. - С.90 - 91.

10. Крисилов В.А. Повышение качества и скорости обучения нейронных сетей в задаче прогнозирования поведения временных рядов / Крисилов В.А., Олешко Д.Н. // Міжнар. конф. з індуктивного моделювання. - Львів, 2002. - Т. 2. - С. 76 - 80.

11. Ускорение синтеза прогнозирующих нейронных сетей / Крисилов В.А., Олешко Д.Н., Кондратюк А.В., Чумичкин К.В. // Сб. тр. рос.-укр. науч. семинара "Интеллектуальный анализ информации" (ИАИ-2003). - Киев: КПИ, 2004. - С. 12.

12. Олешко Д.Н. Информационная технология синтеза прогнозирующих нейросетевых моделей // Зб. пр. міжнар. семінару з індуктивного моделювання. - Київ: Міжнар. наук.-навч. центр інформ. технологій та систем НАН та МОН України, 2005. - С. 242-249.

АНОТАЦІЇ

Олешко Д.М. Інформаційна технологія прискорення синтезу нейронних мереж для вирішення задач прогнозування при прийнятті рішень. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за фахом 05.13.06 - Автоматизовані системи управління та прогресивні інформаційні технологій - Одеський національний політехнічний університет, Одеса, 2005.

У роботі запропоновано ряд характеристик НВ, які дозволяють оцінити міру її якості. Виявлені залежності якості та швидкості параметричного синтезу від встановлених характеристик НВ. Розроблено комплексний критерій оцінки НВ, заснований на цих характеристиках та залежностях, який дозволяє автоматизувати процес побудови якісної НВ. Запропонований підхід до формалізації структурного синтезу ШНМ, заснований на аналізі характеристик ПС, який дозволяє в процесі навчання нейронної мережі робити реструктуризацію її прихованого шару. Розроблені механізми, які дозволяють істотно прискорити процес параметричного синтезу при збереженні якості навчання й функціонування ШНМ. Розроблена інформаційна технологія прискорення синтезу прогнозуючих НМ моделей для систем обробки інформації та управління в задачах ЕБ і ЕМ, яка поєднує розроблені методи та механізми в єдиний формалізований процес. Розроблена автоматизована комп'ютерна система, що реалізує розроблені методи й механізми, яка орієнтована на використання, як у корпоративних мережах, так й у мережі Internet.

Ключові слова: підтримка прийняття рішень, інтелектуальний аналіз даних, прогнозування, часові ряди, нейронні мережі.

Oleshko D.N. Information technology for speeding-up of the synthesis of neural networks for a forecasting problem solving at a decision making. - Manuscript.

Thesis for a candidate's degree by speciality 05.13.06 - automated control systems and progressive information technologies. - Odessa national polytechnic university, Odessa, 2005.

A number of characteristics of a training sample (TS), which allow to evaluate a measure of its quality is offered in this work. Also there were detected associations between quality and a velocity of parametric synthesis and established characteristics of TS. There was developed the complex criterion of TS rating, which has been set up on these characteristics and associations, allows to automates the process of construction of qualitative TS. Suggested approach of formalising of structural synthesis for neural networks (NN), set up on the analysis of performances of learning process which allows to make re-structuring of its hidden layer during the training process of NN. Also the information technology for synthesis of forecasting models, based on neural networks, for solving tasks in such areas as control, electronic busyness and economic monitoring, is developed in this work. It differs from existents by containing formalization of the following stages: training sample construction, structural and parametric synthesis, and by combining of all these stages in a one formalized process. This technology has been incarnated in the software system and has been applied for solving of a number of practical tasks.

Keywords: decision making support, the intelligent analysis of the data, forecasting, time series, neural networks.

Олешко Д.Н. Информационная технология ускорения синтеза нейронных сетей для решения задач прогнозирования при принятии решений. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.06 - Автоматизированные системы управления и прогрессивные информационные технологии - Одесский национальный политехнический университет, Одесса, 2005.

Теория синтеза ИНС для решения задач прогнозирования на сегодняшний день недостаточно формализована. Имеющиеся сегодня в распоряжении разработчика подходы, применяемые для синтеза ИНС, оказываются либо трудоемкими, либо не обеспечивающими достаточного качества прогноза, или же слабо формализованы и носят выраженный эвристический характер. Кроме того, обилие методик, которые можно использовать для синтеза прогнозирующей ИНС, только усложняет задачу выбора, но и значительно повышает затраты времени на синтез.

Основными недостатками текущего подхода к синтезу прогнозирующих нейросетевых моделей можно назвать следующие:

­ отсутствие единой формальной технологии синтеза прогнозирующих НС моделей;

­ отсутствие критериев, дающих конструктивную количественную оценку качества построенной ОВ, что в результате приводит к дополнительным итерациям синтеза, затрачиваемым на поиск удовлетворительной ОВ;

­ высокая эвристичность либо трудоемкость механизмов в подходах, разработанных для ускорения этапов СС и ПС, что для каждой новой задачи также становится причиной дополнительных затрат времени.

Специфика предметных областей, в которых сегодня решается задача прогнозирования, такова, что затраты времени на синтез и обновление прогнозирующих моделей должны быть как можно меньше. Данное требование и имеющиеся недостатки в процессе синтеза прогнозирующих НС моделей и обусловили выбор темы исследований.

В работе предложен ряд характеристик для предварительной оценки построенной ОВ: неравномерность, противоречивость, ошибка преобразования исходных данных, количество распознаваемых классов. В отличие от известных подходов, предложен способ вычисления меры противоречивости ОВ, позволяющий оценить данную величину с большей точностью. На основе предложенных характеристик предложен показатель, позволяющий дать количественную оценку качества построенной ОВ, а также разработан комплексный критерий выбора качественной ОВ.

В работе впервые предложен метод построения качественной ОВ, основанный на комплексном критерии. Сформированная с помощью данного метода ОВ, обеспечивает, по сравнению с классическим подходом, упрощение структуры НС и снижение ошибки прогноза в 1,5 - 2 раза.

Предложена формализация процесса структурного синтеза нейросетевых моделей для решения задач прогнозирования, основанная на идеях конструктивных алгоритмов и алгоритмов сокращения. Даны рекомендации по выбору количества нейронов в скрытом слое сети и предложены правила корректировки количества нейронов в скрытом слое.

Предложена формализация процесса параметрического синтеза нейросетевых моделей для решения задач прогнозирования. Рассмотрены три типа ошибок, возникающих при обучении НС. На их основе разработаны критерий оценки распознавания ОН нейронной сетью и правила вычисления новых весовых коэффициентов сети. Предложены механизмы определения начальной величины шага изменения весовых коэффициентов и корректировки этой величины в процессе обучения.

Кроме того, для этапа ПС предложен упрощенный алгоритм пакетного обучения НС. Суть данного алгоритма заключается в том, что корректировка ВК производится только один раз в конце эпохи обучения на основе накопленных значений ошибок и активаций нейронов. На фоне данного процесса возможно выполнение предложенного алгоритма Структурного синтеза.

На основе предложенных методов и механизмов разработана информационная технология ускорения синтеза прогнозирующих НС моделей, включающая в себя этапы: Постановки задачи; Построения ОВ; Структурного синтеза; Параметрического синтеза; Верификации построенной модели. Применение разработанной технологии позволило сократить время синтеза прогнозирующей НС модели в 7 - 10 раз и, при этом, снизить ошибку прогноза в 1,5 - 2 раза.

Разработанная технология реализована в рамках самостоятельного программного продукта с интерфейсо-независимым ядром, выполненном в виде динамически подгружаемой библиотеки. На основе данного ядра создан также WEB-проект, позволяющий получать доступ к сервису прогнозирования через сеть INTERNET. На базе данного программного продукта решены задачи прогнозирования остатка внешнего корреспондирующего счета банка "ПІВДЕНИЙ" (достоверность прогноза 94%), прогнозирования изменений дневного темпа продаж и формирования оптимального товарного остатка (достоверность прогноза 96 %), а также прогнозирования курсов валют на международном рынке электронной торговли валютами “FOREX” (достоверность прогноза 97 %).

Ключевые слова: поддержка принятия решений, интеллектуальный анализ данных, прогнозирование, временные ряды, нейронные сети.

Размещено на Allbest.ru

...