Методи аналізу та синтезу активаційних функцій при проектуванні нейронних мереж для прогнозування часових рядів

Размещено на http://www.allbest.ru/

ОДЕСЬКИЙ НАЦІОНАЛЬНИЙ ПОЛІТЕХНІЧНИЙ УНІВЕРСИТЕТ

05.13.23 - Системи та засоби штучного інтелекту

УДК 004.032.26:519.216.3

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

Методи аналізу та синтезу активаційних Функцій при проектуванні нейронних мереж для прогнозування часових рядів

Кондратюк Олександр

Васильович

Одеса - 2009

Дисертацією є рукопис.

Робота виконана в Одеському національному політехнічному університеті Міністерства освіти і науки України.

Науковий керівник доктор технічних наук, професор Крісілов Віктор Анатолійович, Одеський національний політехнічний університет, завідувач кафедри системного програмного забезпечення

Офіційні опоненти: доктор технічних наук, професор Тимченко Леонід Іванович, Державний економіко-технологічний університет транспорту, завідувач кафедри телекомунікаційних технологій та автоматики кандидат технічних наук, доцент Кондратенко Галина Володимирівна, Національний університет кораблебудування ім. адмірала Макарова, доцент кафедри комп'ютеризованих систем управління

Захист відбудеться 15 грудня 2009 року о 1330 годині на засіданні спеціалізованої вченої ради К 41.052.08 Одеського національного політехнічного університету за адресою: 65044, м. Одеса, проспект Шевченка,1, ауд. 400-А.

З дисертацією можна ознайомитись у бібліотеці Одеського національного політехнічного університету за адресою: 65044, м. Одеса, проспект Шевченка,1.

Автореферат розісланий 12 листопада 2009 р.

Вчений секретар спеціалізованої вченої ради О.С. Савєльєва

1. ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Показники переважної більшості спостережуваних процесів технічних систем, живих організмів і природних явищ можуть бути представлені у вигляді часових рядів (ЧР). Важливість їх прогнозування складно переоцінити в багатьох сучасних областях людської діяльності: економіці, бізнесі, медицині, соціології та ін. Задача прогнозування утворює важливий розділ інтелектуального аналізу даних. Одним з найбільш популярних підходів до її вирішення є нейромережеве моделювання.

Якість нейромережевого прогнозування визначається точністю результату, а також витратами на його здобуття: тривалістю проектування (структурним синтезом) і навчання (параметричним синтезом) штучної нейронної мережі (ШНМ). Сьогодні проблему підвищення якості прогнозування, як правило, вирішують за допомогою різних попередніх перетворень вхідних даних, що, проте, вимагає втручання в структуру цих даних і само по собі вже вимагає вагомих обгрунтувань. Доцільнішим представляється підходити до вирішення цієї проблеми з іншого боку - за допомогою цілеспрямованого налаштування самої ШНМ відповідно до особливостей конкретних досліджуваних даних.

Значний вклад у вирішення таких проблем внесли як вітчизняні (Глушков В. М., Івахненко О. Г., Куссуль Н. М., Тимченко Л. І. та ін.), радянські (Горбань О. М., Загоруйко М. Г., Колмогоров А. М. та ін.), так і іноземні вчені (Міркес Е. М., Такенс Ф., Уоссерман Ф., Хайкін С. та ін.).

Важливим фактором, що впливає на якість прогнозування, є здатність ШНМ за допомогою активаційної функції нейрону (АФН) варіювати вихід у відповідь на зміну вхідного сигналу, що фактично є чутливістю. Її ігнорування не дозволяє враховувати особливості варіаційних характеристик вхідних даних, що негативно відображається на якості нейромережевої обробки таких даних. В даний час процес вибору вида і параметрів АФН є неформалізованим. Формалізуючи цей етап синтезу ШНМ можна розраховувати на значне поліпшення результатів прогнозування. Таким чином, розробка методів аналізу та синтезу АФН при проектуванні ШНМ для прогнозування ЧР є актуальною.

Зв'язок роботи з науковими програмами, планами, темами. Дисертація виконувалася відповідно до завдань НДР Одеського національного політехнічного університету № 434-121 “Дослідження та проектування засобів інтелектуальної обробки даних” (номер держ. рег. № 0103U000036), № 1587-73 “Удосконалення методики рейтингового оцінювання наукової та науково-технічної діяльності вищих навчальних закладів Міністерства освіти та науки Україні” та № 613-73 “Дослідження та розробка інформаційної технології інтелектуальної обробки даних” (номер держ. рег. № 0105U007571).

Мета і завдання дослідження. Метою роботи є підвищення якості (точності) нейромережевого прогнозування часових рядів шляхом розробки і застосування методів аналізу та синтезу активаційних функцій нейронних мереж на основі цілеспрямованого керування їх чутливістю.

Для досягнення даної мети необхідно вирішити наступні завдання:

- проаналізувати сучасні методи прогнозування ЧР, виділити найбільш перспективний і визначити напрям його розвитку;

- розглянути відомі способи підвищення якості прогнозування і розвинути структурний підхід до підвищення якості прогнозування на базі аналізу зв'язку між статистичними характеристиками вхідних даних і АФН вхідного шару ШНМ;

- визначити поняття чутливості ШНМ і запропонувати кількісний показник її неузгодженості з вхідними даними як міри відповідності вида АФН вхідного шару мережі виду розподілу вхідних даних, а також за допомогою цього показника провести класифікацію типових видів розподілів досліджуваних даних;

- розробити метод аналізу АФН, що дозволить апріорно оцінити ефективність застосування певної АФН при проектуванні ШНМ для прогнозування ЧР;

- розробити метод параметричного синтезу АФН, що формалізує вибір виду і параметрів АФН на основі цілеспрямованого керування чутливістю ШНМ до вхідних даних;

- виконати практичну реалізацію розроблених методів у вигляді окремої програмної системи або одного з модулів існуючої інтелектуальної системи;

- проаналізувати ефективність реалізованих методів і впровадити розроблену систему для розв'язання практичних задач інтелектуального аналізу даних.

Об'єкт дослідження - процес аналізу та синтезу нейронних мереж.

Предмет дослідження - методи аналізу та синтезу активаційних функцій нейронних мереж для підвищення якості прогнозування часових рядів.

Методи дослідження. Приведені в дисертаційній роботі результати базуються на комплексному застосуванні методів математичної статистики і теорії ймовірностей на етапі розвитку структурного підходу до підвищення якості прогнозування і виявлення залежності між точністю прогнозування і мірою відповідності вида АФН виду розподілу вхідних даних; функціонального аналізу - на етапі розробки показника неузгодженості чутливості ШНМ з вхідними даними; теорії алгоритмів і теорії штучних нейронних мереж - на етапі розробки методів аналізу та синтезу АФН.

Наукова новизна отриманих результатів:

- отримав подальший розвиток структурний підхід до підвищення якості прогнозування часових рядів - на підставі апріорного аналізу і урахування статистичних характеристик вхідних даних проводиться визначення вида АФН і її параметрів, що дозволяє керувати чутливістю ШНМ і підвищувати якість прогнозування ще на ранніх етапах її синтезу;

- вперше виявлена залежність між точністю прогнозування і мірою відповідності вида АФН вхідного шару ШНМ виду розподілу вхідних даних - запропонований показник неузгодженості чутливості ШНМ з вхідними даними, що дозволяє кількісно визначати апріорну здатність ШНМ розпізнавати значення вхідних даних;

- отримав подальший розвиток метод аналізу АФН - цей етап формалізовано на основі виявленої залежності та розробленого показника неузгодженості чутливості ШНМ з вхідними даними і який дозволяє апріорно оцінити ефективність застосування певної АФН при проектуванні ШНМ для прогнозування часових рядів;

- отримав подальший розвиток метод параметричного синтезу АФН, запропонована модифікація якого заснована на цілеспрямованому керуванні чутливістю ШНМ і дозволяє підвищити точність прогнозування при порівнянних часових витратах на синтез ШНМ або понизити ці часові витрати при збереженні рівня точності прогнозування.

Практичне значення отриманих результатів. На основі запропонованих у дисертаційній роботі методів розроблена програмна система Neiro, яка пройшла попереднє експериментальне дослідження на спеціально спроектованих тестових наборах, а потім застосовувалася для розв'язання практичних задач інтелектуального аналізу даних. Теоретичні та практичні результати роботи використані:

- для розв'язання задачі побудови прогнозу об'ємів роздрібної реалізації світлих нафтопродуктів на автозаправних станціях прямого керування нафтової компанії ПІІ “Лукойл-Україна” в Одеському регіоні;

- для розв'язання задачі побудови прогнозу цін реалізації насіння соняшнику в компанії-постачальнику сільськогосподарської продукції ТОВ “Джамп Лтд” в Одеському регіоні;

- у навчальному процесі на кафедрі системного програмного забезпечення Одеського національного політехнічного університету в рамках дисциплін “Засоби інтелектуальної обробки інформації” і “Основи проектування систем штучного інтелекту”.

Застосування розробок дисертаційної роботи дозволило підвищити точність прогнозування при розв'язанні практичних задач в середньому на 37% у порівнянні з дослідженими статистичними методами і на 16% у порівнянні з застосуванням ШНМ без використання розроблених методів.

Особистий внесок здобувача. У наукових працях, опублікованих в співавторстві, авторові належать наступні результати. Виконано аналіз існуючих методів прогнозування ЧР і підвищення якості роботи ШНМ [4, 7, 8], зокрема способів підвищення інформативності вхідних даних [10]. Запропоновано подальший розвиток структурного підходу до підвищення якості прогнозування в задачах прогнозування ЧР [3], що частково формалізує етап структурного синтезу ШНМ [12]. Виявлена залежність між точністю прогнозування і мірою відповідності вида АФН вхідного шару виду розподілу вхідних даних, а також запропонований кількісний показник неузгодженості чутливості ШНМ з вхідними даними [6, 9]. За допомогою даного показника проведена класифікація типових видів розподілів. Результат оформлений у вигляді довідкових матеріалів для розробників ШНМ [6]. На основі розвитку структурного підходу, запропонованого показника і виявленої залежності, розроблені методи аналізу та синтезу АФН на основі керування чутливістю ШНМ [2, 11, 13]. Програмна реалізація методів застосована для розв'язання практичних задач прогнозування ЧР [1, 5, 14, 15].

Всі теоретичні і експериментальні дослідження, розробка методів і програмного забезпечення виконані автором самостійно.

Апробація результатів дисертації. Основні результати роботи докладалися і обговорювалися на: 5-й і 6-й Всеросійських науково-технічних конференціях “Нейроінформатика-2003” і “Нейроінформатика-2004” (Москва, Росія, 29-31 січня 2003 і 28-30 січня 2004), 3-му Російсько-українському науковому семінарі “Інтелектуальний аналіз інформації ІАІ-2003” (Київ, Україна, 21-23 травня 2003), 5-й і 7_й Міжнародних науково-практичних конференціях “Штучний інтелект - 2004” і “Штучний інтелект - 2006” (Кацивелі, Україна, 20-25 вересня 2004 і 24-29 вересня 2006), 5-й Міжнародній науково-практичній конференції “Тhe fifth National Conference on Information Technologies” (Гданськ, Польща, 20-23 травня 2007), 1-й Міжнародній конференції IEEE з інформаційних технологій “1st International IEEE Conference on Information Technology” (Гданськ, Польща, 18-21 травня 2008).

Публікації. Основні результати дисертаційної роботи викладені у 15 публікаціях наукових видань, з яких 6 статей (з них 1 одноосібна) в журналах і збірках наукових праць, що входять в перелік фахових видань, затверджених ВАК України, 6 праць у збірниках міжнародних наукових семінарів та конференцій.

Структура дисертації. Дисертація складається зі вступу, чотирьох розділів, висновків, викладених на 122 сторінках основного машинописного тексту, списку використаних джерел (123 найменування). Робота містить 44 рисунка, 18 таблиць та 11 додатків.

2. ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обгрунтована актуальність теми дисертаційної роботи, приведена її загальна характеристика. Сформульовано мету та завдання дослідження, розкрито наукову і практичну цінність отриманих результатів, а також наведено відомості про особистий внесок здобувача, апробацію роботи і публікації.

У першому розділі розглянуто нейромережеве прогнозування ЧР і проблему підвищення його якості. Приведені основні поняття і визначення області дослідження, розглянуті класифікації випадкових процесів, часових рядів і прогнозів та способи розрахунку показників якості прогнозування, а також виконана постановка задачі прогнозування ЧР.

У загальному вигляді ЧР можна представити таким чином:



де - детермінована складова ЧР; еt - стохастична (випадкова) складова ЧР.

Основний клас досліджуваних даних в роботі - це стаціонарні (у широкому сенсі) дискретні у часі випадкові процеси з безперервними станами, що описуються дискретними ЧР:

,

де ti - відліки часу; y(ti) - значення випадкової величини в ці моменти часу; m - кількість цих значень, .

Причому ЧР є повними, тобто такими, в яких дати реєстрації або закінчення періодів слідують один за одним з рівними інтервалами . Для представлення таких статистичних характеристик даних, як розподіл значень, використовується функція щільності розподілу для безперервних даних, та гістограма розподілу - для дискретних.

На базі виконаного огляду відомих методів прогнозування і запропонованої узагальненої багаторівневої їх класифікації зроблений висновок про доцільність розв'язання задачі прогнозування ЧР нейромережевими моделями. Задача прогнозування ЧР може бути розв'язана або як задача класифікації при дискретних вихідних значеннях, або як задача регресії при безперервних вихідних значеннях на основі нейронної моделі, що побудована в результаті аналізу такого ЧР. У роботі розглядається другий випадок і в якості прогнозуючої ШНМ використовується багатошаровий персептрон Румельхарта, що навчається за алгоритмом зі зворотнім поширенням помилки, який на сьогоднішній день є найбільш розповсюдженою і популярною ШНМ для розв'язку досліджуваного класу задач. При створенні навчальної вибірки для нейронної мережі використовувався метод “Ковзних вікон”, що базується на теоремі Такенса.

Також в роботі розглянуті методи верифікації і перевірки адекватності моделі прогнозування. Точність прогнозування в роботі характеризується середньоквадратичною помилкою (Mean Squared Error, MSE):

де yiП - прогнозне значення величини; yi - фактичне значення величини; n - кількість значень величини у контрольній вибірці.

У роботі розглянуті відомі способи підвищення якості прогнозування, проте, у більшості з них не передбачається, що важливе місце при цьому займає можливість попереднього аналізу і урахування статистичних характеристик досліджуваних даних шляхом налаштування АФН на етапі структурного синтезу, важливою частиною якого є визначення структури ШНМ і налаштування її нейронів. Адже саме це і дозволяє ефективно керувати чутливістю ШНМ і підвищувати якість прогнозування, бо якщо допущені помилки на цьому ранньому етапі синтезу, то їх вплив на якість прогнозування на порядок вагоміші, ніж на подальших етапах синтезу мережі. Наприклад, помилковий вибір АФН вхідного шару ШНМ не дозволить коректно врахувати характер розподілу вхідних даних, що приведе до пониження чутливості ШНМ до цих даних. Виглядає дана обставина як втрата інформативності вхідних даних і проявляється в пониженні точності прогнозування при збереженні витрат часу або у збереженні точності при зростанні витрат часу.

У другому розділі визначено чутливість ШНМ до вхідних даних як фактор підвищення якості прогнозування. Під чутливістю мережі до вхідних даних у роботі розуміється здатність ШНМ за допомогою АФН вхідного шару змінювати на виході нормовану за діапазоном різницю між значеннями вхідних даних. Таким чином, чутливість ШНМ визначається крутизною б АФН вхідного шару згідно наступної умови: якщо , то мережа володіє високою чутливістю, інакше - низькою. У виразі цієї умові позначена нормована за діапазоном різниця між значеннями вхідних і вихідних даних ШНМ ?x і ?y відповідно:

де xi, xi-1, xmax, xmin - i, (i-1), max и min значення на вході нейрону; yi, yi-1, ymax, ymin - i, (i_1), max и min значення на виході нейрону.

На рис.1а представлено два графіка сигмоїдальної АФН: з високою чутливістю yв(x) і з низькою - yн(x). На рис.1б також представлено два графіка: на нижньому - щільність розподілу вхідних даних yR(x), а на верхньому - АФН y(x) вхідного шару ШНМ. З графіків видно, що у загальному випадку існує три зони чутливості: “1” - зона високої чутливості, “2” - зона низької чутливості, “3” - зона з майже нульовою чутливістю, тобто цих даних ШНМ не сприймає при обробці. Зону [а,b] прийнято вважати робочим діапазоном АФН або діапазоном припустимих значень вхідних даних. Відомо, що для більшості ШНМ характерна наявність такого діапазону, в межах якого вхідні дані помітні. Відображення значень вхідних даних в цей діапазон в основному здійснюють за допомогою нормування, тобто певного перетворення (наприклад, лінійного масштабування) на етапі формування навчальної вибірки:

де [а,b] - діапазон припустимих значень вхідних даних; [xmin,xmax] - діапазон вхідних значень x; xн - нормоване значення х.

Рис. 1. Графіки АФН: а) з різною чутливістю, б) графіки відповідності шільності розподілу yR(x) вхідних даних та АФН y(x)

Найменш вивченим способом підвищення якості прогнозування є цілеспрямоване керування чутливістю ШНМ до вхідних даних, що дозволяє мережі краще розпізнавати окремі значення вхідних даних в певному заданому діапазоні, що виглядає як підвищення інформативності цих даних. Таким чином, чутливість ШНМ виступає в ролі певного критерію якості налаштування мережі і тому доцільно вирішувати задачу підвищення якості прогнозування як задачу керування чутливістю ШНМ до вхідних даних.

У роботі запропонований подальший розвиток структурного підходу до підвищення якості прогнозування ЧР нейромережевими моделями за рахунок апріорного використання існуючої статистичної інформації про досліджуваний процес. Такий підхід до керування чутливістю ШНМ грунтується на висновку про наявність певного зв'язку між видом розподілу вхідних даних і видом АФН вхідного шару багатошарового персептрону. Висновок будується на базі результатів дослідження поведінки різних видів АФН при різних видах розподілів вхідних даних, яке показало, що чим більше відповідність між ними, тобто чим більш тотожні їх нормовані функції, тим більш якісно використовується робочий діапазон АФН, тим краще чутливість ШНМ і вище якість прогнозування.

В даний час процес налаштування АФН визначається лише загальними вимогами, обумовленими використовуваним алгоритмом навчання ШНМ. Традиційно прийнято застосовувати одну і ту ж уніфіковану АФН для різних вхідних даних, що мають різні види розподілів значень. При цьому така АФН використовується неефективно, оскільки не враховується щільність розташування значень вхідних даних в заданому припустимому діапазоні.

Вирішити описану проблему можна завдяки попередньому аналізу вхідних даних з метою визначення видів їх розподілів, які враховуються завдяки вибору відповідного виду АФН вхідного шару ШНМ - кожне вхідне значення потрапляє на відповідну ділянку АФН із забезпеченням необхідного рівня чутливості. Якщо вид АФН вхідного шару мережі відповідає виду розподілу значень вхідних даних, то це дозволяє забезпечити рівноймовірність їх значень у заданому діапазоні і високу розрізнюваність їх нейронною мережею, що позитивно відображається на зростанні якості прогнозування, оскільки зменшує похибку перетворення мережею таких даних.

Керувати чутливістю ШНМ на основі принципу попереднього аналізу і урахування статистичних характеристик вхідних даних представляється можливим двома способами:

- перетворенням (перекодуванням) значень вхідних даних з метою зміни їх розподілу відповідно до виду використовуваної АФН у вхідному шарі ШНМ;

- цілеспрямованим налаштуванням виду і параметрів АФН в нейронах вхідного шару ШНМ відповідно до виду розподілу досліджуваних даних.

Перевага і доцільність другого способу обумовлюється тим, що налаштування АФН є всього лише однократною дією при синтезі ШНМ. Тоді як перший обумовлює необхідність втручання в саму структуру вхідних даних, що само по собі вже вимагає вагомих обгрунтувань, а також після закінчення синтезу мережі - процедури відновлення вихідного стану даних, тобто певного зворотнього перетворення, при якому не уникнути погрішності дискретизації і, як наслідок, втрати частини інформації.

Для цілеспрямованого синтезу АФН у роботі виявлена залежність між точністю прогнозування і мірою відповідності вида АФН вхідного шару ШНМ виду розподілу вхідних даних. Міру відповідності характеризує розроблений на основі відстані Хеммінга кількісний показник неузгодженості чутливості ШНМ з вхідними даними у вигляді величини К. У загальному випадку для вхідних даних, що є безперервними функціями безперервного аргументу і що мають чималу вибірку, величину К доцільно розраховувати таким чином:



де yAF(х) - функція першої похідної АФН; yR(х) - функція щільності розподілу значень ЧР; [а,b] - діапазон припустимих значень вхідних даних.

Для застосування в практичних задачах з вхідними даними, що є безперервними або дискретними функціями дискретного аргументу, показник неузгодженості приймає наступний вигляд:

де yAF(хi) - значення функції першої похідної АФН в i-й точці; yR(хi) - значення емпіричної функції щільності розподілу в i-й точці діапазону [а,b]; m - кількість значень ЧР.

На рис. 2а відображений випадок з безперервними вхідними даними, а на рис. 2б - з дискретними.

Геометрично показник неузгодженості позначає величину рівну площі незбігу фігур, обмежених порівнюваними функціями в заданому діапазоні [а,b] і віссю абсцис. Показник К є додатною безрозмірною величиною, яка безпосередньо залежить від величини відмінності між функціями yAF(х) і yR(х). Для досягнення найкращого значення чутливості ШНМ потрібна мінімізація цього показника. Використання показника К засноване на дослідженні і застосуванні міри розбіжності між цими функціями, за величиною якої можна побічно судити про точність прогнозування.

У роботі експериментально підтверджена залежність між точністю прогнозування і мірою відповідності вида АФН вхідного шару ШНМ виду розподілу вхідних даних, тобто показником К, і має вигляд як показано на рис. 3. На цьому рисунку приведені усереднені величини за даними результатів експериментів, а також лінія тренду виявленої залежності. Як видно з рис. 3 чим менше значення показника неузгодженості К при розрахунку деякої АФН, тим вище точність прогнозу у порівнянні з іншими дослідженими АФН. Для наочного представлення значущості показника неузгодженості на етапі налаштування мережі і його впливу на точність прогнозування проілюструємо залежність у взаємній поведінці точності прогнозу, що характеризується середньоквадратичною помилкою (MSE Ч 10-3) і показника К при різних видах АФН у вхідному шарі ШНМ, як показано на рис. 4.

На рис. 4 спостерігається пряма залежність в поведінці двох графіків, причому показник неузгодженості є більш інформативним, ніж результати експериментальних даних. Це дозволяє впевнено проводити налаштування АФН ще на етапі структурного синтезу і позбавляє експерта від трудомісткої процедури емпіричного підбору АФН за результатами багатократних експериментів. У роботі проводилися дослідження для основних відомих видів АФН, що задовольняють умовам алгоритму навчання багатошарового персептрону із зворотнім поширенням помилки: сигмоїдальних (логістичної “SL” і раціональної “SR”), експоненціальної “Exp”, лінійної “Lin” та синусоїдальної “Sin”.

У третьому розділі приведений розв'язок задачі підвищення якості прогнозування шляхом розробки методів аналізу та синтезу АФН нейронних мереж.

У роботі розроблено метод аналізу АФН, суть якого полягає у дослідженні ефективності застосування певної АФН у вхідному шарі при проектуванні ШНМ для прогнозування ЧР. Метод дозволяє апріорно оцінити цю ефективність за допомогою розробленого показника неузгодженості та полягає у виконанні наступної послідовності кроків:

1. Визначення емпіричного закону розподілу досліджуваних даних і побудова його гістограми розподілу.

2. Нормування значень досліджуваних даних у заданий припустимий діапазон нейронної мережі.

3. Обчислення показника неузгодженості для різних видів АФН.

4. Вибір тієї АФН, розрахункове значення показника неузгодженості для якої виявилося мінімальним

На підставі проведеного дослідження основних видів АФН для вхідних даних, що мають різні види типових розподілів, складена класифікація цих розподілів за допомогою показника неузгодженості як класифікаційної ознаки, що представлено в таблиці 1. В результаті аналізу таблиці 1 можна зробити наступні висновки: для нормального, Коши, Лапласа і логнормального розподілів найбільш рекомендованими є сигмоїдальні АФН; для Парето і експоненціального розподілів краще всього використовувати експоненціальну АФН; для рівномірного розподілу слід застосовувати лінійну АФН; для Бета розподілу - синусоїдальну АФН. Оскільки ця задача класифікації у загальному випадку є задачею з багатьма факторами, то в таблиці 1 представлені лише найкращі досягнуті значення показника неузгодженості для дослідженого набору АФН.

Також у роботі розроблено метод параметричного синтезу АФН, основною відмінністю якого від відомих є формалізація етапу визначення виду і параметрів АФН на етапі структурного синтезу на основі керування чутливістю ШНМ, що дає можливість значно підвищити точність прогнозування при порівнянних часових витратах на синтез мережі.

Основний елемент ШНМ - формальний нейрон, що здійснює операцію нелінійного перетворення суми добутків вхідних сигналів на вагові коефіцієнти:

де yout - сигнал на виході нейрону; xi - сигнал на вході нейрону; wi - ваги на блоці нейрона, що підсумовує; g - кількість вагів wi; y - АФН.

Оскільки елемент, що підсумовує і входить до складу нейрону, спотворюватиме розподіл вхідної величини, то для функціонування даного методу накладається наступна умова для кожного нейрону вхідного шару:

де wi - ваги на блоці нейрона, що підсумовує; g - кількість вагів wi.

Суть методу параметричного синтезу АФН полягає у виборі виду АФН вхідного шару багатошарового персептрону і точному налаштуванні її параметрів на етапі структурного синтезу у відповідності з видом розподілу вхідних даних і полягає у виконанні послідовності кроків:

1. Визначення розподілу досліджуваних даних у вигляді емпіричної функції щільності розподілу та побудови гістограми розподілу.

2. Якщо вид розподілу досліджуваних даних відповідає типовим (із заданою точністю), що приведені в таблиці 1, тобто значення показника неузгодженості є відомим, то вибір вида АФН проводиться згідно з даними цієї таблиці. Інакше, для розподілу досліджуваних даних потрібно обчислити значення показника неузгодженості і зробити відповідний вибір АФН по його найменшому значенню. Взагалі визначення виду закону розподілу значень досліджуваних даних здійснюється за допомогою аналізу гістограми розподілу, оцінок коефіцієнтів асиметрії і ексцесу.

3. Налаштування параметрів вибраної АФН. Задача налаштування параметрів полягає у наближенні функції yR(хi), заданою вхідною вибіркою точок, за допомогою функції yAF(хi). Рішення може бути представлене як ітераційний процес мінімізації показника К в заданих точках досліджуваної функції yR(хi) шляхом підбору функції yAF(xi) та її параметрів за умови балансу узгодженості АФН вхідного шару ШНМ і розподілу вхідних даних:



де Кi - значення показника неузгодженості при різних видах АФН; z - кількість видів досліджених АФН. Причому,

де Kб - значення показника неузгодженості для певної АФН при різних значеннях б; б - параметр кривизни АФН; [d1,d2] - діапазон дослідження параметра б. штучний нейронний мережа інтелектуальний

Кількість ітерацій даного процесу може бути обмежена за умови досягнення допустимої точності прогнозу. Таким чином, цю задачу можна звести до двокрокової однопараметричної задачі оптимізації.

У роботі розроблений алгоритм підвищення якості прогнозування, який регламентує порядок застосування запропонованих методів і представлено на рис. 5. В алгоритмі визначаються наступні параметри прогнозування: період, горизонт і момент прогнозування, припустима точність прогнозування та ін. Також в алгоритмі позначено перевірку трьох умов: 1 - перевірка відповідності вида АФН вхідного шару ШНМ виду розподілу вхідних даних, 2 - перевірка відповідності отриманої помилки навчання (або часу навчання) та її припустимого значення, 3 - перевірка відповідності отриманої помилки прогнозу та її припустимого значення.

На базі методу параметричного синтезу АФН також надані рекомендації з вибору вида АФН для прихованого і вихідного шарів ШНМ на підставі двох висунутих положень, які носять характер гіпотез, суть яких полягає у наступному:

- види АФН для прихованого і вихідного шарів при розв'язанні задачі прогнозування ЧР мають бути однакові, оскільки процеси видозміни розподілів значень в них однакові;

- на основі принципу центральної граничної теореми теорії ймовірностей і проведення аналогії з процесами в шарах ШНМ зроблений попередній висновок про те, що вид розподілу на виході прихованого і вихідного шарів намагається добігти до нормального, тому рекомендованими АФН для цих шарів є сигмоїдальні.

У четвертому розділі розроблена програмна система-нейроемулятор Neiro, що призначена для розв'язку задачі побудови прогнозу ЧР на основі розроблених методів аналізу та синтезу АФН. У роботі обгрунтовано призначення системи; описаний її склад, включаючи опис функціональних блоків і структуру їх взаємодії; приведено опис об'єктно-орієнтованої моделі прогнозуючої ШНМ і верифікацію роботи системи.

Проведено аналіз результатів попередніх експериментів з апробації застосування розробок дисертаційної роботи для прогнозування спеціально сформованих тестових наборів вхідних даних, що мають розповсюджені основні типові види розподілів. Аналіз показав, що цілеспрямований вибір АФН дозволяє значно підвищити точність прогнозування, яка зросла в середньому на 8 % у порівнянні з застосуванням інших видів досліджених АФН.

Також проведений аналіз результатів впровадження запропонованих в роботі наукових і програмних розробок для розв'язання практичних задач:

1. Задача побудови прогнозу об'ємів роздрібної реалізації світлих нафтопродуктів на АЗС нафтової компанії ПІІ “Лукойл-Україна”. Вихідними даними по кожній з 44-х АЗС Одеського регіону служив ЧР об'ємів реалізації бензину А-95 в літрах на підставі внутрішньої статистики компанії за період з 01.08.2005 р. по 30.11.2006 р. з інтервалом 1 доба.

2. Задача побудови прогнозу цін реалізації насіння соняшнику для компанії-постачальника сільськогосподарської продукції ТОВ “Джамп Лтд”. Вихідними даними служив ЧР цін реалізації насіння соняшнику в гривнях за тонну на підставі даних архіву Державного комітету статистики України і внутрішнього архіву компанії за період з 01.2003 р. по 05.2007 р. з інтервалом 1 тиждень.

Параметри прогнозів і конфігурації прогнозуючих ШНМ представлені у таблиці 2.

Прогнозованість всіх ЧР перевірялася за допомогою автокореляційного аналізу, що визначав наявність ретроспективної залежності між членами ряду. Всі ЧР аналізувалися на стаціонарність та ергодичність. Випадковий процес, що породжує ЧР вхідних даних в задачі побудови прогнозу об'ємів реалізації нафтопродуктів представляє собою стаціонарний ергодичний (у широкому сенсі) випадковий процес, а в задачі побудови прогнозу цін реалізації насіння соняшнику - стаціонарний (за математичним чеканням) випадковий процес.

З метою порівняльного аналізу побудовані прогнози за допомогою різних методів прогнозування - результати приведено на рис. 6. Нейромережевий метод реалізовано багатошаровим персептроном з фіксованими АФН у всіх шарах (використовується SL при б = 1). Нейромережевий модифікований метод представляє собою результат втілення розробок дисертаційної роботи, тобто такий багатошаровий персептрон володіє можливістю гнучкого варіювання виду і параметрів АФН у всіх шарах ШНМ. Порівняння методів відбувалося відносно гіршого з досліджених у межах певної задачі.

В цілому застосування розробок дозволило підвищити точність побудови прогнозу при розв'язанні практичних задач в середньому на 37% у порівнянні з дослідженими статистичними методами і на 16% у порівнянні з застосуванням ШНМ без використання розроблених методів. Це дало можливість підвищити економічну ефективність компаній: оперативний прибуток за період експлуатації програми Neiro в середньому виріс на 7%, що підтверджується відповідними документами про впровадження.

У додатках наведені результати експериментів з дослідження впливу різних АФН у шарах ШНМ на якість її навчання і прогнозування, детальні результати порівняння прогнозів різними методами, параметри моделей прогнозування та довідки про впровадження результатів дослідження.

ВИСНОВКИ

У дисертаційній роботі розроблені методи аналізу та синтезу активаційних функцій нейронних мереж на основі цілеспрямованого керування їх чутливістю, що дозволило підвищити точність нейромережевого прогнозування часових рядів при порівнянних часових витратах на синтез ШНМ або понизити ці часові витрати при збереженні рівня точності прогнозування. Під час проведення дисертаційного дослідження отримані такі основні результати:

1. Проведений аналіз сучасних методів прогнозування ЧР; запропонована їх узагальнена багаторівнева класифікація; виділений нейромережевий метод як найбільш перспективний для розв'язання даного класу задач, а також визначений напрямок його розвитку в рамках даної роботи.

2. Проаналізована проблема підвищення якості нейромережевого прогнозування у рамках синтезу ШНМ, а також відомі способи її підвищення. Проведено класифікацію існуючих видів помилок прогнозування та запропоновано порядок їх використання для оцінки точності моделей прогнозування.

3. Розвинуто структурний підхід до підвищення якості прогнозування на базі дослідження зв'язку між статистичними характеристиками вхідних даних і АФН вхідного шару мережі, внаслідок чого виявлена залежність між точністю прогнозування і мірою відповідності вида АФН вхідного шару ШНМ виду розподілу вхідних даних.

4. Визначено поняття чутливості ШНМ до вхідних даних і розроблено кількісний показник її неузгодженості з цими даними як міри відповідності вида АФН вхідного шару мережі виду розподілу вхідних даних, а також за допомогою цього показника проведена класифікація типових видів розподілів вхідних даних. Результат оформлено у вигляді довідкових матеріалів для розробників ШНМ.

5. На основі керування чутливістю ШНМ розроблені методи аналізу та параметричного синтезу АФН, що дозволяють апріорно оцінювати ефективність застосування певних АФН у вхідному шарі мережі, а також формалізувати вибір їх виду і налаштування параметрів при проектуванні ШНМ. На базі методу параметричного синтезу АФН надані рекомендації з вибору виду АФН для прихованого і вихідного шарів ШНМ. На основі запропонованих методів розроблений алгоритм підвищення якості нейромережевого прогнозування.

6. Виконана практична реалізація розроблених методів у вигляді окремої програмної системи-нейроемулятора Neiro і проаналізована її ефективність на основі попереднього експериментального дослідження на спеціально спроектованих тестових наборах вхідних даних. Дослідження показало, що вибір рекомендованої АФН, що здійснюється на основі запропонованих в роботі методів, дозволяє підвищити точність прогнозування, яка зросла в середньому на 8 % у порівнянні з застосуванням інших видів досліджених в роботі АФН.

7. Проведено впровадження розробок дисертаційної роботи у навчальний процес Одеського національного політехнічного університету та на виробничих підприємствах Одеського регіону для розв'язання практичних задач побудови прогнозів: об'ємів роздрібної реалізації світлих нафтопродуктів для автозаправних станцій прямого керування нафтової компанії ПІІ “Лукойл-Україна” та цін реалізації насіння соняшнику для сільськогосподарської компанії ТОВ “Джамп Лтд”.

8. Застосування розроблених в дисертаційній роботі методів і програмних засобів дозволило підвищити точність побудови прогнозу при розв'язанні практичних задач в середньому на 37% у порівнянні з дослідженими статистичними методами і на 16% у порівнянні з застосуванням ШНМ без використання розроблених у роботі методів.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Крисилов В. А. Ускорение обучения нейронных сетей за счет адаптивного упрощения обучающей выборки / В. А. Крисилов, А. В. Кондратюк, К. В. Чумичкин // Тр. Одес. политехн. ун-та.: научный и производственно-практический сборник по техническим и естественным наукам. - Одесса. - 2005. Вып. - 1(23). - 307 с. - Яз. рус., укр. - С. 75-78.

2. Крисилов В. А. Метод повышения чувствительности нейронной сети к исходным данным / В. А. Крисилов, А. В. Кондратюк, К. В. Чумичкин // Штучний інтелект. - 2006. - № 4. - С. 290-296.

3. Кондратюк А. В. Структурный подход к сохранению информативности данных в задачах прогнозирования временных рядов / А. В. Кондратюк // Сборник научных трудов Донбасского государственного технического университета: Спецвыпуск: Информационные технологии в научных исследованиях и учебном процессе: мат-лы II Международ. науч.-практ. конф., 14-16 ноября 2006 г., г. Луганск. - Алчевск: ДонГТУ; Луганск: ЛНПУ. - 2006. - 248 с. - С. 75-81.

4. Юдин С. А. Формирование пространства признаков для обучающей выборки в задачах прогнозирования финансовых временных рядов / С. А. Юдин, А. В. Кондратюк // Системні технології. Регіональний міжвузівський збірник наукових праць. - Випуск 6 (53). - Дніпропетровськ. - 2007. - 260 с. - С. 229-234.

5. Юдин С. А. Решение задачи формирования пространства признаков при прогнозировании временных рядов средствами кластерного анализа / С. А. Юдин, А. В. Кондратюк, В. А. Крисилов // Штучний інтелект. - 2007. - № 4. - С. 665-671.

6. Кондратюк А. В. Показатель чувствительности нейронной сети к входным данным / А. В. Кондратюк, К. В. Чумичкин // Штучний інтелект. - 2008. - № 1. - С. 158-164.

7. Крисилов В. А. Представление исходных данных в задачах нейросетевого прогнозирования / В. А. Крисилов, К. В. Чумичкин, А. В. Кондратюк // Сборник научных трудов. В 2-х частях : научная сессия МИФИ-2003. V Всероссийская научно-техническая конференция “Нейроинформатика-2003”. - М.: МИФИ. - 2003. - Ч.1. - 244 с. - С. 184-191.

8. Крисилов В. А. Ускорение синтеза прогнозирующих нейронных сетей / В. А. Крисилов, Д. Н. Олешко, А. В. Кондратюк, К. В. Чумичкин // Сб. тр. ІІІ рос.- укр. науч. семинара “Интеллектуальный анализ информации” (ИАИ-2003). - Киев: КПИ. - 2004. - С. 12.

9. Крисилов В. А. Преобразование входных данных нейросети с целью улучшения их различимости / В. А. Крисилов, А. В. Кондратюк // Научная сессия МИФИ-2004. VI Всероссийская научно-техническая конференция “Нейроинформатика-2004”: Стендовый доклад. Программа конференции. - М.: МИФИ. - 2004. - С. 18.

10. Крисилов В. А. Преобразование входных данных нейросети с целью повышения информативности их значений в задачах прогнозирования временных рядов / В. А. Крисилов, А. В. Кондратюк, К. В. Чумичкин // Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій: Матеріали науково-практичної конференції. - Херсон: Видавництво Херсонського морського інституту. - 2005. - Том 5. -100 с. - С. 46-49.

11. Кондратюк А. В. Метод повышения чувствительности нейронных сетей, обучаемых с учителем, в задачах прогнозирования временных рядов / А. В. Кондратюк, В. А. Крисилов // Известия ТРТУ. Тематический выпуск “Интеллектуальные и многопроцессорные системы”. - Таганрог: Изд-во ТРТУ. - 2006. - № 16 (71). - 118 с. - C. 65-69.

12. Кондратюк А. В. Формализация выбора активационной функции нейронов в нейронных сетях, обучаемых с учителем для задач прогнозирования временных рядов / А. В. Кондратюк, В. А. Крисилов // Нейросетевые технологии и их применение. Сборник трудов международной научной конференции “Нейросетевые технологии и их применение”. - Краматорск: ДГМА. - 2007. - 166 c. - С. 100-105.

13. Kondratiuk О. Formalization of the structural synthesis of neural networks for the purposes of forecasting of time series / О. Kondratiuk, V. Krisilov // Vth National Conference on Information Technologies. Gdansk. Poland. ETI. - 2007. - V. 13. - P. 499-506.

14. Кондратюк А. В. Исследование эффективности представления данных для нейронных сетей в задаче прогнозирования финансовых временных рядов / А. В. Кондратюк, С. А. Юдин // Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій: матеріали науково-практичної конференції. - Херсон: ПП Вишемирський В.С. - 2007. -Том 3. - 212 с. - С. 40-41.

15. Kondratiuk O. Approach to solution of the task of attribute space formation with the time series prediction based on cluster analysis / O. Kondratiuk, S. Yudin, V. Krisilov // Proceedings of the 2008 1st International IEEE Conference on Information Technology. Gdansk University of Technology. IT2008. Poland. IEEE Catalog Number CFP0825E-PRT. Library of Congress 2008901868. - 2008. - P. 435-438.

АНОТАЦІЯ

Кондратюк О. В. Методи аналізу та синтезу активаційних функцій при проектуванні нейронних мереж для прогнозування часових рядів. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - Системи та засоби штучного інтелекту. - Одеський національний політехнічний університет, Одесса, 2009.

Метою даної роботи є підвищенню якості (точності) нейромережевого прогнозування часових рядів шляхом розробки і застосування методів аналізу та синтезу активаційних функцій нейронних мереж на основі цілеспрямованого керування їх чутливістю.

У роботі запропонований розвиток структурного підходу до підвищення якості нейромережевого прогнозування на базі попереднього аналізу і урахування статистичних характеристик вхідних даних.

Виявлена залежність між точністю прогнозування і мірою відповідності вида активаційних функцій вхідного шару нейронної мережі виду розподілу вхідних даних, а також за допомогою введеного показника неузгодженості чутливості нейронної мережі з вхідними даними проведена попередня оцінка величини такої відповідності.

На базі розвитку структурного підходу і виявленої залежності отримали розвиток методи аналізу та синтезу активаційних функцій нейронної мережі. Метод аналізу дозволяє апріорно оцінити ефективність застосування певної активаційної функції за допомогою розробленого показника неузгодженості. Запропонована модифікація методу параметричного синтезу АФН заснована на керуванні чутливістю нейронної мережі і дозволяє формалізувати етап визначення виду і параметрів активаційних функцій, що дозволяє підвищити точність прогнозування при порівнянних часових витратах на синтез нейронної мережі.

Розроблені методи реалізовані у вигляді програмної системи Neiro. Результати застосування на практиці наукових і програмних розробок дисертаційної роботи забезпечують підвищення точності побудови прогнозу в середньому на 37% у порівнянні з дослідженими статистичними методами і на 16% у порівнянні з використанням нейронних мереж без застосування запропонованих методів.

Ключові слова: штучні нейронні мережі, часові ряди, прогнозування, інтелектуальний аналіз даних.

Kondratiuk O.V. Methods of analysis and synthesis of activation functions by designing of neural networks for time series forecasting. - Manuscript.

Thesis for obtaining the candidate of technical science degree (Ph.D) on the speciality 05.13.23 - Systems and instruments of artificial intelligence. - Odessa National Polytechnic University, Odessa, 2009.

The aim of this work is improvement of property (accuracy) of neural network forecasting of time series by development and using methods of analysis and synthesis of activation functions of neural networks on the base of purposeful control their sensitivity.

In work is offered development of structural approach to improvement of property of neural network forecasting on the base of preliminary analysis and account of statistical characteristics of input data.

It is discovered dependence between the accuracy of forecasting and the measure of concordance of type activation function of the input layer neural network to the type of distribution input data and also it is performed preliminary estimate of the amount such accordance by entered index of conformity sensitivity neural network to input data.

On the base of the development structural approach and dependence is discovered, is gotten development the methods of analysis and synthesis of the activation functions neural network. The method of analysis allows a priori estimate using efficiency of one or another activation function by developed index of conformity. The modified method parametritic synthesis is based on control of sensitivity neural network and allows to formalize the stage of determination type and parameters of activation functions, which allows improve forecasting accuracy by comparable time costs for neural network synthesis.

The methods developed were used as a neuroemulator Neiro. The practice results of scientific and software development in this work provides improvement of build accuracy forecasting on the average on 37% by comparison to researched statistical methods and on 16% by comparison to using neural networks without participation propositioned methods.

Keywords: artificial neural networks, time series, forecasting, intellectual analysis of data.

Кондратюк А. В. Методы анализа и синтеза активационных функций при проектировании нейронных сетей для прогнозирования временных рядов. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - Системы и средства искусственного интеллекта. - Одесский национальный политехнический университет, Одесса, 2009.

Целью данной работы является повышение качества (точности) нейросетевого прогнозирования временных рядов путем разработки и применения методов анализа и синтеза активационных функций нейронных сетей на основе целенаправленного управления их чувствительностью.

В работе проанализирована проблема повышения качества нейросетевого прогнозирования в рамках синтеза нейронных сетей, а также известные способы её повышения. Проведена классификация существующих видов ошибок прогнозирования и предложен порядок их использования для оценки точности моделей прогнозирования.

Предложено развитие структурного подхода к повышению качества нейросетевого прогнозирования на базе предварительного анализа и учета статистических характеристик исследуемых данных.

Определено понятие чувствительности нейронной сети к входным данным и разработан количественный показатель её несогласованности с этими данными как меры соответствия вида активационной функции входного слоя сети виду распределения входных данных, а также с помощью этого показателя проведена классификация типовых видов распределений входных данных. Результат оформлен в виде справочных материалов для разработчиков нейронных сетей.

Выявлена зависимость между точностью прогнозирования и мерой соответствия вида активационной функции входного слоя нейронной сети виду распределения входных данных, а также с помощью введенного показателя несогласованности чувствительности нейронной сети с входными данными проведена предварительная оценка величины такого соответствия.

На базе развития структурного подхода и выявленной зависимости получили развитие методы анализа и синтеза активационных функций нейронной сети. Метод анализа позволяет априорно оценить эффективность применения определенной активационной функции с помощью разработанного показателя несогласованности. Предложенная модификация метода параметрического синтеза активационных функций основана на управлении чувствительностью нейронной сети и позволяет формализовать этап определения вида и параметров активационных функций, что позволяет повысить точность прогнозирования при сопоставимых временных затратах на синтез нейронной сети.

Разработанные методы реализованы в виде программной системы-нейроэмулятора Neiro. Её эффективность проанализирована на основе предварительного экспериментального исследования на специально спроектированных тестовых наборах входных данных. Исследование показало, что выбор рекомендуемой активационной функции, который производится на основе предложенных в работе методов, позволяет повысить точность прогнозирования в среднем на 8% по сравнению с применением других видов исследованных в работе активационных функций.

Проведено внедрение разработок диссертационной работы в учебный процесс Одесского национального политехнического университета и на производственных предприятиях Одесского региона для решения практических задач построения прогнозов: объемов розничной реализации светлых нефтепродуктов для автозаправочных станций прямого управления нефтяной компании ПИИ “ЛУКОЙЛ-Украина” и цен реализации семян подсолнечника для сельскохозяйственной компании ООО “Джамп Лтд”.

...