Комбіноване навчання еволюційної нейро-фаззі системи

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Комбіноване навчання еволюційної нейро-фаззі системи

Дейнеко А.О., Плісс І.П., Бодянський Є.В.

Дейнеко А.О., Плісс І.П., Бодянський Є.В.

Комбіноване навчання еволюційної нейро-фаззі системи

Запропоновано архітектуру еволюційної нейро-фаззі системи, що не схильна до прокльону розмірності, здатна обробляти інформацію в режимі реального часу, адаптуючи при цьому свої параметри і структуру до умов задачі. У якості активаційних функцій було використано ядерні функції.

Ключові слова: еволюційна нейро-фаззі система, нормалізована радіально-базисна нейронна мережа, узагальнена регресійна нейро-фаззі мережа, нечітка машина опорних векторів, ядерна функція активації.

Дейнеко А. А., Плисс И. П., Бодянский Е. В.

Комбинированное обучение эволюционной нейро-фаззи системы

Предложена архитектура эволюционной нейро-фаззи системы, которая не склонна к проклятию размерности, способна обрабатывать информацию в режиме реального времени, адаптируя при этом свои параметры и структуру к условиям задачи. В качестве активационных функций были использованы ядерные функции активации.

Ключевые слова: эволюционная нейро-фаззи система, нормализованная радиально-базисная нейронная сеть, обобщенная регрессионная нейро-фаззи сеть, нечеткая машина опорных векторов, ядерная функция активации.

Deineko A. A., Pliss I. P., Bodyanskiy Ye.

Evolving neuro-fuzzy system combined learning

In this work the evolving neuro-fuzzy system with kernel activation function that contains fuzzy support vector machine, normalized radial basis function neural network and general regression neuro-fuzzy network as subsystems is proposed. This network is tuned using both optimization and memory based approaches and does not inclined to the “curse of dimensionality”, is able to real time mode information processing by adapting its parameters and structure to problem conditions.

Key words: evolving neuro-fuzzy system, normalized radial-basis function neural network, general regression neuro-fuzzy network, fuzzy support vector machine, kernel activation function.

Вступ

В цей час штучні нейронні мережі отримали широке поширення для вирішення різноманітних задач Data Mining, інтелектуального управління, прогнозування, розпізнавання образів тощо, в умовах невизначеності, нелінійності, стохастичності, хаотичності, різного роду збурень і завад, завдяки своїм універсальним апроксимуючим властивостям і можливостi навчання за даними, що характеризують функціонування явища або об`єкта, що дослiджуються.

Процес навчання, як правило, грунтується на використанні тієї або іншої процедури оптимізації прийнятого критерію, при цьому швидкість збіжності такої процедури може бути досить низькою, особливо при навчанні багатошарових мереж, що створює істотні проблеми в ситуаціях, коли навчальна вибірка задана не пакетом, а у вигляді послідовності спостережень, що надходять у on-line режимі.

Прискорити цей процес можливо в нейронних мережах, чий вихідний сигнал лінійно залежить від синаптичних ваг, наприклад, радіально-базисних (RBFN) [1,2] і нормалізованих радіально-базисних (NRBFN) [3,4] нейронних мереж, однак, їх використання часто ускладнюється, так званим, прокльоном розмірності. І справа тут зовсім не у виникаючих обчислювальних складнощах, а в тому, що наявних даних просто може не вистачити для визначення великої кількості синаптичних ваг.

Альтернативою навчанню, яке базується на оптимізації, є навчання, що базується на пам'яті [3] і пов'язане з концепцією «нейрони в точках даних» [5]. Найбільш характерним представником систем, навчання яких засновано на цьому принципі, є узагальнені регресійні нейронні мережі [6], проте, по-перше, вони вирішують задачу інтерполяції, а не апроксимації, а, по-друге, кількість нейронiв в цих мережах визначається числом спостережень у навчальній вибірці.

Є доцільною розробка системи, яка в процесі настроювання використовувала б обидва принципи навчання, налаштовуючи при цьому не тiльки синаптичні ваги, але і свою архітектуру, еволюціонуючи у часі і пристосовуючись до розв'язуваної задачі [7]. Спроба синтезу такої мережі була зроблена в [8,9], де запропонована система складалася з кількох паралельно працюючих нейронних мереж з однаковою архітектурою, але навчених на основі різних принципів, і блоку оптимізації,що об`єднує виходи цих мереж та синтезує оптимальний вихідний сигнал системи в цілому.

У порівнянні з нейронними мережами більші можливості мають нейро-фаззі системи [2,10-12], що поєднують в собі можливості до навчання, апроксмімаціі та лінгвістичної інтерпретації отриманих результатів. Найбільшого поширення серед цих систем отримала ANFIS [10], вихідний шар якої може бути налаштований за допомогою традиційних процедур ідентифікації. Загалом же абсолютна бiльшiсть нейро-фаззі систем навчається на основі тих чи інших процедур оптимізації.

У зв'язку з цим, доцiльним є поширєння підходу, що використаний у [8,9], на навчання нейро-фаззі систем.

Архітектура нейро-фаззі системи та її навчання на основі оптимізації

Архітектура еволюційної нейро-фаззі системи, що розглядається, наведена, на рис.1 і складається з п'ятьох послідовно з'єднаних шарів. На вхідний (нульовий) шар подається - вимірний вектор вхідних сигналів,, що підлягає обробці. Перший прихований шар містить функцій належності, і виконує фаззіфікацію вхідних змінних, при цьому значення може змінюватися в процесі навчання (еволюції) системи. Другий прихований шар здійснює агрегування рівнів належностей, обчислених у першому шарі, і складається з блоків множення. Третій прихований шар - це шар синаптичних ваг, що підлягають визначенню в процесі навчання системи. Четвертий шар утворено двома суматорами й обчислює суми вихідних сигналів другого й третього шарів. І, нарешті, у п'ятому (вихідному) шарі проводиться нормалізація, в результаті якої обчислюється вихідний сигнал системи .

Таким чином, якщо на вхід системи поданий векторний сигнал, елементи першого шару обчислюють рівні належності , при цьому в якості функцій належності використовуються дзвонуваті конструкції з не строго локальним рецепторним полем, що дозволяє уникнути виникнення «дір» у фаззіфікованому просторі [4]. Найчастіше це ґавсіани

,

де - параметр центру, - параметр ширини, що обирається емпірично або настроюється в процесі навчання за допомогою процедури зворотного поширення помилок. Помітимо також, що попереднє нормування даних на обмежений інтервал, наприклад, , у ряді випадків спрощує обчислення, оскільки параметр ширини може бути прийнятий однаковим для всіх компонентів вхідного вектора-образа.

На виходах другого прихованого шару обчислюються аґреґовані значення , при цьому для ґавсіанів з однаковими параметрами ширини

,

(тут), тобто блоки системи обведені пунктиром, фактично обробляють інформацію як радіально-базисні нейрони ( -нейрони) нейронних мереж.

Виходами третього прихованого шару є значення

(тут - синаптичні ваги), четвертого -

і

й, нарешті, на виході системи в цілому з'являється сигнал

(1)

де

Нескладно бачити, що розглянута система реалізує нелінійне відображення входів у вихідний сигнал подібно нормалізованій радіально-базисній мережі (NRBFN), а по архітектурі збігається із системами Такаґі-Суґено-Канґа нульового порядку [10, 13], Ванґа-Менделя [1, 11, 14] і структурою Ларсена [2].

Навчання синаптичних ваг цих систем (надалі будемо позначати їх ) здійснюється шляхом оптимізації (мінімізації) критерію навчання

нейронна система адаптивна еволюційна

,(2)

що веде до стандартної оцінки найменших квадратів

,(3)

де - зовнішній навчальний сигнал.

Рис. 1 - Еволюційна нейро-фаззі система

Вводячи у розгляд -матрицю значень функцій і -вектори , , можна переписати співвідношення (1) - (3) у вигляді

,

,

.(4)

Якість апроксимації, що забезпечується розв'язком задачі оптимізації, у ряді випадків можна підвищити, використовуючи замість критерію навчання (4), його регуляризовану модифікацію

,

що веде до ридж-оцінок синаптичних ваг

,(5)

де - параметр регуляризації, - одинична матриця.

Якщо дані надходять на обробку послідовно в on-line режимі, для отримання оцінок (3)-(5) може бути використаний рекурентний метод найменших квадратів:

,

,

причому для ридж-оцінки (5) у якості початкових умов приймається

.

Узагальнена регресійна нейро-фаззі система

Як відзначалося вище, альтернативою навчанню, заснованому на оптимізації, є навчання, яке базується на пам'яті, що лежить в основі узагальненої регресійної нейронної мережі (GRNN). В [15 - 17] була запропонована узагальнена регресійна нейро-фаззі мережа (GRNFN), що є поширенням мережі Шпехта на нейро-фаззі архітектуру, наведену на рис. 1, та яка має низку переваг у порівнянні зі своїм нейромережевим прототипом.

Синтез, навчання й еволюція GRNFN відбуваються в такий спосіб. Вектори навчальної вибірки , попередньо нормуються так, що , після чого для кожного з у першому прихованому шарі формується власний набір функцій належності так, що їх центри співпадають з, тобто

.

Одночасно з формуванням функцій належності першого прихованого шару в третьому шарі відбувається установка синаптических ваг (індексом GF позначено параметри й сигнали GRNFN), які покладаються рівними навчальним сигналам . Таким чином, при подачі на вхід GRNFN довільного сигналу , в першому прихованому шарі обчислюються рівні належності, у другому шарі відбувається їхнє агрегування шляхом формування багатовимірних функцій

у третьому шарі обчислюються добутки , четвертий шар обчислює значення сигналів і й, нарешті, у вихідному шарі формується оцінка вихідного сигналу

.

Процес навчання GRNFN може протікати як у пакетному режимі, коли задані навчальна вибірка й максимальне число функцій належності для кожного входу , так і в on-line режимі, коли пари надходять на обробку послідовно, формуючи багатовимірні функції . При цьому досить просто організувати процес виключення спостережень, що містять не суттеву інформацію. Якщо для якогось виконується нерівність

(6)

(тут - найменша відстань між і раніше сформованими центрами функцій належності), то не формує нову й виключається з розгляду. Помітимо, що в нейро-фаззі системі з одновимірними функціями, граничний параметр і відстань визначити значно простіше ніж в GRNN з багатовимірними функціями активації, де загальна рекомендація до вибору визначається малим перекриттям сусідніх багатовимірних ґавсіанів [18].

Роботу GRNFN нескладно організувати в режимі безперервного еволюціонування, що важливо при обробці суттєво нестаціонарних сигналів. Тут можливе використання двох підходів: на ковзному вікні з спостережень, коли при надходженні на вхід системи навчальної пари , у першому й третьому шарах виключаються всі й , а замість них установлюються й , і заснований на нерівності (6). У цьому випадку нова пара замінює найближчу до неї пару «старих» даних.

Оскільки процес навчання відбувається практично миттєво, еволюція нейро-фаззі системи також відбувається дуже швидко.

Нечітка машина опорних векторів

Своєрідним гібридом систем, які базуються як на оптимізації, так і на пам'яті одночасно, є машини опорних векторів (SVM), які є нейронними мережами, що збігаються по архітектурі з RBFN і GRNN, їх синаптичні ваги визначаються в результаті розв'язання задачі оптимізації, а центри активаційних функцій установлюються за принципом «нейрони в точках даних». І хоча ці мережі мають цілу низку безсумнівних переваг [19, 20], їхнє навчання з обчислювальної точки зору є досить трудомістким, оскільки пов'язане з розв'язанням задачі нелінійного програмування високої розмірності.

У зв'язку із цим, у якості альтернативи SVM були запропоновані машини опорних векторів, засновані на методі найменших квадратів (LS-SVM) [21], навчання яких зводиться до розв'язання системи лінійних рівнянь.

Фаззі-аналогом SVM є нечітка машина опорних векторів (FSVM) [22], у якій багатовимірні активаційні функції замінені одновимірними функціями належності. В [23] була розглянута FSVM, заснована на методі найменших квадратів (LS-FSVM) і призначена для розв'язання задачі розпізнавання образів, що коли в процесі навчання сигнали можуть приймати значення +1 або -1.

У межах досліджуваної нами задачі перетворення, що реалізується LS-FSVM (далі використовується позначення FS), може бути записане у вигляді

,(7)

а її навчання зводиться до установки центрів функцій належності в точках і оптимізації квадратичного критерія навчання

(8)

з урахуванням обмежень у вигляді системи з лінійних рівнянь

,(9)

де - параметр регуляризації,

.

Оптимізація критерію (8) без урахування обмежень (9) веде до виразу

,

що є по суті ридж-оцінкою при .

Для урахування системи обмежень (9) введемо в розгляд функцію Лаґранжа

(тут - невизначених множників Лаґранжа) і систему рівнянь Каруша-Куна-Таккера:

(10)

де - вектор, утворений нулями.

З (10) випливає

(11)

або в матричному виглядіі



або

,

(тут ), звідки

(12)

Остаточно (7) з урахуванням (11) і (12) набуває вигляд

Оптимальний ансамбль нейро-фаззі систем

При розв'язанні конкретної задачі не можна встановити заздалегідь яка з окремих синтезованих систем (TS, GRNFN, FSVM або яка-небудь ще) покаже найкращі результати. Більше того, при обробці нестаціонарних сигналів на різних часових інтервалах, найкращими можуть виявитися різні системи. У цій ситуації доцільно скористатися ансамблем одночасно працюючих систем [24 - 27] з наступним об'єднанням їх вихідних сигналів з метою одержання оптимального результату так, як це показане на рис. 2.



Рис.2 - Ансамбль нейро-фаззі систем

Вводячи в розгляд вектори вихідних сигналів і параметрів об'єднання, будемо шукати оптимальний вихідний сигнал у вигляді

при обмеженнях на незміщенність

,

де - вектор, утворений одиницями.

Невідомий вектор параметрів може бути визначений за допомогою методу штрафних функцій, для чого вводиться матриця вихідних сигналів і критерій оптимізації

,(13)

де - штрафний коефіцієнт.

Мінімізація (13) по веде до виразу

,

яке після нескладних перетворень [28] і прирівнювання до нуля, набуває вигляд

,(14)

де

(15)

- звичайна оцінка найменших квадратів типу (4).

Елементам вектора (14) можна надати зміст належностей кожної з підсистем ансамблю TS, GRNFN і FSVM до деякої гіпотетичної оптимальної системи, якщо забезпечити їх невід'ємність у процесі об'єднання.

Вводячи у розгляд лаґранжіан

(тут - - вектор рівнів належності, - невизначений множник Лагранжа, - вектор невід`ємних множників Лаґранжа, що відповідають умовам додаткової нежорсткості), і систему рівнянь

розв'язок якої має вигляд

і використовуючи процедуру Ерроу-Гурвіца-Удзави [29], одержуємо алгоритм навчання вектора у вигляді

(16)

де - визначається виразом (15), - проектор на додатний ортант.

Нескладно показати, що алгоритм (16) елементарно поширюється на довільну кількість систем, що входять в ансамбль.

Висновки

Введено систему еволюційних нейро-фаззі систем, що використовують різні принципи навчання та налаштовують не тільки синаптичні ваги, але й свою архітектуру. Запропоновано адаптивну процедуру об'єднання цих систем, що дозволяє синтезувати оптимальний вихідний сигнал і встановлювати рівні належності до деякої гіпотетичної оптимальної системи. Підхід, що розвивається, відрізняється обчислювальною простотою й дозволяє обробляти інформацію в on-line режимі в міру її надходження.

Список літератури

1. Осовский С. Нейронные сети для обработки информации. / Осовский С. // М.: Финансы и статистика. - 2002. - 344 с.

2. Rutkowski L. Computational Intelligence. Methods and Tehniques. / Rutkwski L. // Berlin-Heidelberg: Springer-Verlag, - 2008. - 514 р.

3. Nelles O. Nonlinear System Identification. / Nelles O. // Berlin: Springer, - 2001. - 785р.

4. Friedman J. The Elements of Statistical Learning. Data Mining, Inference and Prediction. / Friedman J., Hastie T., Tibshirani R. // Berlin: Springer, - 2003.-552 p.

5. Zahirniak D. Pattern recognition using radial basis function network. / Zahirniak D., Chapman R., Rogers S. K., Suter B. W., Kabrisky M., Pyati V. // Dayton, OH: Application of AI Conf., - 1990. - P. 249 -260.

6. Specht D. F. A general regression neural network // IEEE Trans. on Neural Networks - 1991. - Vol. 2. - P. 568-576.

7. Kasabov N. Evolving Connectionist Systems. / Kasabov N. // London: Springer - Verlag, - 2003 - 307 р.

8. Bodyanskiy Ye. Hibrid evolving neural netvork using kernel activation functions. / Bodyanskiy Ye., Teslenko N., Grimm P. // рroceedings of the. 17th Conference Zittau East-West Fuzzy Coll. - Zittau Goerlitz: HS, 2010. - P. 39-46.

9. Бодянський Є.В. Еволюційна нейронна мережа з ядерними функціями активації та адаптивний алгоритм її навчання. / Бодянський Є.В., Дейнеко А.О., Тесленко Н.О. // Наукові праці - Вип. 130. - Т. 143. - Комп'ютерні технології. - Миколаїв: Вид-во ЧДУ ім.. Петра Могили, - 2010. - С. 71-78.

10. Jang J.-S. Neuro-Fuzzy and Soft Computing: A Computational Approach to Learning and Maching Intelligence. / Jang J.-S., Sun C.-T., Mizutani E. // Upper Saddle River: Prentice Hall - 1997. - 640 p.

11. Wang L.-X. Fuzzy basis functions, universal approximation and orthogonal least squares learning. / Wang L.-X., Mendel J. M. // IEEE Trans. on Neural Networks, - 1993. - Vol.3. - P. 807-814.

12. Cios K. J. Neuro-fuzzy algorithms. / Cios K. J., Pedrycz W. - Oxford: IOP Publishing Ltd and Oxford University Press. // Handbook of Neural Computation, - 1997. - D1. 3:1 - D1. 3:7.

13. Takagi T. Fuzzy identification of systems and its applications to modeling and control. / Takagi T., Sugeno M. // IEEE Trans. on Systems, Man, and Cybernetics. - 1985. - Vol.15. - P. 116-132.

14. Wang L.-X. Adaptive Fuzzy Systems and Control. Design and Stability Analysis. / Wang L.-X. // Upper Saddle, N.J.: Prentice Hall, - 1994. - 256p.

15. Bodyanskiy Ye. Generalized regression neuro-fuzzy network / Bodyanskiy Ye., Teslenko N. - Proc. XIII-th Int. Conf. “Information Reaserch & Application”, i. TECH 2007. - V. 1. - Varna. 2007. - P. 219-225.

16. Bodyanskiy Ye.Nonliner process identification and modeling using general regression neuro-fuzzy network / Bodyanskiy Ye., Otto P., Pliss I, Teslenko N. // “Computer Science Meets Automation.”: рroceedings of the 52th International Conference - TU Ilmenau (Thuer.) - 2007. - P. 23-27.

17. Bodyanskiy Ye. General regression neuro-fuzzy network for identification of nonstationary plants. / Bodyanskiy Ye., Teslenko N. // Int. J. Informaion Technologies and Knowledge, - 2008. - Vol. 2. - №2 - P. 136 - 142.

18. Bishop C. M. Neural Networks for Pattern Recognition. / Bishop C. M. // Oxford: Clarendon Press, - 1995. - 482 p.

19. Vapnik V. N. The Nature of Statistical Learning Theory. / Vapnik V. N. // N.Y.: Springer, - 1995. - 188 p.

20. Vapnik V. N. Statistical Learning Theory: Adaptive and Learning Systems. / Vapnik V. N. // N.Y.: John Wiley & Sons, - 1998. - 736 p.

21. Suykens J.A.K. Least Squares Support Vector Machines. / Suykens J.A.K., Gestel T.V., Brabanter J.D., Moor B.D., Vandewalle J. // Singapore: World Scientific, - 2002. - 294p.

22. Lin Ch.-F. Fuzzy Support Vector Machines. / Lin Ch.-F., Wang Sh.-D. // IEEE Trans. on Neural Networks. - 2002. - T. 13. - №2. - P. 646-471.

23. Tsujinishi D. Fuzzy Least Squares Support Vector Machines for multiclass problems. / Tsujinishi D., Abe S. // Neural Networks, - 2003 - Vol. 16. - P. 785-792.

24. Hansen L. K. Neural networks ensembles / Hansen L. K., Salamon P. // IEEE Trans. on Pattern Analysis and Machine Intelligence, - 1990. - Vol. 12. - P. 993 - 1000

25. Sharkey A. J. C. On combining artificial neural nets / Sharkey A. J. C. // Connect. Sci, 1996. - Vo;. 8. - P. 299 - 313.

26. Hashem S. Optimal linear combination of neural networks / Hashem S. // Neural Networks, - 1997. - Vol. 10. - P. 599-614.

27. Naftaly U. Optimal ensemble averaging of neural networks / Naftaly U., Intrator N., Horn D. // Network: Comput. Neural Syst, 1997. - Vol. 8. - P. 283-296.

28. Бодянський Є.В. Адаптивне виявлення розладнань в об`єктах керування за допомогою штучних нейронних мереж. / Бодянський Є.В., Михальов О.І., Плісс І.П. // Дніпропетровськ: Системні технології, - 2000. - 140 c.

29. Поляк Б. Т. Введение в оптимизацию. / Поляк Б. Т // М: Мир, - 1984. - 541 с.

30. Бодянский Е.В. Адаптивное обобщенное прогнозирование многомерных случайных последовательностей. / Бодянский Е.В., Плисс И.П., Соловьева Т.В. // Доклады АН УССР. - 1989. - А. - №9. - С. 73-75.

Размещено на Allbest.ru

...