Адаптивное обучение всех параметров эволюционирующей радиально-базисной нейронной сети

Размещено на http://www.allbest.ru/

Харьковский национальный университет радиоэлектроники, Харьков

Адаптивное обучение всех параметров эволюционирующей радиально-базисной нейронной сети

Бодянский Е.В., Дейнеко А.А., Стольникова М.З.

Рецензент д-р техн. наук, проф. В.А. Филатов, Харьковский национальный университет радиоэлектроники

Аннотация

искусственный эволюционный нейронный сеть

Предложены архитектура и метод обучения искусственной эволюционной радиально-базисной нейронной сети, которая настраивает не только свои веса, но и автоматически определяет количество нейронов, расположение центров радиально-базисных функций и параметров рецепторного поля в on-line режиме с высокой скоростью поступления и обработки данных.

Ключевые слова: искусственная нейронная сеть, адаптивное обучение, радиально-базисная нейронная сеть, самоорганизующаяся карта Т. Кохонена, активационная функция В. Епанечникова

Анотація

Адаптивне навчання всіх параметрів еволюційної радіально-базисної нейронної мережі// Системи обробки інформації. - 2013. - Вип. 00 (00). - С. 00 - 00. - Рос.

Бодянський Є.В., Дейнеко О.О., Стольнікова М.З.

В роботі запропоновані архітектура і метод навчання штучної еволюційної радіально-базисної нейронної мережі, яка налаштовує не тільки свої ваги, але і автоматично визначає кількість нейронів, розташування центрів радіально-базисних функцій та параметрів рецепторного поля в on-line режимі з високою швидкістю надходження і обробки даних.

Annotation

All parameters of the evolving radial-basis neural function networks adaptive learning. // Sistemy obrobki informacii. - 2013. - Issue. 00 (00). - P. 00 - 00. - Rus.

Bodyanskiy E.V., Deineko A.A., Stolnikova M.Z.

In this work the architecture and method of learning artificial evolving radial-basis function neural networks that adjusts not only their weight, but also automatically determines the number of neurons, the location of centers of radial basis functions and parameters of the receptive field in the on-line mode with high speed and operation-data is proposed.

Введение

В настоящее время искусственные нейронные сети (ИНС) получили широкое распространение для решения широкого класса задач обработки информации, и, прежде всего, интеллектуального управления, идентификации, распознавания образов, классификации, кластеризации, прогнозирования, эмуляции в условиях неопределенности и существенной нелинейности. В случае необходимости обработки информации в on-line режиме по мере последовательного поступления на вход новых данных, на первый план выходит вопрос скорости сходимости процесса обучения, существенно ограничивающий класс ИНС, пригодных для работы в этом режиме. С точки зрения оптимизации по скорости процесса обучения весьма перспективными являются ИНС, основанные на ядерных (радиально-базисных, потенциальных, колоколообразных) функциях активации.

Наиболее популярными из перечисленных ИНС являются радиально-базисные нейронные сети (Radial Basis Function Neural Networks - RBFN). Основные идеи радиально-базисных нейронных сетей связаны с методом потенциальных функций [1], оценками Парзена [2, 3], ядерной [4] и непараметрической [5] регрессиями. Важной особенностью этих сетей является то, что они обладают универсальными аппроксимирующими свойствами и способны обучаться в реальном времени.

Основным недостатком радиально-базисной сети является ее подверженность «проклятию размерности», порождающему экспоненциальный рост числа радиально-базисных нейронов (R-нейронов) с ростом размерности входного пространства, в связи с чем, в настоящей работе предлагается подход к обучению RBFN с ограничением количества нейронов в on-line режиме обработки информации.

Радиально-базисная нейронная сеть

На рис. 1 приведена стандартная архитектура радиально-базисной сети, скрытый слой которой реализует некоторое нелинейное преобразование пространства входов в скрытое пространство более высокой размерности , а выходной слой, образованный адаптивным линейным ассоциатором, формирует отклик сети, осуществляя нелинейное преобразование вида

В качестве активационных функций радиально-базисных ИНС наиболее часто используется стандартный гауссиан

(1)

при этом параметры центров и ширин , как правило, задаются заранее и не настраиваются в процессе обучения. Само же обучение сводится к настройке вектора синаптических весов для чего обычно используются различные модификации метода наименьших квадратов.

(2)

где ковариационная матрица определяет форму, размер и ориентацию рецепторного поля той радиально-базисной функции.

При (здесь единичная матрица) рецепторное поле представляет собой гиперсферу с центром и радиусом ;при это гиперэллипсоид, чьи оси совпадают с осями входного пространства и имеют длину по ой оси, и, наконец, при - произвольной положительно определенной матрице

диагональная матрица собственных значений определяет размер рецепторного поля, а ортогональная матрица вращения - его ориентацию.

Говоря об обучении радиально-базисной ИНС, следует заметить, что настраиваться могут не только вектор синаптических весов , но и центры и матрицы . Так, вводя преобразование, реализуемое нейронной сетью, в виде

критерий обучения

(здесь внешний обучающий сигнал) и производные по всем настраиваемым параметрам

(3)

можно записать алгоритм обучения [6]:

(4)

где параметры шага обучения для соответствующих переменных.

Использование в качестве активационных функций гауссианов (1) и (2) приводит к тому, что процедура обучения (4) становится слишком громоздкой с вычислительной точки зрения, что естественно замедляет скорость обучения. В связи с этим мы предлагаем ввести в рассмотрение многомерную модификацию функции В. Епанечникова [7] в виде

чьи производные имеют форму

(5)

Соотношения (5) позволяют переписать систему (3) в виде

а алгоритм обучения -

(6)

Несложно заметить, что процедура (6) с вычислительной точки зрения существенно проще алгоритма (4).

Гибридная нейронная сеть и эволюция ее архитектуры

Вопрос выбора количества нейронов в сети и начального расположения центров чрезвычайно актуален. Простейшим вариантом решения этой проблемы является использование алгоритма Subtractive clustering [8], который достаточно эффективен при работе в пакетном режиме, но при этом требует выбора целого набора свободных параметров. Если решаемая задача связана с обработкой нестационарных процессов, то необходимо время от времени переинициализировать сеть.

Dynamic Decay Adjustment (DDA), тоже является одним из возможных методов обучения радиально-базисных нейронных сетей [9]. Он относится к алгоритмам конструктивного обучения и работает достаточно быстро. Однако, при работе в on-line режиме при обработке нестационарных сигналов этот метод становятся неэффективным.

Resource Allocation Network [10] использует комбинированное обучение, основанное как на оптимизации, так и на памяти (принцип «нейроны в точках данных»), с использованием элементов конкуренции. При этом в процессе обучения с помощью градиентных процедур настраиваются как синаптические веса, так и параметры центров нейронов, ближайших к поступившему наблюдению. Можно заметить, что в качестве активационных, в этой сети вместо традиционных гауссианов используются стандартные функции Епанечникова. Недостатком Resource Allocation Network является высокая вычислительная сложность.

В связи с этим представляется целесообразной разработка искусственной эволюционирующей радиально-базисной нейронной сети, которая сама настраивает не только все свои параметры, но и определяет автоматически количество нейронов в on-line режиме с высокой скоростью поступления и обработки данных.

На рис. 2 приведена структурная схема гибридной эволюционной искусственной нейронной сети, основу которой составляет радиально-базисная нейронная сеть с переменным количеством нейронов и самоорганизующаяся карта Т. Кохонена (SOM) [11], которая управляет их количеством и подстраивает расположение центров в режиме самообучения.

Рис. 2 - Структурная схема гибридной эволюционирующей сети.

Процесс функционирования этой системы происходит следующим образом. При поступлении первого наблюдения оно подается на вход радиально-базисной сети, где формируется первый нейрон по принципу «нейроны в точках данных», т.е. практически мгновенно. При последующем поступлении данных они сначала поступают в SOM, где происходит сравнение с уже существующими центроидами, а потом, если совпадений не обнаружилось, формируется новый центр радиально-базисной функции и соответственно и новый нейрон в RBFN.

В рамках развиваемого подхода введем в рассмотрение следующий метод управления количеством нейронов в сети:

Шаг 11: закодировать все значения входных переменных в интервал и задать радиус рецепторного поля функции соседства в интервале ;

Шаг 21 : при поступлении наблюдения задать ;

Шаг 31 : при поступлении наблюдения :

- если , то корректируется по правилу

- если корректируется согласно правилу самообучения самоорганизующейся карты Кохонена по принципу «победитель получает больше» (WTM) [11]

с функцией соседства

(функция Епанечникова с рецепторным полем с радиусом )

- если , формируется новая радиально-базисная функция с центром .

На этом первая итерация формирования активационных функций радиально-базисной нейронной сети заканчивается. Пусть к му моменту времени сформировано активационных функций с центрами и на обработку поступило наблюдение . Далее формирование радиально-базисных функций производится следующим образом:

Шаг 1к+1: определить нейрон-победитель, для которого расстояние минимально среди всех ;

Шаг 2к+1:

- если то ;

- если то

- если , то формируется радиально-базисная функция с центром ;

если же в процессе формирования радиально-базисных функций возникает ситуация , а , то необходимо увеличить радиус рецепторного поля и вернуться к шагу 2к+1 с увеличенным радиусом функции .

Все последующие шаги реализуются аналогично [12. 13].

Как видно данная процедура есть гибрид эволюционного алгоритма Н. Касабова [14] и самоорганизующейся карты Т. Кохонена. Однако предложенная нейронная сеть разработана не только для решения задач кластеризации, но для управления количеством нейронов в радиально-базисной нейронной сети.

Выводы

Данный подход позволяет обеспечить высокое качество обработки информации на заданном количестве наблюдений в последовательном on-line режиме в условиях существенного дефицита априорной и текущей информации.

Список литературы

1. Айзерман М. А. Метод потенциальных функций в теории обучения машин. / Айзерман М. А., Браверман Э. М., Розоноэр Л. И. - М.: Наука, 1970. - 384 с.

2. Parzen E. On the estimation of a probability density function and the mode / Parzen E. // Ann. Math. Statist. - 1962. - 38. - P. 1065-1076.

3. Надарая Э. А. О непараметрических оценках плотности вероятности и регрессии / Надарая Э. А. // Теория вероятностей и ее применение. - 1965. - 10. - № 1. - С. 199-203.

4. Haykin S. Neural Networks. A Comprehensive Foundation./ Haykin S. // Upper Saddle River, N.J.: Prentice Hall, Inc., 1999. - 842 p.

5. Варядченко Т. В. Непараметрический метод обращения функций регрессии / Варядченко Т. В., Катковник В. Я. // Стохастические системы управления. - Новосибирск: Наука, 1979. - С. 4-14.

6. Бодянский Е.В. Нейро-фаззи сети Петри в задачах моделирования сложных систем / Бодянский Е.В., Кучеренко Е.И., Михалев А.И. - Днепропетровск: Системные технологии, 2005. - 311 с.

7. Епанечников В.А. Непараметрическая оценка многомерной плотности вероятности / Епанечников В.А. // Теория вероятностей и ее применение - 1968 - 14 - №1 - С. 156-161.

8. Chiu S. Fuzzy model identification based on cluster estimation / Chiu S. // Journal of intelligent & fuzzy systems. - Vol. 2 - №3 -Sept. 1994.

9. Paetz J Reducing the number of neurons in radial basis function networks with dynamic decay adjustment. / Paetz J. // Neurocomputing - №62 - 2004 - P. 79-91.

10. Platt J. A resource allocating network for function interpolation / Platt J.// Neural Comp. -1991 - 3- P. 213-225.

11. Kohonen T. Self-Organizing Maps / Kohonen T. - Berlin: Springer-Verlag. - 1995. - 362 p.

12. Бодянский Е.В. Адаптивное обучение архитектуры и параметров радиально-базисной нейронной сети / Бодянский Е.В., Дейнеко А.А. // Системные технологии. - Днепропетровск, 2013. - 4. - 87. - С. 166-173.

13. Бодянский Е.В. Эволюционирующая радиально-базисная нейронная сеть и ее обучение с помощью карты Кохонена / Бодянский Е.В., Дейнеко А.А. // Научно-техническая конференция: «Информационные технологии в металлургии и машиностроении.» - Днепропетровск, 2013. - С. 75-77.

14. Kasabov N. Evolving Connectionist Systems. / Kasabov N. // London: Springer - Verlag. - 2003 - 307p.

Размещено на Allbest.ru