Размещено на http://www.allbest.ru/

Харківський національний університет радіоелектроніки

УДК 681.513

05.13.23 - системи та засоби штучного інтелекту

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

НЕЙРОМЕРЕЖНА ОБРОБКА БАГАТОВИМІРНИХ СИГНАЛІВ

Островерхий Олексій Вікторович

Харків - 2010

Дисертацією є рукопис.

Робота виконана у Харківському національному університеті радіоелектроніки Міністерства освіти і науки України.

Науковий керівник: доктор технічних наук, професор Руденко Олег Григорійович, Харківський національний університет радіоелектроніки, завідувач кафедри електронних обчислювальних машин.

Офіційні опоненти:

- доктор технічних наук, професор Кучеренко Євген Іванович, Харківський національний університет радіоелектроніки, професор кафедри штучного інтелекту;

- доктор технічних наук, професор Михальов Олександр Ілліч, Національна металургійна академія України, завідувач кафедри інформаційних технологій і систем.

Захист відбудеться 17 листопада 2010 р. о 13 годині на засіданні спеціалізованої вченої ради Д 64.052.01 у Харківському національному університеті радіоелектроніки (61166, м. Харків, просп. Леніна, 14).

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки (61166, м. Харків, просп. Леніна, 14).

Автореферат розісланий 06 жовтня 2010 р.

Вчений секретар спеціалізованої вченої ради С.Ф. Чалий

Анотації

Островерхий О.В. Нейромережна обробка багатовимірних сигналів. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. - Харківський національний університет радіоелектроніки, Харків, 2010.

У роботі проведено аналіз проблеми адаптивної обробки багатовимірної інформації за допомогою штучних нейронних мереж (ШНМ). Вивчено базові архітектури та методи навчання найчастіше використовуваних статичних та динамічних ШНМ, що застосовуються для розв'язання задач апроксимації, фільтрації, ідентифікації та класифікації. Запропоновано методи модифікації архітектури ШНМ СМАС для зниження вимог до пам'яті та підвищення ефективності обробки багатовимірних даних. Зокрема, розроблено метод автоматичної побудови адаптивної схеми дискретизації вхідних сигналів у ШНМ СМАС. Запропоновано удосконалені процедури навчання динамічних КІХ-мереж методом часового зворотного поширення з метою зменшення його обчислювальних витрат шляхом зміни порядку входження членів сум навчання. Отримано співвідношення між коефіцієнтом навчання та коефіцієнтом підсилення загальної функції активації нейронів модульних рекурентних ШНМ, що значно зменшує обчислювальні витрати, необхідні для реалізації процедур навчання цих мереж.

Достовірність результатів підтверджується експериментальними дослідженнями та впровадженнями. У середовищі MatLab 7 проведено імітаційне моделювання різних задач апроксимації, фільтрації та ідентифікації багатовимірних нелінійних функцій за допомогою як статичних, так і динамічних ШНМ.

Ключові слова: штучна нейронна мережа, апроксимація, багатовимірна функція, метод навчання ШНМ, динамічні ШНМ, фільтрація, ідентифікація, адаптивна дискретизація, еквівалентність ШНМ.

Островерхий А.В. Нейросетевая обработка многомерных сигналов. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - системы и средства искусственного интеллекта.- Харьковский национальный университет радиоэлектроники, Харьков, 2010.

Диссертационная работа посвящена проблеме адаптивной обработки многомерной информации при помощи как статических, так и динамических искусственных нейронных сетей (ИНС).

В работе рассмотрены традиционные математические методы аппроксимации функций. Показано, что данные методы малопригодны для решения практических задач. Прежде всего, это обусловлено трудностью получения априорных экспертных оценок. В реальных задачах далеко не всегда есть возможность сбора достаточного количества статистической информации для достоверного анализа корректности представления предложенной моделью набора входных данных, объём которых также зачастую ограничен. В свою очередь, ИНС, являясь универсальными аппроксиматорами, позволяют восстановить с заданной точностью любую сколь угодно сложную непрерывную нелинейную функцию. При этом ИНС свободны от ограничений обычных компьютеров, благодаря параллельной обработке и сильной связанности нейронов.

Также рассмотрены некоторые типы как статических, так и динамических ИНС, получивших наибольшее распространение для решения задач аппроксимации. Среди них многослойный персептрон (МП), радиально-базисные сети (РБС), сеть CMAC, динамические рекуррентные ИНС, сети с элементами задержки сигнала (TDNN). Показано, что для некоторых ИНС с ростом количества входных переменных вычислительные затраты и объём требуемой памяти возрастают экспоненциально. Это приводит к значительному усложнению процедур обучения ИНС, ухудшению их сходимости, и, следовательно, к чрезмерным аппаратным затратам. Тем не менее, применение специальных методик дискретизации, оптимальных процедур обучения и специализированных структур ИНС позволяет если не избежать, то значительно уменьшить негативное влияние роста числа входных переменных.

В связи с этим, в работе предложены методы модификации ИНС СМАС для снижения требований к памяти и повышения эффективности обработки многомерных данных. В частности, разработан метод автоматического построения адаптивной схемы дискретизации входных сигналов в ИНС СМАС, исследованы нейросетевые структуры, предназначенные для обработки многомерных данных при помощи ИНС СМАС малой размерности. Предложен подход к минимизации структуры иерархических нейронных сетей HCMAC и разработан формализованный метод самоорганизации входного пространства иерархических нейронных сетей. МНСМАС, так же как и НСМАС, является иерархической структурой, в узлах которой находятся двумерные дифференцируемые сети GCMAC, но, в отличие от HCMAC, структура МНСМАС раскрывается с использованием топологии не полного, а точного бинарного дерева. При этом затраты памяти ИНС MHCMAC растут линейно с ростом числа измерений входных переменных.

Представлена модель динамической КИХ-сети прямого распространения как естественное дополнение к стандартным многослойным ИНС прямого распространения, а метод настройки параметров КИХ-сетей по методу временного обратного распространения - как соответствующее дополнение к стандартному методу обратного распространения. Показано, что модификация процедур обучения динамических КИХ-сетей методом временного обратного распространения путём изменения порядка вхождения членов обучающих сумм приводит к повышению эффективности обучения, так как в этом случае с усложнением структуры сети вычислительные затраты возрастают практически линейно, а не геометрически, как в случае применения классического метода временного обратного распространения.

Получено соотношение между коэффициентом скорости обучения и коэффициентом усиления общей функции активации нейронов модульных рекуррентных ИНС. Показано, что эти соотношения сохраняют как статическую, так и динамическую эквивалентность сетей для методов обучения, основанных на алгоритме градиентного спуска и расширенного рекурсивного алгоритма наименьших квадратов. Применение полученных соотношений позволяет упростить задачу нелинейной многомерной оптимизации, возникающую при обучении рекуррентных и модульных ИНС, на одну степень свободы, что значительно уменьшает вычислительные затраты, необходимые для реализации данных процедур обучения.

Достоверность полученных результатов диссертационной работы подтверждается экспериментальными исследованиями и результатами внедрения. Проведено имитационное моделирование в среде MatLab 7, с помощью которого решены задачи аппроксимации и фильтрации многомерных нелинейных функций с помощью статических ИНС СМАС, РБС и МП различных архитектур, а также динамических ИНС прямого распространения. Разработанные в диссертации методы и процедуры используются в Научно-исследовательском комплексе "Ускоритель" ННЦ "ХФТИ" при управлении энергией электронов в односекционном сильноточном ускорителе КУТ.

Ключевые слова: искусственная нейронная сеть, аппроксимация, многомерная функция, метод обучения ИНС, динамические ИНС, фильтрация, идентификация, адаптивная дискретизация, эквивалентность ИНС.

Ostroverkhyi O. V. Neural network processing of multidimensional signals. - Manuscript.

Thesis for the technical science candidate degree on the specialty 05.13.23 -systems and means of artificial intelligence. - Kharkiv National University of Radioelectronics, Kharkiv, 2010.

The thesis covers the analysis of the problem of multidimensional data adaptive processing using artificial neural networks (ANN). The most frequently used static and dynamic ANN architectures and learning algorithms are investigated for their application in solving the approximation, filtration, identification, and classification problems. Several methods of CMAC ANN architecture modification are proposed with the purpose of reducing memory usage and improving the efficiency of multidimensional data processing. Specifically, an algorithm for creating the CMAC's input space adaptive sampling scheme is developed. In addition, a method is proposed for modification of the temporal backpropagation algorithm for training the dynamic FIR networks in order to diminish computational complexity. The relation between the learning rate and nonlinear activation function gain coefficient in the dynamic recurrent ANNs is derived, which allows the computational costs of the training algorithms for these networks to be decreased.

Simulation in the MatLab 7 environment shows the high efficiency of using ANNs for solving various problems of approximation, identification, and filtration of multidimensional nonlinear functions.

Keywords: artificial neural network, approximation, multidimensional function, training algorithm, dynamic neural network, filtering, identification, adaptive sampling, equivalence of neural networks.

Загальна характеристика роботи

Актуальність теми. Обрана тема дисертаційної роботи є актуальною, тому що штучні нейронні мережі (ШНМ) протягом останнього часу переконливо довели свою ефективність при вирішенні різноманітних задач адаптивної обробки інформації, таких як апроксимація нелінійних функцій, класифікація, управління, фільтрація сигналів та зображень тощо. Але, не дивлячись на всі ці переваги, ШНМ і по сьогодні знаходять досить обмежене практичне застосування у прикладних системах.

В першу чергу це пов'язано з тим, що більшість реальних прикладних задач знаходяться поза межами можливостей лабораторних експериментів, які зазвичай обмежуються розмірністю вхідного простору, що дорівнює трьом. Особливо гостро така проблема постає при вирішенні задач класифікації за багатьма ознаками та у галузі систем керування робототехніки. Так, наприклад, підраховано, що рука людини має 27 ступенів свободи руху, що при використанні інформації лише про абсолютні значення координат та їх перші похідні вимагатиме застосування системи керування з 54 вхідними змінними. Відомо, що для багатьох типів ШНМ із збільшенням кількості вхідних змінних обчислювальні витрати та обсяг пам'яті зростають експоненційно. Тому пристрої, які застосовуються на практиці, мають обмежуватися скромнішими характеристиками (не більше 4-8 ступенів свободи), що не найкращим чином відображується на їх споживчих якостях.

Незважаючи на нагальну потребу у вирішенні описаних проблем, слід відзначити достатньо слабку їх вивченість, відсутність чітких методик побудови та оптимізації як статичних, так і динамічних складних ШНМ. Але, як показали досліди у цьому напрямку, застосування спеціальних методик (таких, як адаптивна дискретизація вхідного простору змінних, оптимізовані процедури навчання мереж, побудова спеціальних нейромережних структур) дозволяє, якщо не запобігти, то значною мірою зменшити негативний вплив зростання вимірності вхідного простору ШНМ, що й обумовило напрямок досліджень дисертаційної роботи.

Зв'язок роботи з науковими програмами, планами, темами. Тема дисертаційної роботи й отримані результати відповідають проблематиці держбюджетної теми № ДР 0101U001762 "Розробка теоретичних основ та математичного забезпечення нейро-фаззі систем ранньої діагностики, прогнозування та моделювання в умовах апріорної і поточної невизначеності", що виконується у Харківському національному університеті радіоелектроніки, і в якій автор брав участь як виконавець.

Мета та завдання дослідження. Метою дисертаційної роботи є розробка нейромережних моделей та методів для підвищення ефективності обробки багатовимірної інформації у реальному часі шляхом зменшення апаратних та обчислювальних витрат при збереженні або покращенні функціональних характеристик.

Для досягнення поставленої мети у роботі вирішуються такі задачі:

1. Дослідження задачі апроксимації багатовимірних нелінійних функцій, та нейромережних структур, призначених для обробки багатовимірних даних.

2. Розробка методу автоматичної побудови адаптивної схеми дискретизації вхідних сигналів штучної нейронної мережі СМАС.

3. Удосконалення модульних моделей ШНМ СМАС за рахунок мінімізації їх структури та розробки формалізованого методу самоорганізації вхідного простору.

4. Оптимізація процедур навчання багатовимірних динамічних ШНМ прямого поширення, а також рекурентних і модульних ШНМ.

5. Імітаційне моделювання роботи досліджуваних нейромережних структур і розв'язання практичних задач.

Об'єкт дослідження - процеси адаптивної обробки багатовимірної інформації в умовах апріорної та поточної невизначеності щодо властивостей досліджуваних об'єктів і діючих на них завад на основі ШНМ.

Предмет дослідження - багатовимірні ШНМ, нейромережні системи ідентифікації, апроксимації та фільтрації багатовимірних нелінійних об'єктів.

Методи дослідження базуються на теорії обчислювального інтелекту, зокрема на методах теорії ШНМ, яка дозволила побудувати нейромережні моделі та отримати процедури їх навчання; та на теорії оптимальності, за допомогою якої синтезовані швидкісні процедури навчання. Експериментальні дослідження проведено в лабораторних умовах та на реальних об'єктах.

Наукова новизна результатів дисертаційної роботи

1. Вперше запропоновано метод автоматичної побудови адаптивної схеми дискретизації вхідних сигналів штучної нейронної мережі СМАС та її похідних структур, який базується на аналізі ентропії навчальних послідовностей шляхом обчислення коефіцієнта подібності Грея. Використання запропонованого методу дозволяє спростити структуру мережі за рахунок зниження точності апроксимації областей вхідного простору, що мають найменшу ентропію, а також підвищити точність апроксимації областей, де ентропія максимальна.

2. Набули подальшого розвитку модульні моделі штучних нейронних мереж СМАС для обробки багатовимірних сигналів, що є лінійними або ієрархічними поєднаннями мереж СМАС малої вимірності, зокрема завдяки мінімізації їх структури та самоорганізації вхідного простору. На відміну від початкової мережі СМАС, де зі збільшенням вимірності вхідного простору витрати пам'яті зростають експоненційно, застосування розглядуваних моделей штучних нейронних мереж дозволяє досягти лінійного зростання обсягу витрачуваної пам'яті.

3. Удосконалено процедури навчання динамічних штучних нейронних мереж прямого поширення з кінцевою імпульсною характеристикою за допомогою зміни порядку входження членів навчальних сум алгоритму часового зворотного поширення. Використання удосконалених процедур дозволяє досягти лінійного, а не геометричного зростання обчислювальних витрат зі збільшенням вимірності простору вхідних сигналів під час навчання нейронних мереж даного класу.

Практичне значення отриманих результатів. Наукові результати дисертаційної роботи є внеском у теорію штучних нейронних мереж, та у теорію ідентифікації й апроксимації. Практичне значення полягає в тому, що отримані результати теоретичних досліджень реалізовано за допомогою нових методів, які забезпечують високу якість адаптивної обробки багатовимірної інформації. Отримані процедури дозволяють розширити спектр використання нейромережних технологій, а також розробити нові різноманітні системи адаптивної обробки інформації. Результати дисертаційної роботи, реалізовані у вигляді програм у середовищі Matlab, використовуються у науково-дослідному комплексі "Прискорювач" Національного Наукового Центру "Харківський фізико-технічний інститут" м. Харкова (акт впровадження від 14.10.2009 р.) при розробці системи керування прискорювачем електронів КПТ. Також положення, висновки та рекомендації дисертаційної роботи використані у навчальному процесі на кафедрі ЕОМ Харківського національного університету радіоелектроніки (акт впровадження від 20.10.2009 р.) під час підготовки курсів "Нейронні обчислювальні структури", "Моделювання систем" та "Цифрова обробка інформації".

Особистий внесок здобувача. Всі основні результати отримано автором особисто. В роботах, написаних із співавторами, здобувачу належать: в [1] - запропоновані параболічні базисні функції для ШНМ СМАС, дослідження впливу форми базисних функцій і архітектури СМАС на її апроксимуючі властивості під час роботи з багатовимірними функціями; в [2 - 4, 9 - 11] - дослідження та удосконалення модульних моделей ШНМ СМАС, порівняльний аналіз відновлення багатовимірних функцій за наявності вад за допомогою мережі СМАС, багатошарового персептрона (БП) та радіально-базисних мереж (РБМ) різноманітних архітектур, розробка практичних рекомендацій щодо вибору типу й архітектури нейронних мереж залежно від умов задачі, що розв'язується; в [5] - розробка методу автоматичної побудови адаптивної схеми дискретизації вхідних сигналів ШНМ СМАС на основі коефіцієнта подібності Грея; в [6, 13, 14] - дослідження впливу вибору архітектури БП на його апроксимуючі властивості, аналіз методів адаптивної оптимізації архітектури БП; в [7] - дослідження динамічних КІХ-мереж, розробка удосконалених процедур навчання багатовимірних динамічних нейронних мереж прямого поширення; в [8] - пошук методу навчання ШНМ СМАС, який ефективно працює в умовах наявності завад вимірів; в [12] - вибір оптимального методу навчання БП у задачі апроксимації багатовимірних функцій; в [15, 16] - запропоновано удосконалену модель навчання рекурентних та модульних ШНМ за рахунок використання внутрішніх залежностей між параметрами, що настроюються.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися й обговорювалися на Міжнародній науковій конференції "Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій" (м. Євпаторія, 2006 р.), на XIII-й і XIX-й Міжнародних конференціях з автоматичного управління "Автоматика - 2006" та "Автоматика - 2007" (м. Вінниця, 2006 р.; м. Севастополь, 2007 р.), на Міжнародній конференції "Сложные системы управления и менеджмент качества CCSQM - 2007" (Росія, м. Старий Оскіл, 2007 р.), на II-й Міжнародній науковій конференції "Сучасні інформаційні системи. Проблеми та тенденції розвитку" (м. Харків - м. Туапсе, 2007 р.), на VII-й, VIII-й та IX-й Міжнародних науково-технічних конференціях "Проблеми інформатики і моделювання" ПІМ - 2007, ПІМ - 2008 та ПІМ - 2009 (м. Харків, 2007, 2008 та 2009 рр.), на XII-му Міжнародному молодіжному форумі "Радіоелектроніка і молодь в ХХІ столітті" (м. Харків, 2008 р.), на Міжнародній науково-технічній конференції "Управління, автоматизація та навколишнє середовище" (м. Севастополь, 2007 р.), на Міжнародній науково-технічній конференції "Сучасні методи, інформаційне, програмне та технічне забезпечення систем управління організаційно-технологічними комплексами" (м. Київ, 2009 р.).

Публікації. За темою дисертаційної роботи опубліковано 17 наукових праць, з них: 7 статей у наукових фахових виданнях, перелік яких затверджений ВАК України, 10 публікацій у збірниках матеріалів і тез доповідей на міжнародних наукових конференціях і форумах (у тому числі 1 за рубежем).

Структура та обсяг роботи. Дисертація складається із вступу, п'яти розділів, висновків, списку використаних джерел, який містить 125 найменувань, та додатків. Робота містить 46 ілюстрацій, 6 таблиць. Загальний обсяг роботи складає 172 сторінки, у тому числі 147 сторінок основного тексту.

Основний зміст роботи

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету та завдання досліджень, наведено відомості щодо зв'язку дисертації з планами організації, де виконана робота. Надано стислу анотацію отриманих у дисертації результатів, відзначено їх практичну значущість, наведено дані щодо використання результатів проведених досліджень, а також про публікації та апробацію роботи.

У першому розділі проаналізовано стан проблеми адаптивної обробки інформації у задачах апроксимації багатовимірних нелінійних функцій. Розглянуто традиційні математичні методи апроксимації, зокрема баєсівський ймовірнісний підхід та метод максимізації достовірності. Відзначено, що традиційні методи апроксимації мають істотні недоліки. Перш за все, це складність отримання апріорних експертних оцінок. За будь-якої методики прогнозування ефективності доводиться вдаватися до спрощення ситуації, враховуючи лише агреговані фактори. А наявність завад вимірювання та передачі сигналів за відсутності апріорної інформації про вигляд апроксимованих функцій робить традиційні методи апроксимації малоефективними, а в деяких випадках і взагалі непридатними.

Як альтернатива традиційним методам апроксимації розглядається застосування нейромережних технологій. Так, проведено аналіз існуючих архітектур статичних та динамічних ШНМ, які використовуються для розв'язання різноманітних задач ідентифікації, фільтрації, відновлення, прогнозування, класифікації як статичних так і динамічних нелінійних об'єктів. Серед відомих архітектур ШНМ найбільшого розповсюдження набули статичні ШНМ БП, РБМ та СМАС, та динамічні нейронні мережі з елементами затримки сигналу. У разі використання ШНМ, розв'язання різноманітних задач апроксимації та фільтрації зводиться до налаштування параметрів нейронних мереж за допомогою певної процедури навчання. Сутність усіх методів навчання ШНМ зводиться до мінімізації деякого заданого (найчастіше квадратичного) функціоналу похибки.

Відзначено, що для багатьох типів нейронних мереж із збільшенням кількості вхідних змінних обчислювальні витрати та обсяг пам'яті ваг зростають експоненційно. Це призводить до значного ускладнення процедур навчання ШНМ, погіршення їх збіжності, а також до надлишкових апаратних витрат.

Внаслідок проведеного аналізу сформульовано основні задачі наукового дослідження, викладеного у дисертаційній роботі.

Другий розділ присвячено дослідженню модульних архітектур ШНМ СМАС. Розповсюдженню нейронних мереж СМАС сприяла їх здатність до швидкого навчання, здатність до узагальнення, фільтрації та відновлення за наявності вад сигналу, а також простота апаратної реалізації.

Запропоновано метод автоматичної побудови адаптивної схеми дискретизації вхідних сигналів у ШНМ СМАС, що базується на визначенні коефіцієнта подібності Грея. Якщо задано еталонну послідовність , з якою порівнюється послідовностей виду , , то коефіцієнт подібності Грея між і на -му кроці визначається як

, (1)

де , - коефіцієнт відмінності та ,

, .

Навчання нейронної мережі розпочинається із заданої рівномірної схеми дискретизації. Для побудови адаптивної схеми дискретизації вхідних сигналів коефіцієнт подібності Грея обчислюється на кожній ітерації навчання мережі. Якщо результат незадовільний, то здійснюється корекція кроку дискретизації за допомогою коефіцієнта подібності Грея відповідно до значення функції прийняття рішення про дискретизацію .

Якщо в якійсь області вхідного простору всі коефіцієнти Грея є меншими деякого фіксованого значення (межа збільшення розділення), то крок дискретизації в цій області зменшується, а якщо вони більше, ніж (межа зменшення розділення), то збільшується. Крок дискретизації в цій області визначається за формулою

, (2)

де та - ліва та права межі області, яка складається з послідовних станів, що відповідають наведеним вище вимогам.

В якості ефективного способу мінімізації обсягу пам'яті мережі СМАС під час роботи з багатовимірними об'єктами запропоновано використання модульних моделей ШНМ СМАС, наприклад мереж Low Dimensional Based CMAC (LDB СМАС). Приклад структури мережі LDB CMAC наведено на рис. 1.

Рис. 1 - Структура мережі LDB CMAC

В основі такої структури знаходяться маловимірні базові нейронні мережі СМАС (наприклад, двовимірні). Зважені вагами виходи цих СМАС формують загальний вихід мережі LDB CMAC

, (3)

де - вихідний сигнал ; - вага відповідного виходу .

Слід зазначити, що LDB CMAC не потребує обов'язкового використання диференційованих базисних функцій, та дозволяє застосовувати градієнтний метод навчання навіть при виборі найпростіших одиничних базисних функцій.

Ще більш ефективними є ієрархічні нейронні мережі HCMAC. ШНМ HCMAC становить ієрархічну деревоподібну структуру (див. рис. 2), у вузлах якої знаходяться двовимірні мережі СМАС, які використовують диференційовані гаусові базисні функції (GCMAC). Вихідні значення GCMAC прихованих шарів є вхідними сигналами для GCMAC верхніх прихованих або вихідного шару.

Рис. 2 - Архітектура найпростішої ШНМ HCMAC

Структура початково запропонованої HCMAC розкривається ієрархічно згідно з топологією повного бінарного дерева, що призводить до утворення надлишкових вузлів GCMAC у випадку, коли кількість вхідних змінних не дорівнює цілому степеню двійки.

У зв'язку з цим запропоновано ієрархічні ШНМ HCMAC мінімальної конфігурації (MHCMAC), структура яких розкривається за топологією точного бінарного дерева, що запобігає утворенню надлишкових вузлів GCMAC. При цьому витрати пам'яті мережі MHCMAC зростають лінійно зі зростанням кількості вхідних змінних, на відміну від HCMAC, де витрати пам'яті зростають зі степенем двійки граничного логарифму кількості вхідних змінних. Також запропоновано формалізований метод самоорганізації вхідного простору та автоматичного присвоєння вхідних змінних відповідним входам і вузлам у топологічній структурі MHCMAC з метою спрощення її програмної й апаратної реалізації.

Навчання ШНМ MHCMAC складається з налаштування ваг , радіусів та центрів базисних функцій усіх вузлів GCMAC. Спочатку налаштовуються параметри GCMAC вихідного шару у такий спосіб:

, (4)

, (5)

, (6)

де - вектор асоціацій, та - бажаний та дійсний виходи мережі.

Після цього помилка поширюється у зворотному напрямку від у вихідному шарі до вузлів GCMAC першого прихованого шару згідно з інформацією про похідні та , що можуть бути обчислені як

, (7)

. (8)

І так далі, до наступних прихованих шарів, згідно зі значеннями відповідних похідних.

Третій розділ присвячено розробці удосконалених процедур навчання динамічних ШНМ прямого поширення, зокрема нейронних КІХ-мереж, кожне синаптичне з'єднання між нейронами в яких формується за допомогою настроюваних фільтрів з кінцевою імпульсною характеристикою (КІХ).

Завдяки наявності елементів затримки сигналу та внутрішньої пам'яті, нейронні КІХ-мережі здійснюють не лише статичне, але й динамічне відображення вхідного простору сигналів у вихідний. Оскільки ці мережі не мають зворотних зв'язків, вони також мають кінцеву імпульсну характеристику. Галузь застосування КІХ-мереж охоплює задачі, що є динамічними по своїй суті, зокрема, розпізнавання та синтез мови, локаційне виявлення або адаптивна обробка нестаціонарних сигналів.

Навчання КІХ-мереж полягає у визначенні такого набору коефіцієнтів (ваг) КІХ-фільтрів, при якому сумарна середньоквадратична помилка буде мінімальною. У розділі розглянуто метод часового зворотного поширення та показано, що цей метод є малопридатним для навчання багатовимірних КІХ-мереж з багатьма ступенями затримки сигналу через надмірні обчислювальні витрати. Тому було запропоновано удосконалені, більш ефективні процедури навчання КІХ-мереж методом часового зворотного поширення шляхом зміни порядку входження членів сум навчання таким чином, що у цьому випадку з ускладненням структури мережі обчислювальні витрати зростають практично лінійно, а не геометрично, як у випадку застосування класичного методу часового зворотного поширення.

Якщо розглянути налаштування коефіцієнтів фільтрів A і B, які включені послідовно, то для фільтра B є доступною інформація про бажані значення вихідного сигналу, що робить можливим застосування методу мінімізації середньоквадратичної похибки

, (9)

де - корекція коефіцієнтів фільтра B, - коефіцієнт швидкості навчання, - значення помилки, - вектор вихідних сигналів фільтра A.

Для фільтра A значення бажаного відгуку є недосяжним, тому обчислення градієнта потребує деяких підстанов:

 (10)

що призводить до оновлення коефіцієнтів фільтра A як

. (11)

Докладне розглядання виразів усіх сум добутків, які беруть участь в оновленні коефіцієнтів фільтра A, показує, що протягом багатьох ітерацій навчання всі члени суми накопичуються у сумарне оновлення ваг. У зв'язку з цим, за умови, що навчання відбувається повільно, а порядок входження добутків у суму не має значення, замість групування по горизонталі, запропоновано ефективний діагональний метод групування членів суми, який дозволяє отримати простий вираз для оновлення коефіцієнтів КІХ-фільтра A

, (12)

, (13)

де - помилка, відфільтрована в зворотному напрямку через фільтр B.

У такий спосіб отримано альтернативний вираз для налаштування коефіцієнтів синаптичних КІХ-фільтрів методом часового зворотного поширення. Протягом великої кількості ітерацій усі можливі комбінації добутків будуть враховані, змінюється лише порядок їх входження до суми. Але у даному випадку кількість операцій множення для оновлення ваг фільтрів на кожній ітерації навчання дорівнює сумі порядків цих фільтрів, а не їх добутку.

У четвертому розділі дисертації запропоновано підхід до оптимізації навчання рекурентних динамічних нейронних мереж та структур шляхом використання внутрішніх залежностей між їх деякими вільними параметрами, що дозволяє зменшити кількість ступенів свободи під час навчання ШНМ вказаного класу.

Такі залежності спостерігаються між коефіцієнтом підсилення нелінійних функцій активації нейронів та коефіцієнтом швидкості навчання процедури навчання рекурентних мереж, що настроюються під час навчання ШНМ. Оптимальні значення цих параметрів не відомі апріорі та залежать від багатьох зовнішніх величин, зокрема, від набору навчальних даних. Відомо, що початковий вибір ваг практично не впливає на швидкість навчання або на загальну ефективність роботи ШНМ, тому в першу чергу увага приділяється налаштуванню коефіцієнтів та .

В роботі проведено аналіз умов статичної та динамічної еквівалентності ізоморфних рекурентних та модульних ШНМ. Розглянуто загальні випадки довільних функцій активації нейронів та методів навчання. Так, показано, що для виконання наведених нижче умов статичної та динамічної еквівалентності ШНМ, функції активації їх нейронів мають задовольняти умову

. (14)

Для того, щоб рекурентна ШНМ з матрицею ваг , коефіцієнтом підсилення функції активації та коефіцієнтом швидкості навчання , була еквівалентною ізоморфній їй еталонній мережі з параметрами , і , мають виконуватися такі умови:

1) мережі мають бути статично еквівалентні, тобто виходи порівнюваної та еталонної мережі мають співпадати у будь-який відлік часу

; (15)

; (16)

. (17)

Тому, умова статичної еквівалентності може бути сформульована як

. (18)

Наприклад, для поширеної логістичної функції ця умова легко виконується:

. (19)

2) коефіцієнт швидкості навчання еквівалентної мережі та еталонної мережі мають співвідноситися як

. (20)

Із умов статичної та динамічної еквівалентності виходить, що будь-яка довільна рекурентна ШНМ може бути отримана з еталонної через застосування певного набору правил перетворення її ваг та коефіцієнтів і , що дозволяє зменшити складність задачі нелінійної оптимізації під час навчання рекурентних ШНМ на один ступінь свободи. Аналогічний підхід до аналізу залежностей між параметрами і розповсюджується й на модульні нейромережні архітектури як з паралельним з'єднанням модулів, так і з вкладеним (послідовним).

П'ятий розділ присвячений імітаційному моделюванню та вирішенню практичних задач апроксимації багатовимірних функцій, відновленню сигналу з вадами, ідентифікації динамічних об'єктів за допомогою ШНМ різноманітних типів та архітектур.

Показано, що серед сучасних програмних нейросимуляторів, таких як SNNS 4.1, Trajan 3.0, Neuro Pro 0.25, та MatLab 7, останній надає найповніші можливості щодо дослідження властивостей ШНМ. Тому моделювання ШНМ здійснювалося у середовищі MatLab 7 з використанням ПЕОМ на базі процесорів Intel Pentіum4 та Intel Core2 Quad під управлінням ОС GNU/Linux.

Розглянуто задачу відновлення багатовимірних функцій за наявності вад вимірів. Змодельовано роботу ШНМ СМАС, РБМ та БП різноманітних архітектур. Відзначено гнучкість і універсальність БП, а також високу швидкість навчання та ефективність ієрархічних нейронних мереж HCMAC.

Проведено аналіз апроксимуючих властивостей БП декількох конфігурацій. Кількість прихованих шарів змінювалася від 1 до 3, а кількість нейронів у них - від 10 до 50. Результати моделювання показали, що зі збереженням постійної кількості зв'язків усередині мережі (об'єму пам'яті), БП з двома прихованими шарами є оптимальними, адже вони у багатьох випадках забезпечують більшу точність апроксимації та менший час навчання, ніж БП з іншою кількістю прихованих шарів.

Також розглянуто задачу ідентифікації багатовимірного об'єкта на основі динамічних ШНМ прямого поширення. Результати свідчать про високу ефективність динамічних КІХ-мереж, проте за рахунок значного ускладнення процедур навчання мережі, обумовленого застосуванням синаптичних КІХ-фільтрів, час навчання мережі збільшується приблизно у чотири рази. нейронний мережа апроксимація ідентифікація

На рис. 3 наведено результати апроксимації динамічної функції за допомогою статичної мережі (БП 30-1) та динамічної КІХ-мережі (ДБП 30-1).

(21)

Рис. 3 - Результати апроксимації мережами БП 30-1 та ДБП 30-1

Розроблено нейромережну модель, яка забезпечує високу швидкодію і якість ідентифікації нелінійного об'єкта керування в процесі стабілізації енергії пучка електронів у односекційному сильнострумовому прискорювачі електронів КПТ (Комплекс Прискорювача Технологічного, Національний Науковий Центр "Харківський фізико-технічний інститут"), що дозволило покращити короткочасну стабільність вихідної енергії та спричинило покращення характеристик прискорених пучків. Отже, показано ефективність застосування нейромережних моделей на основі ШНМ СМАС у складі нейрорегуляторів при побудові систем керування як нелінійними динамічними об'єктами, так і складними технологічними процесами.

У висновках сформульовано основні наукові та практичні результати дисертаційної роботи.

У додатку наведено акти про впровадження результатів дисертаційної роботи.

Висновки

У дисертації наведено результати, які, відповідно до мети дослідження, у сукупності є розв'язанням актуальної науково-практичної задачі, пов'язаної з адаптивною обробкою інформації у реальному часі. Вирішення задачі полягає у застосуванні розроблених методів та має велике наукове та практичне значення. У результаті виконання роботи отримано такі результати:

1. Розглянуто проблему апроксимації багатовимірних нелінійних функцій. Досліджено різні аналітичні моделі, що дозволяють достовірно апроксимувати багатовимірні нелінійні функції за наявності вад вимірювання. Вивчено базові архітектури і методи навчання найчастіше використовуваних статичних ШНМ (БП, РБМ, СМАС) і динамічних (динамічні рекурсивні ШНМ, мережі з елементами затримки сигналу), що застосовуються для розв'язання задач апроксимації, фільтрації, ідентифікації і управління багатовимірними нелінійними динамічними об'єктами.

2. Запропоновано методи модифікації ШНМ СМАС для зниження вимог до пам'яті та підвищення ефективності обробки багатовимірних даних. Зокрема, розроблено метод автоматичної побудови адаптивної схеми дискретизації вхідних сигналів у ШНМ СМАС, що дозволяє спростити структуру мережі за рахунок зниження точності апроксимації областей вхідного простору, що мають найменшу ентропію, а також підвищити точність апроксимації областей, де ентропія максимальна.

3. Досліджено модульні нейромережні моделі, призначені для обробки багатовимірних даних за допомогою ШНМ СМАС малої розмірності та запропоновано декілька шляхів підвищення їх ефективності, зокрема підхід до мінімізації структури ієрархічних нейронних мереж HCMAC і розроблено формалізований метод самоорганізації вхідного простору ієрархічних нейронних мереж МНСМАС. ШНМ МНСМАС, так само, як і НСМАС, є ієрархічною структурою, побудованою на основі топології бінарного дерева, у вузлах якого знаходяться двовимірні мережі GCMAC, що диференціюються. На відміну від НСМАС, яка передбачає використання топології повного бінарного дерева, МНСМАС застосовує схему розширення структури з використанням топології точного бінарного дерева, при цьому витрати пам'яті МНСМАС зростають лінійно зі збільшенням кількості вхідних змінних.

4. Наведено модель динамічної КІХ-мережі прямого поширення як природне доповнення до стандартних багатошарових ШНМ прямого поширення, а підхід до настроювання параметрів КІХ-мереж за методом часового зворотного поширення - як відповідне доповнення до стандартного методу зворотного поширення. Показано, що модифікація процедур навчання КІХ-мереж методом часового зворотного поширення шляхом зміни порядку входження членів сум навчання дозволяє досягти лінійного, а не геометричного, як у випадку застосування класичного методу часового зворотного поширення, зростання обчислювальних витрат.

5. Отримано співвідношення між коефіцієнтом навчання та коефіцієнтом підсилення загальної функції активації нейрона для нелінійних методів настроювання вагових коефіцієнтів модульних рекурентних ШНМ. Показано, що ці співвідношення зберігають як статичну (еквівалентність вихідних сигналів усіх нейронів мережі), так і динамічну (поведінка ШНМ протягом навчання) еквівалентності для методів навчання, заснованих на методі градієнтного спуску та розширеного рекурсивного методу найменших квадратів. Застосування отриманих співвідношень дозволяє спростити задачу нелінійної багатовимірної оптимізації, яка виникає за навчання модульних РШНМ, на один ступінь свободи, що значно зменшує обчислювальні витрати, необхідні для реалізації розглянутих процедур навчання.

6. Здійснено імітаційне моделювання апроксимації та фільтрації багатовимірних нелінійних функцій за допомогою статичних ШНМ СМАС, РБМ та БП різних архітектур, а також динамічних ШНМ прямого поширення. Відзначено гнучкість і універсальність БП, високу швидкість навчання й ефективність ієрархічних нейронних мереж НСМАС. Також результати свідчать про високу ефективність динамічних ШНМ, проте за рахунок значного ускладнення процедур навчання ШНМ, обумовленого застосуванням синаптичних КІХ-фільтрів, значно зростає час навчання. Також розроблено нейромережну модель, яка забезпечує високу швидкодію і якість ідентифікації нелінійного об'єкта керування в процесі стабілізації енергії пучка електронів у односекційному сильнострумовому прискорювачі електронів КПТ, що дозволило покращити короткочасну стабільність вихідної енергії та спричинило покращення характеристик прискорених пучків. Показано ефективність застосування нейромережних моделей на основі ШНМ у складі нейрорегуляторів при побудові систем керування як нелінійними динамічними об'єктами, так і складними технологічними процесами.

Список опублікованих праць за темою дисертації

1. Руденко О.Г. Аппроксимация многомерных функций с помощью нейронной сети СМАС. / О.Г. Руденко, А.В. Островерхий, Н.Н. Островерхая // Бионика интеллекта: научн.-техн. журнал. - 2006. - № 2 (65). - C. 8-13.

2. Руденко О.Г. Фильтрация зашумленных многомерных функций с помощью нейронной сети CMAC. / О.Г. Руденко, А.В. Островерхий // Вестник ХНТУ. -2007. - № 4 (27). - С. 20-24.

3. Руденко О.Г. Нейросетевая аппроксимация многомерных функций при наличии помех измерений. / О.Г. Руденко, А.В. Островерхий // Бионика интеллекта: научн.-техн. журнал. - 2007. - № 1 (66). - C. 58-63.

4. Бессонов А.А. О нейросетевом подходе к восстановлению многомерных функций при наличии помех измерений. / А.А. Бессонов, А.В. Островерхий, А.А. Шамраев, Н.Н. Островерхая // Системы обработки информации. - 2007. - № 9 (67). - C. 33-41.

5. Руденко О.Г. Адаптивная настройка параметров нейронной сети СМАС / О.Г. Руденко, А.А. Бессонов, А.В. Островерхий // Вестник ХНТУ. - 2008. - № 1 (30). - С. 146-151.

6. Руденко О.Г. Выбор архитектуры многослойного персептрона в задаче идентификации многомерных объектов / О.Г. Руденко, А.В. Островерхий // Оптимизация производственных процессов. Вып. 11: сб. науч. тр. - 2009. - С.40-43.

7. Островерхий А.В. Применение динамических нейронных сетей прямого распространения в задачах аппроксимации многомерных нелинейных функций / А.В. Островерхий, Н.Н. Островерхая // Вестник ХНТУ. - 2009. - № 1 (34). - С. 37-41.

8. Руденко О.Г. Идентификация и управление многомерными нелинейными объектами с помощью иерархической нейронной сети CMAC. / О.Г. Руденко, А.А. Бессонов, А.В. Островерхий // Материалы междунар. конф. "Интеллектуальные системы принятия решений и прикладные аспекты информационных технологий ISDMIT-2006". - Евпатория, 2006. - Т.2. - С. 254-261.

9. Руденко О.Г. Восстановление многомерных функций с помощью нейронной сети CMAC малой размерности при наличии помех измерений. / О.Г. Руденко, А.В. Островерхий, Н.Н. Островерхая // Материалы Международной научной конференции "Сложные системы управления и менеджмент качества CCSQM`2007". - Россия, Старый Оскол: СТИ, 2007. - С. 109-112.

10. Руденко О.Г. Нейросетевое восстановление зашумленных многомерных функций на основе многослойного персептрона. / О.Г. Руденко, А.А. Шамраев, А.В. Островерхий // Материалы 2-й Международной научной конференции "Современные информационные системы. Проблемы и тенденции развития" : сб. материалов конф. - Харьков-Туапсе, 2007. - С. 275-276.

11. Руденко О.Г. Эффективные методы нейросетевой аппроксимации и восстановления зашумленных многомерных функций / О.Г. Руденко, А.В. Островерхий, Н.Н. Островерхая // Проблемы информатики и моделирования. Материалы VII-й Международной научно-технической конференции. - Х.: НТУ "ХПИ", 2007. - C. 24-25.

12. Островерхий А.В. Сравнительный анализ алгоритмов обучения ИНС прямого распространения / А.В. Островерхий // XII-й Международный молодежный форум "Радиоэлектроника и молодежь в XXI веке" : Сб. материалов форума Ч.2. - Харьков: ХНУРЭ, 2008. - C. 59.

13. Руденко О.Г. Архитектура многослойного персептрона в задаче идентификации нелинейного объекта / О.Г. Руденко, А.В. Островерхий // Управление, автоматизация и окружающая среда: Материалы международ. науч.-техн. конф., г. Севастополь, 8-13 сентября 2008г. - Севастополь: Изд-во СевНТУ, 2008. - С. 89-91.

14. Островерхий А.В. О проблеме выбора начальной архитектуры многослойного персептрона / А.В. Островерхий, Н.Н. Островерхая // Проблемы информатики и моделирования. Материалы VIII-й Международной научно-технической конференции. - Х.: НТУ "ХПИ", 2008. - C. 50-51.

15. Руденко О.Г. О статической и динамической эквивалентности рекуррентных искусственных нейронных сетей / О.Г. Руденко, А.В. Островерхий, Н.Н. Островерхая // Проблемы информатики и моделирования. Материалы IX-й Международной научно-технической конференции. - Х.: НТУ "ХПИ", 2009. - C. 26-27.

16. Руденко О.Г. Оптимизация обучения рекуррентных нейронных сетей за счёт использования внутренних зависимостей / О.Г. Руденко, А.В. Островерхий, Н.Н. Островерхая // Современные методы, информационное, программное и техническое обеспечение систем управления организационно-технологическими комплексами: Прогр. и материалы Междунар. науч.-техн. конф., 26-27 ноября 2009 г. - К.: НУХТ, 2009. - С. 44.

Размещено на Allbest.ru

...