Система м’яких обчислень на базі нейронних мереж адаптивного резонансу для розв’язання задач САПР

Размещено на http://www.allbest.ru/

Національний технічний університет України

«Київський Політехнічний Інститут»

Автореферат

дисертації на здобуття наукового ступеня

кандидата технічних наук

05.13.12 - системи автоматизації проектувальних робіт

СИСТЕМА М'ЯКИХ ОБЧИСЛЕНЬ НА БАЗІ НЕЙРОННИХ МЕРЕЖ АДАПТИВНОГО РЕЗОНАНСУ ДЛЯ РОЗВ'ЯЗАННЯ ЗАДАЧ САПР

Арутюнян Ашот Леонович

Київ - 2010

Дисертацією є рукопис

Робота виконана в Національному технічному університеті України «Київський політехнічний інститут» Міністерства освіти і науки України на кафедрі конструювання електронно-обчислювальних апаратів.

Науковий керівник доктор технічних наук, професор, заслужений діяч науки і техніки України

Калніболотський Юрій Максимович,

Національний технічний університет України «КПІ»,

професор кафедри конструювання електронно-обчислювальних апаратів

Офіційні опоненти: доктор технічних наук, професор

Молчанов Олександр Артемович,

Національний технічний університет України «КПІ»,

завідувач кафедри прикладної математики

кандидат технічних наук, доцент

Харченко Олександр Григорович,

Національний авіаційний університет,

професор кафедри комп'ютерних інформаційних технологій

Захист відбудеться 17.05. 2010 р. о 15 годині на засіданні спеціалізованої вченої ради Д 26.002.17 у Національному технічному університеті України «КПІ» за адресою: 03056, м. Київ-56, п-кт Перемоги, 37, корп. ______, ауд. _______.

З дисертацією можна ознайомитись у бібліотеці Національного технічного університету України «КПІ» за адресою: 03056, м. Київ-56, п-кт Перемоги, 37.

Автореферат розісланий 03.04. 2010 р.

Учений секретар

спеціалізованої вченої ради Д 26.002.17

кандидат технічних наук, доцент Г.Д. Кисельов

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. На даний час існує багато систем автоматизованого проектування, в тому числі системи, що мають як широке поширення так і вузько спеціалізовані. Проте автоматизація процесів проектування є задачею складною і такою, що важко піддається формалізації та належить до класу NP-повних задач, які не можуть бути вирішені класичними математичними методами, а вимагають залучення методів м'яких обчислень.

Методи м'яких обчислень (МО) як інструмент САПР, є відносно новим напрямком досліджень, що базуються на методах, пов'язаних з представленням та трансформацією знань. До особливості систем, побудованих на базі м'яких обчислень можна віднести їх здатність працювати за умов неповних знань про певну предметну область та обмеженої інформації щодо середовища функціонування.

Аналіз методів м'яких обчислень, притаманних символічним та емергентним системам обробки інформації (дедуктивні та індуктивні міркування, міркування на основі прецедентів, асоціативні міркування, нейронні мережі та еволюційні алгоритми), показує, що така група властивостей, як: чутливість до предметної області, генерація висновків, здатність до навчання, дедукція, здатність використовувати накопичені знання при зміні умов, асоціативний аналіз, чутливість до послідовності представлених даних більшою мірою притаманна лише двом методам м'яких обчислень - штучним нейронним мережам та системам асоціативного міркування. Отже, саме ці, «нефоннеймовські», підходи до побудови систем м'яких обчислень (СМО) для аналізу і обробки інформації вже акумулювали в собі розвинутий арсенал властивостей, а побудова гібридної системи на їх основі дозволяє підсилити слабкі моменти конкретного варіанту реалізації.

Практичне застосування подібних гібридних систем є корисним з точки зору розробки методів формалізації, ідентифікації і аналізу об'єктів проектування, декомпозиції складних систем і створення систем прийняття проектних рішень і експертних систем у САПР.

Створення гібридної системи м'яких обчислень (ГСМО) на базі нейронної мережі адаптивної резонансної теорії (АРТ), яка має властивості стабільності-пластичності пам'яті, для підвищення якості вирішення вищезазначених задач САПР у параметрах точності, швидкості, шумозахищеності та вимог до обчислювальних ресурсів через використання у шарі розпізнавання мережі радіально-базисної функції (РБФ) - є актуальною науково-прикладною задачею.

Сферою застосування гібридної системи м'яких обчислень на базі нейронної мережі адаптивної резонансної теорії як елементу САПР буде аналіз, обробка і класифікація об'єктів проектування та баз даних з шаблонами проектних рішень (представлених у вигляді опису на штучній мові) на всіх етапах проектування (зовнішній, внутрішній) і на всіх рівнях деталізації і декомпозиції.

Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалась у рамках пошукових досліджень кафедри КЕОА НТУУ «КПІ», пов'язана з планами науково-дослідної та навчальної роботи кафедри, а також у рамках програми «Створення автоматизованої нейронної системи технічного контролю» ДАХК «Артем», відповідно до трудових угод № 800/06-11847 від 01.11.2006, № 800/06-12985 від 01.12.2006, № 800/07-02024 від 01.02.2007, № 800/07-05929 від 01.05.2007, № 800/07-10164 від 01.10.2007.

Результати роботи використані компанією ТОВ «Бюро Верітас Сертифікейшн Україна» (акредитація НААУ №3O004, №8O001), офіційного представника міжнародного сертифікаційного органу BUREAU VERITAS Certification (акредитація UKAS №008) у системі оцінки результатів та планування аудитів.

Результати роботи використані компанією ДП «CCI Україна Лімітед» у системі аналізу результатів інспекції вуглеводної та залізорудної сировини, що проводилася для ВАТ «Дніпровський Металургійний комбінат імені Ф.Е. Дзержинського», контракт № 26-0596-02 від 17.02.2006, ОАО МК «Азовсталь», контракт № CCI-BV-UKR 0008/07 KI від 26.12.2007.

Мета і завдання дослідження. Вирішення важливої науково-практичної задачі зі створення нового класу гібридних нейронних мереж адаптивного резонансу з нейронами радіально-базисної функції для розв'язання задач САПР, пов'язаних с формалізацією і ідентифікацією об'єктів проектування, задач машинної графіки та задач створення систем прийняття проектних рішень і експертних систем у САПР, а також розробка відповідної інформаційної програми такої системи як елементу САПР.

Для досягнення вказаної мети вирішено наступні задачі:

- проведено дослідження методів побудови гібридних систем обробки інформації та м'яких обчислень для вирішення задач САПР і показані переваги нейронних систем;

- проведено дослідження архітектури і обчислювально-ефективних шляхів реалізації мереж адаптивного резонансу, мереж радіально-базисної функції та їх переваг і недоліків;

- на базі проведених досліджень розроблено новий клас нейронних мереж адаптивного резонансу з нейронами радіально-базисної функції зі збереженням функції пластичності-стабільності, розроблено інформаційну програму такої системи як елементу САПР і проведено перевірку теоретичних розробок на конкретних прикладах;

- проведено дослідження процесу функціонування та навчання мереж адаптивного резонансу з нейронами радіально-базисної функції, виявлено переваги і недоліки;

- вперше запропоновано нову форму функціоналу Тихонова з використанням константи Ліпшиця.

Об'єкт дослідження. Архітектури та алгоритми кластеризуючих штучних нейронних мереж адаптивного резонансу і шляхи їх гібридизації.

Предмет дослідження. Застосування гібридних нейронних мереж на базі мереж адаптивного резонансу для вирішення задач САПР.

Методи дослідження. Теоретичні дослідження, базовані на аналізі властивостей існуючих методів м'яких обчислень і шляхів побудови гібридних структур м'яких обчислень, аналізі архітектур і характеристик нейронних мереж, функціональних особливостей штучних нейронів та асоціативних підходів до обробки знань. Експериментальні дослідження, базовані на аналізі вимірювань параметрів продуктивності та результативності роботи розроблених структур згідно з визначеними параметрами застосованих методик.

Наукова новизна одержаних результатів полягає у розробці нових методик м'яких обчислень, а саме - гібридних нейронних мереж адаптивного резонансу. Перевагою розроблених підходів є збереження властивостей стабільності-пластичності пам'яті мережі, що притаманно мережам адаптивного резонансу, зниження чутливості до шумів та збільшення точності результатів роботи завдяки використанню нелінійних функцій. Простота програмної реалізації пов'язана з вибором ефективного алгоритму функціонування нової мережі та заощадливим використанням ресурсів для зберігання власної пам'яті.

· Вперше розроблена й теоретично обґрунтована архітектура і модель функціонування нової гібридної нейронної мережі адаптивного резонансу на базі існуючих мереж адаптивного резонансу через використання у шарі розпізнавання нейронів з радіально-базисною функцією. Розроблені та відповідно теоретично обґрунтовані методики навчання і вимоги до обсягу навчального підручника. Нова архітектура, на перевагу від класичних мереж адаптивного резонансу і мереж радіально-базисної функції, за рахунок синергетичного ефекту може бути застосована для розв'язання задач кластеризації за умов, коли класичні підходи вже не є ефективними.

· Вперше запропоновано новий вид функціоналу Тихонова з використанням структурної і сигнальної константи Ліпшиця, що дозволило провести теоретичні дослідження властивостей нової архітектури нейронної мережі та обґрунтувати зв'язки між параметрами налаштування нової гібридної системи м'яких обчислень та результатом (точністю) її роботи.

· Вперше запропоновано використати гібридний метод нелінійного нормування даних для нормування вхідних даних експертних систем та нейронних мереж, який дозволяє використовувати нейронні мережі для обробки інформації у прикладних задачах САПР і є оборотним, що в свою чергу дає змогу проводити фізичну інтерпретацію отриманих результатів.

Практичне значення одержаних результатів. Застосування розробленої архітектури гібридної нейронної мережі дозволяє суттєво скоротити час функціонування (мережа обробляє підручник в цілому за один «прохід», і використовує обчислювально-ефективний алгоритм) існуючих систем обробки інформації та САПР, побудованих на базі мереж адаптивного резонансу, при одночасному підвищенні точності та зниженні чутливості до шумів вхідного сигналу (за рахунок використання нелінійної радіально-базисної функції у нейронах шару розпізнавання).

Розроблені на базі нової архітектури математичні моделі стали підґрунтям для створення низки алгоритмічних рішень функціонування та навчання систем обробки інформації на базі нейромереж. Новий вид функціоналу Тихонова можна застосовувати для аналізу інших архітектур нейронних мереж.

Результати можуть бути використані для розв'язання широкого спектру конструкторських та дослідницьких задач, у промислових системах, системах прогнозування й розпізнавання, класифікації та аналізу інформації.

Особистий внесок здобувача. Дисертація є результатом творчої роботи. Автором проведено аналіз вітчизняної та зарубіжної літератури, обґрунтовано мету та задачі дослідження, розроблена нова архітектура систем м'яких обчислень та метод обробки інформації у задачах САПР, розроблені шляхи практичного використання та запропоновано новий вид функціоналу Тихонова та метод аналізу систем м'яких обчислень із застосуванням останнього, запропоновано та апробовано використання гібридного методу нелінійного нормування для експертних систем та нейронних мереж. Проведено практичну апробацію отриманих результатів, розроблено та запропоновано рекомендації щодо їх застосування.

Апробація результатів дисертації відбулася на таких конференціях та семінарах: Міжнародна науково-технічна конференція SAMSUNG Young Scientist Day (Київ, 2000), Науково-технічна конференція «Електроніка і зв'язок» (Київ, 2002), IV російсько-український науковий семінар «Інтелектуальний аналіз інформації» (Київ, 2004), Науково-технічна конференція «Електроніка і зв'язок» (Київ, 2004), Науково-практична конференція ДП «УкрНДНЦ» «Якість та екологія - основа сталого розвитку економіки» (Київ, 2005), семінар в рамках 11 міжнародної спеціалізованої виставки «Kiev Build 2007» (Київ, 2007).

Публікації. За матеріалами дисертації опубліковано 8 друкованих робіт, з них 5 у фахових наукових виданнях, 2 патенти.

Структура дисертації. Дисертаційна робота складається з вступу, 5 розділів, висновків, списку використаних джерел із 139 найменувань, двох додатків. Загальний обсяг дисертації становить 129 сторінок, з них 117 сторінок основного тексту, 24 рисунки і 8 таблиць, список використаних джерел на 7 сторінках, два додатки на 5 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

Робота складається з 5 розділів. Автором були визначені задачі САПР, до розв'язання яких можуть бути застосовані методи м'яких обчислень. Визначені конкретні обчислювально-ефективні шляхи практичної реалізації систем гібридної обробки інформації на базі нейронної мережі адаптивного резонансу. Із застосуванням методу регуляризації, модернізовано існуючу архітектуру нейронної мережі і запропоновано новий метод обробки інформації для розв'язання задач САПР. Запропоновано новий вид функціоналу Тихонова, з використанням якого проведено аналіз нової архітектури, визначені вимоги до навчального підручника мережі, та сформульовано умову збіжності процесу навчання мережі. Проведено практичну апробацію розробленого методу обробки інформації.

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету і завдання роботи, наукову новизну та практичну цінність одержаних результатів, показано зв'язок роботи з науковими програмами, планами та темами. Наведено дані про впровадження результатів роботи, її апробацію, публікації та особистий внесок здобувача.

У першому розділі проведено аналіз методів побудови гібридних систем обробки інформації на базі м'яких обчислень для розв'язання задач САПР. Аналіз демонструє, що за низкою аспектів до розв'язання NP-повних задач САПР можуть бути залучені методи м'яких обчислень (МО).

З точки зору використання мови проектування, об'єкт проектування, є сукупністю компонентів (низка фрагментів програмного коду) кожен з яких реалізує певну структуру цільового об'єкта проектування. Тоді опис об'єкта проектування на кожній стадії проектування буде представляти вектор, розпізнавання, аналіз і класифікація якого є основною задачею, що стоїть перед методами м'яких обчислень в САПР.

За результатами проведеного аналізу основних підходів до побудови гібридних систем обробки інформації, з використанням інструментарію Data Mining і м'яких обчислень (див. табл. 1), були визначені основні підходи до побудови гібридної системи обробки інформації для розв'язання задач САПР (функціональна, взаємопов'язана, поліморфна, комбінована, інтегрована, злита, асоціативна гібридизація), та у якості базису нової системи обрано мережу адаптивного резонансу.

Таблиця 1. Аналіз властивостей методів Data Mining

	Дедуктивні методи	Індуктивні методи	Системи на основі прецедентів	Штучні нейронні мережі	Асоціативні системи	Еволюційні алгоритми
Чутливість до предметної області	Х	Х	Х	Х	Х	Х
Виконання дій	Х		Х	Х	Х	Х
Самонавчання		Х	Х	Х	Х	Х
Дедукція	Х			Х
Функціонування при недостатньому обсязі інформації	Х		Х	Х	Х	Х
Асоціативні міркування				Х	Х
Чутливість до окремих ситуацій		Х			Х
Орієнтованість на конкретну ціль	Х	Х	Х	Х	Х	Х

Нейромережі теорії адаптивного резонансу (Adaptive Resonance Theory Network) (АРТ) об'єднують ціле сімейство мереж, побудованих на двошаровій архітектурі, де один шар виконує функцію порівняння, а інший функцію пошуку відповіді. АРТ мережі є пластичними - здатними охоплювати нові явища, не представлені на етапі навчання, та в той же час стабільними, тобто не втрачають вже накопичені знання.

Мережа під час функціонування і навчання «резонує», якщо зразок кластера, збереженого в нейронній мережі АРТ, і вхідний сигнал подібні. В самій двошарові архітектурі мережі адаптивного резонансу вже закладена відповідна гібридність. Одним з ефективних варіантів покращення властивостей АРТ мережі є поглиблення її гібридизації через використання у шарі розпізнавання мережі іншого типу.

У другому розділі розглянуто основні шляхи побудови гібридних систем обробки інформації (ГСМО) на базі штучної нейронної системи адаптивного резонансу, визначено обчислювально-ефективні алгоритми функціонування для побудови обчислювально-ефективної та нересурсоємної системи, для практичного застосування як частини САПР.

Припустимо, що в час t на вхід мережі представлено новий вхідний вектор X(t) D^d, де d - розмірність вхідного простору, тоді як область D = R в аналоговому випадку, або D = {0,1} в бінарному випадку. Цей вхідний вектор оброблений неконтрольованою одношаровою мережею, що складається з вхідного шару, що містить d нейронів входу F_k, k = 1...d, повністю пов'язаних з активними вузлами вихідного шару E(t)_j, j = 1...,c(t), де с(t) розмір мережі. Синапси вихідних нейронів E(t)_j у час t, параметризовані синаптичним вектором, навченим на даних, W^(t)j D^с, j = 1…,с(t), де с > d - розмірність простору.

Відповідно АРТ кластеризуюча система це система, де найкраще погоджений модуль E^(t)_w1(t) у час t, є рішенням наступного виразу:

	(1)

де AF_ART(X^(t), W_j^(t)), звана функцією активації (AF), є відображенням:

	(2)

міра між даними X і моделлю кластера визначеного вектором W, яка має обмеження:

	(3)

де с - поріг чутливості (міра подібності векторів), який є визначеною оператором відносною величиною і забезпечує модель зовнішніх очікувань, тоді як MF_ART(X^(t),W_j^(t)), звана функцією відповідності (MF), є відображенням:

	(4)

еквівалент нормальної міри «сумісності» між даними входу X і вектором W.

Аналіз існуючих на сьогоднішній день мереж дозволяє описати модульну архітектуру алгоритмів АРТ таким чином:

Повністю універсальна неконтрольована «висхідна одношарова мережа» розпізнавання образів (E layer - шар розпізнавання), складається з вузлів, які функціонують згідно з (1). Відповідно орієнтуюча підсистема (F layer - шар порівняння), заснована на нерівності (3), де якість неконтрольованого розпізнавання образів порівнюється з вимогами оператора, представленими у формі заданого відносного порогу чутливості с[0,1].

Якщо «резонанс» не відбувається, орієнтуюча підсистема дозволяє приймаючому модулю динамічно збільшити свої ресурси так, щоб задовольняти зовнішнім вимогам.

На основі аналізу відомих алгоритмів реалізації АРТ визначені шляхи побудови оптимальних архітектур з погляду на зменшення «вартості» зберігання пам'яті і часу обробки вхідної інформації. Визначено та математично обґрунтовано обчислювально-ефективний алгоритм реалізації, який дозволяє суттєво (до 2-х разів) скоротити кількість операцій розрахунку виходів нейронів шару розпізнавання під час використання мережі.

Ефективна версія 2 функціонування (EART 2) передбачає, що функція (2) активації збільшується монотонно до функції (3), тобто: якщо AF_ART(X^(t),W_j^(t)) > AF_ART(X^(t),W_h^(t)), то MF_ART(X^(t),W_j^(t)) > MF_ART(X^(t),W_h^(t)) X^(t) D^d W_j^(t), W_h^(t) D ^p, і навпаки.

Недоліки, що випливають з архітектури АРТ: чутливість до шуму і викидів, неефективність розподілу категорій, залежність розподілу кластерів від черговості подання на вхід мережі набору даних, відсутність перцепційного групування кластерів. Ці недоліки можуть бути подолані з використанням функціональної гібридизації, де у якості агента гібридизації буде залучено одну з нечутливих до шуму мереж.

У третьому розділі запропоновано і досліджено архітектуру нової гібридної нейронної мережі адаптивного резонансу з нейронами радіально-базисних функцій, яка в рамках класичної моделі функціонування АРТ долає визначені раніше недоліки та надає нові переваги у розв'язанні задач кластеризації.

Виходячи з архітектури мережі, в якій шар порівняння виконує керуючу функцію, а шар розпізнавання - операційну, логічним є гібридне вдосконалення саме останнього. Сама задача, яку вирішує шар розпізнавання по своїй суті є погано обумовленою. Одним з методів розв'язання таких задач є метод регуляризації Тихонова, що полягає у використанні при пошуку рішення додаткової функції, яка буде нести в собі апріорну інформацію про предметну область і рішення. Існують два основних типи задач регуляризації: задачі мінімізації функціоналу і задачі мінімізації по аргументу.

Деякі задачі САПР належать до некоректних задач мінімізації функціоналу, тому що в цілому несуттєво, на якій елементній базі буде досягнуто мінімум функціоналу, а розв'язком задачі є ціле сімейство функціоналів, які дають наближені рішення, що відповідають вимогам проектного завдання. Задачі, пов'язані з навчанням нейронних мереж, у яких аргументом є вектор синаптичних ваг, відносяться до задач другого типу: у процесі навчання генерується послідовність векторів синаптичних ваг для певної, існуючої в даний момент часу архітектури нейронної мережі.

Функціонал Тихонова , містить у собі дві складові:

1. Стандартна помилка , як відстань між бажаним відгуком і фактичним вихідним сигналом для прикладу навчання :

2. Параметр, пов'язаний з регуляризацією (стабілізуючий функціонал), що залежить від «геометричних» властивостей функції апроксимації :

Тут D - лінійний диференціальний оператор, що несе апріорну інформацію про форму рішення конкретної задачі. Оператором в (6) позначена норма у функціональному просторі. Таким чином, необхідно мінімізувати E(F):

де - параметр регуляризації рішення (при задача є коректною і залежить від прикладів, при апріорного знання достатня для визначення рішення).

Використовуючи ряд математичних перетворень, представимо рішення у вигляді:

де функція називається функцією Гріна і у якості якої, для окремого випадку, використана функція Гауса. Тобто, рішення задачі регуляризації лежить в N-мірному підпросторі простору гладких функцій, а множина функцій Гауса, із центром в , визначає базис цього підпростору.

При такій реалізації, ваги нейронів будуть знаходитися за рівнянням

, де отже	(9)
	(10)

де I - одинична матриця розмірності N Ч N. Матриця G - матриця Гауса.

Кількість функцій Гауса, дорівнює кількості прикладів, використовуваних при навчанні. При цьому характеристика функції Гауса для заданого центра залежить тільки від форми функції, і для забезпечення інваріантності до перетворень і повороту - залежить від Евклідової норми вектора різниці , тобто

,	(11)

Таким чином, регуляризація створює потенційну можливість для нейронної мережі на базі радиально базисних функцій стати нечутливими до викидів та шумів вхідного сигналу. При розв'язанні прикладних задач, приклади підручника є результатом експерименту, тобто вектором, виміряним з кінцевою точністю. Відповідно реальна прикладна задача може бути розв'язана множиною векторів w що задовольняють умову: .

Виходячи з (12), нейронна мережа може бути створена на базі сукупності нейронів, що обчислюють функцію активації:

Для визначення ширини вікон активаційних функцій пропонується використовувати наступну нерівність:

,	(15)

де d - відстань між двома найближчими центрами, г - встановлений оператором параметр. Ряд експериментів підтвердив раціональність вибору г =2(1 < г < 3).

Відповідно до алгоритму кластеризації ми визначаємо АРТ-РБФ кластеризуючу систему як виконавчу систему, де номер нейрона вихідного підшару РБФ шару розпізнавання в кожний момент часу є рішенням, тоді як співвідношення між вхідним вектором і центром гіперсфери нейрона з максимальним значенням функції активації прихованого підшару в РБФ шарі розпізнавання піддається обмеженню порогом.

Результатом роботи шару порівняння буде Евклідова відстань між вхідним вектором і центром гіперсфери нейрона переможця шару порівняння РБФ шару розпізнавання, якщо вона менше порогу с, то вважається, що умова розпізнавання виконана.

Як шар розпізнавання виберемо таку РБФ мережу, в якій ширина вікна нейронів прихованого шару може бути різною для кожного нейрона, а також зв'язок між прихованим і вихідним шаром не є повним і встановленим тільки для нейронів прихованого шару, центри гіперсфер яких належать відповідному класу. Нейрон вихідного шару обчислює зважену суму всіх сполучених з ним виходів нейронів прихованого шару. Ширина вікон активаційної функції прихованого шару обчислюється для кожного нейрона індивідуально з урахуванням вказаного вище г. Цим гарантується «чітка кластеризація» області простору вхідних векторів, та реалізація вимоги EART 2. нейрон мережа адаптивний резонанс

Для більш ефективного застосування пам'яті нейронної мережі використано новий алгоритм скорочення кількості нейронів мереж. Алгоритм передбачає, що дві близько розташовані гіперсфери, які належать одному кластеру можуть бути з'єднані в одну.

Завдяки зв'язку нейронів вихідного шару з кількома нейронами прихованого шару, гіперсфери об'єднуються в гіпергрупи, поверхня яких описує клас. Тим самим набувають право на існування дві ситуації, неможливі у класичній АРТ: коли жодний з нейронів не набув належного стану активації, але за сумою вкладів нейронів прихованого шару, вхідний вектор визнається їй належним, та коли один з нейронів набув належного стану активації, але за сумою вкладів нейронів іншого гіпергрона вхідний вектор визнається належним до іншого кластеру.

Для виконання умови активації нейрона вихідного шару з урахуванням вимог мережі встановлюється наступне співвідношення з вказаним оператором порогом шару порівняння:

.	(16)

У практичному застосуванні нейронних мереж не стоїть задача створення універсального «експерта» у довільній предметній області, а є необхідність створити апроксиматор для відповідного обмеженого середовища. У такому випадку важливим є питання оптимального обсягу навчального підручника для впевненого відпрацювання всіх навчальних прикладів, тобто підбору параметрів мережі таким чином, щоб мінімізувати:

,	(17)

де відповідно i-й вхідний і вихідний сигнал АРТ-РБФ мережі, F - функція, реалізована АРТ-РБФ мережею.

Для розв'язання задачі апроксимації на заданій предметній області необхідно, щоб нейронна мережа мала здатність до відповідної зміни на при зміні на. Відповідне відношення зміни вихідного сигналу до вхідного, реалізованого нейронною мережею, називається константою Ліпшиця. Причому, виділяють дві константи Ліпшиця:

§ сигнальну, що пов'язана зі співвідношенням швидкості зміни вхідного та очікуваного вихідного сигналу на певній ділянці предметної області задачі:

§ структурну, відповідно пов'язану з архітектурними властивостями АРТ-РБФ мережі щодо швидкості зміни вхідного та вихідного сигналу (залежить від структури РБФ мережі):

Шляхи розрахунку сигнальної константи Ліпшиця для довільної мережі відомі, ці правила є досить прості у використанні та обчисленні.

Для визначення властивості мережі щодо вирішення певної конкретної задачі досить виконання співвідношення , де ліва частина нерівності розраховується на базі даних задачника. Проаналізувавши (20), можемо зробити висновок, що найбільш ефективним інструментом підвищення якості роботи мережі буде зменшення ширини вікна функції активації РБФ шару.

Відповідно розраховані параметри підручника мережі, а саме максимальну відстань між сусідніми вхідними векторами, при якій буде виконане співвідношення (21) при фіксованому співвідношенні (22):

	(21)
	(22)

Визначена нерівністю (22) відстань між навчальними прикладами у гіперпросторі вхідних векторів є достатньою для ефективної роботи АРТ-РБФ мережі.

Задачі, пов'язані з навчанням нейронних мереж є задачами мінімізації по аргументу. У рівнянні (7) другий компонент у правій частині виконує роль стабілізуючого функціоналу і відповідає властивостям АРТ-РБФ мережі. Шар розпізнавання мережі дає регуляризований розв'язок у разі, якщо параметри мережі будуть підібрані таким чином, що буде виконано умову (21), що є достатньою умовою збіжності процесу регуляризації.

На практиці вектор синаптичних ваг обчислюється з певною заданою точністю, проте для методу регуляризації з неточно заданою правою частиною, властивості збіжності та стійкості процесу регуляризації зберігаються.

Беручи до уваги вказану вище складність, пов'язану з пошуком форми стабілізуючого функціоналу, пропонується використати у якості другого складового рівняння (7) різниці між сигнальною та структурною константами Ліпшиця. Адже перша несе в собі апріорне знання про предметну область, а друга - про архітектуру мережі.

Відповідно для (23) забезпечуються ті самі умови збіжності і стійкості, що і для (7).

Новий вид функціоналу Тихонова, дозволяє дослідити властивості нової мережі, сформулювати і математично обґрунтувати метод обчислення ємкості підручника нейронної мережі і обґрунтувати достатню умову збіжності алгоритму навчання. Розроблений метод обчислення ємкості підручника відрізняється простотою обчислення властивостей нової архітектури завдяки існуванню математичного апарату розрахунку.

У четвертому розділі розглянуті підходи до практичної реалізації розробленої нової гібридної нейронної мережі. Проаналізована сучасна практика реалізації нейротехнологій, що спирається на три варіанти відтворення нейромережевих моделей: програмний (використання емуляторів та спеціалізованих систем), апаратний (оптико-електронний, аналоговий, цифровий) та сумісний.

Одним з ефективних шляхів реалізації системи може бути роздільна реалізація функцій навчання і функціонування на базі одного обчислювального блоку. Таке рішення буде оптимальним з погляду на той факт, що графи обчислювальних процесів для навчання та функціонування є різними, хоч і базовані на одних обчислювальних операціях.

Пакет програм для емуляції АРТ-РБФ мереж має складатися з програми підготовки вхідних даних, програми емуляції АРТ-РБФ мережі та програми графічного відображення результатів роботи. Визначений ефективний алгоритм функціонування АРТ - EART 2 є основою програми. При реалізації комп'ютерної програми було розроблено наступні модулі: інтерфейс користувача, спільна пам'ять, блок реалізації функції шару розпізнавання, блок реалізації функцій шару порівняння, блок реалізації функцій елементарного нейрона, блок перенавчання.

Тестування програмного пакету, що реалізує функції мережі адаптивної резонансної теорії з нейронами радіально-базисної функції, проведено на класичних задачах розділення бінарного масиву даних на дві групи. Мережа впевнено провела розділення масиву відповідно до вказаних оператором вимог.

У п'ятому розділі проведено експериментальне дослідження гібридної системи обробки інформації ГСОІ на базі АРТ-РБФ мережі, та вперше запропоновано використання відомого методу нелінійного нормування вхідних даних у експертних системах.

Виходячи з цілей, які ставилися перед створенням ГСОІ на базі нового класу гібридних мереж, АРТ-РБФ мережа успішно виконала поставленні перед нею завдання: автоматична кластеризація області знань та автоматичне співвідношення вхідного вектора з одним із визначених.

При вирішенні більшості практичних задач необхідне здійснення спеціального попереднього перетворення даних для успішного навчання нейронної мережі - нормування, основною метою якого є максимізація ентропії входів і виходів. Щоб цього досягти запроваджується початкове лінійне нормування даних, а на завершальному етапі ? нелінійне нормування з варіативним видом нелінійності.

Для реалізації нелінійного нормування обрана біполярна сигмоїдальна функція активації (13), аналогічна тій, що використовуються в штучних нейронах. Новизна даного підходу полягає в змінному виді функції активації, що дозволяє підвищити ефективність нормування шляхом кращого наближення розподілу даних до рівномірного. Для можливості зміни виду функції активації в її склад введений спеціальний коефіцієнт, що застосовується до аргументу і задає ступінь «розтягування» функції уздовж осі абсцис. Такий коефіцієнт окремо обчислюється для кожного масиву даних, сформованого для кожного відповідного компоненту векторів навчального підручника.

У процесі проведення нормування коефіцієнт (вид нелінійності) обирається так, щоб максимально розширити розподіл нормованих даних у заданому діапазоні кожного входу мережі, та привести його до рівномірного. Важливим є той факт, що таке перетворення, при збереженні відповідних коефіцієнтів для кожного набору даних, є оборотним.

Методика нелінійного нормування була перевірена на практиці при навчанні нейроемулятора Neural Networks з пакету Statistika 5.0. Результат експерименту показав ефективність даної методики, так середньоквадратична помилка навчання мережі зменшилася з 1,901 - без нормування, до 0,3906 - із застосуванням нормування.

Проведене порівняння здатності до розпізнавання образів класичної мережі адаптивної резонансної теорії, класичної мережі радіально-базисної функції та нової гібридної нейронної мережі показало переваги останньої.

Анкети - дані опитування студентів; АРТ-РБФ 1 - обробка АРТ-РБФ мережею;

АРТ-РБФ 2 - обробка АРТ-РБФ мережею після побудови гіпергрона;

Класична АРТ - дані обробки класичною АРТ мережею;

Класична РБФ - дані обробки класичною РБФ мережею.

Значення функції активації для ART-RBF мережі для різних рівнів зашумлення знаходяться у межах (0,972;1). Експеримент підтвердив здатність ART-RBF мережі до розпізнавання зашумлених образів з більш високою, ніж у класичних архітектур, точністю. Підтверджені припущення щодо ширини вікна активації (без побудови гіпергрона - відповідає дисперсії, з побудовою гіпергрона - відповідає повному перекриттю).

Застосування нової гібридної нейронної мережі для розв'язання задачі автоматичної кластеризації області знань було перевірено під час впровадження ГСОІ у ПІІ ТОВ «Бюро Верітас Сертифікейшн Україна».

Розроблений та впроваджений на підприємстві програмний комплекс автоматизує систему формування груп аудиторів, виходячи з ряду вимог. Отримана середня інтегральна оцінка груп аудиторів, створених за допомогою ART-RBF у першому тижні березня 2008 року становила 4,18, тоді ж під час аналізу груп аудиторів, створених адміністративними методами у другому та третьому тижнях березня 2008 року дорівнює 0,63.

Застосування нової гібридної нейронної мережі для автоматичного співвідношення вхідного вектора з одним з визначених кластерів було перевірено під час впровадження системи у ВАТ «Артем-Контакт». АРТ-РБФ мережа була використана як елемент автоматизованої системи технічного контролю двигунів інвалідних колясок для автоматичного сортування останніх.

Система автоматичного сортування була частково впроваджена у травні 2008.

Додатково було проведено порівняння швидкості функціонування нової гібридної нейронної мережі з існуючими методами кластеризації у задачах аналізу зображень. Отримані результати цілком відповідають очікуванням. Обчислювальна ефективність нового алгоритму АРТ-РБФ мережі пояснюється простотою задіяного елементарного математичного апарату та простотою його реалізації на існуючих ЕОМ. Отримані результати досліджень наведені у табл. 2.

Таблиця 2. Порівняння методів кластеризації та апроксимації області знань

Метод	Час роботи алгоритму на 10 000 прогонів, сек.
Метод головних компонент	9,793
Лінійний дискримінантний аналіз	9,793
Трейс-перетворення	104,223
Вейвлет-перетворення	0,232
Гібридна СМО на базі АРТ-РБФ мережі	0,24

У додатках наведені чисельні значення вхідних векторів, результатів роботи нової гібридної мережі під час впровадження та відповідні акти про впровадження нової гібридної системи на таких підприємствах як: ООО «БЮРО ВЕРІТАС Сертифікейшн Україна», ДАХК «Артем», ДП «CCI Україна Лимітед».

ВИСНОВКИ

У роботі досліджені основні напрямки розвитку методів м'яких обчислень та шляхи їх вдосконалення через гібридизацію архітектур і алгоритмів для вирішення актуальних задач САПР. Розроблено, досліджено та практично перевірено модель нової гібридної СМО на базі гібридної мережі - мережі адаптивного резонансу з радіально-базисними функціями - АРТ-РБФ мережі.

У рамках роботи отримано такі основні результати:

· розроблено і теоретично обґрунтовано модель і архітектуру нової гібридної нейронної мережі адаптивного резонансу з нейронами радіально-базисної функції для розв'язання задач САПР, пов'язаних з формалізацією та ідентифікацією об'єктів проектування, задач машинної графіки та задач створення систем прийняття проектних рішень і експертних систем у САПР;

· розроблено базові обчислювально-ефективні алгоритми функціонування гібридної мережі та відповідно математично обґрунтовані шляхи їх ефективної реалізації, що дозволяє проводити ефективну програмно-апаратну реалізацію нової гібридної нейронної мережі на послідовних обчислювальних засобах;

· розроблено відповідні методики навчання нової гібридної мережі, що дозволяє скоротити час навчання, та правила скорочення обсягу пам'яті, необхідного мережі, за рахунок спеціального механізму об'єднання нейронів шару розпізнавання;

· запропоновано новий вид функціоналу Тихонова з використанням структурної і сигнальної констант Ліпшиця, який застосовано для аналізу властивостей нової архітектури нейронної мережі і можна поширити для аналізу інших архітектур нейронних мереж;

· з використанням нового виду функціоналу Тихонова сформульовано достатню умову збіжності процесу навчання мережі і розроблено метод обчислення достатнього обсягу навчального підручника. Розроблений метод відрізняється простотою обчислення за рахунок використання відомого апарату обчислення констант Ліпшиця;

· запропоновано та апробовано використання методу нелінійного нормування вхідних даних для нейронних мереж, який дозволяє зменшити залежність нейронної мережі від абсолютних значень елементів вхідного вектора та, завдяки властивості зворотного перетворення, дають можливість фізичної інтерпретації отриманих результатів;

· розроблено програмний емулятор, що реалізує функції і алгоритми нової гібридної нейронної мережі, який дозволив провести практичну апробацію і перевірити результати теоретичних досліджень;

· досліджені особливості застосування розробленої мережі в задачах САПР та надані рекомендації щодо її практичного використання.

На відміну від класичної АРТ, нова архітектура АРТ-РБФ за рахунок використання нелінійної РБФ функції нейрона розпізнавання менш чутлива до шумів і викидів, завдяки новому методу навчання і самонавчання не залежить від представленого на вхід мережі набору даних, крім того, більш ефективно розподіляє простір на кластери і має здатність до їх групування.

У задачах машинної графіки та машинного бачення під час кластеризації сильно зашумлених образів нова АРТ-РБФ мережа в 1,45 раза ефективніше класичної АРТ і у 1,41 раза ефективніше класичної РБФ, при цьому швидкість виконання програми відповідає методу вейвлет-перетворення, що традиційно застосовується у системах машинного бачення.

У ході експерименту було підтверджено можливість практичного використання мережі та її ефективність у реальних задачах промислових підприємств та сфери послуг як універсального кластеризатора для систем прийняття проектних рішень і експертних систем у САПР.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1.	Арутюнян А.Л. Методы адаптивного резонанса в нейронных сетях / Арутюнян А.Л. // Электроника и связь. - К., 2002. - № 16. - С. 88-90.
2.	Арутюнян А.Л. Методы преобразования входных данных нейронных сетей / Арутюнян А.Л. // Электроника и связь. - К., 2004. - № 21. - С. 78-79.
3.	Арутюнян А.Л. Современные реализации нейронных сетей адаптивного резонанса / Арутюнян А.Л. // Электроника и связь. - К., 2003. - № 20. - С. 161-166.
4.	Арутюнян А.Л. Нечеткий нейросетевой сортировщик / Арутюнян А.Л. // Технологические системы. - К., 2009. - №1(45). - с. 54-57.
5.	Калниболотский Ю.М. Сети адаптивной резонансной теории с RBF слоем распознавания / Калниболотский Ю.М., Арутюнян А.Л. // Технологические системы. - К., 2009. - №2(46). - С. 28-36. (автору належить постановка задач, розробка архітектури і алгоритму, математичне обґрунтування, постановка, проведення та аналіз результатів експерименту)
6.	Пат. № UA 42292, МПК (2009) G06F 15/00 / Спосіб нормування вхідних даних автоматизованої штучної нейронної системи технічного контролю / Арутюнян А.Л. - №u200901402; Заявл. 19.02.2009; Опубл. 25.06.2009, Бюл. № 12.
7.	Пат. № UA 46267, МПК (2009) G06F 15/00 / Спосіб обробки інформації з використанням автоматичної штучної нейронної системи адаптивного резонансу з радіально-базисними функціями шару розпізнавання нейронної мережі / Арутюнян А.Л., Калніболотський Ю.М. - №u200907412; Заявл. 15.07.2009; Опубл. 10.12.2009, Бюл. № 23.
8.	Арутюнян А.Л. Сети адаптивной резонансной теории с РБФ слоем распознавания / Арутюнян А.Л. // Интеллектуальный анализ информации: Сб. трудов рос.-укр. науч. семинара. - К., 2004. - С. 160.

АНОТАЦІЯ

АРУТЮНЯН А.Л. Система м'яких обчислень на базі нейронних мереж адаптивного резонансу для розв'язання задач САПР. - Рукопис

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.12 - Системи автоматизації проектувальних робіт. - Національний Технічний Університет України «Київський Політехнічний Інститут», МО України, Київ, 2009

Дисертаційна робота присвячена створенню гібридної системи м'яких обчислень на базі нейронної мережі адаптивної резонансної теорії, для підвищення якості вирішення задач САПР у параметрах точності, швидкості, шумозахищеності та вимог до обчислювальних ресурсів. В дисертації розроблено і теоретично обґрунтовано архітектуру і модель функціонування нової гібридної нейронної мережі адаптивного резонансу. Розроблені та відповідно теоретично обґрунтовані методики навчання. Запропоновано новий вид функціоналу Тихонова з використанням структурної і сигнальної константи Ліпшиця, що дозволяє проводити теоретичні дослідження властивостей систем м'яких обчислень. Запропоновано використовувати гібридний метод нелінійного нормування даних для нормування вхідних даних експертних систем та нейронних мереж, який є оборотним.

Ключові слова: САПР, системи м'яких обчислень, нейронні мережі, функціонал Тихонова, кластеризація, адаптивний резонанс, нелінійне нормування.

АННОТАЦИЯ

АРУТЮНЯН А.Л. Система мягких вычислений на базе нейронных сетей адаптивного резонанса для решения задач САПР. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.12 - Системы автоматизации проектных работ. - Национальный Технический Университет Украины «Киевский Политехнический Институт», МО Украины, Киев, 2009.

Диссертационная работа посвящена созданию гибридной системы мягких вычислений на базе нейронной сети адаптивной резонансной теории, для повышения качества решения задач САПР в параметрах точности, скорости, шумоустойчивости и требований к вычислительным ресурсам путем использования в слое распознавания сети радиально-базисной функции. Проведен анализ основных подходов к построению гибридных систем обработки информации с использованием инструментария Data Mining и мягких вычислений, и определены основные подходы к построению гибридной системы обработки информации для решения задач САПР. В качестве базиса новой системы избрана сеть адаптивного резонанса. Недостатки, вытекающие из архитектуры сети: чувствительность к шуму и выбросам, неэффективность распределения категорий, зависимость распределения кластеров от очередности представления на вход сети набора данных, отсутствие перцепционого группирования кластеров, - могут быть преодолены с использованием функциональной гибридизации, где в качестве агента гибридизации будут привлечены одни из нечувствительных к шуму сетей, направленные на более системную

(а не по-элементную) работу с предметной областью - сети радиально-базисной функции. Сферой применения такой гибридной системы мягких вычислений (как элемента САПР) является анализ, обработка и классификация объектов проектирования и баз данных с шаблонами проектных решений (представленных в виде описания на искусственном языке) на всех этапах проектирования и на всех уровнях детализации и декомпозиции. В диссертации разработаны и теоретически обоснованы архитектура и модель функционирования новой гибридной нейронной сети на базе существующих сетей адаптивного резонанса посредством использования в слое распознавания нейронов с радиально-базисной функцией. Разработаны и соответственно теоретически обоснованы методы обучения и требования к объему учебника сети. Новая архитектура, за счет синергетического эффекта может быть применена для решения задач кластеризации в условиях, когда классические алгоритмы уже не являются эффективными. Впервые предложен новый вид функционала Тихонова с использованием структурной и сигнальной константы Липшица, что позволили провести теоретические исследования свойств новой архитектуры нейронной сети и обосновать связи между параметрами настройки гибридной системы мягких вычислений и результатом (точностью) ее работы. Предложено использовать гибридный метод нелинейного нормирования данных для нормирования входных данных экспертных систем и нейронных сетей, который позволяет использовать нейронные сети для обработки информации в прикладных задачах САПР и является обратимым, что в свою очередь дает возможность проводить физическую интерпретацию полученных результатов. Преимуществом разработанных методов является сохранение свойств стабильности-пластичности памяти сети, которые свойственны сетям адаптивного резонанса, снижение чувствительности к шумам и увеличение точности результатов работы благодаря использованию нелинейных функций. Cоздана и реализована программа, реализующая функции новой гибридной системы, и проведена проверка теоретических разработок на конкретных примерах. Применение разработанной архитектуры гибридной нейронной сети разрешает существенно сократить время функционирования (новая нейронная сеть обрабатывает учебник в целом за один «проход», а не итерационно, и использует вычислительно эффективный алгоритм работы) существующих систем обработки информации и САПР, построенных на базе сетей адаптивного резонанса, при одновременном повышении точности и снижении чувствительности к шумам входного сигнала (за счет использования нелинейной радиально-базисной функции в нейронах слоя распознавания).

Ключевые слова: САПР, системы мягких вычислений, нейронные сети, функционал Тихонова, кластеризация, адаптивный резонанс, нелинейное нормирование.

SUMMARY

ARUTYUNYAN A.L. The system of soft calculations on the basis of adaptive resonance neural networks for solving CAD problems. - Manuscript

Thesis for taking the Candidate of Technical Science degree in 05.13.12 - Design works automation systems. - National Technical University of Ukraine “Kyiv Polytechnic Institute”, ME of Ukraine, Kyiv, 2009

Thesis work is dedicated to creating hybrid system of soft calculations on the basis of adaptive resonance theory neural network for improving the quality of solving CAD problems in conditions of accuracy, quickness, noise immunity and computing requirements. The architecture and functional model of new adaptive resonance hybrid neural network are developed and theoretically justified in the thesis. Learning technologies are developed and appropriately theoretically justified. The new type of Tychonoff functional using Lipschitzian structural and signal constants is proposed. It allows to perform theoretical research of soft calculations systems' attributes. It's suggested to use hybrid method of nonlinear data normalization for normalization of expert systems' and neural networks' input data. The method is dual.

Key words: CAD, systems of soft calculations, neural networks, Tychonoff functional, clusterization, adaptive resonance, nonlinear normalization.

Размещено на Allbest.ru

...