Дослідження методів удосконалення нейронної асоціативної пам'яті та її застосування в гібридних модульних нейромережах

Размещено на http://www.allbest.ru

НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ

ІНСТИТУТ ПРОБЛЕМ МАТЕМАТИЧНИХ МАШИН І СИСТЕМ

01.05.03 - Математичне та програмне забезпечення обчислювальних машин і систем

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня кандидата технічних наук

Дослідження методів удосконалення нейронної асоціативної пам'яті та її застосування в гібридних модульних нейромережах

Сичов Олександр Сергійович

Київ - 2003

Дисертацією є рукопис.

Робота виконана в Інституті проблем математичних машин і систем НАН України.

Науковий керівник: доктор технічних наук,

старший науковий співробітник

Різник Олександр Михайлович,

Інститут проблем математичних машин і систем,

завідувач відділом

Офіційні опоненти: доктор технічних наук

Теслер Геннадій Семенович,

Інститут проблем математичних машин і систем,

головний науковий співробітник

доктор технічних наук

Куссуль Наталія Миколаївна,

Інститут космічних досліджень НАНУ та НКАУ,

завідувач відділом

Провідна установа:Інститут кібернетики ім. В.М. Глушкова НАН України, відділ теорії математичних машин і систем

Захист відбудеться “21” травня 2003 р. о 14 00 годині на засіданні

спеціалізованої вченої ради Д26.204.01 в Інституті проблем математичних машин і систем НАН України за адресою: 03187, Київ 187, проспект Академіка Глушкова, 42

З дисертацією можна ознайомитись у науковій бібліотеці Інституту проблем математичних машин і систем НАН України.

Автореферат розісланий “ 17 ” квітня 2003 р.

Вчений секретар спеціалізованої вченої ради Ходак В.І.

Размещено на http://allbest.ru

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми

Одним з важливих напрямків у розвитку сучасної інформатики та обчислювальної техніки є створення нейрокомп'ютерів, та впровадження нейротехнологій. Розробки в цій галузі вийшли за межі наукових лабораторій і зараз нейрокомп'ютери застосовуються у різних сферах людської діяльності - промисловості, науки, фінансів, охорони здоров'я, військової справи і т. ін.

Тепер постає проблема істотного збільшення ефективності роботи нейрокомп'ютерів та розширення сфери їх застосування. Вирішення цієї проблеми здійснюється кількома шляхами, серед яких можна відзначити удосконалення методів навчання нейронних мереж та створення багатомодульних нейросистем, придатних для вирішення найбільш складних прикладних задач. За останні роки в кожному з цих напрямків одержано важливі наукові та практичні результати. Поліпшено методи ітеративного навчання на основі парадигми зворотнього поширення похибки, значно удосконалено методи неітеративного навчання нейронних мереж та створено на їх основі ефективні моделі нейронної асоціативної пам'яті (НАП). Створено експериментальні багатомодульні нейромережі і одержано значний досвід їх застосування при вирішенні прикладних задач. Розроблено потужні інструментальні засоби для їх дослідження та проектування.

Слід відзначити, що звичайно в багатомодульних мережах застосовують однотипні нейронні модулі, навчання яких здійснюється методом зворотнього поширення похибки, що вимагає надто великих витрат часу. Постає питання про можливість скорочення цих витрат шляхом використання неітеративних методів навчання нейронних модулів. Нажаль, повністю відмовитись від ітеративних методів неможливо, оскільки існуючі мережі, що навчаються неітеративними методами, нездатні виконувати операції узагальнення та інтерполяції запам'ятованої інформації, які часто зустрічаються в прикладних задачах. Більш перспективним є створення гібридних нейросистем, які матимуть у своєму складі нейронні модулі на основі ітеративних та неітеративних методів навчання. Можна очікувати, що застосування гібридної архітектури дозволить поєднати позитивні риси обох методів. Тому дослідження гібридних модульних нейромереж та вдосконалення методів неітеративного навчання є актуальною і важливою проблемою, яка потребує свого вирішення.

У дисертаційній роботі розробляються засади та методи удосконалення неітеративного навчання нейромереж та створення модулів нейронної асоціативної пам'яті для подальшого їх використання у модульних нейроструктурах, а також їх реалізація та перевірка на прикладі експериментальної моделі гібридної багатомодульної нейросистеми для вирішення задачі класифікації сигналів.

Зв'язок роботи з науковими програмами, планами, темами.

Основні дослідження за темою дисертації проводились в Інституті математичних машин і систем НАН України в межах виконання таких науково-дослідних робіт:

НДР “Дослідження методів потокової нейрообробки даних та шляхів створення ефективних мультинейропроцесорних систем” (Вінер-УА) (1992-1996рр) - за планом Президії НАН України №8/104 від 28.10.1992р.; НДР “Розробка методів побудови пристроїв асоціативної пам'яті на основі моделей нейронних мереж з використанням інтегральної та голограмної оптики для інтелектуальних систем оптико-електронних приладів” (Тамара УП) (1992-1996рр) завдання №7/84/4 від 30.12.1992 р.; Державної науково-технічної програми 6.3 “Нейрокомп'ютер”.; Державної науково-технічної програми 6.2.2896 “Створення дослідного зразка програмного нейрокомп'ютера реального часу і розробка нейротехнологій прогнозування та прийняття рішень в умовах невизначеності ” (Оракул) за договором з Міністерством Науки №2/756-97 від 12.08.97 р.; Контракт на створення науково-технічної продукції №ISR-NN-01/3082, від 24 січня 2001р “Розробка комплексу програм статистичної обробки великих масивів даних”, замовлення 3922.; Науково-технічна робота “Розробка та експериментальне дослідження технології модульних нейромереж для ультразвукової оцінки розміщення пасажира” 2002р. договір № 020101.; НДР “Дослідження та удосконалення засобів інтерфейсу нейрокомп'ютерів із застосуванням структурних методів кодування даних” (Інтерфейс) за № 040101.

Мета і задача дослідження.

Метою дослідження в дисертаційній роботі є розробка удосконалених методів неітеративного навчання нейромереж та створення на їх основі гібридних багатомодульних нейромереж для застосування при розв'язанні прикладних задач.

У відповідності до сформульованої мети у роботі розв'язуються такі задачі:

Розробка методів підвищення продуктивності та зменшення обсягу фізичної пам'яті псевдоінверсних нейромереж.

Розробка методу видалення застарілої інформації шляхом динамічного рознасичення асоціативної пам'яті.

Розробка програмного комплексу для проектування багатомодульних гібридних нейромереж. фізичний пам'ять нейромережа

Розробка модулів удосконаленої псевдоінверсної асоціативної пам'яті для використання у складі багатомодульних систем.

Застосування розроблених методів для розв'язання прикладних задач.

Об'єкт дослідження. Об'єктом дослідження дисертаційної роботи є нейронні мережі та їх програмні моделі.

Предмет дослідження. Предметом дослідження дисертаційної роботи є алгоритми навчання нейронних мереж та методи створення програмних моделей гібридних модульних нейромереж.

Методи дослідження. При розробці та дослідженні методів удосконалення нейронної асоціативної пам'яті використовувались методи математичної статистики, математичного моделювання, програмування, системного аналізу.

Наукова новизна одержаних результатів.

Основними науковими результатами є такі:

Вперше запропоновано і досліджено метод селекції найбільш інформативних зв'язків синаптичної матриці, який дозволяє суттєво зменшити обсяг фізичної пам'яті при реалізації псевдоінверсних нейромереж.

Досліджено шляхи зменшення кількості обчислювальних операцій при програмній та апаратній реалізації методу селекції зв'язків та одержано оцінки їх ефективності.

Вперше виявлено здатність псевдоінверсної нейромережі до відновлення змісту зруйнованої асоціативної пам'яті при повторному навчанні на раніше запам'ятовані образи і відзначено паралелі з відомим методом лікування хворих на амнезію.

Розроблено метод динамічного рознасичення асоціативної пам'яті, що дозволяє оперативно вилучати з неї застарілу інформацію.

Створено та експериментально випробувано й досліджено гібридну модульну нейромережу, що поєднує модулі з ітеративними та неітеративними методами навчання.

Практичне значення одержаних результатів.

Практичне значення роботи підтверджується застосуванням отриманих результатів до розв'язання прикладних задач, їх реалізацією у прикладних програмних системах. Зокрема отримані результати були використанні при розробці професійного багатофункціонального комплексу программ NeuroLand (Комп'ютерна програма для моделювання нейронних мереж та проектування прикладних нейросистем “NeuroLand” Свідоцтво про реєстрацію авторського права на твір №6169 від 09.09.2002 р Міністерство освіти і науки України, Державний департамент інтелектуальної власності.)

За безпосередньою участю здобувача розроблено професійний програмний комплекс “САПР МНМ”, призначений для проектування й дослідження гібридних багатомодульних нейроних мереж та прикладних нейросистем. Здобувачем реалізовано ядро системи, та модулі, необхідні для роботи нейромереж з псевдоінвесним алгоритмом навчання. Пакет “САПР МНМ” знаходиться в експлуатації і використовується фірмою АТІ (США) для проектування систем безпеки пасажирів нових автомобілів.

Виконано тестування розроблених здобувачем методів на реальних даних при вирішенні задач безпеки пасажира.

Особистий внесок здобувача полягає в розробці нових методів, алгоритмів і програм, що забезпечують розв'язання поставленої задачі. Всі основні результати дисертаційної роботи отримані автором самостійно. В публікаціях написаних у співавторстві, здобувачу належать: у роботах [1-4,9,10] створення програмних моделей та проведення експериментальних досліджень, у роботах [8,13] розробка удосконалених методів псевдоінверсної асоціативної пам'яті, у роботах [6,11,12,14] розробка ядра системи та на паритетних засадах розв'язання задачі, у роботі [7] науковому керівнику належить постановка задачі, розв'язання задачі належить здобувачеві.

Апробація результатів роботи.

Основні результати доповідались та обговорювались на наукових семінарах та конференціях, у тому числі на:

Міжнародній конференції “ International scientific and technical conference on unconventional electromechanical and electrical system”, Алушта - Вересень 1997г

VIII Всеросійскій конференції “Нейрокомпьютеры и их применение” НКП-2002, Москва, 21-22 Березня 2002г.,

Міжнародній конференції з індуктивного моделювання “МКІМ - 2002” Державний НДІ інформаційної інфраструктури, Львів 20-25 травня

Міжнародній конференції “International Joint Conference on Neural Networks” IJCNN'02, Honolulu, HI, USA, 12-17 May 2002.

Міжнародній конференції “Нейросетевые технологии и их применение” Донбаська державна машинобудівна академія м. Краматорськ 4-5 грудня 2002р.

Семінарі “Проблеми нейрокомп'ютерів і нейромереж” Наукова рада з проблеми “Кібернетика” Секція ІІ “Технічні засоби інформатики”.

Публікації. Основні результати роботи викладені в 14 наукових працях, з яких 4 статті у наукових фахових журналах, рекомендованих ВАК України. З них - 1 виконана без співавторів.

Структура дисертації. Дисертація складається з вступу, п'яти розділів, висновків, списку використаних джерел з 104 найменувань. Обсяг дисертації 135 сторінок основного тексту, ілюстрованих 52 рисунками та 1 таблицею.

ЗМІСТ РОБОТИ

У вступі обгрунтовується актуальність теми дисертаційної роботи, формулюється мета та завдання дослідження, відзначається наукова новизна та практичне значення отриманих результатів.

У першому розділі наводиться огляд сучасних підходів до моделювання та застосування нейроних мереж. Одним з основних питань при моделюванні нейронних мереж є вибір способу їх навчання. Існує два способи навчання: ітеративний та неітеративний. Найбільш розповсюджений ітеративний спосіб базується на поступовому корегуванні ваги зв'язків між нейронами при багаторазовому повторенні навчального матеріалу. При ітеративному навчанні мережа здатна виявляти приховані залежності між даними, узагальнювати спостереження, знаходити прості рішення складних задач. Недоліками цього методу є велика тривалість та непевність результатів навчання, оскільки ітеративний процес не завжди збігається. Неітеративне навчання полягає в прямому розрахунку ваги зв'язків між нейронами. Розрахунок здійснюється за один прохід, без повторення запам'ятовуваного матеріалу. Після навчання мережа набуває властивості асоціативної пам'яті, тобто здатна відновлювати запам'ятовану інформацію за її фрагментами. Головним недоліком таких мереж є нездатність до узагальнення інформації та порівняно малий обсяг запам'ятовуваних даних.

Для кожного з цих способів навчання існують різні варіанти реалізації нейронних мереж - так звані нейропарадигми. Для кожної нейропарадигми є певні обмеження, тому їх застосування залежить від характеру вирішуваної прикладної задачі.

В останні роки набула поширення концепція багатомодульних нейронних мереж, що дозволяє подолати обмеження, притаманні окремим нейропардигмам. Модулями таких мереж є порівняно прості нейромережі, навчені на одержання часткових рішень задачі, що діють як локальні експерти. Часткові рішення надходять у фінальну нейромережу - модуль, що підсумовує реакції експертів та виносить остаточні рішення. Застосовуючи принцип багатомодульності можна створювати як однорідні системи, що складаються з однотипних нейронних модулів, так і гібридні, нейронні модулі яких реалізують різні нейропарадигми. Перевагою гібридних систем є можливість більш раціонального розподілу функцій між модулями, а при застосуванні архітектури локальних експертів - більша об'єктивність рішень, що прийматимуться за істотно відмінними критеріями.

Незважаючи на суттєві переваги, гібридна багатомодульна нейромережа існує лише як концепція і інформація про спроби застосування НАП в модульних системах відсутня. Однією з причин цього є низький рейтинг НАП порівняно з іншими нейропарадигмами, пов'язаний з нездатністю до узагальнення запам'ятованої інформації, малим обсягом пам'яті та низькою ефективністю використання обчислювальних ресурсів.

Проведений аналіз показує, що виконані за останні роки дослідження по удосконаленню неітеративних методів навчання, що здійснювались такими вченими, як Personnaz I., Guyon I. Michel A.N., Brucoli M., Ohta M., Різник О.М., ТкаченкоР.О, Кириченко Н.Ф., Лепеха М.П. та Городничий Д.О., зокрема розробка методів управління властивостями таких мереж шляхом деформації матриці синаптичних зв'язків, дозволили значно збільшити ефективність НАП і при збереженні переваг у швидкості навчання наблизити її за властивостями до звичайних нейронних мереж, що навчаються ітеративним способом. Ці результати дають підстави для застосування удосконалених моделей НАП при створенні високоефективних гібридних багатомодульних нейросистем.

У другому розділі розглядається новий метод скорочення кількості синаптичних зв'язків НАП, оснований на селекції найбільш інформативних зв'язків. Застосування цього методу в мережах з псевдоінверсним правилом навчання дозволяє зменшити обсяг фізичної пам'яті НАП у 3-5 разів і відповідно збільшити продуктивність операцій читання даних з асоціативної пам'яті. Вивчається питання про стабільність величини виграшу та її залежність від властивостей запам'ятованої інформації та розмірів нейромережі.

Ідея методу базується на тому, що в псевдоінверсній нейромережі вага більшості зв'язків є близькою до нуля. Тому можна припустити, що вилучення таких зв'язків практично не впливатиме на роботу мережі. На перевірку цього припущення виконано детальний аналіз статистичного розподілу значень коефіцієнтів синаптичної матриці залежно від рівня насиченості асоціативної пам'яті, що визначався як відношення числа запам'ятованих векторів даних M до числа нейронів мережі N. Результати аналізу підтвердили зроблене припущення за умов помірної насиченості пам'яті (M/N< 0.2).

З метою визначення впливу селекції на роботу нейромережі було проведено низку експериментів. Головним критерієм оцінки якості роботи мережі було вибрано повний атракторний радіус(АРп) мережі, тобто максимальну відстань по Хеммінгу між вхідним та еталонним вектором, яку мережа усуває протягом конвергенції в стан атрактору.

У результаті експериментів було виявлено, що при незначній насиченості пам'яті (M/N < 0.1) зменшення кількості вагових коефіцієнтів в 4 рази майже не впливає на роботу мережі. На рис. 1 представлено залежність величини АРп від відносної кількості вилучених зв'язків для мережі з 256 нейронів. Видно, що кількість зв'язків, які можна вилучити без суттєвого впливу на роботу мережі значно зменшується при збільшенні насиченості пам'яті. Якщо насиченість досягає рівня M/N= 0.4, допустиме скорочення становить менше 30%. При подальшому дослідженні цього методу було встановлено, що на даний параметр також впливають розміри мережі та характер інформації, що запам'ятовується, для яких були отримані аналогічні залежності.

Після селекції нейрона мережа зберігає симетрію зв'язків. Але внаслідок видалення частини зв'язків змінюються проективні властивості синаптичної матриці мережі. Тому після селекції її власні вектори дещо відрізняються від M образів, запам'ятованих мережею до селекції. Тому можна очікувати, що повторне навчання такої мережі на тій самій послідовності приведе до певного корегування зв'язків, що компенсуватиме втрати інформації, викликані попередньою селекцією. Повторна селекція зв'язків на такій додатково навченій мережі має дещо поліпшити показники при розпізнаванні. Проведені експерименти повністю підтвердили це припущення. При повторному навчанні та додатковій селекції зв'язків в мережі, що вже зазнала селекцію кількість синаптичних зв'язків можна зменшити ще на 5-10% без істотного зменшення величини атракторного радіуса.

Результатами селекції найбільш інформативних зв'язків можна скористатись не тільки для зменшення обсягу фізичної пам'яті, а й для збільшення продуктивності роботи мережі. Шляхи досягнення цього істотно залежать від способу реалізації нейромережі.

При апаратній реалізації кожна ітерація може здійснюватись за один такт, отже швидкість роботи нейромережі залежить лише від кількості ітерацій при конвергенції. Оскільки при апаратній реалізації нейромережі критичним є не стільки число нейронів мережі, скільки кількість синаптичних зв'язків, то скорочення кількості ітерацій має бути досягнуто при сталій кількості зв'язків мережі. Цю задачу було вирішено для випадку значної насиченості пам'яті. Було запропоновано та експериментально перевірено метод збільшення продуктивності роботи апаратно реалізованих нейромереж, що базується на зменшенні насиченості пам'яті мережі шляхом збільшення кількості нейронів при сталій кількості синаптичних зв'язків. При рівні насиченості пам'яті M/N= 0.4 цей метод дозволяє вдвічі прискорити асоціативне відновлення даних, збурених на рівні 20%.

При програмній реалізації селектованих нейромереж для збільшення продуктивності необхідно використовувати нерегулярні структури даних для вагових коефіцієнтів. При цьому виграш у продуктивності залежить від величини коефіцієнта селекції. Показано, що залежно від насиченості пам'яті, виграш у продуктивності може досягати 5 разів. При насиченості пам'яті M/N= 0.1 продуктивність мережі може бути збільшена у 3.2 рази.

Третій розділ присвячено впливу деформації синаптичної матриці на процес навчання нейромереж.

НАП чутлива до збурень ваги синаптичних зв'язків, і в більшості випадків такі збурення ведуть до втрати мережею здатності до відновлення запам'ятованих даних. Але не всі збурення мають однаково негативні наслідки. Приклад селекції найбільш інформативних зв'язків показує, що деякі збурення можуть надавати мережі певні корисні властивості. Тому було здійснено низку експериментів для вивчення впливу різних деформацій на роботу мережі при навчанні та екзамені.

Метою першої серії експериментів було з'ясування наслідків видалення (тобто обнуління ваги) частини міжнейронних зв'язків на подальше навчання мережі за псевдоінверсним алгоритмом. Результати оцінювались за зміною величини атракторного радіусу НАП. Було виявлено, що при певних умовах нейронну мережу можна продовжувати навчати не тільки на образи, що запам'ятовувались до видалення зв'язків, а також на нові образи, причому якість розпізнавання образів, що були запам'ятовані до та після видалення відрізняється і залежить від кількості видалених зв'язків. Було також виявлено, що обнуління діагональних елементів синаптичної матриці при навчанні сприяє оновленню змісту асоціативної пам'яті. При деформації недіагональних елементів збільшення кількості видалених зв'язків поліпшує якість розпізнавання нових образів, але вона зменшується при зростанні насиченості пам'яті до видалення. При подальшому навчанні така мережа може запам'ятовувати майже таку ж саму кількість нових образів, як і недеформована. Загальна кількість запам'ятованих образів в ній може бути навіть більшою, ніж в останній, але правильно розпізнаватимуться лише ті образи, що були запам'ятовані після видалення зв'язків.

Метою наступної серії експериментів було з'ясування впливу видалення частини нейронів мережі на результати її навчання. Видалення здійснювалось після попереднього навчання мережі на певну кількість образів. Для цього проводилось обнуління значень ваги всіх зв'язків з нейронами, що мали бути видалені. При додатковому навчанні за псевдоінверсним алгоритмом видалені зв'язки відновлювались. При цьому виявилось, що при навчанні на образи, що були запам'ятовані раніше, зруйнована при обнулінні зв'язків НАП відновлює свої функції, причому для повного відновлення асоціативної пам'яті достатнім є навчання лише на частині з раніше запам'ятованих образів.

Це явище було перевірено на мережах розміром від 100 до 2000 нейронів з різною кількістю видалених нейронів (від 1% до 20%). В усіх виконаних експериментах кількість додаткових навчань, необхідних для згадування всього набору запам'ятованих образів дорівнювала кількості вилучених нейронів . При додатковому навчанні мережі згадування часто відбувається групами векторів, особливо у мережах з великою кількістю нейронів.

Мережа з заміненими нейронами не втрачає здатність до згадування зруйнованих образів також і після додаткового навчання на нову групу векторів. Наприклад, якщо мережу з 256 нейронів навчити на групу з 20 векторів і замінити 5 нейронів, а потім додатково навчити на іншу групу з 10 векторів, то мережа буде розпізнавати тільки останню групу. Але після додаткового навчання на 5 векторів із першої групи вона буде правильно розпізнавати всі 30 векторів з обох груп.

Спостережене в наших експериментах явище можна порівняти з відомим методом лікування амнезії пам'яті. Це захворювання виявляється у відсутності спогадів або неповних спогадах про події та хвилювання певного періоду. Вона найчастіше наступає при перенесенні стресового стану або травми головного мозку. При амнезії людина може тривалий час жити новим життям, не згадуючи частину свого минулого. При лікуванні хворому показують знайомі образи, предмети, якими він користувався в минулому, тобто все те, що він колись добре знав. У разі успіху пам'ять до таких хворих вертається миттєво, що дуже нагадує спостережене нами явище відновлення змісту асоціативної пам'яті при заміні частини нейронів мережі і наводить на думку, що нервова система людини на певних рівнях своєї структури використовує механізм, подібний псевдоінверсному алгоритму навчання для відновлення втрачених асоціативних зв'язків пам'яті.

Метою наступної серії експериментів було проведення більш детального аналізу оновлення пам'яті при навчанні НАП з нульовими значеннями діагональних елементів синаптичної матриці. Було показано, що така мережа ніколи не насичується, тобто відбувається забування застарілої інформації, але якість розпізнавання після навчання на значній кількості образів значно погіршується.

Для регулювання процесом оновлення асоціативної пам'яті можна не вилучати повністю діагональні елементи, а лише зменшувати їхні значення. Регулюючи коефіцієнт послаблення діагональних елементів, можна впливати на глибину асоціативної пам'яті. Вперше цей метод, названий динамічним рознасиченням, було запропоновано нами в [6]. Ідея методу полягає у тому, щоб при навчанні нейронної мережі за псевдоінверсним алгоритмом на кожній ітерації зменшувати складову попереднього значення синаптичної матриці. При цьому зменшується вага всіх раніше запам'ятованих векторів.

Загальна формула навчання за методом динамічного рознасичення має вигляд:

CijM = gCijM-1 +ij для j i ;

CiiM = d CiiM-1 +ii .

ij = (Vi - Si ) (Vj - Sj ) ( k=1..N Vk (Vk - Sk ))-1

де:Cij M - значення ваги зв'язку після запам'ятовування M образів;

Vj - значення виходу i-го нейрону ;

Si - постсинаптичний потенціал i-го нейрону, що обчислюється як:

Si=j=1..N Cij Vj;

Коефіцієнти d і g визначають ступінь послаблення ваги відповідно діагональних та недіагональних елементів синаптичної матриці. Застосування окремих коефіцієнтів за цим методом призначене для збалансування ступеню деформації різних елементів синаптичної матриці і скорочення порушень її проекційних властивостей.

Підбираючи коефіцієнти динамічного рознасичення можна досягти не тільки бажаної глибини пам'яті (до M/N=0,2), але і найбільш чітко визначеної межі забування для образів, що видаляються з асоціативної пам'яті нейромережі.

Четвертий розділ присвячено питанням створення інструментальних засобів моделювання гібридних модульних нейромереж та вивченню шляхів їх вирішення на прикладі розробки спеціалізованого програмного комплексу САПР МНМ. Аналізуються способи використання модулів НАП в складі САПР МНМ.

Існуючи нейросистеми, навіть професійні, не дозволяють будувати гібридні багатомодульні нейромережі з довільною архітектурою. Особливо це стосується систем, що поєднують нейронні модулі, що базуються на різних стратегіях навчання наприклад НАП і перцептрон. Тому при розробці системи автоматизованого проектування багатомодульних нейромереж САПР МНМ стояла задача побудови відкритого програмного комплексу, що дозволяв би не тільки створювати гібридні системи на основі готових нейронних модулів, але й підключати модулі користувача. Відкритість архітектури САПР МНМ дозволила включити до складу гібридної мережі розроблені нові модулі удосконаленої НАП.

При створенні САПР МНМ використовувались основні принципи, які застосовуються в розподілених системах автоматизованого проектування електронних схем. Модульна нейромережа має вигляд множини зв'язаних між собою елементів (боксів). Бокси на кресленні мережі представляють різні модулі обробки даних, які перетворюють вхідні данні у вихідні шляхом застосування до них визначених або заданих користувачем функцій. Кожен з модулів нейронної мережі реалізує одну з нейропарадигм, включаючи алгоритм її навчання.

Архітектура САПР МНМ показана на рис. 3. Головний модуль САПР являє собою виконуючий файл, що забезпечує зв'язок між керівними модулями. Для роботи з модульною нейронною мережею необхідна наявність трьох керівних модулів: CAD (конструктор), GUI (графічний інтерфейс користувача) і Kernel (ядро).

1) CAD - це модуль конструктора, призначений для створення багатомодульної архітектури мережі. Він дозволяє створювати модульну мережу на екрані комп'ютера, використовуючи графічне представлення модулів обробки даних у вигляді боксів, з'єднаних лініями та шинами.

Застосування спеціального модуля для конструювання мережі зумовлено тим, що архітектура повинна повністю і однозначно визначати модульну мережу. CAD - дозволяє виконати таку побудову, після чого САПР здійснює перевірку створеної архітектури з метою не дати користувачу здійснити помилку, наприклад з'єднати між собою два виходи.

2) GUI - модуль графічного інтерфейсу користувача, призначений для контролю та управління процесами навчання. Це основний модуль роботи з нейронною мережею, який дає змогу користувачу вибирати модулі для навчання й тестування.

3) Kernel - модуль ядра, призначений для керуванням потоками даних між модулями всередині модульної мережі. Ядро отримує данні про архітектури мережі з модуля конструктора й команди з модуля інтерфейсу та виконує необхідні операції над модулями мережі. Запуск на виконання ядра відповідає запуску на виконування всієї модульної мережі.

4) Tools - інструментальні модулі. Кожний інструментальний модуль САПР МНМ є керуючим і призначений для роботи з модулем або групою модулів, які підтримують відповідні COM - інтерфейси. В число інструментальних модулів входять: оптимізатор “Optimizer”, редактор мереж “Network Editor” і генератор коду C “C-code generator”.

5) System Modules - програмні модулі САПР, призначені для операцій з окремими модулями і модульними мережами в цілому.

6) Data Modules - модулі даних , призначені для читання/запису даних у відповідних форматах зберігання.

7) Processing Modules - модулі обробки, які реалізують алгоритми обробки даних, у тому числі заздалегідь навчені нейронні мережі, так звані компоненти, що можуть бути використані у складі модульних нейромереж.

Далі в розділі розглянуто проблеми створення ядра САПР для гібридної МНМ, та удосконаленого модуля НАП, створеного із застосуванням методів динамічного рознасичення пам'яті та адаптивної фільтрації.

Для НАП притаманна робота з бінарними даними, однак на практиці вектори даних можуть мати аналоговий вид та дуже обмежену розмірність. Слід відзначити, що мала розмірність вхідного вектору означає і малу кількість векторів, які здатна запам'ятати НАП. Тому виникає проблема бінарізації та розширення розмірності запам'ятовуваних даних. Для її вирішення запропоновано новий метод приведення даних до бінарного вигляду, що забезпечує збереження метрики. Вектори розташовані близько у початковому просторі залишаються близькими і в просторі відображень. Прототипом такого перетворювача можна вважати блок кодування, що застосовується в RSC - класифікаторах, але на відміну від нього запропонований PS перетворювач розбиває вихідний простір не гіперпаралелепіпедами, а гіперплощинами, що зменшує імовірність локалізації мережі. Оскільки даний метод дозволяє регулювати розміри вихідного простору, при його застосуванні можна використовувати НАП оптимальних розмірів.

У п'ятому розділі проводиться перевірка ефективності застосування НАП в гібридних модульних нейромережах. Для цього було використано створену за участю автора інтелектуальну систему безпеки пасажирів автомобіля. В цій системі нейронна мережа виконує класифікацію локаційних сигналів, що надходять від ультразвукових датчиків, розташованих в салоні автомобіля і виявляє ситуації, коли позиція пасажира є уразливою від удару подушок безпеки при їх ініціації. В таких ситуаціях система блокує ініціацію подушок.

Для досліджень використовувались данні, наданні фірмою Automotive Technologies International (ATI Inc., Денвілл, Нью-Джерсі). Масив даних, застосованих для навчання нейромережі складався з 176 тисяч векторів, а незалежно відібраний набір даних для тестування - з 56 тисяч векторів. Діапазон значень елементів вектору даних складав від 0 до 256. Розміри одного вхідного вектору становили 800 елементів. В результаті класифікації мало бути визначено розташування голови пасажира в одній з трьох зон: безпечній, небезпечній та зоні ризику.

Для зменшення вхідного простору був проведений аналіз та попередня обробка даних, яка дозволила зменшити розміри вхідного вектору до 95 елементів, без суттєвих втрат корисної інформації.

Гібридна модульна мережа, побудована за принципом локальних експертів, складалась з модуля ПАП і багатошарового перцептрону, що навчався за алгоритмом Extended-Delta-Bar-Delta (EDBD). При побудові гібридної мережі було проведено оптимізацію параметрів модулів, що входять до її складу. Критерієм оптимізація була кількість помилок модуля на тестовій послідовності. Для порівняння характеристики роботи гібридної мережі було створено однорідну модульну нейромережу на базі модулів прямого розповсюдження.

Оптимізація структури модуля мережі прямого розповсюдження проводилась за допомогою модуля Tools - Оптимізатор, що входить до складу САПР МНМ. Було випробувано мережі з різною кількістю нейронів в першому та в другому шарі. Кількість нейронів в обох шарах змінювалась в діапазоні від 5 до 41 з інтервалом 2, всього було випробувано 361 варіант мереж. У результаті оптимізації було обрано модуль нейромережі з архітектурою 95-23-29-3, який забезпечує на тестовій послідовності 3.78% помилок, а на навчаючій - 2.88%. Подальше збільшення кількості нейронів не дає відчутного поліпшення якості класифікації. Це можна пояснити тим, що при великій кількості нейронів мережа починає локалізуватись, втрачаючи узагальнюючі властивості. При цьому якість розпізнавання на навчаючій послідовності зростає, а на тестовій - падає.

Наступним кроком було оптимізація параметрів модуля НАП. Оскільки вхідні данні градуальні, то для приведення їх до бінарного вигляду використовувався PS - перетворювач, розглянутий у розділі 4. ПІ мережа мала 1024 входи та використовувалась у режимі гетероасоціативної пам'яті, виходами якої були результати класифікації.

Навчання ПІ мережі відбувається наступним чином. При надходженні кожного вектора навчаючої послідовності проводиться тестування ПІ мережі. Якщо при цьому результати класифікації не співпадають з еталонним входом то проводиться навчання мережі на поточний вектор, в іншому разі навчання не проводиться. Такий спосіб дозволяє уникати навчання на близькі вектори одного класу і таким чином запобігати невиправданому перенасиченню асоціативної пам'яті. Завдяки цьому виявилось можливим досягти загального розміру навчального масиву у 2-3 тисячі векторів для ПІ мережі, що мала всього 1000 нейронів. Однак кількість векторів даних в реальних масивах на два порядки вище названої величини. Тому результати тестування навченої у такий спосіб одномодульної ПІ нейромережі виявляються досить низькими. Кількість помилок для тестового масиву складає 13.67%, і 14.97% - для навчаючого.

Для подолання перенасиченості мережі було застосовано методи адаптивної фільтрації та динамічного рознасичення. Під час оптимізації було визначено оптимальні коефіцієнти для кожного з цих методів. Найкращі результати були отримані при поєднанні режимів адаптивної фільтрації та динамічного рознасичення. Завдяки першому режиму мережа ніколи не досягає насичення, а завдяки другому забезпечується осереднення на всьому навчаючому масиві. При такому способі навчання одномодульної ПІ мережі кількість помилок класифікації на тестовому масиві склала 5.81%, а на навчальному - 4.92%. При цьому коефіцієнт адаптивної фільтрації становив 0.3, а коефіцієнт динамічного рознасичення - 0.99.

Проведений аналіз можливого скорочення кількості синаптичних зв'язків показав, що при застосуванні методу селекції найбільш інформативних зв'язків можна скоротити кількість зв'язків у мережі на 30%. При цьому якість класифікації становить 5.71% помилок на тестовій послідовності і 5.23% на навчаючій.

Останнім кроком при оптимізації гібридної мережі була оптимізація фінальної мережі. У ролі фінальної мережі було застосовано багатошаровий перцептрон, для якої була знайдена оптимальна архітектура 6-7-3. Результати роботи гібридної мережі в цілому становили 3.47% помилок на тестовому масиві, і 2.68% помилок на навчаючому.

При побудові альтернативного варіанту модульної мережі на базі мереж прямого розповсюдження було випробувано кілька варіантів архітектури. При простому збільшенні кількості однотипних модулів, в залежності від кількості та розміру додаткових модулів, якість роботи модульної мережі або не покращується або мережа локалізується, як це відбувається з одно-модульною мережею при надмірному збільшенні кількості нейронів у прихованому шарі. Певні позитивні результати можна отримати, якщо додаткові модулі навчати на частину елементів вхідного вектору або на частину навчаючої послідовності. В цьому разі додаткові модулі будують дещо різні поділяючі поверхні, що дає змогу фінальній мережі покращити якість класифікації в цілому. Але і при такому підході надмірне збільшення кількості модулів веде до локалізації мережі. Найкращий варіант мережі на базі однотипних модулів мав архітектуру колективу локальних експертів. Функції локальних експертів виконували: модуль, який приймав рішення по всім елементам вхідного вектору, та набір з 4 модулів, які приймали рішення, базуючись на результатах роботи трьох з чотирьох ультразвукових датчиків (каналів).

У ролі фінальної мережі використовувалась мережа прямого розповсюдження з архітектурою 18-7-3. При такій архітектурі нейромережі кількість помилок на тестовому масиві складала 3.71%, а на масиві для навчання 2.78%.

Порівняльну характеристику роботи різних варіантів нейронних мереж представлено в таб. 1.

Таблиця 1.

Порівняльна характеристики роботи різних варіантів нейронних мереж.

Мережа	Параметри мережі	Кількість помилок (%) на
	Розміри мережі (байт)	Кіл. обчисл. операцій	Навчаючій послідовності	Тестовій послідовності
Перцептрон	380	190	6.12	6.15
Удосконалена ПАП	18432	10240	5.23	5.71
Мережа прямого розповсюдження	11976	5988	2.88	3.77
Однорідна модульна мережа	32580	16465	2.78	3.71
Гібридна модульна мережа	30700	16439	2.68	3.47

Видно, що не зважаючи на те, що мережа на базі удосконаленої НАП показує значно скромніші результати порівняно з мережами прямого розповсюдження, введення такого модуля до складу гібридної мережі покращує роботу такої мережі як на тестовій, так і на навчаючий послідовності.

ОСНОВНІ РЕЗУЛЬТАТИ ТА ВИСНОВКИ

Результатом дисертаційної роботи є розробка методів удосконалення псевдоінверсної асоціативної пам'яті, основаних на управлінні її властивостями шляхом деформації матриці синаптичних зв'язків. Розглянуто проблеми створення гібридних модульних мереж. Запропоновано шляхи використання мереж на основі удосконаленої псевдоінверсної асоціативної пам'яті у складі гібридних модульних мереж. В практичному плані використання одержаних у роботі результатів дозволяє підвищити ефективність роботи модульних нейромереж та зробити їх більш придатними для практичного використання.

Головні наукові і практичні результати полягають у наступному:

Обґрунтовано основні засади створення гібридних нейромереж та використання в них удосконалених модулів нейронної асоціативної пам'яті.

Запропоновано метод селекції найбільш інформативних зв'язків синаптичної матриці, який дозволяє у мережах з малою насиченістю пам'яті зменшити обсяг фізичної пам'яті у 3-5 разів. Досліджено залежність цього виграшу від насиченості пам'яті, розмірів мережі та характеру інформації, що запам'ятовується.

На базі методу селекції найбільш інформативних зв'язків запропоновано методи підвищення продуктивності роботи програмних та апаратних реалізацій нейромереж.

Досліджено вплив деформації синаптичної матриці на процес навчання нейромереж. Виявлено, що при деформації діагональних елементів синаптичної матриці відбувається процес оновлення застарілої інформації.

Виявлено явище відновлення інформації, зруйнованої при обнулінні зв'язків нейронів, яке відбувається при повторному навчанні лише на частину з раніше запам'ятованих образів. При цьому кількість образів, необхідних для відновлення всієї інформації в мережі прямо пропорційна кількості уражених нейронів. Відзначено паралелі цього явища з явищами відновлення пам'яті у хворих на амнезію.

Запропоновано та досліджено метод динамічного рознасичення пам'яті, який дозволяє вилучати з пам'яті мережі застарілі образи.

Розроблено ядро системи автоматизованого проектування багатомодульних нейромереж САПР МНМ, до складу якої увійшли модулі удосконаленої нейронної асоціативної пам'яті, які реалізують методи динамічного рознасичення пам'яті та адаптивної фільтрації.

Розроблені методи реалізовано в межах багатофункціонального програмного комплексу NeuroLand.

Ефективність застосування розроблених методів та архітектур для розв'язання конкретних прикладних задач підтверджується результатами тестування на реальних даних.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

Куссуль М.Э., Сычов А.С. Интерактивные средства моделирования нейронных сетей // Нейросетевые технологии и нейрокомпьютеры- Сборник научных трудов Ин-т кибернетики им.В.М.Глушкова; Киев -1994. - С. 41-48.

Лепорский В.Д., Куссуль М.Э., Иваницкая Т.В., Сычев А.С. Использование нейронных классификаторов в задачах электроэнергетики // Автоматизация и релейная защита в энергосистемах. Сб.науч.тр. Ин-т. Электродинамики НАН Украины. Киев -1995. - С. 122-136.

Лепорский В.Д., Куссуль М.Э., Иваницкая Т.В., Сычев А.С. Моделирование нейронного классификатора для решения задач прогноза в электроэнергетике // Техническая электродинамика. Киев -1995. -№ 4. -С.61-65.

Резник А.М., Городничий Д.О., Сычев А.С. Регулирование обратной связи в нейронных сетях с проекционным алгоритмом обучения. // Кибернетика и системный анализ. - 1996. - №6.- С.153-162.

А. С. Сычев Селекция связей в нейронных сетях с псевдоинверсным алгоритмом обучения // Математичні машини і системи. -1998. -№ 2. -С.25-30.

Резник А.М., Куссуль М.Э., Сычев А.С., Садовая Е.Г., Калина Е.А. Система проектирования модульных нейронных сетей САПР МНН. // Математичні машини і системи. -2002. -№ 3. -С.28-37.

Резник А.М.., Сычев А.С. Способ обучения нейронной сети и устройство для его осуществления // Заявка на изобретение № 98041725 от 19.02.1999 г. Уведомление о положительном решении № 15482 от 6.07.1999.

Резник А.М., Калина Е.А.., Сычев А.С., Садовая Е.Г., Дехтяренко А.К., Галинская А.А. Комп'ютерна програма для моделювання нейронних мереж та проектування прикладних нейросистем “NeuroLand” // Свідоцтво про реєстрацію авторського права на твір №6169 від 09.09.2002.

Лепорский В.Д., Куссуль М.Э.,Иваницкая Т.В., Сычев А.С. RTC-Классификатор для решения задач прогноза в электроэнергетике // International scientific and technical conference on unconventional electromechanical and electrical system (3rd ISTC UEES'97). Алушта -Сентябрь -1997. - С. 983-986.

Лепорский В.Д., Куссуль М.Э., Иваницкая Т.В., Сычев А.С. Моделирование нейронных сетей для решения задач электроэнергетики // International scientific and technical conference on unconventional electromechanical and electrical system (3rd ISTC UEES'97), Алушта -Сентябрь -1997. -С. 979-982.

M. Kussul, A. Riznyk, E. Sadovaya, A. Sitchov, Tie-Qi Chen. A visual solution to modular neural network system development. // Proc. of the 2002 International Joint Conference on Neural Networks (IJCNN'02), Honolulu, HI, USA, 12-17 May-2002. Vol.1, -P. 749-754.

Резник А.М., Куссуль М.Э., Сычев А.С., Садовая Е.Г., Калина Е.А Система проектирования модульных нейронных сетей САПР МНС // Праці Міжнародної конференції з індуктивного моделювання (МКІМ-2002). Державний НДІ інформаційної інфраструктури, Львів 20-25 травня -2002. -Том 2 - секція 4 - С. 89-95.

Резник А.М., Калина Е.А.., Сычов А.С., Садовая Е.Г., Дехтяренко А.К., Галинская А.А. Многофункциональный нейрокомпьютер NeuroLand // Праці Міжнародної конференції з індуктивного моделювання (МКІМ-2002). Державний НДІ інформаційної інфраструктури, Львів 20-25 травня -2002. - Том 2 - секція 4 - С. 82-88.

Резник А.М., Куссуль М.Э., Сычев А.С., Садовая Е.Г., Калина Е.А. Система проектирования модульных нейронных сетей САПР МНН. // Труды VIII Всеросийской конференции “Нейрокомпьютеры и их применение” (НКП-2002), Москва, 21-22 Марта 2002, -С. 1023-1032.

АНОТАЦІЯ

Сичов Олександр Сергійович. Дослідження методів удосконалення нейронної асоціативної пам'яті та її застосування в гібридних модульних нейромережах.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 01.05.03 - математичне та програмне забезпечення обчислювальних машин і систем. - Інститут проблем математичних машин та систем. Київ. 2003

Дисертаційна робота присвячена удосконаленню нейронної асоціативної пам'яті, зокрема методам, основаним на керуванні властивостями таких мереж шляхом деформації матриці синаптичних зв'язків. Запропоновано і досліджено метод селекції найбільш інформативних зв'язків синаптичної матриці, який дозволяє у 3-5 разів зменшити обсяг фізичної пам'яті при реалізації псевдоінверсних нейромереж з малою насиченістю пам'яті. На базі цього методу запропоновано та перевірено метод збільшення продуктивності програмних та апаратних реалізацій нейромереж. Виявлено здатність псевдоінверсної нейромережі до відновлення змісту зруйнованої пам'яті при повторному навчанні на деякі з раніше запам'ятованих образів і відзначено паралелі з явищами відновлення пам'яті у хворих на амнезію. Розроблено метод динамічного рознасичення асоціативної пам'яті, що дозволяє оперативно вилучати з неї застарілі дані.

Створено алгоритмічне та програмне забезпечення, що реалізує розроблені методи удосконаленя нейронної асоціативної пам'яті. Створено та експериментально випробувано гібридну модульну нейромережу, що поєднує модулі з ітеративними та неітеративними методами навчання, яку використано в інтелектуальній системі безпеки пасажира авто.

Ключові слова: нейронна мережа, неітеративні методи навчання, псевдоінверсний алгоритм, нейронна асоціативна пам'ять, нейрокомп'ютери, модульна нейромережа, гібридна нейромережа.

АННОТАЦИЯ

Сычев Александр Сергеевич. Исследование методов усовершенствования нейронной ассоциативной памяти и ее применение в гибридных модульных нейросетях.

Диссертация на получение ученой степени кандидата технических наук по специальности 01.05.03 - математическое и программное обеспечение вычислительных машин и систем. - Институт проблем математических машин и систем. Киев. 2003

Диссертационная работа посвящена усовершенствованию нейронной ассоциативной памяти, в частности методам, основанным на управлении свойствами таких сетей путем деформации матрицы синаптических коэффициентов. Предложен и исследован метод селекции наиболее информативных связей синаптической матрицы, который позволяет в 3-5 раз уменьшить объем физической памяти при реализации псевдоинверсных нейронных сетей с малой насыщенностью памяти. На основании этого метода предложены и экспериментально проверенны методы увеличения производительности для программных и аппаратных реализаций нейросетей, которые позволяют уменьшить количество вычислительных операций необходимых для режима тестирования нейронной сети в 2-5 раз. Исследовано влияние деформации синаптической матрицы на процесс обучения нейронной сети. Обнаружена способность псевдоинверсной нейросети к восстановлению содержания разрушенной памяти при повторном обучении на ранее запомненных образах. Данное явление происходит при обнулении всех связей одного или нескольких нейронов, причем количество образов, на которые необходимо повторно обучить сеть для полного восстановления ассоциативной памяти в точности равно количеству удаленных нейронов. Отмечены параллели между данным явлением и явлением возобновления памяти у больных амнезией. Обнаружена способность псевдоинверсной нейронной сети к обновлению ассоциативной памяти при деформации диагональных элементов синаптической матрицы. Разработан метод динамического разнасыщения памяти, который позволяет оперативно удалять из памяти устаревающую информацию. Регулируя параметры данного метода, можно не только добиться желаемой глубины памяти, но и более четкой границы для образов, удаляемых с ассоциативной памяти сети.

Создано алгоритмическое и программное обеспечение, которое реализует разработанные методы усовершенствования нейронной ассоциативной памяти. Создана система автоматизированного проектирование модульных нейронных сетей в которой автором самостоятельно разработано ядро системы. Создана и экспериментально опробована гибридная нейронная сеть, которая объединяет в себе модули на основе итеративных и неитеративных методов обучения. Разработанная сеть использована в системе интеллектуальной безопасности пассажира автомобиля. В этой системе нейронная сеть осуществляла классификацию локационных сигналов, которые приходили от ультразвуковых датчиков, размещенных в салоне автомобиля, и обнаруживала ситуации, когда пассажир находится в позициях, для которых открытие подушек безопасности должно блокироваться.

Ключевые слова: нейронная сеть, неитеративные методы обучения, псевдоинверсный алгоритм, нейронная ассоциативна память, нейрокомпьютеры, модульная нейронная сеть, гибридная нейронная сеть.

SUMMARY

Sitchov Alexsandr Sergeevich A research of improvement methods for neural associative memory and its application to hybrid neural networks.

Dissertation on taking the candidate degree of technical science in speciality 01.05.03 - mathematical and program devices of computing equipment and system. Institute of mathematical equipment and system problems. Kyiv. 2003.

This dissertation is dedicated to improvement of neural associative memory, particularly using methods based on controlling net properties by synapse (weight) matrix deformation. The method of most informative weights selection is proposed and investigated. This method allows 3-5 times reducing of physical memory requirements in implementation of neural networks with small memory saturation. An approach based on weights selection enabling productivity increase of software and hardware neural network implementations was introduced and verified. It is discovered that pseudoinverse neural network is capable to restore destroyed memory content as it is retrained with some already stored data. Some parallels are drawn with amnesiac memory recovery. The dynamic desaturation method is developed that enables to efficiently remove outdated data from associative memory.

Algorithms and software for methods of neural associative memory improvement are created.

Hybrid modular neural network is designed and used in intellectual vehicle safety system.

Keywords: neural networks, noniterative learning methods, pseudoinverse algorithm, neural associative memory, neurocomputers, modular network, hybrid network.

Размещено на Allbest.ru

...