Нейро-фаззі моделі та системи, що самонавчаються, у задачах інтелектуального аналізу даних

Размещено на http://allbest.ru

ХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ

УНІВЕРСИТЕТ РАДІОЕЛЕКТРОНІКИ

УДК 004.8:004.032.26

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

Нейро-фаззі моделі та системи, що самонавчаються,

у задачах інтелектуального аналізу даних

05.13.23 - системи та засоби штучного інтелекту

Тесленко Наталія Олександрівна

Харків - 2009

Дисертацією є рукопис.

Робота виконана в Харківському національному університеті радіоелектроніки.

Науковий керівник - доктор технічних наук, професор Бодянський Євгеній Володимирович, професор кафедри штучного інтелекту Харківського національного університету радіоелектроніки (м. Харків).

Офіційні опоненти:доктор технічних наук, професор Дмитрієнко Валерій Дмитрович, професор кафедри обчислювальної техніки та програмування Національного технічного університету “Харківський політехнічний інститут” (м. Харків);

доктор технічних наук, професор Михальов Олександр Ілліч, завідувач кафедри інформаційних технологій та систем Національної металургійної академії України (м. Дніпропетровськ).

Захист відбудеться “17” червня 2009 р. о 16⁰⁰ на засіданні спеціалізованої вченої ради Д64.052.01 в Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

З дисертацією можна ознайомитися в бібліотеці Харківського національного університету радіоелектроніки, за адресою: 61166, м. Харків, пр. Леніна, 14.

Автореферат розісланий: “13” травня 2009 р.

Вчений секретар спеціалізованої вченої ради С. Ф. Чалий

Загальна характеристика роботи

Актуальність теми. Можливості сучасної обчислювальної техніки дозволяють накопичувати великі масиви інформації і обробляти дані в послідовному режимі. Часто в таких випадках відсутня інформація про функціональні залежності в даних та їх розподіл, про зміну цих залежностей в часі і про об'єм всієї вибірки. Такі умови прийнято називати невизначеністю. У режимі послідовної обробки за умов невизначеності гостро постає проблема підвищення швидкості обробки даних. У таких випадках доцільним є використання штучних нейронних мереж, що мають універсальні апроксимуючі властивості і можливості навчання.

Системи, побудовані шляхом поєднання нейромережевого підходу і нечіткої логіки, що називаються нейро-фаззі системами, дозволяють істотно розширити функціональні можливості і коло задач, що вирішуються. Опис процедур за допомогою нечітких правил забезпечує прозорість роботи нейронної мережі, що, у свою чергу, допомагає одержувати більш ефективні результати.

Однією з важливих характеристик нечітких систем є можливість отримання нечіткої оцінки належності на виході, що на практиці часто дозволяє уникнути прийняття невірного рішення, наприклад, у випадках, коли дані містять класи, що перетинаються. Штучні нейронні мережі і нейро-фаззі системи, а також ефективні методи навчання і самонавчання, що використовуються для розв'язання практичних задач інтелектуального аналізу даних в послідовному режимі, дозволяють істотно прискорити і спростити процес обробки.

Зв'язок роботи з науковими програмами, планами, темами. Дисертаційна робота виконана в рамках держбюджетних тем №177 «Інтелектуальний аналіз і обробка даних в реальному часі на основі засобів обчислювального інтелекту» (№ДР 0104U003432) та №214 «Синтез методів обробки інформації за умов невизначеності на основі самонавчання і м'яких обчислень» (№ДР 0107U003028), що виконуються згідно наказів Міністерства освіти і науки України за результатами конкурсного відбору проектів наукових досліджень. В межах зазначених тем здобувачкою як виконавцем запропоновано удосконалені методи самонавчання відомих нейронних мереж для зниження розмірності даних, удосконалено нейромережеві BSB- та GBSB-моделі, розроблено моделі нечіткої нейромережевої автоасоціативної пам'яті, узагальненої регресійної нейро-фаззі мережі і адаптивного F-перетворення.

Мета і завдання дослідження. Метою дисертаційної роботи є розробка нейро-фаззі моделей та систем, що самонавчаються, для таких задач інтелектуального аналізу даних, як зниження розмірності простору ознак вихідних даних, запам'ятовування та відновлення даних, відтворення функціональних залежностей нестаціонарних нелінійних об'єктів за умов невизначеності у послідовному режимі обробки.

Досягнення поставленої мети здійснюється шляхом вирішення таких основних задач:

- синтез методів зниження розмірності даних за допомогою автоасоціативних нейронних мереж, що мають підвищену швидкість збіжності;

- синтез нейро-фаззі моделей автоасоціативної пам'яті;

- синтез нейро-фаззі моделей відтворення функціональних залежностей;

- моделювання запропонованих моделей, систем та методів, а також розв'язання за їх допомогою низки практичних задач.

Об'єкт дослідження - інтелектуальний аналіз даних, що представлені в числовій формі у вигляді таблиць «об'єкт-властивість» або часових послідовностей.

Предмет дослідження - нейро-фаззі моделі та системи, що самонавчаються.

Методи дослідження базуються на теорії обчислювального інтелекту і м'яких обчислень, а саме методах теорії штучних нейронних мереж і теорії нечіткої логіки, а також теорії оптимізації і статистичного аналізу. Імітаційне моделювання використовується для перевірки якості розроблених методів і моделей.

Наукова новизна одержаних результатів. До нових, одержаних особисто автором, належать такі результати:

1) вперше запропоновано модель нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій, яка у першому прихованому шарі використовує одновимірні функції належності замість багатовимірних функцій активації, що дозволило збільшити кількість образів, що запам'ятовуються, та зв'язати процес відновлення в нейромережевій моделі з процедурами нечіткої кластеризації;

2) вперше запропоновано модель узагальненої регресійної нейро-фаззі мережі, яка у першому прихованому шарі використовує одновимірні функції належності замість багатовимірних функцій активації, що дозволило забезпечити підвищення точності та швидкості прогнозування та ідентифікації нелінійних нестаціонарних об'єктів;

3) вперше запропоновано модель адаптивного F-перетворення, в якому центри функцій належності розташовуються за принципом «нейрони в точках даних», що дозволило обробляти дані у послідовному режимі та змінювати кількість функцій належності в процесі навчання;

4) удосконалено метод самонавчання тришарової автоасоціативної нейронної мережі для зниження розмірності простору ознак даних шляхом введення поліноміальної функції активації, що дозволило підвищити швидкість та точність обробки даних у порівнянні з автоасоціативними нейронними мережами з традиційними сигмоїдальними функціями активації;

5) удосконалено методи самонавчання нейронних мереж для обчислення головних компонент, що відповідають максимальному і мінімальному власному значенням кореляційної матриці та їх довільної кількості, шляхом використання оптимальних за швидкістю процедур самонавчання, що дозволило скоротити час обробки даних.

Практичне значення отриманих результатів. Розроблені в дисертаційній роботі методи зниження розмірності даних, запам'ятовування і відновлення даних, а також відтворення функціональних залежностей за умов поточної і апріорної невизначеності, що засновані на нейромережевих та нейро-фаззі методах та моделях, можуть бути використані в різних галузях, де дані представлено в числовій формі у вигляді таблиць «об'єкт-властивість» або часових рядів у режимі послідовної або пакетної обробки. Синтезовані в роботі методи підтвердили свою ефективність в задачах кластеризації чинників летальності в операційній, що є важливим для прогнозування летальності під час проведення операції.

Результати досліджень впроваджено в Інституті загальної та невідкладної хірургії АМН України, м. Харків, що підтверджено відповідним актом від 02.12.2008 р. Також за допомогою нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій було розв'язано задачу класифікації даних, що описують підприємницьку діяльність потенційного позичальника при кредитуванні суб'єктів малого і середнього бізнесу, що необхідно для мінімізації кредитного ризику за рахунок помилок, викликаних суб'єктивною думкою фахівців при визначенні кредитоспроможності клієнта.

Результати досліджень впроваджені у ВАТ АБ «Укргазбанк», м. Харків, що підтверджено відповідним актом від 02.12.2008 р. Також в дисертаційній роботі за допомогою тришарової автоасоціативної нейронної мережі з поліноміальною функцією активації розв'язано практичну задачу компресії багатовимірних даних, що описують хронічні запалення на тлі ґамма-випромінювання. Крім того, за допомогою автоасоціативної тришарової нейронної мережі з поліноміальною функцією активації та BSB-нейромоделі з нечітким виведенням розв'язано практичну задачу обробки біомедичних даних, що описують чинники розвитку суміжних гіпертонічних станів у студентів.

Наукові положення, висновки і рекомендації, викладені в дисертації, були використані при підготовці курсу “Нейромережеві методи обчислювального інтелекту”, що читається студентам-магістрантам спеціальності “Інтелектуальні системи прийняття рішень” Харківського національного університету радіоелектроніки, що підтверджується актом від 22.01.2009 р., а також у науково-дослідних роботах Харківського національного університету радіоелектроніки, що підтверджено актом від 15.01.2009 р.

Особистий внесок здобувача. Основні положення і результати дисертаційної роботи одержані автором самостійно. У публікаціях, написаних у співавторстві, авторці належить: [1] - модель і метод самонавчання формального нейрона на основі поліноміальної функції активації; [2] - метод навчання локальних предикторів з використанням поліноміальної функції активації; [4] - BSB- і GBSB-нейромоделі з використанням нечітких функцій належності та адаптивний метод їх самонавчання; [5, 16] - метод нечіткої кластеризації стиснених даних; [6] - модель та метод самонавчання нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій; [7, 25] - адаптивне F-перетворення; [8, 27] - метод навчання узагальненої регресійної нейро-фаззі мережі; [10] - метод самонавчання тришарової нейронної мережі на основі поліноміальної функції активації, [13] - модель модифікованого нейрона Оя; [14] - розв'язано задачу зниження розмірності за допомогою автоасоціативної тришарової мережі на основі поліноміальної функції активації; [15] - метод самонавчання BSB-моделі, що має високу швидкодію та фільтруючі властивості; [17] - модифікований метод самонавчання нейронної мережі Хебба-Сенгера, [18] - розв'язано задачу обробки медико-біологічних даних за допомогою нечіткої BSB-нейромоделі, [19] - модифіковане правило самонавчання нейронної мережі Оя-Карунена; [20, 22] - правило навчання модифікованого нейрона Оя; [21] - метод нечіткої кластеризації за допомогою BSB-нейромоделі; [23] - швидкодіючий адаптивний алгоритм самонавчання ієрархічної штучної нейронної мережі Рубнера-Шультена-Тевена; [24] - адаптивне правило для аналізу мінімальних компонент, що має високу швидкодію і згладжуючі властивості; [26] - модель узагальненої регресійної нейро-фаззі мережі.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися та обговорювалися на 7-му, 8-му, 9-му Міжнародних молодіжних форумах “Радіоелектроніка і молодь в XXI столітті” (Харків, 2003, 2004, 2005), 9-й, 10-й Міжнародних наукових конференціях “Теорія і техніка передачі, прийому і обробки інформації” (Харків-Туапсе, 2003, 2004), Міжнародній науково-практичній конференції “Інтелектуальні системи прийняття рішень і інформаційні технології” (Чернівці, 2004), 12-й, 13-й Міжнародних конференціях з автоматичного управління (Харків-2005, Вінниця-2006), Науково-практичних конференціях «Інтелектуальні системи прийняття рішень і прикладні аспекти інформаційних технологій» (Євпаторія, 2006, 2007), Міжнародних науково-технічних конференціях «Автоматизація: проблеми, ідеї, рішення» (Севастополь 2006, 2008), 3-й Міжнародній школі-семінарі «Теорія прийняття рішень» (Ужгород, 2006), 5-ій Міжнародній конференції «Information Research and Applications» (Варна, Болгарія, 2007), 52-му Міжнародному науковому колоквіумі «Computer Science Meets Automation» (Ільменау, Німеччина, 2007), Міжнародній науково-практичній конференції «Інформаційні технології і інформаційна безпека в науці, техніці і освіті “ІНФОТЕХ-2007”» (Севастополь, 2007).

Публікації. Результати наукових досліджень викладено в 27 друкованих працях: 7 статей у виданнях, що входять до переліку ВАК України, 1 стаття за кордоном, 19 публікацій в збірках праць наукових конференцій (у тому числі 2 за кордоном).

Структура та обсяг дисертації. Дисертація складається зі вступу, п'яти розділів, висновків, що містять основні результати, списку використаних джерел і додатку. Загальний обсяг дисертації складає 173 сторінок (з них 144 - основного тексту), що включає 46 рисунків та 19 таблиць. Список використаних джерел складає 157 найменувань на 14 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету і задачі досліджень, наукову новизну і практичне значення одержаних результатів. Наведено відомості про впровадження результатів роботи, апробацію, особистий внесок здобувачки та публікації.

У першому розділі проаналізовано стан проблем інтелектуального аналізу даних і розглянуто існуючі підходи до їх вирішення. Проведено аналіз існуючих методів навчання і самонавчання штучних нейронних мереж, які застосовуються для вирішення задач зниження розмірності простору ознак даних.

Розглянуто і проаналізовано існуючі нейронні мережі асоціативної пам'яті, а також нейронні мережі, що використовуються для відтворення функціональних залежностей. самонавчання нейромережевий пам'ять

Розглянуто основні принципи систем нечіткого виведення та проаналізовано переваги їх поєднання зі штучними нейронними мережами. Було показано необхідність подальшого розвитку методів інтелектуального аналізу даних за допомогою нейро-фаззі моделей та систем, що самонавчаються. В результаті проведеного аналізу сформульовано основні задачі наукового дослідження, викладеного в дисертаційній роботі.

У другому розділі удосконалено метод самонавчання тришарової автоасоціативної нейронної мережі, за рахунок введення поліноміальної функції активації.

Такий метод дозволяє підвищити точність апроксимації і швидкість збіжності для вирішення задач зниження розмірності даних.

У дисертаційній роботі запропоновано поліноміальну функцію активації нейрону:

, (1)

де - внутрішній сигнал нейрону;

- параметр крутизни функції;

- номер поточного кроку.

Було показано, що на квадраті функція (1) задовольняє всім вимогам, що висуваються до сигмоїдальних функцій активації, але має при цьому квадратичні похідні по настроюваних параметрах, що, в свою чергу, дозволяє спростити чисельну реалізацію процедури навчання.

На основі функції активації (1) було одержано алгоритм навчання формального нейрона (елементарного персептрона Розенблатта):

(2)

де - вхідний сигнал;

- вектор синаптичних ваг;

- похибка навчання;

- скалярний параметр, що визначає швидкість навчання мережі;

- квадратична радіально-базисна функція з параметром ширини .

У цьому алгоритмі настроюються не тільки синаптичні ваги мережі, а також і параметр, який визначає крутизну функції активації, що забезпечує підвищення швидкості навчання і покращення апроксимуючих властивостей.

В роботі синтезовано схему навчання персептрона Розенблатта з поліноміальною функцією активації (1) для реалізації нелінійних відображень, що побудована на лінійних елементах. Застосування цієї схеми дозволяє істотно спростити чисельну реалізацію алгоритму навчання і, відповідно, підвищити швидкість збіжності і точність апроксимації у порівнянні з традиційними процедурами навчання.

Було показано, що для розв'язання задач зниження розмірності даних може бути використаний тришаровий автоасоціативний персептрон з нелінійними функціями активації (1) та процедурою навчання, на основі алгоритму (2). В цьому випадку для -вимірного вектора вхідних сигналів перший прихований і вихідний шари такого персептрона містять нейронів, другий прихований шар - нейронів,. З виходу другого прихованого шару знімається стиснений сигнал.

Алгоритм навчання цієї мережі є процедурою настроювання трьох матриць синаптичних ваг, починаючи з вихідного (третього) шару і має вигляд:

(3)

де - приріст вектора синаптичних ваг на k-му кроці;

- локальна похибка j-го нейрону s-го шару;

- вихідний сигнал (s-1)-го (попереднього) шару.

Алгоритм навчання (3) тришарової автоасоціативної нейронної мережі з активаційними функціями у вигляді кубічного полінома (1) для задач зниження розмірності даних відрізняється від традиційних процедур навчання простотою чисельної реалізації зворотного розповсюдження похибки, що, у свою чергу, дозволяє скоротити час настроювання синаптичних ваг та підвищити точність апроксимації.

У третьому розділі удосконалено методи самонавчання штучних нейронних мереж для обчислення головних компонент, що відповідають максимальному і мінімальному власному значенню та їх довільної кількості, що дозволило прискорити виділення найбільш істотних ознак з мінімальною втратою інформації за умов нестаціонарності і наявності завад.

У задачах аналізу нестаціонарних сигналів важливим є скорочення часу обробки даних. Оптимізація швидкості настроювання синаптичних ваг пов'язана з переходом від градієнтних методів навчання штучних нейронних мереж до процедур оптимізації другого порядку або їх апроксимаціям, що використовують матрицю других похідних.

У дисертаційній роботі запропоновано оптимальне за швидкодією правило навчання нейрону Оя для знаходження першої головної компоненти, що задовольняє умовам Дворецького і має додаткові згладжуючі властивості

(4)

де - перша головна компонента,

- власний вектор, що відповідає першій головній компоненті,

- вектор вхідного сигналу,

- параметр, що забезпечує компроміс між слідкуючими та фільтруючими властивостями алгоритму.

Аналіз алгоритму показує, що при (4) забезпечує максимальну швидкодію процесу навчання, а при правило перетворюється на процедуру стохастичної апроксимації.

Існує широкий клас задач, де необхідно знаходити не першу головну компоненту, а її антипод - мінімальну компоненту -, що визначає напрямок, в якому дані мають найменше розсіяння. В роботі запропоновано оптимальний за швидкодією алгоритм для знаходження мінімальної компоненти, що має згладжуючі властивості:

(5)

де - поточна оцінка власного вектора, що відповідає мінімальному власному числу кореляційної матриці;

Архітектури штучних нейронних мереж, що реалізують процедуру аналізу головних компонент, складаються з нейронів Оя та умовно розділяються на два класи: послідовний і паралельний. Найбільш відомим представником послідовного підходу є нейронна мережа Хебба-Сенгера. Перевагою цього підходу є можливість змінювати розмірність вихідного сигналу за ходом обчислень, а недоліком - низька швидкодія, що пов'язана з послідовним характером обчислень, що робить неефективним використання такого підходу при обробці швидкоплинних процесів.

У дисертаційній роботі запропоновано модифіковану модель послідовної нейронної мережі Хебба-Сенгера та оптимальний за швидкодією алгоритм навчання цієї мережі для обчислення множини головних компонент:

(6)

де - параметр, що забезпечує компроміс між слідкуючими та фільтруючими властивостями алгоритму.

Характерним представником паралельного підходу є нейронна мережа Оя-Карунена. Ця мережа має достатню швидкодію і просту архітектуру. З іншого боку, мережа Оя-Карунена забезпечує не саме аналіз головних компонент, а, так званий, аналіз головних підпросторів, при цьому розмірність цих підпросторів в процесі обчислень залишається фіксованою.

У дисертаційній роботі запропоновано модифіковане правило навчання паралельної нейронної мережі:

(7)

де -матриця, що задає базис m-вимірного підпростору головних компонент. Також запропоновано модель модифікованої нейронної мережі Оя-Карунена.

Своєрідний компроміс між цими двома підходами реалізує ієрархічна нейронна мережа Рубнера-Шультена-Тевена, яка реалізує саме аналіз головних компонент, має високу швидкодію, але характеризується достатньо складною обчислювальною реалізацією. Для підвищення швидкості настроювання параметрів в роботі запропоновано оптимальний за швидкодією алгоритм навчання комбінованої нейронної мережі Рубнера-Шультена-Тевена:

(8)

Показано, що рекурентна процедура (8) є аддитивною стійкою модифікацією оптимального за швидкодією алгоритму Уідроу-Хоффа, що призначений для вирішення задач аналізу головних компонент в реальному часі.

У четвертому розділі запропоновано модель нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій, модель узагальненої регресійної нейро-фаззі мережі, модель адаптивного F-перетворення на основі узагальненої регресійної нейронної мережі та удосконалено нейромережеві BSB- і GBSB-моделі шляхом введення нечітких функцій належності. Динаміка нейромережевої автоасоціативної пам'яті «Brain-State-in-a-Box Model» (BSB-модель) визначається парою рівнянь:

(9)

де - вхідний вектор;

- ітерації машинного часу;

- вектор станів у сталому режимі;

- малий додатний параметр зворотного зв'язку;

- - матриця синаптичних ваг лінійної кореляційної автоасоціативної пам'яті;

- активаційна кусочно-лінійна функція з насиченням, що діє покомпонентно на елементи вектора так, що

(10)

Таким чином, фазовий простір BSB-модели обмежений -вимірним гіперкубом з центром у початку координат і ребром довжиною 2. Всього гіперкуб має вершин.

Узагальнена BSB-модель «Generalized Brain-State-in-a-Box Model» (GBSB-модель) відрізняється від BSB-моделі тим, що матриця синаптичних ваг не є симетричною, що дозволяє уникнути появи хибних атракторів, але є складною з обчислювальної точки зору.

BSB- і GBSB-моделі, які є автоасоціативною пам'яттю, вирішують по суті задачу чіткої кластеризації даних, оскільки вершини гіперкуба в процесі обробки інформації діють як точкові аттрактори з вираженими областями притягання, які ділять -вимірний простір ознак. У зв'язку з тим, що більшість реальних задач містять кластери, що перетинаються, є доцільним ввести функцію сусідства між вершинами гіперкуба так, що образи, які потрапили в сусідні вершини, могли б вважатися такими, що належать одному або близьким кластерам.

При цьому можлива ситуація, коли один образ належить декільком кластерам.

У роботі пропонується скористатися ідеями нечіткої кластеризації, для чого застосовується проста та ефективна трикутна функція належності.

При цьому рівень належності образу до -ої вершини гіперкуба () визначається співвідношенням:

,(11)

де - хеммінгова відстань.

Крім того, в роботі запопоновано адаптивні методи самонавчання BSB- і GBSB-нейромоделей, що дозволяють підвищити швидкість настроювання мережі.

Разом з BSB- і GBSB-моделями, які, обчислюють центроїди кластерів даних, існує ще один клас структур, що дозволяють виконувати компресію без обчислення прототипів кластерів.

У роботі запропоновано модель нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій, що наведена на рис.1.

Процес навчання цієї системи подібний до навчання імовірнісних нейронних мереж та узагальнених регресійних нейронних мереж (УРНМ) і реалізується за принципом «нейрони в точках даних» так, що центри функцій належності першого шару збігаються з координатами проекцій образів, що запам'ятовуються.



Рис. 1. Модель нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій

Така архітектура призначена для накопичення множини образів фундаментальної пам'яті, , , що утворюють - матрицю.

У найпростішому випадку функції належності можуть бути прийняті трикутними:

де - параметри центру функцій належності, що визначаються в процесі навчання.

У разі належності образу, що обробляється, одному образу фундаментальної пам'яті, вихідними сигналами є максимальне значення функції належності і відповідний образ фундаментальної пам'яті.

У випадку, якщо образ, що обробляється, представлено у вигляді комбінації групи образів, з якими він зв'язаний ненульовою належністю, на виході системи з'являється «гібридний» образ фундаментальної пам'яті:

(12)

та рівні належності до кожного з образів.

Архітектура автоасоціативної пам'яті на основі нечітких базисних функцій може вирішувати не тільки задачі накопичення і відновлення, але й працювати як нечіткий аналог узагальненої регресійної нейронної мережі, яка призначена для розв'язання задач апроксимації, інтерполяції, прогнозування, тощо.

У зв'язку з цим в дисертаційній роботі введено модель узагальненої регресійної нейро-фаззі мережі (УРНФМ), що наведена на рис. 2.

Оскільки УРНФМ відноситься до мереж, що засновані на пам'яті, її навчання реалізується за принципом «нейрони в точках даних», що робить його досить простим і швидким у порівнянні з навчанням за допомогою алгоритмів оптимізації.

УРНФМ містить фаззі-базисних функцій (ФБФ), що дозволяє уникнути прокляття розмірності.



Рис. 2. Модель узагальненої регресійної нейро-фаззі мережі

Крім того, кількістю ФБФ можна керувати шляхом завдання порогового параметру. У такому випадку, замість двох близьких функцій формується одна, яка їх об'єднує.

У якості ФБФ рекомендується використовувати узагальнений гауссіан, тобто функцію з нестрого локальним рецепторним полем, що дозволяє уникнути появи пропусків в просторі ознак

,.(13)

Схему нечіткого виведення, що реалізується УРНФМ, можна представити у вигляді системи логічних рівнянь



,

де оператор реалізовано функцією належності (13).

Таким чином, використання нейро-фаззі підходу дозволяє забезпечити інтерпретуємість одержаних результатів.

Оскільки процес навчання відбувається практично миттєво, питання про слідкуючі властивості алгоритму настроювання не виникає. Ідея «нейрони в точках даних», що розвивається, у поєднанні з нечіткою логікою дозволяє вирішувати більш широкий клас задач в режимі послідовної обробки даних за умов нестаціонарності.

На основі узагальненої регресійної нейронної мережі (УРНМ), яка використовує концепцію «нейрони в точках даних» може бути реалізовано адаптивне F-перетворення, що є універсальним апроксиматором і ключова ідея якого полягає в нечіткому розбитті вихідного простору на множину нечітких підпросторів (кластерів), що перетинаються, і локальної апроксимації вихідної функції в цих підпросторах за допомогою засобів нечіткого виведення.

Процес навчання УРНМ включає в себе уточнення параметрів кластерів у формі:

(14)

(15)

де - кількість кластерів;

- радіус впливу.

При подачі на вхід УРНМ сигналу, що не належить до навчальної вибірки, на її виході з'являється відгук

,(16)

(тут, - параметр ширини ядерної функції j-го кластеру), що належить оптимальній регресійній кривій, яка апроксимує вихідну функцію.

При подачі на вхід F-перетворення сигналу на виході з'являється відгук

,(17)

де - оператор F-перетворення;

- базисні трикутні функції належності F-перетворення.

Відгук (17) апроксимує вихідну функцію, але відмінний від (16).

Якщо замість виразу (14) для уточнення параметрів кластерів використати співвідношення

(18)

а замість ядерних функцій - базисні трикутні функції належності, з урахуванням, , перетворення (16) та (17) стають структурно еквівалентними, хоча перше з них отримано в результаті застосування процедури, заснованої на пам'яті, а друге - в результаті вирішення задачі оптимізації.

Така подібність дозволяє побудувати адаптивну процедуру обчислення дискретного F-перетворення, в якій компоненти уточнюються послідовно у міру надходження даних з урахуванням можливої нестаціонарності функції . Такий підхід дозволяє пов'язати розташування вузлів F-перетворення з характером функції, що апроксимується, і змінювати їх кількість залежно від необхідної точності.

У п'ятому розділі представлено результати моделювання запропонованих в дисертаційній роботі нейро-фаззі моделей та систем, а також методів їх самонавчання. Моделювання проводилося на прикладах розв'язання тестових задач.

У цьому ж розділі наведено результати моделювання класичних нейронних мереж, що використовуються для вирішення задач зниження розмірності простору ознак вихідних даних, запам'ятовування та відновлення даних, відтворення функціональних залежностей з метою оцінки якості розв'язання цих задач.

Крім того, за допомогою автоасоціативної тришарової нейронної мережі з методом самонавчання на основі поліноміальної функції активації була розв'язана практична задача обробки багатовимірних даних, що описують хронічні запалення на тлі ґамма-випромінювання пацюків лінії Вістар. За допомогою синтезованої в роботі нечіткої нейромережевої BSB-моделі була розв'язана задача кластеризації чинників, що визначають операційну летальність в Інституті загальної та невідкладної хірургії АМН України, м.Харків. Запропоновані в роботі автоасоціативна тришарова нейронна мережа та нечітка нейромережева BSB-модель були використані при вивченні закономірностей формування статичного м'язового перенапруження у студентів. За допомогою нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій була розв'язана задача аналізу кредитної історії і класифікації даних, які описують підприємницьку діяльність позичальника при кредитуванні суб'єктів малого та середнього бізнесу в Харківській філії ВАТ АБ «Укргазбанк».

У додатку представлено акти про впровадження результатів дослідження в учбовий процес і науково-дослідні роботи Харківського національного університету радіоелектроніки, а також в Інституті загальної та невідкладної хірургії АМН України, м. Харків і Харківській філії ВАТ АБ «Укргазбанк».

ВИСНОВКИ

У дисертаційній роботі представлено результати, що є відповідно до поставленої мети вирішенням актуальних задач інтелектуального аналізу даних за допомогою нейро-фаззі систем та моделей, що самонавчаються. Дослідження, що були проведені, дозволили зробити такі висновки.

1. Удосконалено метод самонавчання тришарової автоасоціативної нейронної мережі для зниження розмірності простору ознак даних шляхом введення поліноміальної функції активації, а також запропоновано модель цієї нейронної мережі. Нейронна мережа з запропонованим методом самонавчання має можливість працювати за умов нелінійності і нестаціонарності вхідних даних, проте складається виключно з лінійних елементів, за рахунок чого, розроблений метод самонавчання має підвищену швидкодію.

2. Удосконалено методи самонавчання нейронних мереж для обчислення головних компонент, що відповідають максимальному і мінімальному власному значенню та їх довільної кількості, що мають підвищену швидкодію та забезпечують, на відміну від стандартних процедур, компроміс між слідкуючими та згладжуючими властивостями.

3. Удосконалено нейромережеві BSB- та GBSB-моделі, за рахунок введення нечітких функції належності, що дозволило розширити функціональні можливості при вирішенні задач автоасоціації та кластеризації в умовах класів, що перетинаються, а також синтезовано адаптивні методи самонавчання BSB- і GBSB-нейромоделей, що дозволяють підвищити швидкість настроювання мережі.

4. Вперше запропоновано модель нейромережевої автоасоціативної пам'яті на основі нечітких базисних функцій, яка характеризується підвищеною ємністю та простотою реалізації за рахунок використання одновимірних функцій належності, що дозволило зв'язати процес відновлення в нейромережевій моделі з процедурами нечіткої кластеризації.

5. Вперше синтезовано модель узагальненої регресійної нейро-фаззі мережі, яка поєднує в собі звичайну узагальнену регресійну нейронну мережу і адаптивну систему нечіткого виведення і характеризується обчислювальною простотою, інтерпретуємістю результатів, високою точністю в задачах прогнозування та ідентифікації нелінійних нестаціонарних об'єктів.

6. Вперше запропоновано модель адаптивного F-перетворення, що дозволяє обробляти дані у міру надходження і змінювати кількість функцій належності за ходом процесу навчання, за рахунок того, що було встановлено структурну подібність між дискретним F-перетворенням і узагальненою регресійною нейронною мережею.

7. Розв'язано практичну задачу компресії багатовимірних даних хронічних запалень на тлі ґамма-випромінювання за допомогою тришарової автоасоціативної нейронної мережі з поліноміальною функцією активації.

8. Розв'язано практичну задачу обробки біомедичних даних, що описують чинники розвитку суміжних гіпертонічних станів у студентів за допомогою тришарової автоасоціативної нейронної мережі з поліноміальною функцією активації та нечіткої BSB-нейромоделі.

9. Розв'язано практичну задачу кластеризації біомедичних даних, що визначають операційну летальність за допомогою нечіткої BSB-нейромоделі. Результати досліджень впроваджено в Інституті загальної і невідкладної хірургії АМН України, м. Харків, що підтверджується відповідним актом.

10. Розв'язано практичну задачу класифікації даних, що описують підприємницьку діяльність позичальника, при кредитуванні малого і середнього бізнесу за допомогою автоасоціативної нейромережевої пам'яті на основі нечітких базисних функцій. Результати досліджень впроваджено у Харківській філії ВАТ АБ "Укргазбанк"

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Бодянский Е.В. Алгоритм обучения формального нейрона с полиномиальной активационной функцией / Бодянский Е.В., Тесленко Н.А. // Радиоэлектроника и информатика. - 2003. - №4. - С.45-48.

2. Бодянский Е.В. Прогнозирующая нейронная метасеть с нетрадиционными функциями активации / Бодянский Е.В., Слипченко А.Н., Тесленко Н.А. // Автомобильный транспорт.- 2003. - 13. - С.273-275.

3. Тесленко Н.А. Алгоритм обучения автоассоциативной искусственной

многослойной нейронной сети / Тесленко Н.А. // Бионика интеллекта. - 2004. - №1(61). - С.103-106.

4. Бодянский Е.В. Адаптивное обучение нечетких BSB- и GBSB-нейромоделей / Бодянский Е.В., Тесленко Н.А. // Кибернетика и системный анализ. - 2006. - №6. - С.18-28.

5. Тесленко Н.А. Нечеткая кластеризация массивов биомедицинских данных в условиях избыточности информации / Тесленко Н.А., Чурюмова И.Г. // Бионика интеллекта. - 2006. - №1(64). - С.92-95.

6. Бодянский Е.В. Автоассоциативная нейросетевая память на основе нечетких базисных функций / Бодянский Е.В., Тесленко Н.А. // Бионика интеллекта. - 2007. - №1(66). - С.53-57.

7. Бодянский Е.В. Адаптивное F-преобразование на основе обобщенной регрессионной нейронной сети / Бодянский Е.В., Тесленко Н.А. // Адаптивні системи автоматичного управління. - 2007. - Вип. 10(30). - С.25-31.

8. Bodyanskiy Ye. General regression neuro-fuzzy network for identification of nonstationary plants / Bodyanskiy Ye., Teslenko N. // Int. J. Information Technologies and Knowledge. - 2008. - 2. - №2. - P.136-142.

9. Тесленко Н.А. Прогнозирующая искусственная нейронная сеть с настраиваемыми функциями активации / Тесленко Н.А. // Радиоэлектроника и молодежь в XXI веке: 7-й Международный молодежный форум: тезисы докл. - Харьков, 2003. - С. 530.

10. Тесленко Н.А. Алгоритм обучения нейронной сети с кубическими функциями активации / Тесленко Н.А., Штанько В.И. // Теория и техника передачи, приема и обработки информации: 9-я Международная научная конференция: тезисы докл. - Харьков, 2003. - С.397-398.

11. Тесленко Н.А. Алгоритм сжатия информации с помощью нейронной сети / Тесленко Н.А. // Радиоэлектроника и молодежь в XXI веке: 8-й Международный молодежный форум: тезисы докл., - Харьков, 2004. - Ч.2.- С. 289.

12. Тесленко Н.А. Сжатие информации с помощью автоассоциативной четырехслойной нейронной сети / Тесленко Н.А. // Теория и техника передачи, приема и обработки информации: 10-я Международная научная конференция. - Харьков, 2004. - С.285-286.

13. Плисс И.П. Модифицированный нейрон Оя / Плисс И.П., Тесленко Н.А. // Интеллектуальные системы принятия решений и информационные технологии: Междунар. науч.-практ. конф.: тезисы докл. - Черновцы, 2004. - C. 11.

14. Тесленко Н.А. Нейросетевая кластеризация данных в изучении хронических воспалений на фоне г-излучения / Тесленко Н.А., Золотухин В.В., Руднева Е.А., // Радиоэлектроника и молодежь в XXI веке: 9-й Международный молодежный форум: тезисы докл. - Харьков, 2005. - Ч.2. - С. 459.

15. Бодянский Е.В. Алгоритм обучения модифицированной BSB-модели в задачах кластеризации / Бодянский Е.В., Колодяжный В.В., Тесленко Н.А. // Автоматика-2005: Междунар. конф. по автомат. упралению: тезисы докл.- Харьков, 2005. - Т.1. - С.49-50.

16. Бодянский Е.В. Нечеткая BSB-нейромодель для обработки биомедицинской информации / Бодянский Е.В., Тесленко Н.А., Чурюмова И.Г. // Интеллектуальные системы принятия решений и прикладные аспекты информационных технологий: Науч.-практ. конф.: тезисы докл. - Херсон, 2006. - Т.2. - С. 184-187.

17. Бодянский Е.В. Нестационарный нейросетевой анализ главных компонент / Бодянский Е.В., Плисс И.П., Тесленко Н.А. // Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій: Наук.-практ. конф.: тези допов. - Херсон, 2006. - Т.2. - С. 188-191.

18. Чурюмова И.Г. Применение нейросетевых технологий для медико-социального мониторинга учащейся молодежи / Чурюмова И.Г., Тесленко Н.А., Мустецов Н.П. // Наука і соціальні проблеми суспільства: харчування, екологія, демографія: 4 Міжнародна науково-практична конференція: тези допов. - Харьков, 2006. - Ч.2. - С.363-365.

19. Бодянский Е.В. Модифицированный алгоритм обучения в симметричном подпространстве нейронной сети Оя-Карунена для обработки нестационарных сигналов / Бодянский Е.В., Тесленко Н.А., Тесленко С.А. // Автоматизация: проблемы, идеи решения: Междунар. науч.-практ. конф.: тезисы докл. - Севастополь, 2006. - С.90-93.

20. Бодянский Е.В. Модифицированный нейрон Оя для анализа нестационарных данных / Бодянский Е.В., Плисс И.П., Тесленко Н.А. // Автоматизация: проблемы, идеи решения: Междунар. науч.-техн. конф.: тезисы докл. - Севастополь, 2006. - С.18-21.

21. Тесленко Н.А. Кластеризация факторов операционной летальности с помощью нечеткой BSB-модели / Тесленко Н.А., Тесленко С.А., Павлов А.А. // Автоматика-2006: Междунар. конф. по автомат. управлению: тезисы докл. - Винница, 2006. - С.408.

22. Бодянский Е.В. Оптимальный алгоритм обучения нейрона Оя / Бодянский Е.В., Плисс И.П., Тесленко Н.А.// Теорія прийняття рішень: III міжнародна школа-семінар: тези допов. - Ужгород, 2006. - С.10-11.

23. Бодянский Е.В. Адаптивное обучение иерархической нейронной сети для анализа главных компонент/ Бодянский Е.В., Плисс И.П., Тесленко Н.А. // Інтелектуальні системи прийняття рішень та прикладні аспекти інформаційних технологій: Наук.-практ. конф.: тези допов. - Херсон, 2007. - Т.3. - С. 27-29.

24. Бодянский Е.В. Скоростной адаптивный алгоритм обучения нейрона для вычисления минимальной компоненты / Бодянский Е.В., Плисс И.П., Тесленко Н.А.// Информационные технологии и информационная безопасность в науке, технике и образовании “ИНФОТЕХ-2007”: Междунар. науч.-практ. конф.: тезисы докл. - Севастополь, 2007. - Ч.1. - С.8-11.

25. Бодянский Е.В. Адаптивное F-преобразование в реальном времени в задачах аппроксимации / Бодянский Е.В., Тесленко Н.А., Тесленко С.А. // Автоматизация: проблемы, идеи, решения: Международная научно-техническая конференция: тезисы докл. - Севастополь, 2008. - С. 86-89.

26. Bodyanskiy Ye. Generalized regression neuro-fuzzy network / Bodyanskiy Ye., Teslenko N. // Information Research and Applications i.TECH-2007: Proc. Fifth Int. Conf. - Varna, 2007. - V.1. - P.219-225.

27. Nonlinear process identification and modeling using general regression neuro-fuzzy network / [Bodyanskiy Ye., Pliss I., Otto P., Teslenko N.] // Computer Science Meets Automation: Proc. 52^nd Int. Sci. Colloquium. - Ilmenau, 2007. - P.27-33.

АНОТАЦІЯ

Тесленко Н.О. Нейро-фаззі моделі та системи, що самонавчаються, у задачах інтелектуального аналізу даних. - Рукопис.

Дисертація на здобуття вченого ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. - Харківський національний університет радіоелектроніки, Харків, 2009.

Дисертація присвячена дослідженню нейро-фаззі моделей і систем та методів їх навчання і самонавчання, для вирішення таких задач інтелектуального аналізу даних, як відтворення функціональних залежностей, зниження розмірності простору ознак числових даних та задач автоасоціативної пам'яті у режимі послідовної обробки.

У дисертаційній роботі удосконалено метод самонавчання тришарової автоасоціативної нейронної мережі для зниження розмірності, що дозволило підвищити швидкодію і точність обробки та запропоновано модель цієї мережі; удосконалено методи самонавчання нейромережевих моделей для аналізу головних компонент, що забезпечують можливість обробки нестаціонарних даних у послідовному режимі; синтезовано моделі нечітких автоасоціативних пам'ятей, що мають підвищену ємність та розширені функціональні можливості; запропоновано модель узагальненої регресійної нейро-фаззі мережі, що характеризується обчислювальною простотою, інтерпретуємістю результатів та високою точністю; встановлено структурну подібність між дискретним F-перетворенням і узагальненою регресійною нейронною мережею, на основі чого запропоновано модель адаптивного F-перетворення, що дозволяє послідовно обробляти дані і змінювати кількість функцій належності по ходу процесу навчання.

Ефективність запропонованих нейро-фаззі методів і моделей експериментально підтверджена на низці відомих тестових вибірок для обробки даних. Методи і моделі, що були запропоновані, також підтвердили свою ефективність при вирішенні практичних задач з медико-біологічної та фінансової сфер.

Ключові слова: зниження розмірності даних, автоасоціативна нейронна метежа, адаптивні процедури обчислення головних компонент, мінімальна компонента, нейро-фаззі автоасоціативна пам'ять, функції належності, методи самонавчання.

АННОТАЦИЯ

Тесленко Н.А. Самообучающиеся нейро-фаззи модели и системы в задачах интеллектуального анализа данных. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - системы и средства искусственного интеллекта. - Харьковский национальный университет радиоэлектроники, Харьков, 2009.

Диссертация посвящена исследованию нейро-фаззи моделей и систем, а также методов их самообучения для решения таких задач интеллектуального анализа данных как воспроизведение функциональных зависимостей, понижение размерности пространства признаков многомерных массивов числовых данных, представленных в виде таблиц «объект-свойство» или временных рядов, а также задач автоассоциативной памяти в условиях априорной и текущей неопределенности в режиме последовательной обработки.

В диссертационной работе предложен усовершенствованный метод самообучения трехслойной автоассоциативной нейронной сети для решения задач понижения размерности пространства признаков исходного массива данных, полученный путем введения полиномиальной функции активации. Данный метод самообучения обладает повышенным быстродействием и точностью аппроксимации. Кроме того, предложена модель данной нейронной сети.

В работе усовершенствованы методы самообучения последовательной, параллельной и комбинированной нейронных сетей для вычисления одной или произвольного множества главных компонент, что позволило обеспечить высокое быстродействие и возможность обработки нестационарных данных.

В диссертационной работе предложена модель нейросетевой автоассоциативной памяти на основе нечетких базисных функций, которая обладает повышенной емкостью и характеризуется простотой реализации, за счет использования одномерных функций принадлежности. Показаны её преимущества по сравнению с классическими нейросетевыми моделями автоассоциативных памятей.

В работе синтезирована модель обобщенной регрессионной нейро-фаззи сети, которая сочетает в себе стандартную обобщенную регрессионную нейронную сеть и адаптивные системы нечеткого вывода и характеризуется вычислительной простотой, интерпретируемостью результатов, что позволяет повысить точность скорость в задачах прогнозирования и идентификации нелинейных нестационарных объектов.

В диссертационной работе установлено структурное подобие между дискретным F-преобразованием и обобщенной регрессионной нейронной сетью, на основе чего предложено адаптивное F-преобразование, позволяющее последовательно обрабатывать данные и изменять количество узлов по ходу процесса обучения.

В диссертационной работе введены нечеткие функции принадлежности в нейростевые BSB- и GBSB-модели, что позволило расширить функциональные возможности при решении задач автоассоциации и кластеризации в условиях перекрывающихся классов, а также синтезированы адаптивные методы обучения BSB- и GBSB-моделей, позволяющие повысить скорость настройки сети.

Эффективность предложенных самообучающихся нейро-фаззи моделей и систем экспериментально подтверждена при решении задач понижения размерности данных, запоминания и восстановления данных, а также воспроизведения функциональных зависимостей на ряде известных тестовых выборок, предназначенных для интеллектуального анализа данных в сравнении с традиционными методами и моделями.

Синтезированные в работе нечеткие BSB- и GBSB-нейромодели подтвердили свою эффективность при разработке системы предоперационной оценки возможности наступления летального исхода при оперативном вмешательстве.

С помощью нейросетевой автоассоциативной памяти на основе нечетких базисных функций была решена задача анализа кредитной истории и классификации данных, которые описывают предпринимательскую деятельность потенциального заемщика, при кредитовании субъектов малого и среднего бизнеса.

Кроме того, была решена задача понижения размерности пространства признаков многомерных данных хронических воспалений на фоне -излучения крыс линии Вистар с помощью трехслойной автоассоциативной нейронной сети с полиномиальной функцией активации.

Также с помощью трехслойной автоассоциативной нейронной сети с полиномиальной функцией активации и BSB-нейромодели с нечетким выводом была решена задача обработки биомедицинских данных, которые описывают показатели развития пограничных гипертонических состояний у учащейся молодежи.

Ключевые слова: понижение размерности данных, автоассоциативная нейронная сеть, адаптивные процедуры вычисления главных компонент, минимальная компонента, нейро-фаззи автоассоциативная память, функции принадлежности, методы самообучения.

ABSTRACT

Teslenko N. - Self-learning neuro-fuzzy models and systems in the intelligent data analysis tasks. - Manuscript.

The thesis for the candidate degree in technical sciences on the specialty 05.13.23 - Artificial Intelligence Systems and Means. - Kharkiv National University of Radio Electronics, Kharkiv, 2009.

The thesis is devoted to a research of neuro-fuzzy models and systems and their learning and self-learning methods for such intelligent data analysis tasks as functional relations restoring, numeric data attribute space dimensionality reduction and autoassociative memories problems in the sequential processing mode.

Standard autoassociative neural networks for dimensionality reduction tasks were modified in the thesis. This made it possible to decrease the computation time and increase the processing accuracy.

Fuzzy autoassociative memories, which have increased capacity, are also proposed in the thesis. This enabled to associate the restoring process of neural network model with fuzzy clusterization procedures and to extend the functional capabilities of these models.

General regression neuro-fuzzy network, which combines standard general regression neural network and fuzzy inference adaptive systems are introduced in the thesis. This network is characterized by computational simplicity, results interpretability, high accuracy in nonlinear non-stationary plants prediction and identification tasks.

The structural similarity between discrete F-transform and general regression neural network is determined in the thesis. On the basis of this similarity adaptive F-transform, which allows to process data sequentially and to change the clusters number during the learning process, is proposed.

The efficiency of the proposed methods was experimentally confirmed in comparison with conventional methods and models on the number of well-known data processing benchmarks.

The proposed methods and architectures confirmed their efficiency in the development of the system of preoperational estimation of decease during surgical treatment and in solving the problem of credit history analysis and classification of data, which describes business activity of prospective borrower when the subjects of small and medium business crediting.

Key words: data dimensionality reduction, autoassociative neural network, adaptive procedures of principal components computation, minimal component, neuro-fuzzy autoassociative memory, membership functions self-learning methods.

Размещено на Allbest.ru

...