Еволюційні методи відбору інформативних ознак та побудови нейромережевих моделей для розпізнавання образів

Размещено на http://www.allbest.ru/

ХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ

РАДІОЕЛЕКТРОНІКИ

УДК 004.032.26:004.89

05.13.23 - системи та засоби штучного інтелекту

Автореферат дисертації на здобуття наукового ступеня кандидата технічних наук

ЕВОЛЮЦІЙНІ МЕТОДИ ВІДБОРУ ІНФОРМАТИВНИХ ОЗНАК ТА ПОБУДОВИ НЕЙРОМЕРЕЖЕВИХ МОДЕЛЕЙ ДЛЯ РОЗПІЗНАВАННЯ ОБРАЗІВ

Олійник Андрій Олександрович

Харків - 2009

Дисертацією є рукопис.

Робота виконана у Запорізькому національному технічному університеті Міністерства освіти i науки України.

Науковий керівник - кандидат технічних наук, доцент Субботін Сергій Олександрович, Запорізький національний технічний університет, доцент кафедри програмних засобів.

Офіційні опоненти: доктор технічних наук, професор Дмитрієнко Валерій Дмитрович, Національний технічний університет “Харківський політехнічний інститут”, професор кафедри обчислювальної техніки та програмування;

доктор технічних наук, професор Кучеренко Євген Іванович, Харківський національний університет радіоелектроніки, професор кафедри штучного інтелекту.

Захист відбудеться “07” жовтня 2009 р. о 13 годині на засіданні спеціалізованої вченої ради Д 64.052.01 у Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

Автореферат розісланий “03” вересня 2009 р.

Вчений секретар спеціалізованої вченої ради С.Ф. Чалий



ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Широке застосування для вирішення завдань неруйнівної діагностики й автоматичної класифікації образів знайшли штучні нейронні мережі (НМ), що дозволяють ефективно апроксимувати багатовимірні нелінійні залежності та мають такі властивості, як здатність до навчання, адаптивність, узагальнення, масований паралелізм і надійність обчислень. Побудова нейромережевих моделей пов'язана з необхідністю визначення найбільш значущої комбінації ознак, із пошуком оптимальної структури НМ і настроюванням її параметрів відповідно до заданого критерію оптимальності.

Проте вирішення оптимізаційних завдань при побудові нейромоделей пов'язане, як правило, з проблемою вибору початкової точки пошуку, неможливістю розрахунку значень похідних цільової функції (ЦФ) внаслідок недиференційованості функцій активації (ФА) окремих нейронів, значними витратами часу, обумовленими великою розмірністю навчальної вибірки та багатоекстремальністю ЦФ, що ускладнює або робить іноді неможливим застосування градієнтних методів локального пошуку.

Тому для побудови нейромоделей доцільно використовувати методи еволюційного пошуку (ЕП), які є стохастичними методами, заснованими на аналогії з природними еволюційними процесами, не висувають додаткових вимог до виду ЦФ, на кожній ітерації працюють із множиною рішень, що дозволяє в багатьох випадках більш детально у порівнянні з градієнтними методами багатовимірної нелінійної безумовної оптимізації аналізувати простір пошуку.

Значний внесок у створення й дослідження еволюційних обчислень внесли О.Г. Івахненко, Д. Холланд, Л. Девіс, І.Л. Букатова, Л.А. Растригін, В.Д. Дмитрієнко, О.П. Ротштейн, Ю.О. Скобцов, В.М. Курейчик, Д.Р. Коза та ін., а в розвиток теорії штучних нейронних мереж - Ф. Розенблатт, П. Вербос, Б. Уідроу, Д. Румельхарт, Є.В. Бодянський, О.М. Горбань, О.Г. Руденко та ін.

Відомі методи ЕП вимагають значних витрат апаратних ресурсів і машинного часу, не використовують доступну інформацію про об'єкт або залежність, що моделюється, це ускладнює їхнє застосування на практиці. Потреба в усуненні цих недоліків викликає необхідність розробки нових еволюційних методів і програмних засобів, що підвищать ефективність пошуку й скоротять час, необхідний для побудови нейромережевих моделей у задачах діагностики, прогнозування, автоматичної класифікації образів.

Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалася відповідно до координаційних планів Міністерства освіти і науки України та Запорізького національного технічного університету (ЗНТУ) відповідно до державної науково-технічної програми “Нові вітчизняні інтелектуальні комп'ютерні засоби”, в рамках держбюджетної науково-дослідної роботи кафедри програмних засобів ЗНТУ “Науково-методичні основи та математичне забезпечення для автоматизації й моделювання процесів керування та підтримки прийняття рішень на основі процедур розпізнавання й еволюційної оптимізації в нейромережному та нечіткологічному базисах” (№ держ. реєстрації 0106U008621), а також двох госпдоговірних науково-дослідних робіт ТОВ “МПА Групп” “Розробка математичного та інформаційного забезпечення інтелектуальної системи візуального контролю транспортних засобів” (№ держ. реєстрації 0106U012013) і “Розроблення методів і програмних засобів на підставі навчання, розпізнавання, оптимізації та адаптації для прийняття рішень в автоматизованих системах управління транспортними засобами” (№ держ. реєстрації 0107U006781), де автор дисертаційної роботи брав участь як виконавець, розробив і дослідив нові методи синтезу нейромережевих моделей на основі еволюційного підходу, а також вирішив практичні задачі технічної та біомедичної діагностики, автоматичної класифікації образів.

Мета і завдання дослідження. Метою дисертаційної роботи є розробка еволюційних методів для підвищення якості та швидкості синтезу нейромережевих моделей для розпізнавання образів.

Для досягнення поставленої мети в роботі вирішувалися такі завдання:

- аналіз основних етапів і методів побудови нейронних мереж прямого поширення та обґрунтування еволюційного підходу для синтезу нейромоделей;

- розробка еволюційного методу відбору інформативних ознак з використанням апріорної інформації про значущість ознак навчальної вибірки; програмний нейронний мережа розпізнаючий

- створення еволюційних методів структурно-параметричного синтезу нейромережевих моделей;

- розробка програмних засобів для синтезу розпізнаючих моделей об'єктів на основі запропонованих методів;

- дослідження властивостей і характеристик розроблених методів при вирішенні практичних задач технічної й біомедичної діагностики, автоматичної класифікації образів.

Об'єкт дослідження - процес синтезу нейронних мереж на основі еволюційних обчислень.

Предмет дослідження - еволюційні методи відбору ознак та побудови моделей багатовимірних нелінійних залежностей на основі штучних нейромереж прямого поширення для розпізнавання образів.

Методи дослідження. Для вирішення завдань, поставлених у роботі, використовувалися методи: теорії інформації і математичної статистики - для розрахунку оцінок індивідуальної значущості ознак при синтезі нейромережевих моделей; методи кластерного аналізу - для об'єднання в групи компактно розташованих ознак; методи теорії нейронних мереж та еволюційних обчислень - як базис для створення нових методів відбору ознак і побудови нейромоделей.

Наукова новизна одержаних результатів полягає в тому, що:

- вперше запропоновано еволюційний метод відбору ознак з групуванням, в якому для пошуку інформативної комбінації ознак на етапі ініціалізації виконується групування ознак за ступенем їх близькості, а також використовується апріорна інформація про значущість ознак в основному циклі еволюційного пошуку, що дозволяє наблизити початкову точку пошуку до оптимальної та прискорити пошук;

- вперше запропоновано еволюційний метод структурно-параметричного синтезу нейромоделей для розпізнавання образів, що на етапах схрещування та мутації використовує еволюційні оператори, які мають за мету зменшення кількості синаптичних з'єднань в мережі, що дозволяє отримувати нейронні мережі з невеликою кількістю зв'язків, зручні для подальшого аналізу та використання на практиці;

- удосконалено еволюційний метод структурного синтезу нейромереж, в якому, на відміну від існуючих методів, шляхом групування хромосом та підвищення розмаїтості популяції знаходяться декілька субоптимальних розв'язків, розташованих у різних точках простору пошуку, що збільшує ймовірність знаходження структури нейромережі, адекватної до розв'язуваного завдання;

- дістав подальшого розвитку еволюційний метод параметричного синтезу нейромереж, який, на відміну від відомих методів еволюційного пошуку на етапах ініціалізації й мутації враховує апріорну інформацію про значущість ознак та функції активації нейронів, що скорочує час пошуку та покращує апроксимаційні властивості побудованої нейромережі.

Практичне значення одержаних результатів полягає у тому, що:

- розроблено програмне забезпечення, що реалізує запропоновані методи та дозволяє виконувати відбір інформативних ознак, параметричний, структурний і структурно-параметричний синтез нейромоделей, а також їхнє спрощення;

- проведено експериментальне дослідження властивостей і характеристик розроблених методів і програмних засобів шляхом синтезу нейромережевих моделей для вирішення практичних задач технічної й біомедичної діагностики, розпізнавання образів. Результати експериментів показали, що запропоновані методи за рахунок використання додаткової інформації про досліджуваний об'єкт дозволяють скоротити час, необхідний на пошук, а нейромоделі, побудовані за допомогою запропонованих методів, містять найбільш значущі міжнейронні зв'язки та зв'язки між вхідними ознаками та нейронами;

- наукові положення, висновки й рекомендації, викладені в дисертаційній роботі, були використані при підготовці курсів “Нейроінформатика та еволюційні алгоритми”, “Системи штучного інтелекту”, “Сучасний штучний інтелект” на кафедрі програмних засобів ЗНТУ (акт впровадження від 3.11.08) в рамках міжнародного проекту “Європейсько-український ступінь магістра з програмної інженерії” (JEP 26182-2005) програми Tempus Tacis Європейської Комісії;

- розроблене програмне забезпечення для синтезу нейромоделей впроваджено на ВАТ “Мотор Січ” (акт впровадження від 28.10.08) та ТОВ “МПА Групп” (акт впровадження від 30.04.08).

Особистий внесок здобувача полягає у тому, що наукові положення, висновки й рекомендації, що лежать в основі дисертаційної роботи, були сформульовані, розроблені та досліджені ним самостійно. У публікаціях, написаних у співавторстві, здобувачу належать: [1] - метод керування параметрами еволюційної оптимізації; [2, 14] - еволюційний метод структурного синтезу нейромереж; [3, 10] - комплекс критеріїв та методика порівняння еволюційних методів синтезу НМ; [4] - еволюційний метод відбору ознак з групуванням; [5, 12, 17] - синтез діагностичних і розпізнаючих моделей в техніці та медицині; [6] - еволюційний метод параметричного синтезу нейромереж; [7, 15] - еволюційний метод структурно-параметричного синтезу нейромоделей; [8] - метод спрощення НМ на основі еволюційного підходу; [9] - програмна реалізація еволюційного методу відбору інформативних ознак.

Апробація результатів дисертації. Основні положення та результати дисертаційної роботи доповідалися й обговорювалися на міжнародних конференціях і семінарах: “Интеллектуальный анализ информации” (Киев, 2008), “Автоматика” (Севастополь, 2007; Одеса, 2008), “Intelligent Systems Design: Neural Networks, Fuzzy Logic, Evolutionary Computation, Swarm Intelligence, and Complex Systems” (Missouri-Rolla, 2007), “Modern problems of radio engineering, telecommunications and computer science” (Lviv-Slavske, 2008), “The experience of designing and application of CAD systems in Microelectronics” (Lviv-Slavske, 2007), “Inductive Modelling” (Kyiv, 2008), “Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту” (Херсон, 2008), “Нейроинформатика” (Москва, 2007, 2008), “Радіоелектроніка і молодь в XXI ст.” (Харків, 2007, 2008), “Нейроинформатика, ее приложения и анализ данных” (Красноярск, 2007), “Комп'ютерне моделювання та інтелектуальні системи” (Запоріжжя, 2007), “Моделирование неравновесных систем” (Красноярск, 2007, 2008).

Публікації. Основні положення та результати дисертації опубліковано в 17 друкованих працях, з них: 8 статей у виданнях, що входять до переліку ВАК України (з яких 5 статей в журналах, 3 статті в збірниках наукових праць), 9 публікацій у збірниках праць і матеріалів наукових конференцій та семінарів.

Структура та обсяг роботи. Дисертаційна робота складається з переліку скорочень, вступу, чотирьох розділів, висновків, додатків та списку використаних джерел. Обсяг дисертації становить 187 сторінок, у тому числі 130 сторінок основної частини. Робота містить 30 рисунків та 20 таблиць, а також 2 додатки на 29 сторінках та список використаних джерел зі 132 найменувань на 14 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертації, сформульовано мету та завдання дослідження, наведено основні методи вирішення сформульованих завдань, наукову новизну та практичну цінність отриманих результатів, особистий внесок автора в роботи, виконані у співавторстві, відомості щодо апробації результатів дисертації.

Перший розділ дисертації містить критичний аналіз основних етапів побудови моделей на основі НМ прямого поширення та існуючих методів їхнього синтезу. Показано, що процес побудови ефективних нейромережевих моделей на основі навчальної вибірки складається з таких етапів, як вибір системи інформативних ознак, структурний та параметричний синтез, а також оптимізація побудованої нейромоделі. Кожен з цих етапів пов'язаний з оптимізацією деякого, як правило, нелінійного критерію оптимальності в багатовимірному просторі керованих змінних.

Результати проведеного аналізу показали, що для побудови нейромережевих моделей багатовимірних нелінійних об'єктів ефективно можуть використовуватися методи ЕП, які не висувають додаткових вимог до виду ЦФ, на кожній ітерації працюють із множиною рішень, що дозволяє в багатьох випадках більш детально у порівнянні з градієнтними методами безумовної оптимізації аналізувати простір пошуку.

Побудовано класифікацію та проведено аналіз відомих методів ЕП. Показано, що вони для застосування на практиці вимагають визначення способу подання керованих змінних, цільової функції, еволюційних операторів та їхніх параметрів. Визначено, що відомі методи ЕП не використовують доступну інформацію про об'єкт, що моделюється, залежать від параметрів пошуку, що ускладнює їхнє застосування на практиці. Для усунення цих недоліків у дисертаційній роботі запропоновано розробити ефективні методи відбору інформативних ознак та синтезу нейромоделей на основі еволюційного підходу з використанням відомої інформації про навчальну вибірку, що дозволить збільшити ймовірність одержання оптимальної системи інформативних ознак, створювати інтерпретабельні нейромоделі, не накладаючи обмежень на вид ФА нейронів, і прискорити ЕП.

У другому розділі розроблено еволюційний метод відбору ознак з групуванням, який використовує апріорну інформацію про значущість ознак в еволюційних операторах, що дозволяє збільшити ймовірність одержання оптимальної системи інформативних ознак і прискорити ЕП.

Для відбору інформативних ознак з навчальної вибірки, що містить L ознак, за допомогою еволюційних методів рішення (хромосома) подається бітовим рядком розміру L. Якщо ген хромосоми приймає одиничне значення, тоді відповідна йому ознака вважається інформативною і враховується при оцінюванні набору ознак, що відповідає хромосомі. У протилежному випадку, коли ген хромосоми приймає нульове значення, ознака вважається неінформативною і не використовується при оцінюванні комбінації ознак.

Як ЦФ для оцінювання хромосом запропоновано використовувати вираз (1), що мінімізує кількість відібраних ознак і критерій оцінювання інформативності набору ознак:

де Ij - критерій оцінювання спільного впливу набору ознак, що відповідає оцінюваній хромосомі Hj; hij - значення i-го гену j-ої хромосоми.

У розробленому еволюційному методі з фіксацією частини простору пошуку на етапі ініціалізації аналізується індивідуальна інформативність ознак шляхом застосування традиційних методів оцінювання інформативності, після цього виключаються малозначущі ознаки, що зменшує простір пошуку. Таким чином, відбір ознак за допомогою еволюційного методу з фіксацією частини простору пошуку здійснюється у такій послідовності етапів:

1. Оцінити індивідуальну інформативність кожної ознаки Ii навчальної вибірки.

2. Розрахувати середнє значення оцінок індивідуальної інформативності та визначити коефіцієнт зменшення простору пошуку: = V/L, де V - кількість ознак, що мають індивідуальну інформативність, нищу за середню.

3. Відсортувати ознаки вихідної вибірки за зростанням індивідуальної значущості та виключити з подальшого розгляду перші L ознак, які характеризуються незначною інформативністю, де - коефіцієнт, що визначає ступінь зменшення простору пошуку.

4. Виконати ЕП з фіксацією простору пошуку, при якому найбільш інформативна комбінація ознак шукається серед (1 - )L ознак.

З метою прискорення еволюційної оптимізації використовується процедура ґешування обчислених значень ЦФ, що зберігає значення ЦФ для кожної хромосоми, внаслідок чого виключається необхідність повторного обчислення ЦФ вже оцінених хромосом, та процедура керування параметрами еволюційного пошуку, що змінює значення параметрів еволюційного методу в залежності від досягнутих результатів.

Таким чином, зменшення простору пошуку за рахунок виключення з розгляду малозначущих ознак скорочує час, необхідний для пошуку найбільш інформативної комбінації ознак.

В еволюційному методі відбору ознак з групуванням показники індивідуальної інформативності та тісноти зв'язку ознак між собою використовуються на усіх етапах ЕП.

Етап 1. Ініціалізація (генерація хромосом початкової популяції). На цьому етапі відбувається групування ознак за ступенем їх близькості. Центр групи ознак визначається за формулою (2):

де c - номер ознаки, що є центром поточної групи; qi - показник обробки i-ої ознаки (qi = 1, якщо ознака оброблена, та qi = 0 - в іншому випадку); Ii - оцінка індивідуальної інформативності i-ої ознаки.

До групи, центром якої є c-та ознака, вводяться ще не оброблені ознаки (qi = 0), значення тісноти зв'язку яких з c-ою ознакою dic є більшим, ніж середнє значення тісноти зв'язку ознак dсер., яке обчислюється за формулою (3):

Процедура групування ознак продовжується до тих пір, поки не згруповано всі ознаки, тобто доки існує хоча б одна ознака, для якої qi = 0.

Ймовірність Pi включення і-ої ознаки до хромосоми розраховується, виходячи з формули (4):

де - інформативність центра групи і-ої ознаки.

Етап 2. Відбір хромосом для формування нових рішень. В операторі відбору, крім врахування інформативності оцінюваного набору ознак, пропонується також враховувати середню індивідуальну інформативність включених до хромосоми ознак. Для цього пропонується використовувати формулу (5) для розрахунку ЦФ:

Етап 3. Схрещування хромосом. Апріорна інформація про значущість ознак в операторі рівномірного схрещування враховується при генерації маски схрещування, в якій встановлюються одиничні значення для тих ознак, оцінки інформативності яких є вищими за поріг, і нульові значення для ознак, оцінки інформативності яких рівні або нижчі від порогу.

Етап 4. Мутація. В операторі мутації апріорну інформацію про рівень інформативності ознак пропонується використовувати за допомогою посилення ймовірності мутації ознак, що мають низькі оцінки індивідуальної інформативності й ослаблення ймовірності мутації ознак з високими оцінками індивідуальної інформативності, що дозволяє закріплювати ознаки, які найбільш сильно впливають на цільовий параметр, і сконцентрувати пошук на переборі сполучень ознак з меншою інформативністю.

Етап 5. Перевірка критеріїв зупинення ЕП (досягнення прийнятного значення ЦФ, максимально допустимої кількості ітерацій). Якщо критерії зупинення не досягнуто, виконати перехід до етапу 2, в іншому випадку зупинити ЕП.

Таким чином, розроблений еволюційний метод відбору ознак з групуванням на основі індивідуальних оцінок значущості ознак підвищує ефективність пошуку за допомогою наближення початкової точки пошуку до оптимальної й використання показників індивідуальної інформативності ознак на всіх етапах ЕП.

У третьому розділі запропоновано еволюційний метод параметричного синтезу нейромоделей, еволюційний метод структурного синтезу нейромереж та еволюційний метод структурно-параметричного синтезу нейромережевих моделей.

В еволюційному методі параметричного синтезу нейромоделей запропоновано враховувати апріорну інформацію про значущість ознак в операторах ініціалізації й мутації, що використовуються при ЕП.

Етап 1. Ініціалізація початкової популяції N хромосомами. Хромосома при параметричному синтезі (рис. 1) складається з генів, що містять значення ваг і зсувів усіх нейронів мережі.

При ініціалізації хромосом в еволюційному методі параметричного синтезу НМ моделей обчислення початкових значень вагових коефіцієнтів і зсувів нейронів у шарі виконується таким чином, щоб рівномірно розподілити активну область визначення ФА кожного нейрона по простору вхідних змінних, враховуючи при цьому інформативність ознак навчальної вибірки.

Рис. 1. Схематичне подання хромосоми при параметричному синтезі НМ

Значення -го вагового коефіцієнта _го нейрона _го шару НМ розраховується за формулою (6):

де - коефіцієнт, що визначає ширину діапазону зміни значень вагових коефіцієнтів нейроелементів; r - випадково згенероване число в інтервалі [-I; I] для = 1, та [-1; 1] - в іншому випадку; x() акт. max та x() акт. min - максимальне та мінімальне значення активної області визначення ФА _го нейрона _го шару; x() max та x() min - максимальне та мінімальне значення -го входу нейронів -го шару мережі, відповідно; I - інформативність -ої ознаки навчальної вибірки.

Етап 2. Відбір хромосом. Для генерації нових рішень відбираються хромосоми, виходячи з рівня їх пристосованості (ЦФ). Як ЦФ при параметричному синтезі нейромоделей використовується квадратичний критерій якості навчання, що обчислюється як сума квадратів відхилень між фактичним і розрахованим значенням на виході мережі.

Етап 3. Формування нових рішень за допомогою операторів схрещування та мутації. При цьому в операторі точкової мутації показники індивідуальної інформативності ознак використовуються шляхом зменшення ймовірності мутації генів, яким відповідають значення вагових коефіцієнтів зв'язків, що йдуть від вхідних ознак з оцінками індивідуальної значущості, вищими за середню.

Етап 4. Перевірка критеріїв зупинення ЕП.

Таким чином, запропонований метод еволюційної оптимізації для параметричного синтезу нейромереж дозволяє налагоджувати значення вагових коефіцієнтів і зсувів, не накладаючи обмеження на вид ФА нейронів. На відміну від класичних методів ЕП, що використовуються для навчання нейромереж, у розробленому методі застосовуються спеціальні оператори ініціалізації й мутації, які враховують апріорну інформацію про значущість ознак, що підвищує ефективність пошуку та зменшує час еволюційної оптимізації.

У розробленому еволюційному методі структурного синтезу НМ з метою пошуку декількох оптимальних структур нейромереж, розташованих у різних точках простору пошуку, у процесі структурного синтезу виконується групування рішень (хромосом) за їхнім розташуванням у просторі пошуку. У хромосомі (рис. 2) при структурному синтезі НМ міститься інформація про наявність міжнейронних зв'язків у мережі.

Рис. 2. Приклад хромосоми та відповідної їй НМ при структурному синтезі: а) хромосома; б) матриця зв'язків нейромережі, що відповідає хромосомі; в) побудований на основі матриці зв'язків граф; г) синтезована нейромережа (без надлишкових нейронів та зв'язків)

Для обчислення значення ЦФ хромосоми, що враховує апроксимаційні властивості мережі, виконується побудова нейромережі, що відповідає оцінюваній хромосомі.

У запропонованому методі структурного синтезу НМ у процесі еволюційної оптимізації визначаються групи близьких (подібних) хромосом. Для цього обчислюється відстань Хемінга між усіма хромосомами в популяції. Центром групи вважається хромосома з найкращим значенням ЦФ. До її групи вводиться визначена кількість хромосом з найменшою відстанню Хемінга до неї.

Така процедура повторюється доти, доки не згруповано усі хромосоми популяції. Після цього підвищується розмаїтість популяції шляхом погіршення значень ЦФ хромосом в залежності від близькості до центра їхньої групи (7):

де fn(Hj) - нове значення ЦФ j-ої хромосоми; f(Hj) - значення ЦФ до зміни j-ої хромосоми; d(Hj; Hc, j) - відстань Хемінга від j-ої хромосоми до центра її групи; d(Hj; Hmax, j) - максимальна відстань Хемінга в групі j-ої хромосоми.

В результаті зміни значень ЦФ зменшується ймовірність створення нових рішень на основі близько розташованих хромосом, внаслідок чого більшість хромосом-нащадків розташовується поза областей локальних оптимумів, більш рівномірно покриваючи та досліджуючи простір пошуку.

Таким чином, розроблений еволюційний метод структурного синтезу нейромереж підвищує розмаїтість хромосом популяції й дозволяє рівномірно покривати простір пошуку, збільшуючи в такий спосіб ймовірність успішного виконання процедури оцінювання знайдених рішень за допомогою зовнішніх критеріїв на тестовій вибірці, оскільки результатом пошуку є не єдина структура нейромережі, а множина рішень, розташованих у різних точках простору пошуку, що дозволяє вибрати таку нейромережеву модель, яка найкращим чином задовольняє зовнішнім критеріям оцінювання ефективності нейромоделей.

В еволюційному методі структурно-параметричного синтезу нейромоделей хромосома складається з декількох частин (рис. 3): у першій частині міститься інформація про значення ваг нейронів вхідного шару, у другій - значення вагових коефіцієнтів нейронів схованих шарів, у третій - значення зсувів нейронів, у четвертій - ФА для кожного нейрона мережі. На рис. 3 використано такі позначення: iw - значення вагового коефіцієнту зв'язку від -ої ознаки до _го нейрона; lw - значення вагового коефіцієнту зв'язку від -го нейрона до _го нейрона; b - значення зсуву _го нейрона; tf - ФА _го нейрона.

Рис. 3. Подання хромосоми при структурно-параметричному синтезі НМ

Етап 1. Ініціалізація початкової популяції. Для підвищення ефективності еволюційної оптимізації при структурно-параметричному синтезі нейромоделей і скорочення часу пошуку на етапі ініціалізації хромосом, що відповідають нейромережевим моделям, вибір початкових значень вагових коефіцієнтів і зсувів пропонується здійснювати з урахуванням відомої інформації про ФА кожного нейрона та індивідуальну значущість ознак, застосовуючи при цьому формули, аналогічні формулі (6), що використовується в еволюційному методі параметричного синтезу нейромереж.

Етап 2. Відбір хромосом для схрещування та мутації.

Етап 3. Схрещування хромосом. З метою пошуку нейромоделей з мінімальною кількістю синаптичних з'єднань у запропонованому методі структурно-параметричного синтезу розроблено спеціальні оператори схрещування й мутації, що прагнуть зменшити кількість зв'язків у мережі. В операторі схрещування для частин хромосом, що містять інформацію про значення вагових коефіцієнтів нейронів вхідного та схованих шарів, значення i-го гену нащадків пропонується визначати за формулами (8):

де hiп1 та hiп2 - значення i-их генів першого й другого нащадків, відповідно; hi1 і hi2 - значення i-их генів першого й другого батьків, відповідно; k - коефіцієнт, що задається користувачем, k (0; 1).

Етап 4. Мутація хромосом. Мутацію генів, що містять інформацію про значення вагових коефіцієнтів, пропонується виконувати за формулою (9):

де hi і hiп - значення i-го гену до й після мутації, відповідно; r = rand[-hi; hi] - випадково згенероване число в інтервалі [-hi; hi].

Етап 5. Якщо критерії зупинення ЕП досягнуто, зупинити виконання еволюційного методу структурно-параметричного синтезу НМ, в іншому випадку виконати перехід до етапу 2.

Розроблений еволюційний метод структурно-параметричного синтезу нейромоделей дозволяє обирати оптимальну структуру НМ, налагоджуючи при цьому значення вагових коефіцієнтів і зсувів та не накладаючи обмежень на вид ФА нейронів.

Для оптимізації структури запропоновано еволюційний метод спрощення НМ, що дозволяє оптимізовувати побудовану НМ по декількох заданих цільових критеріях. Хромосоми при оптимізації нейромоделей у цьому методі кодуються за допомогою подання, аналогічного тому, що використовується при структурно-параметричному синтезі НМ. Еволюційний метод спрощення НМ складається з таких етапів.

Етап 1. Генерація хромосом початкової популяції.

Етап 2. Розбиття популяції на декілька підпопуляцій, кількість яких відповідає кількості цільових критеріїв.

Етап 3. Виконання основного циклу ЕП (відбір, схрещування, мутація) в кожній з підпопуляцій. При цьому оцінювання хромосом в c-ій підпопуляції виконується по c-ій ЦФ.

Етап 4. Об'єднання хромосом підпопуляцій в єдину популяцію.

Етап 5. Виконання основного циклу ЕП над хромосомами з об'єднаної популяції. При цьому оцінювання хромосоми Hj проводиться за допомогою обчислення узагальненого значення ЦФ F(Hj), що розраховується за формулою (10):

де k - вага (значущість) k-ої ЦФ, що задається користувачем; Bk = fk(Hj) - min(fk); k = max(fk) - min(fk) - діапазон зміни значень k-ої ЦФ; max(fk) і min(fk) - максимальне й мінімальне значення k-ої ЦФ на поточній ітерації, відповідно.

Етап 6. Перевірка критеріїв зупинення ЕП.

Таким чином, еволюційний метод спрощення НМ складається з двох етапів. На першому етапі виконується пошук оптимуму кожної ЦФ окремо, на другому етапі відбувається ЕП, що заснований на використанні узагальненої функції, яка поєднує в собі значення всіх цільових критеріїв. Такий підхід дозволяє відбирати й одержувати ті хромосоми, які не є оптимальними для жодної із заданих ЦФ, але в той же час є найбільш прийнятними для набору цих функцій.

У четвертому розділі виконується експериментальне дослідження розроблених методів відбору інформативних ознак та побудови нейромережевих моделей. Для цього розроблено систему критеріїв, а саме:

- критерії оцінювання еволюційної оптимізації (отримане значення ЦФ fопт., кількість обчислень значень ЦФ n, час оптимізації , коефіцієнт стохастичності ЕП Ks, коефіцієнт детермінованості ЕП Kd) - використовуються для аналізу ЕП як методу оптимізації;

- критерії оцінювання однорідності популяції (коефіцієнт однорідності генотипу g, коефіцієнт однорідності генотипу-фенотипу gf, коефіцієнт однорідності пристосованості E, коефіцієнт неоднорідності генотипу g, коефіцієнт неоднорідності генотипу-фенотипу gf, коефіцієнт неоднорідності пристосованості E) - застосовуються для визначення розмаїтості хромосом у популяції;

- критерії оцінювання еволюційної адаптації (критерій стабільності t-ої популяції Ct, критерій оцінювання швидкості зміни ЦФ Kf, частина хромосом, що мають значення ЦФ, краще за середнє значення ЦФ у популяції, , коефіцієнт ефективності ітерацій Ke, коефіцієнт неефективності ітерацій Kn) - використовуються для визначення стійкості й здатності еволюційних методів до поліпшення середніх значень ЦФ і невлученню в локальні оптимуми;

- критерії оцінювання ефективності синтезованих нейромережевих моделей (середньоквадратична помилка нейромережевої моделі E, час розрахунку значення вихідного параметра за синтезованою НМ НМ, критерій оцінювання складності структури нейромоделі Kс, критерій оцінювання обчислювальної складності нейромережі Kв, інтегральні критерії f1 та f2.

З метою дослідження властивостей та характеристик еволюційних методів відбору інформативних ознак та побудови нейромоделей запропоновано методику проведення експериментів по розв'язанню практичних задач.

Розроблено програмне забезпечення, що реалізує запропоновані методи та дозволяє виконувати відбір інформативних ознак, параметричний, структурний і структурно-параметричний синтез нейромоделей, а також їхнє спрощення.

За допомогою розробленого програмного забезпечення на основі запропонованої методики виконано експериментальне дослідження еволюційних методів відбору інформативних ознак та побудови нейромережевих моделей шляхом вирішення практичних задач технічної та біомедичної діагностики, автоматичної класифікації образів: прогнозування значення коефіцієнта зміцнення деталей авіадвигунів, класифікація автотранспортних засобів, моделювання сумарного показника якості життя хворих на хронічний обструктивний бронхіт.

На рис. 4 наведено графік залежності досягнутого значення критерія оцінювання інформативності (1) набору ознак від номеру ітерації для різних еволюційних методів відбору ознак при вирішенні задачі прогнозування значення коефіцієнта зміцнення деталей авіадвигунів.



На рис. 4 крива 1 відповідає класичному ЕП, крива 2 - еволюційному методу з фіксацією частини простору пошуку, крива 3 - ЕП з групуванням ознак на основі індивідуальних оцінок значущості ознак, крива 4 - еволюційному методу з кластеризацією ознак, крива 5 - острівній моделі ЕП. Пряма 6 відображає прийнятне значення ЦФ.

З рис. 4 видно, що розроблені методи еволюційного відбору інформативних ознак вже на початкових ітераціях випереджають класичний ЕП і знаходять прийнятне значення ЦФ швидше, що є наслідком використання апріорної інформації про досліджуваний об'єкт.

Після відбору ознак було виконано побудову нейромоделей залежностей. В результаті отримано нейромережеві моделі, що дозволяють виконувати класифікацію та оцінювання вихідних параметрів досліджуваних об'єктів.

Результати експериментів з вирішення практичних задач показали, що запропоновані методи за рахунок використання додаткової інформації про досліджуваний об'єкт дозволяють скоротити час, необхідний на пошук, а нейромоделі, побудовані за допомогою запропонованих методів, містять найбільш значущі міжнейронні зв'язки та зв'язки між вхідними ознаками та нейронами.

Висновки містять одержані в дисертації основні наукові та практичні результати.

У додатках наведено описи практичних задач та результати експериментальних досліджень, а також копії документів про впровадження та приналежність результатів дисертаційної роботи.



ОСНОВНІ РЕЗУЛЬТАТИ ТА ВИСНОВКИ

В дисертаційній роботі розв'язано актуальне наукове завдання в галузі розробки інтелектуальних систем розпізнавання образів, що полягає у створенні методів синтезу нейромережевих моделей на основі еволюційного підходу. В результаті проведених досліджень отримано такі результати.

1. Проведено аналіз етапів побудови нейромоделей, який показав, що всі етапи синтезу нейронних мереж передбачають оптимізацію деякого наперед заданого критерія оптимальності. Показано, що для синтезу нейромережевих моделей ефективно можуть застосовуватися методи еволюційного пошуку, які дозволяють у рамках єдиного підходу реалізовувати всі етапи побудови нейромоделей і не вимагають обчислення похідних цільової функції, працюють з певною множиною рішень, що дозволяє у багатьох випадках аналізувати простір пошуку швидше у порівнянні з традиційними оптимізаційними методами, не висуваючи при цьому додаткових обмежень до виду цільової функції.

2. Вперше запропоновано еволюційний метод відбору ознак з групуванням. У розробленому методі для відбору ознак за навчальною вибіркою на етапі ініціалізації виконується групування ознак за ступенем їх близькості, а також використовується апріорна інформація про значущість ознак в основному циклі еволюційного пошуку. Це дозволяє наблизити початкову точку пошуку до оптимальної та прискорити пошук.

3. Дістав подальшого розвитку еволюційний метод параметричного синтезу нейромереж, що дозволяє отримувати значення вагових коефіцієнтів і зсувів, не накладаючи обмеження на вид функції активації нейронів, та, на відміну від класичних еволюційних методів, застосовує спеціальні оператори ініціалізації й мутації, які враховують апріорну інформацію про значущість ознак, що підвищує ефективність пошуку й зменшує час еволюційної оптимізації.

4. Удосконалено еволюційний метод структурного синтезу нейромереж, в якому, на відміну від відомих методів еволюційного пошуку, в процесі еволюційної оптимізації підвищується розмаїтість хромосом популяції, що дозволяє збільшити ймовірність успішного виконання процедури оцінювання знайдених рішень за допомогою зовнішніх критеріїв на тестовій вибірці, оскільки результатом пошуку є не єдина структура нейромережі, а множина рішень, розташованих у різних точках простору пошуку.

5. Вперше запропоновано еволюційний метод структурно-параметричного синтезу нейромоделей, що дозволяє обирати оптимальну структуру нейромережі, налагоджуючи при цьому значення вагових коефіцієнтів і зсувів та не накладаючи обмежень на вид функції активації нейронів. Розроблений метод використовує спеціальні оператори схрещування й мутації, які при формуванні нових рішень прагнуть зменшити кількість зв'язків у мережі, що дозволяє отримувати нейронні мережі з невеликою кількістю зв'язків, зручні для подальшого аналізу та використання на практиці.

6. Розроблено програмне забезпечення, що реалізує запропоновані методи та дозволяє виконувати відбір інформативних ознак, параметричний, структурний і структурно-параметричний синтез нейромоделей, а також їхнє спрощення.

7. Проведено експериментальне дослідження властивостей і характеристик розроблених методів і програмних засобів шляхом синтезу нейромережевих моделей для вирішення практичних задач технічної й біомедичної діагностики. Результати експериментів показали, що запропоновані методи за рахунок використання додаткової інформації про досліджуваний об'єкт дозволяють скоротити час, необхідний на пошук, а нейромоделі, побудовані за допомогою запропонованих методів, містять найбільш значущі міжнейронні зв'язки та зв'язки між вхідними ознаками та нейронами, що підтверджується відповідними актами впровадження.



СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Субботин С. А. Методы управления параметрами эволюционного поиска / С. А. Субботин, А. А. Олейник // Радиоэлектроника и информатика. - 2007. - № 4. - С. 88-92.

2. Субботін С. О. Структурний синтез нейромоделей на основі полімодального еволюційного пошуку / С. О. Субботін, А. О. Олійник // Радіоелектроніка. Інформатика. Управління. - 2008. - № 1. - С. 111-117.

3. Субботин С. А. Сравнительный анализ методов эволюционного поиска / С. А. Субботин, А. А. Олейник // Штучний інтелект. - 2008. - № 2. - С. 44-49.

4. Субботин С. А. Выделение набора информативных признаков на основе эволюционного поиска с кластеризацией / С. А. Субботин, А. А. Олейник // Штучний інтелект. - 2008. - № 4. - С. 704-711.

5. Олейник А. А. Определение влияния режимов высокоскоростного фрезерования на параметры нежестких деталей на основе эволюционного подхода / А. А. Олейник, Д. В. Павленко, С. А. Субботин // Вісник двигунобудування. - 2008. - № 1. - С. 84-90.

6. Олейник А. А. Параметрический синтез нейросетевых диагностических моделей на основе эволюционной оптимизации / А. А. Олейник, С. А. Субботин // Автоматизированные системы управления и приборы автоматики. - Харьков: ХНУРЭ. - 2007. - № 141. - С. 73-81.

7. Олейник А. А. Эволюционный метод структурно-параметрического синтеза нейронных сетей / А. А. Олейник, С. А. Субботин // Адаптивні системи автоматичного управління. - Дніпропетровськ: Системні технології. - 2008. - № 12 (32). - С. 96-103.

8. Субботин С. А. Оптимизация нейросетевых моделей на основе многокритериального метода эволюционного поиска / С. А. Субботин, А. А. Олейник // Вестник НТУ “ХПИ”. - Харьков: НТУ “ХПИ”. - 2008. - № 24. - С. 165-173. - (Тематический выпуск “Информатика и моделирование”).

9. Subbotin S. Entropy Based Evolutionary Search for Feature Selection / S. Subbotin, A. Oleynik // The experience of designing and application of CAD systems in Microelectronics : IX International Conference CADSM-2007 : proceedings of the conference. - Lviv, 2007. - P. 442-443.

10. Субботин С. А. Критерии сравнения эволюционных методов синтеза нейромоделей / С. А. Субботин, А. А. Олейник // Научная сессия МИФИ-2007. IX Всероссийская научно-техническая конференция “Нейроинформатика-2007” : сборник научных трудов. - М., 2007. - Ч. 2. - С. 177-184.

11. Олейник А. А. Выбор системы информативных признаков для классификации транспортных средств на основе эволюционного поиска / Олейник А. А. // Комп'ютерне моделювання та інтелектуальні системи : збірник наукових праць / за ред. Д. М. Пізи, С. О. Субботіна. - Запоріжжя: ЗНТУ, 2007. - С. 134-146.

12. Subbotin S. А. Evolutionary Method with Clustering for Feature Selection / S. А. Subbotin, А. A. Olejnik // Inductive Modelling : 2nd International Conference ICIM'2008 : proceedings of the conference. - Kyiv, 2008. - P. 213-216.

13. Олейник А. А. Эволюционный метод обучения нейромоделей / А. А. Олейник // Интеллектуальный анализ информации : восьмая международная конференция ИАИ-2008, 14-17 мая 2008 р. : сборник трудов. - К., 2008. - С. 351-361.

14. Олейник А. А. Метод полимодального эволюционного поиска для структурного синтеза нейромоделей / А. А. Олейник, С. А. Субботин // Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту : міжнародна наукова конференція ISDMCI'2008, 19-23 травня 2008 р. : матеріали конференції. - Херсон : ХНТУ, 2008. - Т. 3 (Ч. 2). - С. 37-40.

15. Субботин С. А. Эволюционный метод построения нейромоделей для распознавания образов / С. А. Субботин, А. А. Олейник // Моделирование неравновесных систем : XI Всероссийский семинар, 26-28 сентября 2008 г. : материалы семинара. - Красноярск, 2008. - C. 186-189.

16. Олейник А. А. Автоматизированная система построения нейромоделей на основе эволюционного подхода / А. А. Олейник // Радіоелектроніка і молодь в XХI ст. : 12-ий міжнародний молодіжний форум, 1-3 квітня 2008 р. : матеріали форуму. - Харків: ХНУРЕ, 2008. - Ч. 2. - С. 162.

17. Субботин С. А. Синтез нейромоделей зависимости режимов высокоскоростного фрезерования деталей авиадвигателей от уровня вибрации / С. А. Субботин, А. А. Олейник // Научная сессия МИФИ-2008. X Всероссийская научно-техническая конференция “Нейроинформатика-2008”, 22-25 января 2008 г. : сборник научных трудов. - М., 2008. - Ч. 2. - С. 160-170.

АНОТАЦІЯ

Олійник А. О. Еволюційні методи відбору інформативних ознак та побудови нейромережевих моделей для розпізнавання образів. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. - Харківський національний університет радіоелектроніки, Харків, 2009.

Дисертацію присвячено розробці та дослідженню методів відбору інформативних ознак та побудови нейромережевих моделей на основі еволюційного підходу.

Створено нові методи та програмне забезпечення, що дозволяють на основі еволюційного підходу, використовуючи доступну інформацію про об'єкт або залежність, що моделюється, виконувати відбір інформативних ознак, параметричний, структурний і структурно-параметричний синтез нейромоделей, а також їхнє спрощення.

Проведено експериментальне дослідження властивостей і характеристик розроблених методів та програмних засобів шляхом синтезу нейромережевих моделей для вирішення практичних задач технічної й біомедичної діагностики. Запропоновані методи дозволяють скоротити час, необхідний на пошук, а нейромоделі, побудовані за допомогою розроблених методів, містять найбільш значущі міжнейронні зв'язки.

Ключові слова: відбір ознак, еволюційні обчислення, інформативність ознак, нейронна мережа.



АННОТАЦИЯ

Олейник А. А. Эволюционные методы отбора информативных признаков и построения нейросетевых моделей для распознавания образов. - Рукопись.

Диссертация на соискание учёной степени кандидата технических наук по специальности 05.13.23 - системы и средства искусственного интеллекта. - Харьковский национальный университет радиоэлектроники, Харьков, 2009.

Диссертация посвящена разработке и исследованию методов отбора информативных признаков и построения нейросетевых моделей на основе эволюционного подхода.

Выполнен аналитический обзор этапов построения нейромоделей, показавший, что все этапы синтеза нейронных сетей предусматривают оптимизацию некоторого заранее заданного критерия оптимальности. Показано, что для синтеза нейросетевых моделей эффективно могут использоваться методы эволюционного поиска, которые позволяют в рамках единого подхода реализовывать все этапы построения нейромоделей и не требуют вычисления производных целевой функции, работают с некоторым множеством решений, что позволяет во многих случаях анализировать пространство поиска быстрее по сравнению с традиционными оптимизационными методами, не выдвигая при этом дополнительных ограничений к виду целевой функции.

Впервые предложен эволюционный метод отбора признаков с группировкой. В разработанном методе для отбора признаков по обучающей выборке на этапе инициализации выполняется группировка признаков по степени их близости, а также используется априорная информация о значимости признаков в основном цикле эволюционного поиска. Это позволяет приблизить начальную точку поиска к оптимальной и ускорить поиск.

Получил дальнейшее развитие эволюционный метод параметрического синтеза нейросетей, позволяющий получать значения весовых коэффициентов и смещений, не накладывая ограничений на вид функции активации нейронов, и, в отличие от классических эволюционных методов, использующий специальные операторы инициализации и мутации, которые учитывают априорную информацию о значимости признаков, что повышает эффективность поиска и уменьшает время эволюционной оптимизации.

Усовершенствован эволюционный метод структурного синтеза нейросетей, в котором, в отличие от известных методов эволюционного поиска, в процессе эволюционной оптимизации повышается разнообразие хромосом популяции, что позволяет увеличить вероятность успешного выполнения процедуры оценивания найденных решений с помощью внешних критериев на тестовой выборке, поскольку результатом поиска является не единая структура нейросети, а множество решений, расположенных в различных точках пространства поиска.

Впервые предложен эволюционный метод структурно-параметрического синтеза нейромоделей, позволяющий выбирать оптимальную структуру нейросети, настраивая при этом значения весовых коэффициентов и смещений и не накладывая ограничений на вид функции активации нейронов. Разработанный метод использует специальные операторы скрещивания и мутации, которые при формировании новых решений стремятся уменьшить количество связей в сети, что позволяет получать нейронные сети с незначительным количеством связей, удобные для дальнейшего анализа и использования на практике.

Разработано программное обеспечение, реализующее предложенные методы и позволяющее выполнять отбор информативных признаков, параметрический, структурный и структурно-параметрический синтез нейромоделей, а также их упрощение.

Проведено экспериментальное исследование свойств и характеристик разработанных методов и программных средств путем синтеза нейросетевых моделей для решения практических задач технической и биомедицинской диагностики. Результаты экспериментов показали, что предложенные методы за счет использования дополнительной информации об исследуемом объекте позволяют сократить время, необходимое на поиск, а нейромодели, построенные с помощью предложенных методов, содержат наиболее значимые межнейронные связи и связи между входными признаками и нейронами.

Научные положения, выводы и рекомендации, изложенные в диссертационной работе, использованы при подготовке курсов “Нейроинформатика и эволюционные алгоритмы”, “Системы искусственного интеллекта”, “Современный искусственный интеллект” на кафедре программных средств ЗНТУ в рамках международного проекта “Европейско-украинская степень магистра по программной инженерии” (JEP 26182-2005) программы Tempus Tacis Европейской Комиссии. Разработанное программное обеспечение для синтеза нейромоделей внедрено в ОАО “Мотор Сич” и ООО “МПА Групп”, что подтверждается соответствующими актами внедрения.

Достоверность полученных результатов подтверждается экспериментальными исследованиями и результатами внедрений.

Ключевые слова: отбор признаков, эволюционные вычисления, информативность признаков, нейронная сеть.



ABSTRACT

Oleynik A. A. Evolutionary methods of feature selection and neural network model construction for pattern recognition. - Manuscript.

The thesis for the candidate degree in technical sciences on the specialty 05.13.23 - Artificial Intelligence Systems and Means. - Kharkiv National University of Radio Electronics, Kharkiv, 2009.

The thesis is devoted to a development and research of a feature selection and neural network model construction methods based on evolutionary approach.

The new methods and software that used the available information about modelled object or dependence and based on the evolutionary approach are developed. These methods allow to perform feature selection, parametrical, structural and structural-parametrical synthesis of neural networks, and their simplification.

The experimental research of properties and characteristics of the developed methods and software by neural network models synthesis have been carried out for solving real-world problems in technical and biomedical diagnostics. The proposed methods allow to reduce a search time, and neural networks, constructed with the help of the suggested methods, contain the most significant interneural connections.

Key words: feature selection, evolutionary computation, feature self-descriptiveness, neural network.

Размещено на Allbest.ru

...