Мультиагентні методи побудови нейро-нечітких мереж

Размещено на http://www.allbest.ru/

ХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ РАДІОЕЛЕКТРОНІКИ

УДК 004.032.26:004.89

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

МУЛЬТИАГЕНТНІ МЕТОДИ ПОБУДОВИ НЕЙРО-НЕЧІТКИХ МЕРЕЖ

05.13.23 - системи та засоби штучного інтелекту

Олійник Олексій Олександрович

Харків - 2010

Дисертацією є рукопис.

Робота виконана у Запорізькому національному технічному університеті Міністерства освіти i науки України.

Науковий керівник -кандидат технічних наук, доцент Субботін Сергій Олександрович, Запорізький національний технічний університет, доцент кафедри програмних засобів.

Офіційні опоненти:доктор технічних наук, професор Дмитрієнко Валерій Дмитрович, Національний технічний університет “Харківський політехнічний інститут”, професор кафедри обчислювальної техніки та програмування;

доктор технічних наук, професор Кучеренко Євген Іванович, Харківський національний університет радіоелектроніки, професор кафедри штучного інтелекту.

Захист відбудеться “03” червня 2010 р. о 16 годині на засіданні спеціалізованої вченої ради Д 64.052.01 у Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

Автореферат розісланий “30” квітня 2010 р.

Вчений секретар спеціалізованої вченої ради С.Ф. Чалий

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Останнім часом нейро-нечіткі мережі набули широке застосування для вирішення завдань діагностики та прогнозування, що обумовлюється їхньою ефективністю, інтерпретабельністю та відносною простотою реалізації.

Проте методи навчання, що використовуються при побудові нейро-нечітких мереж, характеризуються недоліками, пов'язаними з проблемою встановлення параметрів навчання (вимагають участі користувача), вимогою диференційованості функцій належності до нечітких термів, схильністю до зациклення в локальних оптимумах.

Одним з нових напрямів штучного інтелекту є методи розподіленого штучного інтелекту, до яких відносяться мультиагентні методи колективного інтелекту, головною перевагою яких є відсутність вимог до досліджуваних залежностей. У зв'язку з цим є доцільним використання мультиагентних методів колективного інтелекту для вирішення завдань, що виникають при синтезі нейро-нечітких моделей. Мультиагентні методи є евристичними методами випадкового пошуку, заснованими на моделюванні поведінки групи агентів, що дозволяє забезпечити пошук оптимальних рішень за короткий час і запобігання стагнацій у локальних оптимумах, а також виключити необхідність висування певних обмежень щодо досліджуваних залежностей.

Значний внесок у розвиток теорії нечітких систем та нейро-нечітких мереж внесли Л. Заде, Е. Мамдані, Т. Сугено, Є. В. Бодяньский, Є. І. Кучеренко, О. Г. Руденко та ін., а у створення та дослідження мультиагентних методів колективного інтелекту - Л. М. Гамбарделла, М. Доріго, К. М. Пассіно, В. О. Філатов, О. М. Швєцов, С. О. Яковлєв та ін.

Відомі мультиагентні методи колективного інтелекту, як правило, використовуються до вирішення вузько специфічних завдань, але принципи та моделі, що лежать в основі мультиагентного підходу, можна адаптувати для вирішення завдань, що виникають при синтезі нейро-нечітких мереж. Тому досить актуальним є створення нових методів колективного інтелекту для синтезу нейро-нечітких мереж. Задля цього необхідно вводити додаткові процедури і розширення у відомі мультиагентні підходи.

Зв'язок роботи з науковими програмами, планами, темами. Робота виконана відповідно до координаційних планів Міністерства освіти і науки України та Запорізького національного технічного університету (ЗНТУ) відповідно до державної науково-технічної програми “Нові вітчизняні інтелектуальні комп'ютерні засоби”, у рамках двох держбюджетних науково-дослідних робіт кафедри програмних засобів ЗНТУ “Науково-методичні основи та математичне забезпечення для автоматизації й моделювання процесів керування та підтримки прийняття рішень на основі процедур розпізнавання й еволюційної оптимізації в нейромережному та нечіткологічному базисах” (№ держ. реєстрації 0106U008621) та “Інформаційні технології автоматизації розпізнавання образів і прийняття рішень для діагностики в умовах невизначеності на основі гібридних нечіткологічних, нейромережевих і мультиагентних методів обчислювального інтелекту” (№ держ. реєстрації 0109U007673), а також двох госпдоговірних науково-дослідних робіт ТОВ “МПА Групп” “Розробка математичного та інформаційного забезпечення інтелектуальної системи візуального контролю транспортних засобів” (№ держ. реєстрації 0106U012013) і “Розроблення методів і програмних засобів на підставі навчання, розпізнавання, оптимізації та адаптації для прийняття рішень в автоматизованих системах управління транспортними засобами” (№ держ. реєстрації 0107U006781), де автор дисертаційної роботи брав участь як виконавець, досліджував і розробляв нові мультиагентні методи колективного інтелекту, що дозволяють виконувати побудову нейро-нечітких моделей, а також вирішив практичні завдання технічної та біомедичної діагностики, розпізнавання образів за ознаками. Мета і завдання дослідження. Метою дисертаційної роботи є розробка мультиагентних методів синтезу нейро-нечітких мереж для підвищення їхніх апроксимаційних та узагальнюючих здатностей.

Для досягнення поставленої мети в роботі вирішувались такі завдання:

- аналіз процесу побудови нейро-нечітких мереж для діагностування складних об'єктів і систем та виділення основних завдань, які необхідно вирішувати при цьому;

- створення мультиагентних методів з непрямим зв'язком для попередньої обробки даних при побудові нейро-нечітких моделей;

- розробка методу кластерного аналізу на основі мультиагентного підходу з прямим зв'язком між агентами;

- створення мультиагентного методу синтезу нейро-нечітких мереж із прямим зв'язком між агентами;

- розробка програмних засобів для мультиагентного синтезу нейро-нечітких мереж і вирішення завдань пошуку на основі запропонованих методів колективного інтелекту;

- проведення експериментів по вирішенню практичних завдань для дослідження властивостей, а також порівняльного аналізу розроблених мультиагентних методів і відомих методів синтезу нейро-нечітких мереж.

Об'єкт дослідження - процес побудови нейро-нечітких мереж.

Предмет дослідження - методи побудови нейро-нечітких мереж на основі мультиагентного підходу.

Методи дослідження. Для рішення завдань, поставлених у роботі, використовувались методи: математичної статистики - для визначення ступеню близькості між агентами в мультиагентному методі із прямим зв'язком між агентами для кластерного аналізу, а також при розрахунку критеріїв ефективності роботи методів; методи імітації відпалу та еволюційного пошуку - при дослідженні простору пошуку в мультиагентному методі параметричного синтезу нейро-нечітких мереж; мультиагентні методи, методи нечіткої логіки та теорії штучних нейронних мереж - як основа для розробки нових методів колективного інтелекту синтезу нейро-нечітких мереж. Наукова новизна одержаних результатів полягає в тому, що:

- вперше запропоновано мультиагетний метод параметричного синтезу нейро-нечітких мереж із прямим зв'язком між агентами, основними етапами якого є відсікання безперспективних областей простору пошуку та детальне дослідження простору пошуку в цілому, що дозволяє підвищити швидкість збіжності до оптимального рішення;

- вперше запропоновано мультиагентний метод відбору інформативних ознак з непрямим зв'язком між агентами на основі подання пунктів призначення ознаками, який полягає в моделюванні переміщення агентів у просторі ознак екземплярів, що дозволяє агентам знаходити набір найбільш інформативних ознак об'єктів;

- удосконалено мультиагентний метод з прямим зв'язком між агентами для кластерного аналізу, в якому на відміну від відомих введено додаткові етапи в моделювання поведінки агентів: пошук об'єкта, переміщення об'єкта та залишення об'єкта, що дозволяє спростити структуру нейро-нечітких мереж шляхом групування об'єктів з подібними властивостями;

- дістав подальшого розвитку мультиагентний метод з непрямим зв'язком між агентами для об'єднання та перетворення нечітких правил виведення, що на відміну від відомих функціонує на декількох графах пошуку, за рахунок чого забезпечується підвищення точності прогнозування експертних систем, побудованих на основі отриманої скороченої бази нечітких правил.

Практичне значення одержаних результатів полягає у тому, що:

- розроблено програмні засоби, які реалізують запропоновані мультиагентні методи колективного інтелекту, що дозволяють вирішувати завдання відбору інформативних ознак, кластерного аналізу, перетворення та об'єднання нечітких правил, параметричного й структурно-параметричного синтезу нейро-нечітких мереж; - проведено експерименти з вирішення практичних завдань технічної та біомедичної діагностики, розпізнавання образів на основі мультиагентних методів, результати яких дозволили запропонувати рекомендації щодо застосування запропонованих мультиагентних методів колективного інтелекту;

- наукові положення, висновки й рекомендації, викладені в дисертаційній роботі, використані при підготовці курсів “Мультиагентні системи”, “Інтелектуальні агенти”, “Системи штучного інтелекту” на кафедрі програмних засобів ЗНТУ (акт впровадження від 16.12.09) в рамках міжнародного проекту JEP 26182-2005 програми Tempus Tacis Європейської Комісії;

- розроблені програмні засоби мультиагентної оптимізації впроваджені у ВАТ “Мотор Січ” (акт впровадження від 21.12.09) та ТОВ “МПА Груп” (акт впровадження від 02.11.09).

Особистий внесок здобувача полягає у тому, що наукові положення, висновки й рекомендації, що лежать в основі дисертаційної роботи, були сформульовані, розроблені та досліджені ним самостійно. У публікаціях, написаних у співавторстві, здобувачу належать: [1, 2] - метод відбору інформативних ознак на основі мультиагентного підходу з прямим зв'язком між агентами; [3] - гібридний мультиагентний метод структурно-параметричного синтезу нейро-нечітких мереж; [4, 11] - мультиагентний метод з непрямим зв'язком між агентами для відбору інформативних ознак на основі подання пунктів призначення ознаками; [5, 16] - мультиагентний метод кластерного аналізу з прямим зв'язком між агентами; [6, 15] - мультиагентний метод параметричного синтезу; [7] - метод перетворення та об'єднання нечітких правил на основі мультиагентного підходу з непрямим зв'язком між агентами; [12] - обґрунтовано доцільність використання мультиагентного підходу до вирішення завдання відбору інформативних ознак.

Апробація результатів дисертації. Основні положення та результати дисертаційної роботи доповідалися та обговорювалися на міжнародних конференціях і семінарах: “Интеллектуальный анализ информации” (Київ, 2008), “Автоматика” (Одеса, 2008), “Modern problems of radio engineering, telecommunications and computer science” (Львів, 2008), “Інтелектуальні системи прийняття рішень та проблеми обчислювального інтелекту” (Херсон, 2008), “Нейроинформатика” (Москва, 2008, 2009), “Радіоелектроніка і молодь в XXI ст.” (Харків, 2008, 2009), “Нейроинформатика, ее приложения и анализ данных” (Красноярськ, 2009), “Моделирование неравновесных систем” (Красноярськ, 2008), “Нейрокибернетика” (Ростов-на-Дону, 2009).

Публікації. Основні положення та результати дисертації опубліковані в 16 друкованих працях, з них: 7 статей у виданнях, що входять до переліку ВАК України (з яких 4 статті в журналах, 3 статті в збірниках наукових праць), 1 патент, 8 публікацій у збірниках праць та матеріалів наукових конференцій і семінарів.

Структура та обсяг роботи. Дисертаційна робота складається з переліку скорочень, вступу, чотирьох розділів, висновків, додатків та списку використаних джерел. Обсяг дисертації становить 186 сторінок, у тому числі 130 сторінок основного тексту. Робота містить 25 рисунків та 16 таблиць, а також 2 додатки на 22 сторінках та список використаних джерел зі 125 найменувань на 14 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі показано актуальність теми дисертаційної роботи, виділено мету та завдання дослідження, описано методи дослідження, наукову новизну та практичну цінність одержаних результатів, особистий внесок автора в роботи, виконані у співавторстві, наведено інформацію щодо апробації результатів роботи.

У першому розділі дисертації проведено аналіз процесу побудови нейро-нечітких мереж, на основі якого було виявлено, що у процесі ідентифікації нейро-нечітких мереж необхідно вирішувати різні завдання щодо попередньої обробки даних та навчання нейро-нечітких мереж: відбір інформативних ознак, кластерний аналіз, перетворення та об'єднання нечітких правил, параметричний та структурно-параметричний синтез нейро-нечітких мереж.

Показано, що мультиагентний підхід, заснований на моделюванні колективного інтелекту, є ефективним засобом вирішення завдань пошуку. Наведено основні особливості, властивості та принципи такого підходу. Проведено порівняльний аналіз роботи мультиагентних методів з прямим та непрямим зв'язком між агентами. На основі проведеного порівняльного аналізу виявлено, що мультиагентний метод з прямим зв'язком між агентами краще застосовувати для вирішення завдань безперервної оптимізації, в той час як мультиагентний метод з непрямим зв'язком між агентами добре пристосований до вирішення завдань дискретної оптимізації. При побудові нейро-нечітких мереж необхідно вирішувати завдання як дискретної оптимізації, так і безперервної оптимізації, для вирішення яких використовуються відомі методи, що мають недоліки: являють собою методи градієнтного пошуку, схильні до зациклювань у локальних оптимумах. В свою чергу мультиагентні методи колективного інтелекту таких недоліків не мають. У зв'язку з цим пропонується розробити методи, засновані на мультиагентному підході з прямим та непрямим зв'язком між агентами для вирішення завдань, що виникають при побудові нейро-нечітких мереж.

Другий розділ містить опис розроблених мультиагентних методів з непрямим зв'язком між агентами: метод відбору інформативних ознак на основі подання пунктів призначення ознаками, метод перетворення та об'єднання нечітких правил.

Основна ідея мультиагентного методу відбору ознак з непрямим зв'язком між агентами на основі подання пунктів призначення ознаками полягає в тому, що агент повинен виконати переміщення по заданій кількості пунктів призначення K, при цьому кожному пункту ставиться у відповідність ознака x_i, i=; шлях, пройдений агентом, являє собою набір ознак H, що пропонується використовувати для побудови моделі. При цьому дані зберігаються не в бітовому вигляді, а у вигляді номерів ознак j=. При одержанні підсумкового результату це дозволяє одержувати оцінку ступеня впливу кожної ознаки. Робота запропонованого методу складається з таких етапів.

Етап 1. Ініціалізація. Встановлюються параметри роботи методу. Створюється популяція агентів: агенти випадковим чином рівномірно розподіляються по пунктах призначення.

Етап 2. Переміщення агентів. Якщо агент ще не закінчив шлях, тобто не відвідав K пунктів, тоді для визначення наступного пункту в шляху агента розраховується ймовірність відповідно до формули (1):

,(1)

де Р_k - ймовірність того, що j-ий агент, який ще не відвідав n^j пунктів, для продовження шляху обере пункт k; ф_i(t) - кількість феромонів в i-му пункті в момент часу t.

Етап 3. Побудова моделі: на основі пунктів, відвіданих агентом, виконується побудова моделі та розрахунок помилки її роботи. На основі отриманого бітового рядка H ^j і експериментальних даних будується модель (наприклад, нейромережева). Після чого розраховується помилка е_j для отриманої моделі за формулою (2):

е_j = (2)

де y_i - відоме значення вихідної змінної; y_{i розр.} - розрункове значення вихідної змінної на основі побудованої моделі; P - кількість екземплярів.

Етап 4. Зміна кількості феромонів відповідно до переміщень агентів. Даний етап вимагає виконання таких підетапів.

1. Визначається кількість феромонів, що потрібно залишити в кожному пункті шляху для j-го агента, за формулою (3):

(3)

де ?ф^j(t) - кількість феромонів, яку необхідно додати кожному пункту, що входить у шлях j-го агента в момент часу t; Q - параметр, що знижує ступінь впливу помилки моделі е_j, побудованої на основі ознак, що входять у шлях j-го агента.

Потім величина ?ф^j(t) використовується у формулі (4), щоб збільшити кількість феромонів кожного пункту, у якому побував агент:

,(4)

де A - кількість агентів, що обрали i-у ознаку; с - коефіцієнт зниження раніше накопичених феромонів (обирається з інтервалу [0; 1]).

2. Моделювання зменшення феромонів. Щоб поступово видалити пункти, які входять у гірші комбінації, до всіх шляхів застосовується процедура зменшення феромонів відповідно до формули (5):

.(5)

Етап 5. Перевірка на досягнення оптимального результату. Результат вважається оптимальним, якщо: досягнуто максимальну кількість ітерацій ( ), отриманий результат перебуває в припустимих межах ( ), протягом ітерацій не було змін у виборі найкращого рішення. Якщо перевірка дала позитивний результат, тоді відбувається закінчення роботи методу, у протилежному випадку - виконується повторний запуск методу.

Етап 6. Повторний запуск. Після того, як переміщення всіх агентів завершено, грані оновлені відповідно до довжин шляху та відбулося зменшення феромонів на всіх гранях, метод виконується повторно (етап 2).

Таким чином, розроблений метод на основі поданя пунктів призначення ознаками дозволяє вирішувати завдання відбору інформативних ознак за рахунок приведення завдання відбору інформативних ознак до вигляду, що відповідає концепції роботи мультиагентного підходу з непрямим зв'язком між агентами. При цьому основною особливістю запропонованого методу є те, що пункт призначення в графі пошуку являє собою ознаку, що пропонується прийняти як інформативну. Оскільки в процесі роботи міра пріоритетності кожного вузла змінюється, то за рахунок такого підходу можна виділити не тільки найбільш інформативні ознаки, а також і з'ясувати відносну важливість кожної з них.

Для вирішення завдання перетворення та об'єднання нечітких правил із застосуванням мультиагентного підходу з непрямим зв'язком між агентами необхідно привести основні етапи методу відповідно до особливостей розв'язуваного завдання перетворення та об'єднання нечітких правил.

Відповідно до особливостей етапів виконання мультиагентного методу з непрямим зв'язком між агентами в контексті рішення завдання перетворення та об'єднання нечітких правил, а також відповідно до підходів оцінки покриття нечітких правил, був розроблений мультиагентний метод із прямим зв'зком між агентами для перетворення та об'єднання нечітких правил, робота якого може бути подана такими етапами.

Етап 1. Ініціалізація. Для кожного з можливих класів вихідних значень створюється окремий граф пошуку, вузли якого являють собою лінгвістичні терми, які можуть бути включені в правила, а також для кожного графу пошуку розраховуються евристичні значення значимості окремого терму для відповідного класу за формулою (6):

(6)

де - значення евристичної значимості лінгвістичного терму для опису класу - екземпляр вхідної вибірки, що містить екземплярів; - значення функцій належності об'єкту терму та класу відповідно;

- кількість лінгвістичних термів; - кількість класів.

Етап 2. Моделювання переміщення агентів. На даному етапі для кожного з агентів вибирається новий терм, після чого виконується перевірка на завершення переміщення агента. При цьому моделювання переміщення агентів виконується для кожного з класів.

Для j-го агента на основі випадкового правила вибору (7) розраховується ймовірність включення k-го лінгвістичного терму в правило, що описує i-ий клас вихідного значення:

(7)

де - ймовірність додавання k-го терму в правило j-го агента в графі пошуку для i-го класу; - множина термів, які можуть бути додані в правило j-го агента. Переміщення j-го агента вважається завершеним, якщо множина термів, які j-ий агент може додати у формоване правило, є порожньою, або якщо правило j-го агента покриває потрібну кількість екземплярів i-го класу:

(8)

де inCntMatchMin_i - гранична мінімальна кількість екземплярів i-го класу, що повинна покриватися правилом.

Етап 3. Формування баз правил. Створюються випадковим чином nBases баз правил, при цьому для опису кожного класу вихідного значення обирається одне правило з відповідного графу пошуку.

Етап 4. Оцінка якості сформованих баз правил. Ґрунтуючись на даних про класи екземплярів, отримані за допомогою бази знань, і класи екземплярів, виходячи із заданої навчальної вибірки, розраховують якість баз правил за формулою (9):

(9)

де cntNotMatch - кількість екземплярів, для яких клас був визначений невірно за допомогою заданої бази правил; Q - якість прогнозування класу вихідного значення на основі відповідної бази правил.

Етап 5. Перевірка на закінчення пошуку. Пошук закінчується якщо досягнуто необхідну якість прогнозування () або якщо виконано максимально припустиму кількість ітерацій (). Якщо обидві ці умови не виконуються, то виконується етап додавання феромонів.

Етап 6. Додавання феромонів. Додавання феромонів пропонується виконувати тільки для тих термів, які входять у бази нечітких правил (БНП), для яких виконується умова (10):

,(10)

де - коефіцієнт, що визначає, наскільки близько якість прогнозування бази правил Q_RB повинне наближатися до кращої якості прогнозування Q_high, щоб можна було застосовувати процедуру додавання феромонів для правил, що входять у дану базу правил RB.

Таким чином, додавання феромонів виконується для кожного терму, що входить у правило, що у свою чергу входить у базу правил RB, відповідно до формули (11):

(11)

де - кількість феромонів для терму p у просторі пошуку для класу q, що визначається за допомогою відповідного правила.

Етап 7. Моделювання зменшення феромонів. Зменшення феромонів виконується відповідно до формули (12):

.(12)

Етап 8. Перезапуск агентів. Всі дані про переміщення агентів у всіх просторах пошуку оновлюються, агенти розміщуються у випадкові точки графів пошуку, після чого моделюється переміщення агентів (етап 2).

Таким чином, можна відзначити, що основною особливістю запропонованого методу є врахування якості бази правил в цілому, а не окремих правил, за рахунок чого, зокрема, враховується взаємовплив правил при прогнозуванні на основі відповідної бази правил. Також істотною особливістю запропонованого методу, у порівнянні з традиційним методом, є те, що пошук виконується одночасно на декількох графах пошуку, що викликано необхідністю розглядати вплив термів на якість прогнозування різних класів екземплярів.

У третьому розділі розроблено мультиагентний метод кластерного аналізу та мультиагентний метод з прямим зв'язком між агентами для параметричного синтезу нейро-нечітких мереж.

Мультиагентний метод оптимізації з прямим зв'язком між агентами спрямований на знаходження глобального оптимуму деякої функціональної залежності, що залежить від певних, як правило, безперервних аргументів. Кластерний аналіз відноситься до завдань дискретної оптимізації, тому базовий підхід для вирішення завдання кластеризації не може повністю підходити.

У зв'язку з цим пропонується використовувати мультиагентний метод оптимізації з введенням додаткових дій, за рахунок яких виникають окремі області об'єктів, яким властиві подібні характеристики. Такі області при роботі пропонованого методу й розглядаються як кластери.

Розроблений мультиагентний метод для кластерного аналізу складається з таких етапів.

Етап 1. Ініціалізація: створюється простір пошуку, у якому випадковим чином розміщуються агенти та об'єкти вхідної вибірки.

Етап 2. Переміщення агентів та вибір ними об'єктів, які вони будуть дублювати в просторі пошуку. Вибір j-им агентом об'єкту для поширення виконується відповідно до формули (13):

(13)

де |o^{l, p}| - кількість об'єктів в області з координатами (l; p); o^l,p - множина об'єктів, що перебувають в області з координатами (l; p); rand(o^l,p) -випадковим чином обраний об'єкт із множини o^{l, p}; - об'єкт, для якого умови знаходження в області (l; p) найгірші.

Етап 3. Переміщення агентів і дублювання обраних ними об'єктів.

Етап 4. Моделювання обміну інформацією між агентами про об'єкти, які вони поширюють. За рахунок такого моделювання забезпечується прямий зв'язок між агентами.

У результаті обміну інформацією одні агенти повинні повідомити іншим агентам про області, істотний вплив у яких мають об'єкти, розповсюджувані відповідними агентами. Таким чином, агенти розділяються на 2 групи: агенти, які повідомляють інформацію про область, до якої відноситься розповсюджуваний ними об'єкт, і агенти, які аналізують інформацію, повідомлювану іншими агентами.

До агентів, що інформують інших агентів про точку, до якої відноситься розповсюджуваний ними об'єкт, відносяться такі агенти:

1) агенти, об'єкт яких знаходиться від центра відповідної області не далі, ніж ( ), за умови, що в області перебуває 3 і більше об'єктів. вибирається експериментально та залежить від конкретного практичного завдання. З таких агентів випадковим чином відбирається половина, і вони інформують інших агентів про відповідну область;

2) агенти, об'єкт яких відноситься до області, у якій даний об'єкт є єдиним ( ). З таких агентів також випадковим чином відбирається половина для інформування про розповсюджувані ними об'єкти.

Всі агенти, які не ввійшли до групи агентів, що виконують інформування, автоматично вважаються агентами, що аналізують інформацію від інших агентів.

Після поділу на групи для кожного агента, що аналізує інформацію, розраховується відстань між об'єктом, який він поширює, і між об'єктами, що поширюють агенти, які відносяться до групи агентів, що інформують. Якщо мінімальна з отриманих різниць менше , то об'єкт дублюється у відповідній області Етап 5. Виключення та скорочення кількості об'єктів у областях простору пошуку та виділення таким чином кластерів. Оскільки один об'єкт може перебувати в декількох областях одночасно, то потрібно зробити відбір і залишити кожний об'єкт тільки в одній області. Для цього необхідно виконати процедуру відбору. Пропонується виконувати жорсткий відбір, відповідно до якого для кожного об'єкта необхідно враховувати, наскільки він близький до кожного із центрів , зважене на нормалізоване значення даної відстані для поточної області. Таким чином, об'єкт необхідно залишити в тій області, у якій дана зважена відстань найменша, що визначається відповідно до формули (14):

мультиагентний нечіткий мережа інформативний

(14)

де (q, w) - область, у якій варто залишити об'єкт r-го агенту o_r.

Після завершення роботи методу розраховуються остаточні центри кластерів. Кожна окрема область з об'єктами вважається кластером. Виходячи з об'єктів, що перебувають в областях, розраховуються центри кластерів.

При розробці запропонованого методу кластерного аналізу, заснованого на мультиагентному підході з прямим зв'язком між агентами, враховувалися недоліки, пов'язані з можливістю незбіжності до оптимального рішення. У зв'язку з цим запропонований метод має такі особливості: прямий зв'язок між агентами забезпечується шляхом обміну інформацією між агентами, за рахунок чого одні агенти можуть одержати інформацію про області простору пошуку, у яких вони не перебували та від яких перебувають далеко; введення процедури природного відбору дозволяє виключити об'єкти із кластерів, умови знаходження для яких є незадовільними. Завдання параметричного синтезу нейро-нечітких мереж може розглядатися як завдання багатовимірної оптимізації, оскільки потрібно знайти значення параметрів заданої архітектури нейро-нечеткої мережі, при яких досягається мінімум помилки прогнозування такої мережі.

Розроблений метод параметричного синтезу нейро-нечітких мереж, заснований на мультиагентному підході з прямим зв'язком між агентами, можна представити шляхом опису етапів роботи методу.

Етап 1. Ініціалізація: задаються початкові параметри роботи методу.

Етап 2. Створення початкових агентів-розвідників.

Етап 3. Вибір робочих агентів. Агент відноситься до робочих агентів workBee, якщо виконується умова (15):

,(15)

де bees_i.profitability та best.profitability - корисності рішень i-го агента bees_i та кращого агента best; T - поточна температура; rand - випадкове число з інтервалу [0; 1].

Етап 4. Схрещування. Нові агенти створюються у два етапи: на базі рішень робочих агентів і на базі рішення кращого агента.

Етап 5. Моделювання обміну інформацією між агентами. До можливого обміну інформацією допускаються робочі агенти workBee, агенти, створені шляхом схрещування, newWorkBee, кращий агент за всі ітерації best. Далі виконується вибір тих агентів, які за рахунок обміну інформацією виконують вербування інших агентів для дослідження знайденого ними рішення. Агент вважається таким, що виконав вербування, якщо виконується умова (16):

,(16)

де > 0 - коефіцієнт, що знижує вплив переваги рішення на ймовірність виконання вербування; (0; 1) - граничний коефіцієнт, що визначає, наскільки вище повинна бути перевага рішення i-го агента щодо середньої корисності рішень всіх B_c агентів; L_i - перевага рішення i-го агента; - середнє значення нормованих корисностей усіх агентів.

Етап 6. Перезапуск агентів. Створюються агенти, які будуть розглядатися як агенти-розвідники для наступної ітерації.

Етап 7. Оновлення параметрів методу: збільшується кількість ітерацій, змінюється поточна температура, змінюється межа range.

Етап 8. Перевірка на завершення роботи методу. Перевірка вважається успішною, якщо виконується хоча б одна з умов: максимальна кількість ітерацій досягнута (iter = iter_max), поточна температура дорівнює кінцевій температурі (T = T_final), помилка прогнозування кращої нейро-нечіткої мережі знаходиться в припустимих межах (). Якщо перевірка дала успішний результат, тоді робота методу закінчується, у протилежному випадку виконується етап 3.

Таким чином, поданий метод дозволяє виконувати параметричну ідентифікацію нейро-нечітких мереж, не накладаючи обмежень на їх структуру на відміну від відомих методів параметричного синтезу, заснованих на техніці зворотного поширення помилки.

У четвертому розділі для оцінки та аналізу ефективності розроблених мультиагентних методів колективного інтелекту були розроблені критерії оцінювання ефективності їхньої роботи, а також запропонована методика проведення експериментів з вирішення тестових практичних задач.

Розроблено мультиагентну систему побудови нейро-нечітких мереж, що дозволяє вирішувати завдання відбору інформативних ознак, завдання кластерного аналізу, завдання аналізу та перетворення нечітких правил, завдання параметричного та структурно-параметричного синтезу нейро-нечітких мереж з використанням запропонованих мультиагентних методів колективного інтелекту. Проведено експерименти з вирішення практичних задач: моделювання параметрів роботи авіадвигунів, біомедична діагностика хронічного бронхіту, розпізнавання об'єктів зображення на складному фоні. На рис. 1 подано графік роботи різних методів при відборі інформативних ознак.

Рис. 1. Динаміка роботи методів відбору інформативних ознак

Як видно з рис. 1, мультиагентні методи з прямим та непрямим зв'язком між агентами знаходять краще рішення при меншій кількості побудов моделі, при цьому отримані моделі, синтезовані на основі відібраних інформативних ознак, характеризуються меншою помилкою прогнозування. У свою чергу мультиагентний метод відбору інформативних ознак з непрямим зв'язком між агентами знаходить рішення швидше, ніж мультиагентний метод з прямим зв'язком між агентами, що можна пояснити тим, що даний метод більш пристосований до вирішення завдань дискретної оптимізації, до яких відноситься завдання відбору інформативних ознак.

Отримані при вирішенні практичних задач результати підтвердили ефективність розроблених мультиагентних методів колективного інтелекту.

У висновках наведено наукові та практичні результати, одержані в дисертаційній роботі.

Додатки містять постановки практичних задач та одержані результати по їх вирішенню за допомогою запропонованих та відомих методів, крім того наведено копії документів про впровадження та практичне застосування результатів дисертації.

ОСНОВНІ РЕЗУЛЬТАТИ ТА ВИСНОВКИ

У дисертаційній роботі розв'язано актуальне наукове завдання синтезу нейро-нечітких моделей на основі мультиагентного підходу, що полягає в створенні методів колективного інтелекту для вирішення завдань, що виникають при побудові нейро-нечітких мереж. Були отримані такі результати.

1. Проведено аналіз процесу побудови моделей на основі нейро-нечітких мереж. У результаті проведеного аналізу виявлено, що процес побудови нейро-нечітких мереж вимагає вирішення завдань дискретної та безперервної оптимізації. Для вирішення таких завдань перспективним є застосування мультиагентного підходу на основі колективного інтелекту, що пояснюється здатністю такого підходу до знаходження оптимальних рішень, не висуваючи при цьому вимог до досліджуваних залежностей.

2. Запропоновано метод відбору інформативних ознак, заснований на мультиагентному підході з непрямим зв'язком між агентами на основі подання пунктів призначення ознаками, який передбачає пошук у просторі ознак екземплярів, що дозволяє підвищити швидкість пошуку.

3. Розроблено мультиагентний метод з непрямим зв'язком між агентами для об'єднання та перетворення нечітких правил, який дозволяє виконувати об'єднання нечітких правил вхідної вибірки, скорочуючи таким чином розмір бази правил.

Це дозволяє прискорити процес прогнозування в експертних системах, які використовують перетворені нечіткі правила, що досягається за рахунок моделювання агентів з використанням непрямого зв'язку між ними на різних графах пошуку для окремих класів екземплярів. На відміну від відомих методів об'єднання та перетворення нечітких правил, запропонований метод функціонує на декількох графах пошуку, що дозволяє врахувати взаємовплив між правилами, за рахунок чого досягається підвищення точності прогнозування на основі скороченої бази правил.

4. Запропоновано мультиагентний метод кластерного аналізу, що передбачає виконання агентами додаткових дій підйому, переміщення та залишення елементів даних у просторі пошуку. Це дозволяє спростити структуру нейро-нечітких мереж за рахунок групування об'єктів з подібними властивостями.

5. Вперше запропоновано мультиагентний метод з прямим зв'язком між агентами, який дозволяє виконувати параметричну ідентифікацію нейро-нечітких мереж, що досягається за рахунок застосування мультиагентного підходу з додатковими процедурами, які дозволяють виключати безперспективні області простору пошуку та детально досліджувати простір пошуку в цілому.

6. Розроблено програмне забезпечення, що реалізує запропоновані мультиагентні методи колективного інтелекту, які дозволяють вирішувати завдання, що виникають при побудові нейро-нечітких мереж.

7. Проведено експерименти з вирішення практичних задач, на основі яких виконано аналіз роботи запропонованих методів, а також їхнє порівняння з відомими методами, застосовуваними при побудові нейро-нечітких мереж. Результати проведених досліджень показали, що запропоновані мультиагентні методи колективного інтелекту є ефективним засобом вирішення завдань пошуку, що виникають у процесі синтезу нейро-нечітких моделей.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Олейник А. А. Синтез моделей сложных объектов и систем на основе метода пчелиной колонии / А. А. Олейник, С. А. Субботин // Бионика интеллекта. - 2008. - № 1 (68). - С. 161-170.

2. Субботин С. А. Мультиагентная оптимизация на основе метода пчелиной колонии / С. А. Субботин, А. А. Олейник // Кибернетика и системный анализ. - 2009. - № 2. - С. 15-26.

3. Олейник А. А. Гибридный мультиагентный подход для построения нейро-фаззи моделей в задачах диагностики / А. А. Олейник, С. А. Субботин // Бионика интеллекта. - 2009. - № 2 (71). - С. 85-92.

4. Олейник А. А. Мультиагентный метод с непрямой связью между агентами для выделения информативных признаков / А. А. Олейник, С. А. Субботин // Штучний інтелект. - 2009. - № 4. - С. 75-82.

5. Олейник А. А. Мультиагентная кластеризация с прямой связью между агентами / А. А. Олейник, С. А. Субботин // Адаптивні системи автоматичного управління. - Дніпропетровськ : Системні технології. - 2008. - № 13 (33). - С. 118-128.

6. Олейник А. А. Мультиагентный метод параметрического синтеза нейро-фаззи сетей с прямой связью между агентами / А. А. Олейник, С. А. Субботин // Вестник НТУ “ХПИ”. - Харьков : НТУ “ХПИ”. - 2009. - № 13. - С. 115-127. - (Тематический выпуск “Информатика и моделирование”).

7. Олейник А. А. Редукция баз нечётких правил на основе мультиагентного подхода / А. А. Олейник, С. А. Субботин // Вестник НТУ “ХПИ”. - Харьков : НТУ “ХПИ”. - 2009. - № 43. - С. 126-137. - (Тематический выпуск “Информатика и моделирование”).

8. Пат. 44499 Україна, МПК G06F 19/00. Спосіб неруйнівної діагностики лопаток газотурбінних авіадвигунів / С. О. Субботін, О. О. Олійник (Україна) ; заявник Запорізький національний технічний університет. - № u200903076 ; заявл. 01.04.2009 ; опубл. 12.10.2009, Бюл. № 19.

9. Олейник А. А. Автоматизация применения мультиагентного подхода к моделированию сложных объектов и систем / А. А. Олейник // Радіоелектроніка і молодь в XХI ст. : 12-ий міжнародний молодіжний форум : матеріали форуму. - Харків : ХНУРЕ, 2008. - Ч. 2. - С. 161.

10. Олейник А. А. Мультиагентный метод многомерной оптимизации / А. А. Олейник // Интеллектуальный анализ информации : восьмая международная конференция ИАИ-2008 : сборник трудов. - К., 2008. - С. 340-350.

11. Субботин С. А. Сравнительный анализ методов мультиагентной оптимизации / С. А. Субботин, А. А. Олейник // Моделирование неравновесных систем : XI Всероссийский семинар, 26-28 сентября 2008 г. : материалы семинара. - Красноярск, 2008. - C. 181-185.

12. Subbotin S. A. PSO with Control of Velocity Change for Feature Selection / S. A. Subbotin, A. A. Oleynik // Inductive Modeling : Proceedings of 2nd International Conference ICIM'2008, 15-19 September 2008. - Kyiv, 2008. - P. 80-82.

13. Олійник О. О. Індукція нечітких правил на основі мультиагентного підходу / О. О. Олійник // Тиждень науки: збірник наукових праць. - Запоріжжя : ЗНТУ, 2009. - т. 1. - С. 309-311.

14. Олейник А. А. Непрерывная оптимизация на основе коллективного интеллекта / А. А. Олейник // Радіоелектроніка і молодь в XХI сторіччі : 13-ий міжнародний молодіжний форум, 30 березня - 1 квітня 2009 р. : матеріали форуму. - Харків : ХНУРЕ, 2009. - Ч. 2. - С. 88.

15. Олейник А. А. Синтез нейро-фаззи сетей на основе мультиагентного подхода / А. А. Олейник, С. А. Субботин // Нейрокибернетика : XV международная конференция, 23-25 сентября 2009 г. : материалы конференции. - Ростов-на-Дону : ЮФУ, 2009. - т. 2. - С. 126-129.

АНОТАЦІЇ

Олійник О. О. Мултиагентні методи побудови нейро-нечітких мереж. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. - Харківський національний університет радіоелектроніки, Харків, 2010.

Дисертацію присвячено дослідженню та розробці мультиагентних методів побудови нейро-нечітких мереж.

В дисертації створено нові мультиагентні методи колективного інтелекту, що вирішують завдання пошуку, які виникають у процесі побудови нейро-нечітких мереж: відбір інформативних ознак, кластерний аналіз, аналіз та перетворення нечітких правил, параметрична та структурно-параметрична ідентифікація нейро-нечітких мереж.

Розроблено програмне забезпечення, що реалізує запропоновані мультиагентні методи колективного інтелекту і може бути використано для вирішення завдань пошуку при побудові нейро-нечітких мереж.

Проведено експерименти з вирішення практичних задач, на основі яких виконано аналіз роботи запропонованих методів, а також їхнє порівняння з відомими методами, застосовуваними при побудові нейро-нечітких мереж.

Ключові слова: мультиагентна система, колективний інтелект, відбір ознак, кластерний аналіз, нечітка логіка, нейро-нечітка мережа.

Олейник А. А. Мультиагентные методы построения нейро-нечётких сетей. - Рукопись.

Диссертация на соискание учёной степени кандидата технических наук по специальности 05.13.23 - системы и средства искусственного интеллекта. - Харьковский национальный университет радиоэлектроники, Харьков, 2010.

Диссертация посвящена исследованию и разработке мультиагентных методов построения нейро-нечётких сетей. В диссертационной работе проведен анализ процесса построения модели на основе нейро-нечётких сетей. В результате проведенного анализа выявлено, что процесс построения нейро-нечётких сетей предполагает решение задач поиска. Для решения данных задач перспективным является применение мультиагентного подхода на основе коллективного интеллекта, что обусловлено его способностью к нахождению оптимальных решений, не выдвигая при этом требований к процессу поиска.

Предложен метод отбора информативных признаков, основанный на мультиагентном подходе с непрямой связью между агентами: на основе представления пунктов назначения признаками, который предусматривает поиск в пространстве признаков, что позволяет повысить скорость поиска.

Разработан мультиагентный метод с непрямой связью между агентами для объединения и преобразования нечётких правил, позволяющий выполнять объединение нечётких правил во входной выборке, сокращая таким образом размер базы правил, что позволяет ускорить процесс прогнозирования в экспертных системах, использующих преобразованные нечёткие правила, что достигается за счёт моделирования агентов с использованием непрямой связи между ними на разных графах поиска для отдельных классов экземпляров. В отличие от известных методов объединения и преобразования нечётких правил, предложенный метод в процессе своей работы ориентирован на оценку качества прогнозирования базы правил в целом, а не отдельных нечётких правил, что позволяет учесть взаимовлияния между правилами, за счёт чего достигается более высокая точность прогнозирования редуцированной базы правил.

Предложен мультиагентный метод кластерного анализа, предусматривающий выполнение агентами дополнительных действий подъёма, перемещения и оставления элементов данных в пространстве поиска. Это позволяет сократить структуру нейро-нечётких сетей за счёт группировки объектов с подобными свойствами. При разработке метода кластерного анализа с прямой связью между агентами учитывались недостатки, связанные с возможностью несходимости к оптимальному решению. В связи с этим предложенный метод характеризуется такими особенностями: прямая связь между агентами обеспечивается путём обмена информацией между агентами, за счёт чего агенты могут получить информацию об областях пространства поиска, в которых они не находились и от которых находятся далеко; вводится процедура естественного отбора, которая позволяет исключить объекты из кластеров, условия нахождения для которых являются неудовлетворительными.

Впервые предложен мультиагентный метод с прямой связью между агентами, позволяющий выполнять параметрическую идентификацию нейро-нечётких сетей, что достигается за счёт применения мультиагентного подхода с дополнительными процедурами, позволяющими исключать бесперспективные области пространства поиска и детально исследовать пространство поиска в целом.

Разработано программное обеспечение, реализующее предложенные мультиагентные методы коллективного интеллекта, позволяющие решать оптимизационные задачи, возникающие при построении нейро-нечётких сетей.

Проведены эксперименты по решению практических задач, на основе которых выполнен анализ работы предложенных методов, а также их сравнение с известными методами оптимизации, применяемыми при построении нейро-нечётких сетей.

Результаты исследований, выполненных в диссертационной работе, показали, что предложенные мультиагентные методы коллективного интеллекта являются эффективными при решении оптимизационных задач, возникающих в процессе синтеза нейро-нечётких моделей сложных объектов и систем, в частности, особенно актуальным является применение предложенных мультиагентных методов в случае работы с многомерными выборками данных большого объёма.

Научные положения, выводы и рекомендации, изложенные в диссертационной работе, использованы при подготовке курсов “Мультиагентные системы”, “Интеллектуальные агенты”, “Системы искусственного интеллекта” на кафедре программных средств ЗНТУ в рамках международного проекта JEP 26182-2005 программы Tempus Tacis Европейской Комиссии. Разработанное программное обеспечение для синтеза нейромоделей внедрено в ОАО “Мотор Сич” и ООО “МПА Групп”, что подтверждается соответствующими актами внедрения.

Ключевые слова: мультиагентная система, коллективный интеллект, отбор признаков, кластерный анализ, нечёткая логика, нейро-нечёткая сеть.

Oleynik A. A. Multiagent methods of neuro-fuzzy network synthesis. - Manuscript.

The thesis for the candidate degree in technical sciences on the specialty 05.13.23 - Artificial Intelligence Systems and Means. - Kharkiv National University of Radio Electronics, Kharkiv, 2010.

The thesis is devoted to a research and development of multiagent methods of neuro-fuzzy networks synthesis.

The new multiagent methods of swarm intelligence for solving of problems of neuro-fuzzy network synthesis are created: feature selection, cluster analysis, fuzzy rules induction, parametrical and structural-parametrical synthesis of neuro-fuzzy networks.

The software based on created multiagent methods of swarm intelligence are developed. The developed software can be used for different problemі solving of neuro-fuzzy network synthesis.

The experiments of real-world problem solving are carried out. Based on the experiments effectiveness of proposed method are analyzed.

Key words: multiagent system, swarm intelligence, feature selection, cluster analysis, fuzzy logic, neuro-fuzzy network.

Размещено на Allbest.ru

...