Моделі та алгоритми візуалізації багатовимірних даних на основі автоасоціативних нейронних мереж

Размещено на http://www.allbest.ru

Державний комітет зв'язку та інформатизації України

Національна академія наук України

Державний науково-дослідний інститут інформаційної інфраструктури

ЦИМБАЛ Юрій Вікторович

УДК 681.142.37

МОДЕЛІ ТА АЛГОРИТМИ ВІЗУАЛІЗАЦІЇ БАГАТОВИМІРНИХ ДАНИХ НА ОСНОВІ АВТОАСОЦІАТИВНИХ НЕЙРОННИХ МЕРЕЖ

05.13.23 - Системи та засоби штучного інтелекту

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

Львів - 2004

Дисертацією є рукопис.

Робота виконана у Національному університеті “Львівська політехніка” Міністерства освіти і науки України.

Науковий керівник:

доктор технічних наук, професор

Ткаченко Роман Олексійович,

Національний університет “Львівська політехніка”, професор кафедри автоматизованих систем управління

Офіційні опоненти:

доктор технічних наук, професор

Воробель Роман Антонович,

Фізико-механічний інститут ім. Г.В. Карпенка НАН України, керівник відділу

кандидат технічних наук, доцент

Наконечний Адріан Йосипович,

Національний університет “Львівська політехніка”, доцент кафедри автоматики та телемеханіки

Провідна установа: Інститут проблем математичних машин та систем НАН України, м. Київ, відділ нейротехнологій

З дисертацією можна ознайомитися у бібліотеці Державного науково-дослідного інституту інформаційної інфраструктури за адресою: 79061, м. Львів, вул. Тролейбусна, 11.

Вчений секретар

спеціалізованої вченої ради,

доктор технічних наук Бунь Р.А.

Размещено на http://www.allbest.ru

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Швидке зростання обсягів різнорідної інформації вимагає пошуку нових засобів для її компактного представлення. Одним із важливих підходів є візуалізація, тобто спосіб представлення даних у вигляді двовимірних або тривимірних рухомих та нерухомих зображень. Більшу частину інформації, що стає доступною для людини, неможливо представити у дво- або тривимірному вигляді без втрат. Тому важливим є вирішення проблеми зменшення цих втрат, тобто збереження інформативності при зведенні багатовимірних даних до зручного для людського сприйняття вигляду. візуалізація багатовимірний нейронний мережа

Одним із сучасних шляхів здійснення візуалізації багатовимірних даних є застосування інтелектуальних систем на основі штучних нейронних мереж (НМ). Велика розповсюдженість НМ пояснюється декількома причинами:

- значними можливостями, які визначаються нелінійною природою моделей нейронів та синаптичних зв'язків;

- простотою у здійсненні постановки задачі, підготовки вхідних даних та користуванні налагодженою мережею.

До невирішених досі питань застосування НМ у задачах візуалізації традиційно відносять:

- великі затрати обчислювальних ресурсів, що реально обмежує максимальну розмірність вхідних даних;

- відсутність ефективних неітераційних алгоритмів навчання, що зменшує можливості їх використання у системах візуалізації в реальному часі;

- відсутність об'єктивних критеріїв для налагодження та визначення втрат інформативності при зменшенні розмірності вхідних даних.

Усе це дає підстави вважати, що створення інтелектуальних нейромережевих систем візуалізації багатовимірних даних, які поєднують високу швидкодію, достатню точність та ефективне використання обчислювальних ресурсів є важливою проблемою, вирішення якої надасть нові можливості для опрацювання великих обсягів інформації.

Зв'язок роботи з науковими програмами, планами та темами. Робота виконана в рамках держбюджетної теми Міністерства освіти і науки України “Візуалізація мовних образів мовних сигналів на основі нейромережевих технологій” (2001-2002, номер держреєстрації 0101U000879), а також господарських угод із ВАТ “Львівобленерго” “Створення програмної штучної нейронної мережі прогнозування та планування технологічних втрат електричної енергії в мережах Компанії (На прикладі мережі електропостачання м.Брюховичі-РЕМ-3)”, “Комп'ютерна підсистема розрахунку плинних режимів в електричній мережі 110 кВ “Львівобленерго” за даними телеметрії”. Робота також тісно пов'язана з планами науково-дослідної та навчальної роботи кафедри автоматизованих систем управління Національного університету “Львівська політехніка” та Державного науково-дослідного інституту інформаційної інфраструктури.

Мета і задачі дослідження. Метою дисертаційної роботи є створення архітектури, методик навчання і налагодження та розробка програмних компонент інтелектуальної системи візуалізації багатовимірних даних. Для досягнення мети необхідно було вирішити такі задачі:

- проаналізувати існуючі підходи до розв'язання задачі візуалізації багатовимірних даних, виконати їх порівняння та визначити властиві їм обмеження та недоліки;

- розробити та обґрунтувати архітектуру нейронної мережі для зменшення розмірності багатовимірних даних із підвищеною якістю та зменшеним часом навчання;

- сформувати критерії для синтезу та налагодження нейронних мереж для зменшення розмірності багатовимірних даних;

- реалізувати програмні компоненти інтелектуальної системи візуалізації багатовимірних даних на основі розробленої архітектури нейронної мережі та застосувати їх для розв'язання практичних завдань;

- встановити перелік задач, що можуть бути ефективно вирішені за допомогою розробленої архітектури нейронної мережі.

Об'єкт дослідження - задачі візуалізації багатовимірних даних та способи їх розв'язання.

Предмет дослідження - штучні нейронні мережі автоасоціативного типу для зменшення розмірності та графічного відображення багатовимірних даних.

Методи дослідження. В дисертаційній роботі використані методи теорії нейронних мереж, лінійної алгебри, математичної статистики, чисельні методи.

Наукова новизна роботи полягає в наступному:

- запропоновано та обґрунтовано метод зменшення розмірності даних в автоасоціативних нейронних мережах, який передбачає взаємно обернені нелінійні перетворення простору вхідних багатовимірних даних;

- вдосконалено архітектуру автоасоціативної нейронної мережі для зменшення розмірності багатовимірних даних шляхом введення додаткових блоків прямих та обернених функціональних перетворень;

- розроблено методику та алгоритм формування набору нелінійних функцій для перетворення системи координат і одержання наближення множини вхідних даних у двовимірному просторі;

- запропоновано та обґрунтовано сукупність внутрішніх та зовнішніх критеріїв для синтезу автоасоціативної нейронної мережі оптимальної складності та оцінки якості її функціонування;

- розроблено метод двоступеневої візуалізації з підвищеною точністю відновлення даних на основі вдосконаленого варіанта ситуаційних карт особливостей;

- запропоновано та реалізовано підхід до здійснення багатопараметричної оптимізації за допомогою ситуаційних карт особливостей.

Практичне значення одержаних результатів полягає в тому, що:

- архітектура блочної нейронної мережі, в основі якої лежить запропонований метод зменшення розмірності даних, забезпечила створення програмних моделей нейронних мереж, які характеризуються високою швидкістю навчання та зменшенням у 1,5-3 рази похибки узагальнення при відновленні даних, що робить перспективним їх використання у системах візуалізації в реальному часі;

- вироблено практичні рекомендації по здійсненню процедури налагодження автоасоціативних нейронних мереж на основі запропонованих критеріїв якості;

- запропонований метод двоступеневої візуалізації за допомогою ситуаційних карт особливостей дозволяє підвищити якість візуалізації на площині та одержати додаткові відомості про вхідні дані;

- застосування ситуаційних карт особливостей забезпечує можливість оперативної оптимізації режиму в електроенергетичних системах, розв'язання інших задач багатопараметричної оптимізації, а також задач класифікації, діагностування та багатовимірного функціонального перетворення.

Реалізація і впровадження результатів роботи. На основі розробленої архітектури нейронної мережі реалізовано програмні компоненти інтелектуальної системи, яка придатна для візуалізації багатовимірних даних за допомогою ситуаційних карт особливостей, а також може бути використана для розв'язання задач ситуаційного прогнозування, багатопараметричної оптимізації, діагностування. За сукупністю параметрів швидкості навчання, точності та зручності користування інтелектуальна система переважає можливості існуючих програмних засобів візуалізації багатовимірних даних на основі традиційних нейропарадигм.

Теоретичні і практичні результати дисертації використано за безпосередньою участю автора:

в окремих функціональних блоках підсистеми оперативно-диспетчерського керування режимами енергопостачальної компанії, яка в режимі “online” функціонує в якості експлуатаційно-дослідного варіанта в загальному комплексі АСДУ ВАТ “Львівобленерго”;

при розробці компонент програмної моделі системи для кластеризації мовних команд у рамках держбюджетної теми Міністерства освіти і науки України “Візуалізація мовних образів на основі нейромережевих технологій” (2001-2002, номер держреєстрації 0101U000879);

при розробці компоненти візуалізації інтелектуальної системи розпізнавання образів, створеної при виконанні НДР “Базові компоненти образного комп'ютера для швидкого адаптивного аналізу, розпізнавання, компресії, архівації та пошуку аудіовідеоінформації”, що виконувалася у Державному науково-дослідному інституті інформаційної інфраструктури в рамках Державної програми “Образний комп'ютер” (2001-2002);

в навчальному процесі Національного університету “Львівська політехніка” при постановці лабораторних робіт для курсу магістерської підготовки за спеціальністю 8080.401 “Інформаційні управляючі системи та технології”.

Особистий внесок здобувача. Всі основні положення дисертації, винесені на захист, розроблені автором самостійно. У працях, що написані у співавторстві, автору належать: [1, 2, 7, 9] - програмні моделі нейронних мереж із застосуванням ситуаційних карт особливостей; [8] - структура та програмна модель нейронної мережі для ситуаційного прогнозування, результати дослідження її властивостей при розв'язанні практичних завдань; [11] - архітектура та програмна модель блочної нейронної мережі, результати дослідження її властивостей при розв'язанні тестових задач.

Апробація результатів роботи. Основні наукові результати та положення дисертаційної роботи представлялися, доповідалися та обговорювалися на Міжнародній науково-технічній конференції “Інформаційні системи та технології” (Львів, 1999); Міжнародному конгресі “Проблеми інформатизації рекреаційної та туристичної діяльності в Україні: Перспективи культурного та економічного розвитку” (Трускавець, 2000); Міжнародній науково-практичній конференції “Обчислювальна техніка в інформаційних та керуючих системах” (Маріуполь, 2000); Міжнародній конференції з індуктивного моделювання “МКІМ-2002” (Львів, 2002); Міжнародному семінарі метрологів (Жешув, Польща, 2002); наукових семінарах Національного університету “Львівська політехніка” в 1997-2004 роках.

Публікації. Основний зміст дисертаційної роботи викладено у 11 наукових працях (у тому числі 6 - у фахових наукових виданнях).

Структура та обсяг роботи. Дисертаційна робота складається з вступу, п'яти розділів, висновків, списку використаних джерел зі 108 найменувань та додатків. Загальний обсяг дисертації становить 144 сторінки, у тому числі 130 сторінок основного тексту. Кількість ілюстрацій 29, таблиць - 5.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету та основні завдання.

У першому розділі проаналізовано існуючі статистичні та нейромережеві методи візуалізації багатовимірних даних. Показано, що задача візуалізації є складовою частиною предметної області видобутку даних (data mining). Проведено огляд напрямків досліджень та сучасних програмних засобів видобутку даних.

Багатовимірні дані розглядаються як множина векторів або точок у відповідному багатовимірному просторі. Встановлено, що для візуалізації багатовимірних даних застосовується низка статистичних та нейромережевих методів, що забезпечують зменшення розмірності вхідних даних із подальшим графічним відображенням. Проаналізовано властивості статистичних методів відбору ознак без перетворення простору вхідних даних, зокрема, методів прямого перебору, гілок та границь, послідовного пошуку. Розглянуто методи видобутку особливостей, які визначаються внаслідок лінійних (метод головних компонент, лінійне багатовимірне шкалування) та нелінійних (методи Краскела та Семмона, карти Кохонена, автоассоціативні НМ) перетворень початкового простору вхідних даних.

Проведено порівняння методів зменшення розмірності за швидкістю утворення відображеного простору особливостей та можливістю виявлення у ньому закономірностей, притаманних вхідним даним у початковому просторі. Встановлено, що відомі нелінійні методи зменшення розмірності є ефективнішими за лінійний метод головних компонент, але вимагають значних часових затрат через ітеративний характер алгоритмів. НМ на основі нейропарадигми “функціонал на множині табличних функцій” (ФТФ), розробленої науковим керівником роботи Ткаченком Р.О., характеризуються оптимальним поєднанням неітераційності навчання та гнучкості у налагодженні параметрів, у тому числі для забезпечення нелінійності перетворень.

З метою ефективного вирішення завдань візуалізації слід розробити архітектуру, методики навчання і налагодження нейромережевих засобів зменшення розмірності багатовимірних даних на основі нейропарадигми ФТФ.

У другому розділі запропоновано спосіб вдосконалення архітектури НМ для зменшення розмірності багатовимірних даних на основі автоасоціативної нейронної мережі (АНМ).

Визначальною особливістю АНМ є те, що вхідні та вихідні вектори з навчальної множини є тотожними, але приховані шари містять менше нейронів ніж вхідні та вихідні. Тоді виходи прихованого шару відображають представлення вхідних даних у просторі меншої розмірності.

Недоліком цього підходу до зменшення розмірності є тривалість процесу навчання мережі за методом зворотного поширення похибки, яку можна зменшити при побудові АНМ на основі нейропарадигми ФТФ. Однак, відображення кожного вхідного вектора у відповідний вихідний з достатньою точністю є можливим лише для випадку значних нелінійностей передатних функцій нейронів і синаптичних зв'язків у мережі. При цьому забезпечення належної точності може вимагати великого обсягу навчальної множини. Крім того, як правило, важко забезпечити неперервність та взаємну однозначність перетворень одного простору в інший.

Тому для здійснення візуалізації багатовимірних даних запропоновано доповнити структуру АНМ додатковими блоками прямих та обернених функціональних перетворень (БФП та БОФП). Розроблено метод зменшення розмірності вхідних даних, який передбачає наближене представлення елементів навчальної множини у новому базисі через ортогоналізацію Грама-Шмідта і побудову нелінійних залежностей між початковими та наближеними вхідними даними для етапу використання НМ. БФП та БОФП відтворюють ці залежності, відповідно, на входах та виходах АНМ (блоку візуалізації, БВ). Для зменшення спотворень, яких при цьому зазнає множина вхідних даних, введена додаткова коректуюча НМ (блок корекції, БК) (рис. 2). Метод надає можливість побудувати проекцію множини вхідних даних на площину зі збереженням їх визначальних особливостей.

Алгоритм формування набору нелінійних функцій для перетворення системи координат у БФП полягає у наступному. Навчальна множина розглядається як матриця , де i =1, 2, ..., N - номер вектора з навчальної множини (рядка матриці), j = 1, 2, ..., n - номер входу НМ (стовпця матриці). Елементи матриці зводяться до діапазону [-1, 1].

Для проведення прямих функціональних перетворень (ФП) визначається набір поліноміальних функцій , які перетворюють матрицю вхідних даних у матрицю :

, (1)

де a_j,0, a_j,1, …, a_j,p - коефіцієнти полінома для функції F_j, p - степінь полінома.

Значення елементів матриці є апроксимованими за методом найменших квадратів відповідними значеннями елементів матриці , де

, (2)

а K_i(l) та обчислюються внаслідок виконання над елементами матриці двох кроків процедури ортогоналізації Грама-Шмідта:

;

,

де S(l) - номер рядка на l-му кроці обчислень, сума квадратів елементів якого є максимальною.

Таким чином, кожен стовпець j матриці (із певною похибкою, яка мінімізується за методом найменших квадратів) представляється лінійною комбінацією двох векторів K_i(1) та K_i(2), оскільки для нього величини і є константами. Тоді, елементи кожного стовпця матриці зосереджуються біля площини, яка проходить через початок координат у просторі (K_i(1), K_i(2), ), тобто можуть бути наближено задані у двовимірному представленні. Внаслідок цього зменшується вплив нерегулярностей, які не відповідають характеру гіперповерхні, що утворюється мережею у просторі вхідних даних.

Перетворена згідно з (1) множина вхідних даних знову зводиться до діапазону [-1, 1] і подається на вхід БВ для здійснення процедури навчання. Коефіцієнти поліномів (1) застосовуються на етапі використання блоку для перетворення елементів множини вхідних даних, яка не брала участі у навчанні (контрольної множини).

БВ навчається відновлювати на виході множину даних, яка формується у БФП. Кількість нейронів у прихованому шарі залежить від розмірності простору, у якому виконується візуалізація. Якщо обрати її рівною двом, то для кожної точки i з навчальної множини будуть визначені координати (Z_i,1, Z_i,2) у відображеному двовимірному просторі, що утворюється на виході прихованого шару БВ.

В результаті навчання БВ обчислюються значення на його виході, які складають матрицю . Надалі відбувається зведення значень елементів цієї матриці до діапазону, що існував на виході БФП. Одержана матриця подається на вхід третього блоку НМ, у якому відбувається відновлення початкового простору вхідних даних шляхом виконання обернених ФП по кожній з координат. Для кожного з входів БОФП здійснюється пошук кореня відповідного полінома за одним із відомих чисельних методів, наприклад, “золотого перетину”.

Значення для кожного з виходів БОФП зводяться до початкового діапазону значень на вході БФП. Матриця , що одержується при цьому, подається на вхід БК.

БК навчається усувати похибку між елементами матриць та . Значення елементів матриці вважаються бажаними значеннями на виході БК. Навчання БК і БВ виконується з використанням нейропарадигми ФТФ.

Внаслідок навчання блочної НМ встановлюються значення параметрів передатних функцій нейронів та вагових коефіцієнтів синаптичних зв'язків, а також визначаються коефіцієнти поліномів у БФП (БОФП).

Обраний підхід надає можливість використання АНМ невисокого рівня складності, зокрема, лінійний варіант, що забезпечує неперервність перетворень для мінімально необхідного обсягу навчальної множини.

У третьому розділі представлено результати дослідження особливостей налагодження АНМ на основі нейропарадигми ФТФ. Визначено множину параметрів налагодження та вироблено практичні рекомендації по здійсненню процедури налагодження АНМ. Для запропонованої архітектури блочної НМ визначено сукупність внутрішніх та зовнішніх критеріїв для синтезу НМ оптимальної складності та оцінки якості її функціонування.

При використанні розробленої архітектури НМ для зменшення розмірності багатовимірних даних необхідно вміти об'єктивно оцінити якість навчання НМ при певних значеннях параметрів налагодження, зокрема, її здатність до узагальнення, тобто до відновлення на виході елементів контрольної множини. До таких параметрів, зокрема, відносяться степені поліномів синаптичних зв'язків і передатних функцій нейронів у вхідному, вихідному, прихованому шарах БВ та БК, коефіцієнти масштабування передатних функцій. Встановлено, що здатність НМ до узагальнення залежить від виконання умов достатньої сукупності ознак вхідних даних, репрезентативності навчальної множини та неперервності перетворень у НМ. Дотримання цих умов дозволяє побудувати НМ оптимальної складності, для якої досягається близькість значень внутрішніх та зовнішніх критеріїв, як для кожного із блоків, так і для НМ в цілому.

Внутрішні критерії обчислюються на повній навчальній множині. Для перевірки здатності НМ до узагальнення введено зовнішні критерії, які оцінюють похибку, що виникає на виходах блоків мережі для точки i при вилученні її з навчальної множини (на основі статистичної процедури крос-перевірки).

Внутрішні критерії для БФП. Похибка від заміщення матриці матрицею (2) має вигляд

.

Критерій характеризує здатність розробленого алгоритму утворити площину для подальшого відображення n-вимірного простору вхідних даних внаслідок виконання ФП.

Щоб оцінити здатність алгоритму відобразити на площині елементи матриці вхідних даних після виконання ФП введено критерій

.

Для оцінювання похибки апроксимації залежності між елементами матриць та за методом найменших квадратів введено критерій

.

Зовнішні критерії для БФП. Пропонується застосування критеріїв двох видів - середньоквадратичного та лінійного. Середньоквадратичний критерій відповідає похибці узагальнення БФП, зведеній до діапазону значень величини для навчальної множини усереднено по всіх n стовпцях матриці :

,

де , - відповідно, значення на виході БФП для точки i, обчислені при навчанні на повній множині та передбачені при вилученні її з навчальної множини, i = 1, 2, …, N.

Щоб визначити можливість значних спотворень за окремими координатами, введено лінійний критерій

,

для i = 1, 2, …, N, j = 1, 2, …, n.

Критерій відповідає максимальній лінійній зведеній похибці ФП для точки i з навчальної множини.

Сукупність значень критеріїв та , обчислених для всіх N точок навчальної множини можна представити у вигляді таблиці, лінійних графіків у залежності від номера точки в навчальній множині або виконати усереднення

,

.

Внутрішні критерії для БВ. Середньоквадратична похибка на виході БВ порівняно з входом блочної НМ має вигляд

,

де , - значення для точки i на вході БФП та виході БВ, відповідно.

Критерій відповідає похибці відновлення на виході БВ значень елементів навчальної множини. Лінійним внутрішнім критерієм буде похибка

.

Критерій відповідає максимальній лінійній зведеній похибці між значеннями на вході БФП та значеннями, обчисленими на виході БВ для навчальної множини.

Зовнішні критерії для БВ. Критерієм здатності НМ забезпечити неперервність перетворень між входом НМ і виходом прихованого шару БВ для точки i є похибка позиціонування , яка при відображенні на площину (m=2) має вигляд

,

де Z_i,1, Z_i,2 - значення на виході прихованого шару БВ для точки i при навчанні на повній множині вхідних даних; Z_i-,1, Z_i-,2 - значення на виході прихованого шару БВ для точки i при вилученні її з навчальної множини.

Середньоквадратичний критерій відповідає похибці узагальнення БВ, зведеній до діапазону значень на його вході для навчальної множини усереднено по всіх n стовпцях:

,

де - значення, обчислені на вході БВ для точки i при навчанні на повній множині; - передбачені значення на виході БВ для точки i при вилученні її з навчальної множини, i = 1, 2, …, N.

Відповідний лінійний критерій має вигляд

,

для i = 1, 2, …, N, j = 1, 2, …, n.

Внутрішні критерії для БК. Для оцінювання якості навчання БК і блочної НМ у цілому пропонується порівнювати значення середньої квадратичної похибки відображення вхідних даних із навчальної множини у тотожні до них вихідні (згідно з властивістю автоасоціативності блочної НМ):

,

де , - значення для точки i на вході БФП та виході БК, відповідно.

Щоб оцінити максимальне значення похибки, яка виникає на виході БК для елементів матриці вхідних даних, введено лінійний критерій

.

Зовнішні критерії для БК. Середньоквадратичний критерій відповідає похибці узагальнення БК, зведеній до діапазону значень на вході БФП для навчальної множини усереднено по всіх n стовпцях:

, (3)

де - значення на вході БФП для точки i при навчанні на повній множині; - передбачені значення на виході БК для точки i при вилученні її з навчальної множини, i = 1, 2, …, N.

Лінійний критерій відповідає максимальній лінійній зведеній похибці між значеннями на вході БФП та виході БК для точки i:

,

для i = 1, 2, …, N, j = 1, 2, …, n.

З рис. 3 видно, що застосування БФП та БОФП веде до підвищення точності відновлення вхідних даних на виході НМ в 1,5-3 рази для даних із контрольної множини (при застосуванні процедури крос-перевірки).

У четвертому розділі представлені результати розробки та тестування програмних компонент інтелектуальної системи візуалізації багатовимірних даних за допомогою ситуаційних карт особливостей (СКО) на основі запропонованої архітектури блочної НМ.

Розглянуто особливості сучасних програмних засобів для візуалізації багатовимірних даних. Встановлено, що існуючі програмні засоби реалізують, як правило, один із лінійних методів зменшення розмірності або нелінійні ітераційні алгоритми і мають недоліки та обмеження властиві цим методам та алгоритмам.

На основі запропонованої архітектури блочної НМ створено програмну НМ “Львів-2001”. Для візуалізованого представлення багатовимірних даних використовується графічне відображення множини вхідних даних на двовимірних СКО, де показані точки з навчальної та контрольної множин, а також можливі проміжні точки. Побудова СКО здійснюється для усіх ознак вхідних даних, значення яких для кожної з точок (на виходах НМ) позначаються певним кольором на карті. Таким чином створюється атлас СКО, який описує об'єкт досліджень, що характеризується множиною вхідних даних.

Щоб розширити можливості двовимірних СКО стосовно візуалізації багатовимірних даних, запропоновано метод двоступеневої візуалізації. Ідея методу полягає у побудові для точки, що задається на базовій ситуаційній карті особливостей, додаткової ситуаційної карти особливостей (ДСКО), яка покаже розташування точки за третьою та четвертою координатою у перетвореному чотиривимірному просторі. Такий простір утворюється на виході прихованого шару НМ, що складається з чотирьох (замість двох) нейронів. Якщо третя та четверта координати перетвореного простору містять достатньо суттєву інформацію про множину вхідних даних, введення ДСКО дозволить виявити таку інформацію, що підвищить ефективність застосування СКО при розв'язанні практичних задач.

На рис. 4 а-б показані приклади базових та додаткових ситуаційних карт особливостей при двоступеневій візуалізації. Значком x позначені точки, що належать до навчальної множини, курсор + указує біжучу точку на СКО.

Для тестування створеної програмної НМ використовувалась задача класифікації ірисів. Відображення ознак ірисів на СКО дозволяє здійснити класифікацію, результати якої відповідають результатам, які одержані при використанні класичних статистичних методів.

Розглянуто можливість за допомогою СКО здійснювати відображення даних із часових рядів (задача ситуаційного прогнозування). Якщо до навчальної множини включити вектори, що відповідають певним послідовним часовим вікнам, на СКО буде відтворюватися траєкторія руху точки, що відображає часові зміни процесу, як реальні, так і прогнозовані. Також, за допомогою СКО відображається багатоваріантність перебігу подій, тобто, поряд із прогнозованим мережею значенням, слід брати до розгляду і менш імовірні значення (в околі даної точки). На рис. 5,а та 5,б показані результати застосування двовимірної СКО для прогнозування курсу гривні до долара США.

У п'ятому розділі показано результати застосування блочної нейронної мережі для вирішення практичних задач. Зокрема, були поставлені і розв'язані такі завдання.

1. Задача оперативної оптимізації режиму у електроенергетичних системах (ЕЕС). Задача зводиться до мінімізації певної цільової функції, що залежить у явному або неявному вигляді від показників, що характеризують цей режим, наприклад, мінімізації значення сумарних технологічних втрат активної потужності у мережі 110 кВ

, (4)

де - значення на j-му виході БОФП для точки i з контрольної множини, - значення на входах БФП, що розглядаються як незалежні параметри цільової функції при дотриманні режимних обмежень

,

де , - відповідно, нижня та верхня границя значень на j-му вході БФП, для i = 1, 2, …, N_c, j = 1, 2, …, n.

Процедуру пошуку мінімуму цільової функції за допомогою АНМ реалізовано на основі алгоритмів координатного пошуку, ортогональних напрямків та Розенброка. Якщо СКО побудована для показника, який є цільовою функцією (4), оператор ЕЕС зможе спостерігати поступове переміщення курсору, що вказує біжучу точку у напрямку областей з меншими значеннями цього показника, візуально визначити необхідність проведення подальшої оптимізації та з'ясувати, при яких саме значеннях незалежних параметрів досягається прийнятне значення цільової функції.

За допомогою СКО можна вирішувати оптимізаційні задачі з різними типами цільових функцій f. Проведено дослідження для таких цільових функцій:

,

де Z₁, Z₂ - поточні координати точки на СКО; Z'₁, Z'₂ - бажані значення координат точки на СКО, наприклад, у безпечній ділянці;

,

В останньому випадку пропонується використовувати АНМ для задачі багатовимірного функціонального перетворення, яка звичайно розв'язується за допомогою НМ із контрольованим навчанням. Унаслідок оптимізаційної процедури підбираються такі значення незалежних параметрів, які з найменшими спотвореннями відновлюються на виході НМ.

2. Задача діагностування у стоматології. Розглянуто задачу встановлення відмінностей у клінічних та імунологічних ознаках для хворих із різними формами генералізованого пародонтиту (ГП) та визначення ознак, найбільш значущих як для діагностування, так і для оцінки проведеного лікування. Встановлено, що створення атласу СКО після навчання НМ із достатньою точністю надасть можливість за допомогою візуального порівняння різних карт визначити вплив кожної з ознак на встановлення діагнозу. Кожна точка на СКО відповідає окремому хворому, а віддаль між точками відображає ступінь відмінності між хворими за сукупністю клінічних та імунологічних показників. З рис. 6,а та 6,б видно, що значення імунорегуляторного індексу Тх / Тс є більш інформативними для проведення діагностування, аніж значення імунологічного показника СРБ в ПВК / СРБ в РПК.

ОСНОВНІ РЕЗУЛЬТАТИ ТА ВИСНОВКИ

В дисертаційній роботі розв'язано актуальну наукову задачу - вдосконалено архітектуру, методики навчання і налагодження та розроблено програмні компоненти інтелектуальної системи візуалізації багатовимірних даних. При цьому отримані такі основні результати.

1. На основі аналізу відомих методів зменшення розмірності за допомогою автоасоціативних нейронних мереж обґрунтовано доцільність застосування додаткових взаємно обернених нелінійних перетворень простору вхідних багатовимірних даних.

2. Вдосконалено архітектуру нейронної мережі для зменшення розмірності багатовимірних даних, яка передбачає доповнення структури автоасоціативної нейронної мережі на основі нейропарадигми ФТФ блоками прямих та обернених функціональних перетворень та корекції; визначені вимоги до кожного з окремих блоків та особливості їх реалізації.

3. Розроблено методику та алгоритм формування набору нелінійних функцій для перетворення системи координат і одержання наближення множини вхідних даних у двовимірному просторі.

4. Визначено множину необхідних параметрів налагодження та сукупність внутрішніх і зовнішніх критеріїв для синтезу автоасоціативної нейронної мережі оптимальної складності та оцінки якості її функціонування, вироблені практичні рекомендації по здійсненню оптимізованої процедури налагодження.

5. Створено програмну модель нейронної мережі для зменшення розмірності багатовимірних даних, яка характеризується високою швидкістю навчання та достатньою точністю. Запропоновано метод двоступеневої візуалізації на основі вдосконаленого варіанта ситуаційних карт особливостей, який дозволяє підвищити якість візуалізації на площині та одержати додаткові відомості про вхідні дані. Проведені експерименти показали, що введення блоків прямих та обернених функціональних перетворень дозволило зменшити похибку узагальнення при відновленні даних у 1,5-3 рази.

6. Розроблено підхід до здійснення багатопараметричної оптимізації за допомогою ситуаційних карт особливостей, який застосовано для вирішення задачі оперативної оптимізації режиму у електроенергетичних системах. Запропоновано застосувати автоасоціативні нейронні мережі для розв'язання задачі багатовимірного функціонального перетворення.

7. Запропонована архітектура блочної нейронної мережі забезпечила створення програмних компонент інтелектуальних систем візуалізації багатовимірних даних, які застосовані при оперативно-диспетчерському керуванні режимами енергопостачальної компанії, для виконання задач медичної діагностики.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Ткаченко Р.О., Юрчак І.Ю., Цимбал Ю.В. Практичне застосування штучних нейронних мереж прямого поширення // Вісник Державного університету “Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - Львів. - 1999. - №370. - С. 57-59.

2. Ткаченко Р.О., Юрчак І.Ю., Цимбал Ю.В. Неітераційне навчання нейронних мереж прямого поширення // Вісник Державного університету “Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - Львів. - 1999. - №380. - С. 109-115.

3. Цимбал Ю.В. Штучні нейронні мережі на основі моделі “функціонал на множині табличних функцій” у задачах факторного аналізу // Вісник Державного університету “Львівська політехніка”: Комп'ютерна інженерія та інформаційні технології. - Львів. - 2000. - №392. - С. 57-60.

4. Цимбал Ю.В. Метод двоступеневої візуалізації в системах видобутку даних // Комп'ютерні технології друкарства: Збірник наукових праць. - Львів. - 2001. - №6. - С. 178-184.

5. Цимбал Ю.В. Метод нелінійних перетворень вхідних даних для нейронних мереж // Моделювання та інформаційні технології: Збірник наукових праць. - Київ. - 2002. - №12. - С. 171-180.

6. Цимбал Ю.В. Метод нелінійної попередньої обробки даних для нейронних мереж // Інформаційні технології і системи. - 2002. - Т.5. - №1-2.- С. 161-167.

7. Ткаченко Р.О., Юрчак І.Ю., Цимбал Ю.В. Практичне застосування штучних нейронних мереж прямого поширення // Матеріали Міжнародної науково-технічної конференції “Інформаційні системи та технології”. - Львів.- 1999. - С. 12-15.

8. Грицик В.В., Ткаченко Р.О., Цимбал Ю.В. Ситуаційне прогнозування показників економічної діяльності. Застосування і перспективи // Праці Міжнародного конгресу “Проблеми інформатизації рекреаційної та туристичної діяльності в Україні: Перспективи культурного та економічного розвитку”. - Трускавець. - 2000. - С. 185-188.

9. Нейроматематичні ситуаційні карти особливостей для задач електроенергетики / Данилюк О.В., Майоров А.Ю., Ткаченко Р.О., Цимбал Ю.В. // Збірник доповідей Першої міжнародної науково-практичної конференції “Обчислювальна техніка в інформаційних та керуючих системах”. - Маріуполь. - 2000. - С. 143-145.

10. Цимбал Ю.В. Застосування автоасоціативних нейронних мереж для вирішення оптимізаційних задач в електроенергетиці // Праці Міжнародної конференції з індуктивного моделювання МКІМ-2002. - Львів. - 2002. - Т.2.- С. 228-234.

11. Autoassociative neural networks in the tasks of multivariate data visualization / Rashkevich J., Pкkaіa R., Tkachenko R., Tsymbal Y. // Elektrotechnika, z. 24: Materialy X Miedzynarodowego seminarium metrologow. - Rzeszow. - 2002. - Nr.200. - P. 115-119.

АНОТАЦІЇ

Цимбал Ю.В. Моделі та алгоритми візуалізації багатовимірних даних на основі автоасоціативних нейронних мереж. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - Системи та засоби штучного інтелекту. Державний науково-дослідний інститут інформаційної інфраструктури, Львів, 2004.

Дисертація присвячена створенню інтелектуальних нейромережевих систем візуалізації багатовимірних даних, розробці програмних моделей нейронних мереж, методик їх навчання та налагодження. Вдосконалено архітектуру автоасоціативної нейронної мережі шляхом введення блоків прямих та обернених функціональних перетворень і корекції вихідних даних, створено програмну модель такої мережі на основі нейропарадигми “функціонал на множині табличних функцій”. Визначено сукупність внутрішніх і зовнішніх критеріїв для синтезу нейронної мережі оптимальної складності та оцінки якості її функціонування. Розроблено метод двоступеневої візуалізації на основі вдосконаленого варіанта ситуаційних карт особливостей. Результати роботи використані при вирішенні задач оптимізації режиму в електроенергетиці та діагностування в стоматології.

Ключові слова: автоасоціативна нейронна мережа, візуалізація багатовимірних даних.

Цымбал Ю.В. Модели и алгоритмы визуализации многомерных данных на основе автоассоциативных нейронных сетей. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 Системы и средства искусственного интеллекта. Государственный научно-исследовательский институт информационной инфраструктуры, Львов, 2004.

Диссертация посвящена созданию нейросетевых интеллектуальных систем визуализации многомерных данных, разработке программных моделей нейронных сетей (НС), методик их обучения и настройки. Усовершенствовано архитектуру нейронной сети путем введения блоков прямых и обратных функциональных преобразований и коррекции выходных данных, создано программную модель такой сети на основе нейропарадигмы “функционал на множестве табличных функций”. Определено множество внутренних и внешних критериев для синтеза нейронной сети оптимальной сложности и оценки качества ее функционирования. Разработан метод двухэтапной визуализации на основе усовершенствованного варианта ситуационных карт особенностей. Результаты работы использованы при решении задач оптимизации режима в электроэнергетике и диагностирования в стоматологии.

В первом разделе проанализированы современные статистические и нейросетевые методы визуализации многомерных данных. Задача визуализации рассматривается как составляющая предметной области добычи данных (data mining) и сводится к задаче уменьшения размерности входных многомерных данных с дальнейшим графическим отображением. Установлено, что оптимальным совмещением неитеративности обучения и гибкости в настройке параметров характеризуются нейронные сети на основе нейропарадигмы “функционал на множестве табличных функций” (ФТФ).

Во втором разделе предложен способ усовершенствования архитектуры нейронной сети для уменьшения размерности многомерных данных на основе автоассоциативной нейронной сети (АНС). Предложено дополнить структуру АНС блоками прямых и обратных функциональных преобразований (БФП та БОФП). Разработан метод уменьшения размерности входных данных, предусматривающий приближенное представление элементов обучающего множества в новом базисе при помощи ортогонализации Грамма-Шмидта и построение нелинейных зависимостей между первоначальными и приближенными входными данными для этапа использования НС. БФП и БОФП воссоздают эти зависимости соответственно на входах и выходах АНС (блока визуализации, БВ). Разработаны методика и алгоритм формирования набора нелинейных функций для преобразования системы координат и получения приближения множества входных данных в двухмерном пространстве. Для уменьшения получающихся при этом искажений введена дополнительная корректирующая НС (блок коррекции, БК). Такой подход предоставляет возможность использования АНС невысокого уровня сложности, что обеспечивает непрерывность преобразований для минимально необходимого объема обучающего множества.

В третьем разделе представлены результаты исследования особенностей настройки АНС на основе нейропарадигмы ФТФ. Определено множество параметров настройки и выработаны практические рекомендации по выполнению процедуры настройки АНС. К таким параметрам относятся степени полиномов синаптических связей и передаточных функций нейронов во входном, выходном, скрытом слоях БВ и БК, коэффициенты масштабирования передаточных функций. Для предложенной архитектуры блочной НС определено множество внутренних и внешних критериев (среднеквадратических и линейных) для синтеза НС оптимальной сложности и оценки качества ее функционирования.

В четвертом разделе представлены результаты разработки и тестирования программных компонент интеллектуальной системы визуализации многомерных данных при помощи ситуационных карт особенностей (СКО) на основе предложенной архитектуры блочной НС. На двухмерных СКО показаны точки из обучающего и контрольного множеств, а также возможные промежуточные точки для каждого признака входных данных.

Для расширения возможностей СКО по визуализации многомерных данных предложен метод двухэтапной визуализации. Идея метода состоит в построении для точки, заданной на базовой СКО, дополнительной СКО, которая покажет место точки по третьей и четвертой координате в преобразованном четырехмерном пространстве, образованном на выходе скрытого слоя НС, состоящего из четырех (вместо двух) нейронов.

Для тестирования разработанной программной НС использована задача классификации ирисов. Также рассмотрена возможность отображать при помощи СКО данные из временных рядов (задача ситуационного прогнозирования). Результаты исследований показали, что НС характеризуется высокой скоростью обучения и уменьшением погрешности обобщения при восстановлении данных в 1,5-3 раза, что делает перспективным ее использование в системах визуализации в реальном времени.

В пятом разделе показаны результаты использования блочной нейронной сети для решения практических задач, в частности, задач оперативной оптимизации режима в электроэнергетических системах и диагностирования в стоматологии. Показана возможность решения при помощи СКО оптимизационных задач с разными типами целевых функций. Предлагается использовать АНС для задачи многомерного функционального преобразования. Вследствие оптимизационной процедуры подбираются значения независимых параметров, которые с наименьшими искажениями воссоздаются на выходе НС.

Ключевые слова: автоассоциативная нейронная сеть, визуализация многомерных данных.

Tsymbal Yu.V. Models and algorithms of multivariate data visualization on the basis of autoassociative neural networks. - Manuscript.

Thesis for Ph.D. (candidate of sciences) degree on specialty 05.13.23 - systems and means of an artificial intelligence. State Research Institute of Information Infrastructure, Lviv, 2004.

The thesis is devoted to creation of intelligent neural network system for multivariate data visualization, the development of program models of neural networks and methods of their learning and customization. The improved architecture of the autoassociative neural network with introduction of blocks of direct and inverse functional transformations and correction of output data is offered. For the architecture the program neural network on the basis of “a functional on set of tabular functions” paradigm is created. The set of internal and external criteria for synthesis of neural network with optimal complexity and estimation of quality of it operation is developed. The method of two-step visualization on the basis of improved variant of situational feature maps is developed. The results of this work have found practical implementation in electric power engineering for mode visualization and diagnosing in stomatology.

Key words: autoassociative neural network, multivariate data visualization.

Размещено на Allbest.ru

...