Размещено на http://www.allbest.ru/

Міністерство освіти і науки, молоді та спорту України

Харківський національний університет радіоелектроніки

Методи та моделі семантичного анотування текстових документів з використанням штучних нейронних мереж

05.13.23 - системи та засоби штучного інтелекту

Автореферат дисертації на здобуття наукового ступеня кандидата технічних наук

ШУБКІНА ОЛЬГА ВАСИЛІВНА

Харків 2011

Дисертацією є рукопис.

Роботу виконано у Харківському національному університеті радіоелектроніки Міністерства освіти і науки, молоді та спорту України.

Науковий керівник кандидат технічних наук, доцент Рябова Наталія Володимирівна, Харківський національний університет радіоелектроніки, в.о. завідувача кафедри штучного інтелекту.

Офіційні опоненти: доктор технічних наук, професор Асєєв Георгій Георгійович, Харківська державна академія культури Міністерства культури і туризму України, завідувач кафедри інформаційних технологій, м. Харків.

доктор технічних наук, професор Єрохін Андрій Леонідович, Харківський національний університет внутрішніх справ Міністерства внутрішніх справ України, начальник факультету психології, менеджменту, соціальних та інформаційних технологій, м. Харків.

Захист відбудеться « » грудня 2011 р. о годині на засіданні спеціалізованої вченої ради Д 64.052.01 у Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

Автореферат розісланий « » листопада 2011 р.

Вчений секретар

спеціалізованої вченої ради

С.Ф. Чалий

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. З огляду на те, що більша частина інформації як у корпоративних системах, так і в Інтернет зберігається в текстовому вигляді (електронні документи, розсилки новин), кожному екземпляру концептів онтології, що відбиває структурні знання, можна поставити у відповідність певний текстовий документ або якусь його частину залежно від заданих умов. Такий процес формування метаданих називається семантичним анотуванням та використовує три основних компоненти: онтології, корпуси текстів та способи побудови класифікатора для отримання знань.

Створення семантичних анотацій вручну забирає досить багато часу й призводить до значних грошових витрат, що зумовило виникнення методів напівавтоматичної та автоматичної побудови семантичних анотацій, які, в свою чергу, мають низку недоліків, наприклад, використання шаблонів заповнення або апріорі заданих правил. При цьому часто необхідно істотно обмежувати розмірність об'єктів, що надходять на обробку. Це не дозволяє враховувати максимальну кількість релевантних характеристик, що є суттєвим за умов обмеженої навчальної вибірки. Крім того, часто система видає лише однозначне рішення належності текстового об'єкта до певного класу онтології, що здебільшого не є достатнім для формування необхідних знань відносно текстових колекцій. Це є суттєвим недоліком відомих методів.

У рамках зазначених напрямків найбільш істотний внесок зробили такі вчені, як: Berners-Lee T., Hendler J., Lassila O., Gдrdenfors P., Поспелов Г.С., Гаврилова Т.А., Хорошевський В.Ф., Палагін О.В., Леонтьєва Н.М., Piatetsky-Shapiro G., Frawley W. та інші.

Незважаючи на велику кількість наукових робіт, все ще існує проблема семантичного анотування текстових документів, викликана потребою в створенні семантичних анотацій або таких описів текстових документів у машинно-зрозумілому вигляді, які засновано на автоматичній обробці інформації та видобуванні нових знань із текстових джерел. Відповідно, існує потреба в таких методах і вирішенні завдань семантичного анотування. У зв'язку з цим, робота є актуальною, що і визначає перспективність як теоретичних, так і практичних результатів.

Зв'язок теми дисертації з планами наукових робіт. Роботу виконано на кафедрі штучного інтелекту Харківського національного університету радіоелектроніки відповідно до плану науково-дослідних робіт у рамках держбюджетних тем: № 195 «Розробка теоретичних засад, методів та моделей інтелектуальної обробки інформації та менеджменту знань у системах розподіленого штучного інтелекту» (№ ДР 0106U003286), №219 «Розробка Web-орієнтованої системи для підтримки процедур акредитації та ліцензування вищих навчальних закладів України» (№ ДР 0108U010139), № 233 «Розробка системи підтримки семантичних запитів до онтологічної бази акредитації і ліцензування» (№ ДР 0109U001647), № 243 «Методи, моделі та інформаційні технології розбудови соціально-економічної освітньо-наукової мережі з метою інтеграції у європейський простір» (№ ДР 0109U002497). У межах наведених тем здобувачка як виконавець запропонувала модель семантичного анотування текстових документів із урахуванням бінарних виходів штучної нейронної мережі, ймовірнісну модель семантичного анотування текстових документів, методи семантичного анотування на основі ієрархічної радіально-базисної нейронної мережі та конкурентної ймовірнісної нейронної мережі.

Мета і задачі дослідження. Метою дисертаційної роботи є розробка методів та моделей семантичного анотування текстових документів з використанням штучних нейронних мереж для отримання метаданих на основі текстового корпусу та онтології предметної області (ПрО). В даному випадку семантичні анотації (або метадані) дозволяють отримувати опис текстового документа в машинно-зрозумілому вигляді для подальшого використання в онтологічних базах знань із метою зберігання інформації у стислому вигляді, виведення нових знань або підвищення якості пошуку.

Відповідно до поставленої мети, в дисертаційній роботі вирішуються такі задачі:

– аналіз основних методів семантичного анотування текстових документів;

– розробка моделі семантичного анотування текстових документів з урахуванням бінарних виходів штучної нейронної мережі (ШНМ) та ймовірнісної моделі семантичного анотування для формування RDF-описів;

– розробка ієрархічної радіально-базисної нейронної мережі з багатошаровою архітектурою для зниження кількості текстових ознак, які надходять на вхід кожного шару, за умов обмеженої вибірки;

– розробка ймовірнісних нейронних мереж спеціального виду для визначення ймовірностей належності вхідного текстового об'єкта до кожного з класів онтології ПрО;

– розробка методів семантичного анотування з використанням запропонованих ШНМ, а також розробка структурної схеми для роботи системи семантичного анотування текстових документів;

– розробка структури та функцій інструментальних засобів вирішення прикладних задач.

Об'єктом дослідження є процес видобування знань в системах інтелектуальної обробки документів.

Предметом дослідження є методи та моделі семантичного анотування текстових документів з використанням штучних нейронних мереж.

Методи дослідження. Основними методами дослідження є методи штучного та обчислювального інтелекту: теорія штучних нейронних мереж, за допомогою якої синтезовано нові методи, які дозволяють виконувати класифікацію текстової інформації для отримання семантичних анотацій корпусу текстів; технологія Semantic Web, яка дозволила створити моделі отримання метаданих; принципи обробки природно-мовної інформації, які дозволили подати текстові документи в необхідному для машинної обробки форматі. Експериментальні дослідження проводилися в лабораторних умовах і на реальних об'єктах. анотування текстовий документ нейронний

Наукова новизна отриманих результатів. У процесі вирішення поставлених задач отримано такі наукові результати:

1. Вперше запропоновано ієрархічну багатошарову радіально-базисну нейронну мережу, яка в кожному вузлі використовує радіально-базисну нейронну мережу зниженої розмірності, що дозволяє зменшити кількість ознак, які надходять на вхід кожного шару за умов обмеженої навчальної вибірки для формування семантичних анотацій текстових документів.

2. Вперше запропоновано ймовірнісні нейронні мережі спеціального виду, а саме: модифіковану та конкурентну, які розроблені на основі гібридизації стандартної ймовірнісної та узагальненої регресійної нейронних мереж, а також самоорганізовних мап Кохонена, що забезпечує простоту реалізації і високу швидкість обробки та дозволяє отримувати ймовірності належності вхідного текстового об'єкта до кожного з потенційно можливих класів онтології ПрО для генерації семантичних анотацій в послідовному режимі, по мірі надходження текстових документів.

3. Вперше запропонована ймовірнісна модель семантичного анотування текстових документів на основі введення в моделі опису RDF-структур імовірнісної складової, що дозволяє формувати метадані текстових документів з урахуванням ймовірностей належності текстового об'єкта до концепта онтології ПрО та забезпечує оцінку відношення текстових даних щодо поточної онтології.

4. Набула подальшого розвитку модель семантичного анотування з урахуванням бінарних виходів штучної нейронної мережі, яка відрізняється від моделей опису семантичних анотацій на основі RDF-структур використанням інформації з виходів ШНМ, поданої у бінарному вигляді, що дозволило доповнити нею формовані семантичні анотації текстових документів за умов обмеженої вибірки.

Практичне значення отриманих результатів. Розроблені методи та моделі для семантичного анотування текстових документів з використанням штучних нейронних мереж є ефективним підходом до видобування знань із текстових джерел, а також основою для розробки та впровадження засобів прийняття рішень. Вони можуть бути використані як для отримання метаданих текстових документів, так і в інших завданнях, в яких застосовуються принципи класифікації та онтологічного подання знань. На основі запропонованих методів та моделей було безпосередньо розроблено модуль семантичного анотування інформаційно-пошукової системи, який надав можливість більш ефективної обробки текстової інформації за оцінками на основі стандартних метрик, що використовуються під час роботи з текстовими даними.

Запропоновані методи та моделі також можуть бути використані для спрощення роботи багатьох сервісів Інтернет і внутрішньокорпоративних мереж щодо створення інформаційно-пошукових систем нового рівня, здатних у режимі послідовної обробки формувати семантичні анотації для текстових документів з використанням знань онтології ПрО. Використання розроблених методів та моделей також є актуальним й ефективним в таких практичних задачах як: формування метаданих для текстової інформації; розміщення текстових документів за категоріями; навчання і створення онтологій - наповнення новими концептами або екземплярами; реалізація завдання семантичного пошуку; формування профілів користувачів на основі оновлень онтології.

Результати дисертаційної роботи впроваджено на ТОВ «Компанія СМІТ» (акт упровадження від 18.03.2011) у завданні зі створення модуля для семантичного анотування текстових документів в інформаційно-пошуковій системі (зокрема, для web-контенту та текстових ресурсів компанії). Це дозволило підвищити рівень обробки та пошуку інформації, що використовується у локальних та розподілених системах.

Результати дисертаційної роботи впроваджено у навчальному процесі на кафедрі штучного інтелекту Харківського національного університету радіоелектроніки у дисциплінах «Методи та системи штучного інтелекту», «Системи обробки природно-мовної інформації», «Нейромережеві методи обчислювального інтелекту», «Штучні нейронні мережі: архітектури, навчання, застосування» (акт впровадження від 01.06.11).

Особистий внесок здобувача. Всі результати дисертації авторка отримала особисто. У роботах, опублікованих зі співавторами, здобувачці належать: у [2, 3] - метод семантичного анотування на основі ієрархічної радіально-базисної нейронної мережі; у [4, 16] - аналіз особливостей семантичного анотування текстових документів, запропоновано його формальне подання та основні характеристики; у [5, 17, 19] - метод семантичного анотування на основі модифікованої ймовірнісної нейронної мережі; у [6] - метод семантичного анотування на основі конкурентної ймовірнісної нейронної мережі; у [7, 8] - порівняння методів та моделей інтелектуального аналізу текстової інформації; у [11, 14] - підхід до представлення текстових документів у машинно-зрозумілій формі для використання в семантичних репозиторіях, що дозволить підвищити можливість взаємодії та інтеграції інформації з різних джерел.

Апробація результатів дисертації. Результати дисертаційної роботи доповідалися й обговорювалися на 8-й Міжнародній науково-технічній конференції «Проблеми інформатики та моделювання» (м. Харків, Україна, 2008); на 13-му Міжнародному молодіжному форумі «Радіоелектроніка та молодь у ХХІ столітті» (м. Харків, Україна, 2009); на 11-й Міжнародній науково-технічній конференції «Системний аналіз та інформаційні технології» (м. Київ, Україна, 2009); на Міжнародній науково-практичній конференції «Інформаційні технології та інформаційна безпека в науці, техніці та освіті «ІНФОТЕХ-2009» (м. Севастополь, Україна, 2009); на науковій сесії МІФІ-2010 (м. Москва, Росія, 2010); на Міжнародній науковій конференції «Інтелектуальні системи прийняття рішень і проблеми обчислювального інтелекту» (м. Євпаторія, Україна, 2010, 2011); на Міжнародній літній школі «Індуктивне моделювання: теорія і застосування» (м. Київ-Жукин, Україна, 2010, 2011); на 5-й Міжнародній школі-семінарі «Теорія прийняття рішень» (м. Ужгород, Україна, 2010); на Науково-технічній конференції «Інформаційні технології в металургії та машинобудуванні» (м. Дніпропетровськ, Україна, 2011); на 6-й Міжнародній науково-практичній конференції «Наука і соціальні проблеми суспільства: інформатизація та інформаційні технології» (м. Харків, Україна, 2011); на 4-му Міжнародному семінарі з індуктивного моделювання (Київ-Жукин, Україна, 2011); на 5-й Російській літній школі з інформаційного пошуку «RuSSIR 2011» (м. Санкт-Петербург, Росія, 2011); на 6-й Міжнародній конференції «IEEE Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications» (м. Прага, Чеська Республіка, 2011).

Публікації. За результатами досліджень опубліковано 19 робіт, з яких 6 статей (2 одноосібно) у наукових фахових виданнях України та 13 публікацій (6 одноосібно) у збірниках праць міжнародних наукових конференцій і семінарів.

Структура й обсяг дисертаційної роботи. Дисертація складається із вступу, чотирьох розділів, висновків, переліку використаних джерел та додатків. Загальний обсяг дисертації становить 151 сторінку. Робота містить 26 рисунків, з яких 5 рисунків на окремих сторінках, 16 таблиць, 2 додатки на 5 сторінках та перелік використаних джерел із 137 найменувань на 16 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність теми дисертаційної роботи, сформульовано мету і задачі дослідження, наведено відомості щодо наукової новизни отриманих у дисертації результатів, визначено їх практичну цінність, наведено відомості про апробацію та впровадження результатів.

Перший розділ містить огляд проблемної області і постановку задач дисертаційного дослідження. Детально розглянуто поняття семантичного анотування текстових документів, відокремлено його від анотування та реферування, що використовуються для стислого подання текстів. Наведено огляд основних методів і засобів створення семантичних анотацій, особливу увагу приділено напівавтоматичним та автоматичним підходам.

Розглянута можливість використання методів семантичного анотування при створенні систем інтелектуального аналізу даних. Проведено аналіз особливостей семантичного анотування текстових документів, запропоновані його формальне подання та основні характеристики, що дає можливість отримання семантичних анотацій текстових документів шляхом класифікації даних інформаційних текстових ресурсів відповідно до онтології ПрО, яка відображує структурні знання.

Семантична анотація подається у вигляді , де L - унікальна множина для кожного текстового документа, що складається з концептів (класів) онтології, отриманих шляхом проекції множини текстових об'єктів, що належать до цього документа, на задану онтологію з використанням методів ШНМ. Для текстового корпусу, що розглядається, набір текстових об'єктів, отриманих на етапі попередньої обробки, можна подати як , де x(k) - k-й текстовий об'єкт, поданий у вигляді деякого вектору релевантних ознак. N - потужність вихідної вибірки текстових об'єктів. Слід зазначити, що текстовим об'єктом може виступати документ, параграф, речення або інша логічна текстова структура в залежності від заданих умов та від обраного рівня семантичного анотування. При цьому для даної онтології ПрО O множина концептів (класів) визначається як , де c(i) - i-й концепт з O, N₁ - кількість концептів (класів) онтології відповідно. Отримана розмітка може бути згодом подана у табличному вигляді для формування RDF- або OWL-опису та його подальшого використання різними програмними засобами.

У результаті проведеного аналізу сформульовано основні завдання наукового дослідження, викладеного в дисертаційній роботі.

У другому розділі запропоновано модель семантичного анотування текстових документів з урахуванням бінарних виходів ШНМ та ієрархічну радіально-базисну нейронну мережу з багатошаровою архітектурою, яка в кожному вузлі використовує радіально-базисну нейронну мережу зниженої розмірності, що дозволяє зменшити кількість ознак, які надходять на вхід кожного шару при обмеженій навчальній вибірці для формування семантичних анотацій текстових документів.

Рис. 1 Узагальнена модель семантичного анотування текстових документів

Процес семантичного анотування включає такі етапи (рис. 1): визначення необхідних текстових об'єктів з урахуванням обраного рівня семан-тичного анотування; фор-мування вектора ознак для кожного об'єкта; побудова класифікатора на основі онтології та отриманого набору даних; визначення метаданих з використанням класифікатора; одержання логічного опису метаданих кожного документа, перетворення їх у відомі формати представлення знань. Наведена схема дає можливість отримання семантичних анотацій текстових документів завдяки проекції кожного документа на задану онтологію ПрО.

Припустимо, що кожен текстовий об'єкт, що обробляється, x(k) із множини об'єктів X має деякий унікальний ідентифікатор id (). Властивістю, відносно якої будується класифікатор, є визначення його належності до поточного концепту c(i) із онтології O. Значення цієї властивості, що отримується на виходах y ШНМ, є значенням L для кожного текстового документа, . Тоді модель семантичного анотування текстових документів з урахуванням бінарних виходів ШМН має такий вигляд:

(1)

де - унікальний ідентифікатор для поточного текстового об'єкта, - j-й елемент із множини L, - бінарне значення, отримане після обробки інформації на виході ШНМ, яке дорівнює 1 у випадку, якщо текстовий об'єкт належить поточному концепту онтології, і 0 - у протилежному випадку.

Запропонована логічна модель опису знань, отриманих із текстових джерел з використанням апарата на основі ШНМ, і подання їх у RDF-форматі є заключним етапом для формування семантичних анотацій і включення їх у поточну базу знань. Такий підхід дозволить уникнути неоднозначності (невизначеності) інформаційного пошуку, а також підвищить можливість взаємодії та інтеграції інформації з гетерогенних джерел.

У дисертаційній роботі для отримання значень моделі у та формування семантичних анотацій текстових документів було запропоновано ієрархічну радіально-базисну нейронну мережу (Hierarchical Radial Basis Function Network - HRBFN) з багатошаровою архітектурою, яка в кожному вузлі використовує радіально-базисну нейронну мережу зниженої розмірності, що дозволяє зменшити кількість ознак текстової інформації, які надходять на вхід кожного шару при обмеженій навчальній вибірці. Слід відзначити, що текстові дані у векторному вигляді є векторами великої розмірності, отриманими після попередньої обробки текстового корпуса. Крім того, для задачі семантичного анотування обробка даних ускладнюється ще й тим, що набір даних навчальної вибірки може бути меншим за кількість ознак.

На вхід HRBFN подається вектор ознак , розмірності (), при цьому значення n таке, що кількість R-нейронів звичайної RBFN є неприпустимо великим. Розіб'ємо вектор x достатньо довільним чином на набір підвекторів так, що

(2)

при цьому розмірність кожного така, що допускає обробку радіально-базисною нейронною мережею зниженої розмірності.

Перший прихований шар HRBFN утворений р₁ звичайними RBFN, кожна з яких має n_l входів і однакове число m виходів, яке визначається кількістю класів онтології. Таким чином, число виходів першого прихованого шару визначається значенням p₁m<n. Далі на підставі апріорно заданої навчальної вибірки з відомою класифікацією мережі першого прихованого шару навчаються, при цьому навчальний сигнал є спільним для всіх р₁ мереж першого шару.

Після навчання синаптичні ваги «заморожуються» та навчальна вибірка знову подається на вхід усіх мереж, які формують вихідний сигнал де . Цей векторний сигнал розмірності () є вхідним для другого прихованого шару, що містить радіально-базисних мереж.

Рис. 2 Архітектура ієрархічної радіально-базисної нейронної мережі

Мережі другого прихованого шару навчаються аналогічно мережам першого шару, при цьому як навчальний сигнал використовується та сама векторна послідовність Далі «заморожуються» ваги другого шару і формуються його векторний вихід розмірності (). Процес нарощування архітектури HRBFN продовжується до тих пір, поки в вихідному s-му шарі не залишиться одна RBFN, вихід якої розмірності () є виходом y ієрархічної мережі в цілому.

Розглянемо алгоритм навчання радіально-базисної мережі, яка формує шари HRBFN. Введемо до розгляду m похибок навчання

(3)

та m локальних критеріїв

(4)

Рис. 3 Алгоритм навчання радіально-базисної нейронної мережі

де d_j(k) - навчальний сигнал, який приймає значення 1, якщо вхідний текстовий об'єкт належить поточному класу онтології, та 0 - у протилежному випадку, кодує множину класів онтології ПрО; - вектор синаптичних ваг, що потрібно знайти;

- вектор вихідних сигналів радіально-базисного шару.

Для настроювання синаптичних ваг використовуватимемо градієнтну процедуру

(5)

де - параметр кроку пошуку.

Вводячи загальний критерій класифікації

, (6)

можна записати алгоритм одночасного навчання з урахуванням (4) і (6) усіх синаптичних ваг кожної радіально-базисної нейронної мережі, яка формує шари HRBFN, у формі

(7)

У третьому розділі запропоновано ймовірнісну модель семантичного анотування текстових документів, яка дозволяє формувати метадані текстових документів із урахуванням ймовірностей належності текстового об'єкта до класу (концепту) онтології ПрО. Для побудови семантичних анотацій також запропоновано ймовірнісні нейронні мережі спеціального виду, а саме: модифіковану та конкурентну.

Ключовою властивістю моделі є значення ймовірнісної належності текстового об'єкта до кожного класу онтології, що вводиться для логічного опису триплету метаданих. Враховуючи нову властивість, можна записати ймовірнісну модель семантичного анотування текстових документів у такому вигляді:

(8)

де - унікальний ідентифікатор для поточного текстового об'єкта, - j-й елемент із множини L, - значення ймовірності належності текстового об'єкта до концепту онтології, що отримане на виході роботи ймовірнісних мереж спеціального виду.

Основною характеристикою отриманої моделі є те, що за допомогою введеного опису стає можливим включення в RDF-триплет значення ймовірності належності. Це дозволить оцінити взаємозв'язок як текстових документів, так і класів (концептів) онтології, а також зробити виведення нових знань завдяки отриманим значенням .

Для визначення у роботі пропонується використовувати ймовірнісні нейронні мережі спеціального виду. Розглянемо модифіковану ймовірнісну нейронну мережу (Modified Probabilistic Neural Network - MPNN). MPNN є гібридом стандартної ймовірнісної нейронної мережі та узагальненої регресійної нейронної мережі і містить чотири шари обробки інформації: перший прихований, який називається шаром образів, другий прихований шар локальних суматорів, третій прихований шар, що містить єдиний загальний суматор, і вихідний шар дільників.



Рис. 4 Модифікована ймовірнісна нейронна мережа

Вихідною інформацією для синтезу мережі є навчальна вибірка, сформована «пакетом» n-вимірних векторів з відо-мою класифікацією. Передбачається також, що всі вхідні вектори пронормовані так, що а самі образи (без втрати спільності) можуть нале-жати, наприклад, одно-му з трьох класів А, В або С. Кількість нейро-нів у шарі образів приймається рівною N (по одному нейрону на кожен навчальний об-раз), а їх параметри (центри активаційних функцій) визначаються на основі компонент вхідних векторів так, що

(9)

або у векторному вигляді

(10)

Таким чином, у цій мережі реалізується навчання, засноване на пам'яті, за принципом «нейрони в точках даних», що робить його простим і практично миттєвим.

Кожен з нейронів шару образів обчислює зважену суму компонент вхідних сигналів і перетворює її за допомогою нелінійної активаційної функції виду так, що на виході нейронів першого прихованого шару з'являється сигнал у формі

(11)

де j=1_(A), 2_(A),…,N_A(A),…,N_A+1_(B),…,N_A+N_B(B),N_A+N_B+1_(C),…,N_(C), k=N+1, N+2... - індекс (номер) спостереження, що не належить навчальній вибірці, - індекс класу, R приймає значення A або, В або С, - параметр ширини ядерної активаційної функції.

З урахуванням нормування, вираз (10) можна переписати в більш зручній формі

(12)

при цьому, оскільки аргумент (10) може змінюватись в інтервалі

(13)

а вихідний сигнал кожного нейрона -

(14)

Другий прихований шар локальних суматорів (по одному на кожен клас) обчислює суму виходів першого шару у вигляді

(15)

які потім подаються на входи загального суматору третього шару, що обчислює суму і входи діленого дільників вихідного шару. Оскільки вихідний сигнал третього шару подається на входи дільників вихідного шару, на виходах мережі з'являються значення ймовірностей

(16)

Після того, як мережу побудовано, необхідно задати значення параметра ширини , який для нормованих входів обирається досить довільно в інтервалі від нуля до одиниці. Разом з тим, слід зазначити, що простого формального рішення, яке дозволяє отримати значення цього параметра, на сьогодні не існує. І, нарешті, можна розпочинати вирішення завдання власне класифікації та формування семантичних анотацій, пред'являючи MPNN текстові об'єкти з невідомою належністю.

Необхідно зазначити, що занадто мале значення призводить до виникнення «дір» у просторі параметрів та погіршення узагальнюючих властивостей мережі, а занадто велике значення - до розмивання та перекриття класів, що збільшує ймовірність виникнення помилок класифікації. У зв'язку з цим завдання обґрунтованого вибору параметра ширини є актуальним.

Багатовимірну ситуацію знаходження розглянемо в двовимірному просторі з трьома класами A, B, C так, що . У цьому випадку потрібно знайти мінімальну відстань між образами з різних класів. Зрозуміло, що в двовимірному просторі це . Тут виникає процес, аналогічний конкуренції в мапах Кохонена (SOM), але як «переможці» приймаються найближчі образи з різних класів. Якщо j-й образ належить до класу R (класу A або В або С), а k-й не належить, то для усіх необхідно знайти пару, для якої є мінімальним. Для цього в MPNN вводять латеральні зв'язки як у самоорганізованих мапах Кохонена, формуючи конкурентну ймовірнісну нейронну мережу (Competitive Probabilistic Neural Network - CPNN), зображену на рис. 5.

Оскільки

(17)

То

(18)

звідки

Рис. 5 Конкурентна ймовірнісна нейронна мережа

. (19)

У даному випадку , тому чисельник (19) на-лежить інтервалу .

Таким чином, об'єднавши нейрони в групи класів та ввівши латеральні зв'язки між ними, отримуємо конку-рентну імовірнісну нейронну мережу, що дозволяє визначати значення ширини ак-тиваційної функції автоматично.

У четвертому розділі наведено результати моделювання запропонованих у дисертаційній роботі моделей і методів семантичного анотування текстових документів та розв'язки практичних задач, отриманих за їхньою допомогою.

На рис. 6 наведено приклад результатів роботи модуля семантичного анотування інформаційно-пошукової системи для стандартної тестової вибірки «20 Newsgroups» (для тексту великого розміру, 1594 рядків). Використовується метод семантичного анотування на основі MPNN.

Аналіз отриманих результатів показав, що розроблені у дисертаційній роботі методи семантичного анотування текстових документів на основі MPNN та CPNN, та модуль семантичного анотування, розроблений на основі цих методів, забезпечують спрощення обробки результатів логічного виводу та скорочення часу пошуку релевантної інформації шляхом формування машинно-зрозумілих описів, які містять потрібну інформацію та дозволяють обробляти безпосередньо семантичні анотації документів.

Рис. 6 Приклад семантичної анотації з використанням методу на основі MPNN

У висновках сформульовано наукові та практичні результати, що їх одержано в дисертаційній роботі.

Додаток містить копії документів про впровадження та практичне застосування результатів, отриманих у дисертаційній роботі.

ВИСНОВКИ

У дисертаційній роботі представлено результати, які відповідно до поставленої мети є вирішенням науково-технічної задачі розробки інтелектуальних методів семантичного анотування текстових документів з використанням штучних нейронних мереж. Проведені дослідження дозволили зробити такі висновки.

1. Проаналізовано сучасний стан проблеми семантичного анотування текстових документів, визначено основні методи, особливості їх застосування та коло вирішуваних задач. Перспективним засобом розв'язування таких задач є гібридні системи, що поєднують інтелектуальну обробку текстових документів, зокрема на основі штучних нейронних мереж, та використання знань поточної онтології ПрО.

2. Вперше запропоновано ієрархічну багатошарову радіально-базисну нейронну мережу, яка в кожному вузлі використовує радіально-базисну нейронну мережу зниженої розмірності, що дозволяє зменшити кількість ознак, які надходять на вхід кожного шару за умов обмеженої навчальної вибірки для формування семантичних анотацій текстових документів. У роботі введено алгоритм навчання радіально-базисної нейронної мережі з багатошаровою архітектурою. Це дає можливість обробки інформації по мірі її надходження в послідовному режимі та характеризується достатньою простотою реалізації.

3. Вперше запропоновано ймовірнісні нейронні мережі спеціального виду, а саме: модифіковану та конкурентну, які розроблені на основі гібридизації стандартної ймовірнісної, узагальненої регресійної нейронних мереж, а також самоорганізовних мап Кохонена, що забезпечує простоту реалізації і високу швидкість обробки та дозволяє отримувати ймовірності належності вхідного текстового об'єкта до кожного з потенційно можливих класів онтології ПрО для генерації семантичних анотацій в послідовному режимі, по мірі надходження текстових документів. Для автоматичного настроювання параметру ширини активаційної функції було введено латеральні зв'язки між групами класів у шарі образів. Це дозволило визначити більш точні значення ймовірностей належності.

4. Вперше запропоновано ймовірнісну модель семантичного анотування на основі введення в моделі опису RDF-структур ймовірнісної складової, що дозволяє формувати метадані текстових документів з урахуванням ймовірностей належності текстового об'єкта до кожного з потенційно можливих класів онтології ПрО. Це забезпечує оцінку відношення текстових даних відносно поточної онтології та можливость логічного виведення нових знань.

5. Набула подальшого розвитоку модель семантичного анотування з урахуванням бінарних виходів штучної нейронної мережі, яка відрізняється від моделей опису семантичних анотацій на основі RDF-структур використанням інформації з виходів ШНМ, поданої у бінарному вигляді. Це дозволило вказувати значення бінарної належності поточного текстового об'єкта до конкрентого концепта онтології під час генерації семантичних анотацій текстових документів.

6. Проведено імітаційне моделювання запропонованих методів та показано їх переваги над іншими методами в задачах семантичного анотування текстових документів. Вирішено практичну задачу семантичного анотування текстових документів інформаційно-пошукової системи. Результати дослідження впроваджено в ТОВ «Компанія СМІТ», м. Харків, що підтверджено відповідним актом.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Шубкина О.В. Интеллектуальный анализ текстов в системах менеджмента знаний / О.В. Шубкина // Научно-технический журнал «Бионика интеллекта». 2009. № 1(70). C. 142-146.

2. Волкова В.В. Обробка текстової інформації в режимі реального часу з використанням методів обчислювального інтелекту / В.В. Волкова, О.В. Шубкіна // Індуктивне моделювання складних систем: Збірник наукових праць. Київ, 2010. Вип. 2. C. 25-31.

3. Бодянский Е.В. Семантическое аннотирование текстовых документов на основе иерархической радиально-базисной нейронной сети / Е.В. Бодянский, О.В. Шубкина // Восточно-Европейский журнал передовых технологий. Харьков, 2010. Вып. 6/3 (48). C. 72-77.

4. Рябова Н.В. Обобщенная модель семантического аннотирования текстовых документов в системах управления знаниями / Н.В. Рябова, О.В. Шубкина // Сборник научных трудов «Системы обработки информации». Харьков, 2010. Вып. 9 (90). C. 70-74.

5. Бодянский Е.В. Семантическое аннотирование текстовых документов с использованием модифицированной вероятностной нейронной сети / Е.В. Бодянский, О.В. Шубкина // Системные технологии. Региональный межвузовский сборник научных трудов. Днепропетровск, 2011. Вып. 4 (75). C. 48-55.

6. Шубкина О.В. Модели семантического аннотирования текстовых документов с использованием искусственных нейронных сетей специального вида / О.В. Шубкина // Системы обработки информации: сборник научных трудов. Харьков, 2011. Вып. 6. C. 221-225.

7. Рябова Н.В. Методы и модели интеллектуального анализа текстов в системах менеджмента знаний / Н.В. Рябова, О.В. Шубкина // Материалы восьмой международной научно-технической конференции «Проблемы информатики и моделирования»: тезисы докл. Харьков, 2008. C. 58.

8. Шубкина О.В. Решение задач менеджмента знаний на основе интеллектуальной обработки текстовой информации / О.В. Шубкина // Материалы 13-го Международного молодежного форума «Радиоэлектроника и молодежь в ХХІ веке»: Ч.2. Харьков: ХНУРЕ, 2009. C. 124.

9. Шубкина О.В. Многоуровневая система семантического аннотирования коллекций Web-документов / О.В. Шубкина // Материалы XI Международной научно-технической конференции «САИТ-2009». К.: УНК «ИПСА» НТУУ «КПИ», 2009. C. 413.

10. Шубкина О.В. Методы разметки последовательностей для создания семантических аннотаций информационных ресурсов / О.В. Шубкина // Материалы международной научно-практической конференции: «Информационные технологии и информационная безопасность в науке, технике и образовании «ИНФОТЕХ-2009»: тезисы докл. Севастополь: Изд-во СЕВНТУ, 2009. C. 197-200.

11. Рябова Н.В. «Разработка архитектуры распределенной версии онтологического портала МОНУ» / Н.В. Рябова, А.Ю. Шевченко, М.В. Белоиваненко, М.В. Головянко, Н.А. Волошина, О.В. Шубкина // Научная сессия МИФИ-2010. Сборник научных трудов. Т.5. Интеллектуальные системы и технологи: тезисы докл. М.: МИФИ, 2010. C. 71-74.

12. Шубкина О.В. Использование радиально-базисной нейронной сети для классификации именованных сущностей / О.В. Шубкина // Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта: Материалы международной научной конференции. Том 2: тезисы докл. Херсон: ХНТУ, 2010. C. 506-509.

13. Шубкина О.В. Классификация текстовой информации с использованием иерархической радиально-базисной нейронной сети / О.В. Шубкина // Материалы V международной школы-семанара «Теория принятия решений»: тезисы докл. Ужгород, УжНУ, 2010. C. 235-237.

14. Волошина Н.А. Онтологический подход к построению хранилищ текстовых документов в системах поддержки принятия решений / Н.А. Волошина, А.А. Козополянская, Н.В. Рябова, О.В. Шубкина // Материалы V междунар. школы-семанара «Теория принятия решений»: тезисы докл. Ужгород: УжНУ. 2010. C. 46-47.

15. Шубкина О.В. Модель логического описания метаданных для текстовой информации / О.В. Шубкина // Материалы VI-й Международной научно-практической конференции «Наука и социальные проблемы общества: информатизация и информационные технологии». Харьков, 2011. C. 122-123.

16. Шубкина О.В. Обработка текстовой информации с помощью специализированной нейронной сети / О.В. Шубкина, Е.В. Бодянский // Интеллектуальные системы принятия решений и проблемы вычислительного интеллекта: Материалы международной научной конференции. Том 2: тезисы докл. Херсон: ХНТУ, 2011. C. 506-509.

17. Бодянский Е.В. Модифицированная вероятностная нейронная сеть в задачах аннотирования текстовой информации / Е.В. Бодянский, О.В. Шубкина // Материалы международной научно-практической конференции: «Информационные технологии и информационная безопасность в науке, технике и образовании «ИНФОТЕХ-2011». Севастополь: Изд-во СЕВНТУ, 2011. C. 191-192.

18. Bodyanskiy Ye. Semantic Annotation of Text Documents Using Evolving Neural Network Based on Principle “Neurons at Data Points” / Ye. Bodyanskiy, O. Shubkina // Proceedings of the 4th International Workshop on Inductive Modeling (ICIM'2011). Kyiv, 2011. P. 31-37.

19. Bodyanskiy Ye. Semantic Annotation of Text Documents Using Modified Probabilistic Neural Network / Ye. Bodyanskiy, O. Shubkina // Proceedings of the 6th IEEE International Conference on Intelligent Data Acquisition and Advanced Computing Systems: Technology and Applications. Prague, 2011. P. 328-331.

АНОТАЦІЯ

Шубкіна О.В. Методи та моделі семантичного анотування текстових документів з використанням штучних нейронних мереж. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. - Харківський національний університет радіоелектроніки, Харків, 2011.

Дисертацію присвячено розробці методів та моделей семантичного анотування текстових документів з використанням штучних нейронних мереж. Вперше запропоновано ієрархічну радіально-базисну нейронну мережу з багатошаровою архітектурою, що дозволяє знизити кількість ознак, які надходять на вхід кожного шару при обмеженій навчальній вибірці для формування семантичних анотацій текстових документів. Вперше запропоновано ймовірнісні нейронні мережі спеціального виду, які є гібридами стандартної ймовірнісної та узагальненої регресійної нейронних мереж, а також самоорганізовних мап Кохонена. Це дозволяє визначити ймовірності належності вхідного текстового об'єкта до кожного з класів онтології предметної області, формувати семантичні анотації в послідовному режимі по мірі надходження текстових документів та забезпечує високу швидкість обробки інформації.

Вперше запропоновано ймовірнісну модель семантичного анотування на основі введення в моделі опису RDF-структур ймовірнісної складової, що забезпечує оцінку відношення текстових даних щодо поточної онтології та можливість виведення нових знань. Набула подальшого розвитоку модель семантичного анотування з урахуванням бінарних виходів штучних нейронних мереж.

Ключові слова: семантична анотація, штучні нейронні мережі, методи навчання, ймовірність належності, багатошарова архітектура.

аннотация

Шубкина О.В. Методы и модели семантического аннотирования текстовых документов с использованием искусственных нейронных сетей. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - системы и средства искусственного интеллекта. - Харьковский национальный университет радиоэлектроники, Харьков, 2011.

Диссертация посвящена исследованию и разработке методов и моделей семантического аннотирования текстовых документов с использованием искусственных нейронных сетей.

В диссертационной работе подробно рассмотрено понятие семантического аннотирования текстовых документов, которое отделено от аннотирования и реферирования, используемых для краткого представления текстов. Приведен обзор основных методов и средств создания семантических аннотаций, особое внимание уделено полуавтоматическим и автоматическим подходам, представлена характеристика инструментальных средств семантического аннотирования.

Рассмотрена задача семантического аннотирования текстовых документов, основные методы обработки текстовой информации для формирования семантических аннотаций документов, определены преимущества и недостатки рассмотренных подходов.

...