Моделі семантичних нейронних мереж та їх застосування в системах штучного інтелекту

Размещено на http://www.allbest.ru/

Харківський національний університет радіоелектроніки

УДК 004.8:004.912

Автореферат

дисертації на здобуття наукового ступеня кандидата технічних наук

МОДЕЛІ СЕМАНТИЧНИХ НЕЙРОННИХ МЕРЕЖ ТА ЇХ ЗАСТОСУВАННЯ В СИСТЕМАХ ШТУЧНОГО ІНТЕЛЕКТУ

05.13.23 - системи та засоби штучного інтелекту

Шуклін Дмитро Євгенійович

Харків - 2003

Дисертацією є рукопис.

Робота виконана в Харківському національному університеті радіоелектроніки, Міністерство освіти і науки України.

Науковий керівник

доктор технічних наук, професор

Шабанов-Кушнаренко Сергій Юрієвич,

Харківський національний університет радіоелектроніки, професор кафедри прикладної математики

Офіційні опоненти:

- доктор технічних наук, професор Любчик Леонід Михайлович, Національний технічний університет "Харківський політехнічний інститут", завідувач кафедри комп'ютерної математики та математичного моделювання, м. Харків;

- кандидат технічних наук, доцент Ситнікова Поліна Едуардівна, Харківський гуманітарний університет “Народна українська академія”, доцент кафедри інформаційних технологій та документознавства, м. Харків.

Провідна установа

Донецький державний інститут штучного інтелекту, відділ фундаментальних проблем розпізнавання мовних образів, НАН України, м. Донецьк.

Захист відбудеться “ 23 ” квітня 2003р. о 14⁰⁰ годині на засіданні спеціалізованої вченої ради Д 64.052.01 в Харківському національному університеті радіоелектроніки за адресою: пр. Леніна, 14, м. Харків, 61166, факс: (0572) 40-91-13.

З дисертацією можна ознайомитися в бібліотеці університету за адресою: пр. Леніна, 14, м. Харків, 61166.

Автореферат розісланий “ 19 ” березня 2003р.

Вчений секретарспеціалізованої

вченої ради Саєнко В.І.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

нейронний мережа морфологічний мова

Актуальність теми. Людство все інтенсивніше використовує інформаційні технології. Комп'ютери стають складнішими щомісяця та знаходять нові галузі застосування. Ускладнюються завдання, котрі вирішуються обчислювальними машинами. Збільшується об'єм програмного забезпечення, необхідного для виконання поставлених завдань. Вирішити проблеми, що виникли в сфері взаємодії людини з обчислювальними системами може спілкування з машиною природною мовою. Природна мова здатна повністю задовольнити вимоги людей до мови для роботи з обчислювальною машиною. Спілкування з комп'ютером природною мовою зменшить психологічний стрес, кількість помилок та аварій, значно знизить вартість навчання персоналу. Великий внесок у дану галузь внесли Рене Декарт, Н.Вінер, А.Тюрінг, У.Маккалок, У.Піттс, Дж. фон Нейман, Н.Хомскій, Т.Віноград, Ф.Розенблат, М.Мастерман, М.Минский, Л.Заде, Н.М.Амосов, Ю.Д.Апресян, Ю.П.Шабанов-Кушнаренко.

Природній мові властива багатозначність, що в значній мірі полегшує її використання, а також ускладнює автоматизацію її обробки. В омонімії однин і той же текст може мати різні значення в різних контекстах, а в синонімії кілька різних текстів в одному контексті можуть нести одне й те ж значення. Коли при вирішенні проблем синонімії та омонімії використовують послідовний перебір різноманітних варіантів розбору тексту, виникає велика кількість тупікових шляхів розбору. Доводиться повертатися до попередніх проміжних результатів. Однак людина розуміє текст як єдине ціле. Людина паралельно сприймає багато різноманітних варіантів розбору речення в усій різноманітності смислових відтінків, акцентуючи увагу на найвірогіднішому варіанті, при цьому не відкидаючи менш вірогідних. Послідовні алгоритми розбору не можуть ефективно здійснювати паралельний аналіз текстів. Тому виникає актуальна задача розробки формальних моделей паралельного, морфологічного, синтаксичного та семантичного аналізу. Одним із варіантів реалізації паралельної обробки тексту природної мови може стати застосування штучної нейронної мережі. Розуміння тексту можливе тільки при наявності в пам'яті системи моделі тексту. У разі застосування нейронної мережі, елементи такої моделі будуть реалізовані як фрагменти мережі. Модель буде представлена в пам'яті системи в активній, а не в декларативній формі. Аналогічно процесу розуміння у людини, вся різноманітність аналізу вхідного тексту, що може провадити система, буде одночасно здійснена всім об'ємом формальної моделі.

Документи фінансової звітності, оброблювані автоматизованими системами, є текстами на обмеженій предметною галуззю природній мові. Найменування статей документів представляє собою речення природної мови, що описують семантику, до якої відносяться числові показники, що містяться в електронних документах. Такі найменування найчастіше зрозумілі тільки людині, тому що мають значеннєву неоднозначність. Поширюються безпаперові технології, такі як електронний документообіг. Швидкими темпами йде комп'ютеризація державного апарата. В умовах сучасної України як демократичної держави з ринковою економікою необхідно забезпечити швидке реагування державних структур на зміну законодавства. Однак жостка реалізація систем документообігу не дозволяє швидко переналагоджувати автоматизовані системи. Запровадивши в системи електронного документообігу результати даної роботи, що дозволяють обробляти синонімію й омонімію фінансових показників електронних документів, можна передати такій системі значний обсяг рутинної роботи, що виконується зараз тільки за участю людини.

Зв'язок роботи з науковими програмами, темами. Дисертаційна робота виконувалася згідно з планом науково-технічних робіт Харківського національного університету радіоелектроніки в рамках держбюджетних тем NГР 0193U039124 “Розробка програмних та технічних засобів локальної мережі ЕОМ та розподілених баз даних моделювання систем управління економічними та технічними системами”, та №ДР 0100U005436 “Розробка математичного та програмного забезпечення системи логічної підтримки проектування систем штучного інтелекту”, у яких автор брав участь як виконавець.

Мета і задачі дослідження. Основною метою цієї дисертаційної роботи є розв'язання шляхом розробки штучної нейронної мережі задачі ідентифікації символьних послідовностей, визначення їх морфологічних та синтаксичних ознак, враховуючи феномени синонімії та омонімії в текстах обмеженої природної мови, та аналізу ідентифікованих елементів продукційною експертною системою, що необхідно для створення ефективного інтерфейсу спілкування між автоматичними системами та рядовими користувачами.

Основні задачі дослідження. Для дослідження поставленої мети під час досліджень з теми дисертаційної роботи, ставились та вирішувались такі задачі:

Провести аналіз моделей формальної обробки текстів природної мови, що вже існують, та обґрунтувати необхідність розробки системи, яка обробляє природну мову на основі штучної нейронної мережі;

Розробити модель семантичної нейронної мережі, що дозволяє відображати формальну модель тексту, як деяку алгебру з операціями що виконуються нейронами семантичної нейронної мережі над елементами природної мови;

Розробити структуру семантичної нейронної мережі, що збуджує нейрони, котрі відповідають елементам тексту, виконує морфологічний розбір слів та синтаксичний розбір речень, обробляє морфологічну та синтаксичну синонімію та омонімію природної мови;

Розробити структуру семантичної нейронної мережі, що дозволяє здійснювати класифікацію елементів тексту завдяки паралельному виконанню множини правил в базі знань предметної області;

Розробити віртуальну машину, що моделює паралельну роботу семантичної нейронної мережі на послідовній обчислювальній системі;

Розробити програмні продукти, в основу котрих закладено розроблені структури семантичної нейронної мережі;

На контрольних прикладах провести експериментальну перевірку правильності функціонування розроблених структур семантичної нейронної мережі.

Об'єктом дослідження в даній роботі є система, що виконує обробку текстів обмеженої природної мови.

Предметом дослідження є модель штучної нейронної мережі яка виконує морфологічний, синтаксичний та семантичний аналіз тексту обмеженої природної мови з урахуванням феномену синонімії та омонімії.

Методи дослідження. При розробці формальної моделі морфологічної, синтаксичної та семантичної обробки тексту природної мови було використано математичний апарат теорії інтелекту - алгебри скінченних предикатів та предикативних операцій, розроблений Шабановим-Кушнаренко Ю.П. та апарат семантичної нейронної мережі, розроблений в даній роботі на основі вже існуючого апарата штучних нейронних мереж Неймана-Макалокка-Пітса.

Наукова новизна роботи.

Вперше розроблена модель семантичної нейронної мережі, що відрізняється від штучної нейронної мережі Неймана-Макалокка-Пітса відсутністю обмежень на топологію зв'язків між нейронами, наявністю несинхронізованих нейронів та можливістю обробляти градієнтні дані. Завдяки близькій аналогії між природною мовою та математичними виразами семантична нейронна мережа, як формальна алгебра, дозволяє представляти модель обмеженої природної мови й обробляти елементи тексту як символьні послідовністі.

Вперше створена модель структури зв'язків нейронів семантичної нейронної мережі, названої синхронізованим лінійним деревом, що є скінченним автоматом і забезпечує з урахуванням морфологічної і синтаксичної синонімії й омонімії ідентифікацію лексем, морфологічних і синтаксичних ознак, що відповідають елементам тексту, паралельно виконує морфологічний аналіз словоформ та синтаксичний аналіз речень, що приводить до збільшення швидкості аналізу багатозначного тексту.

Вперше запропонована модель структури зв'язків нейронів семантичної нейронної мережі, названою лінією часу, що становить групу послідовно пов'язаних нейронів, котрі відповідають квантам часу, що виконує функцію короткочасної пам'яті і забезпечує встановлення зв'язків між елементами різних речень, що дозволяє реалізувати аналіз зв'язаного тексту завдяки використанню під час аналізу результатів розбору попередніх речень.

Вперше розроблена модель структури зв'язків семантичної нейронної мережі, аналогічна механізму прямого виводу продукцій, що моделює паралельне виконання множини правил у базі знань предметної області як мережу нечітких логічних операцій, які виконуються нейронами, що дозволяє на основі правил бази знань й ідентифікованих у тексті лексем та їхніх граматичних ознак реалізувати семантичний аналіз тексту обмеженої природної мови.

Вперше запропонована модель семіотичного зворотного зв'язку, яка застосовується в семантичній нейронній мережі для коригування словоформ в процесі побудови вихідних речень, що дозволяє здійснювати операції словотвору і словозміни в синхронізованому лінійному дереві, значно зменшуючи кількість нейронів необхідних для реалізації шару синтезу тексту.

Практичне значення отриманих результатів. Запропонований набір функцій програмного інтерфейсу API для ядра віртуальної машини, що моделює семантичну нейронну мережу, може використовуватися як при розробці систем, що моделюють нейронні мережі, так і самостійно, в об'єктно-реляційно-мережевих системах управління базами даних і знань. Розроблена програмна реалізація віртуальної машини може застосовуватися як програмний компонент, що моделює семантичну нейронну мережу на послідовній обчислювальній мережі. Розроблена програмна реалізація механізму прямого виводу продукцій на основі семантичної нейронної мережі може застосовуватися як самостійно, у вигляді окремого програмного продукту, так і як компонент механізму висновку продукційної експертної системи. Розроблена програмна реалізація, що будує дерево синтаксичного підпорядкування речення, може використовуватися як компонент системи, котрий обробляє текст природної мови. У навчальний процес факультету ТКВТ ХНУРЕ було запроваджено результати кандидатської дисертації, теоретичні результати дисертаційного дослідження були використані при підготовці навчального видання: Методичні вказівки до лабораторних робіт з курсу "Інтелектуальні засоби виміру" для студентів усіх форм навчання спеціальності 7.09.1301 "Метрологія, стандартизація та сертифікація" / Упоряд.: А.І. Тесленко, А.М. Книш, В.В. Дегтярьов. - Харків: ХТУРЕ (акт від 24.01.2002). Спеціально модифікована семантична нейронна мережа, що обробляє семантичну синонімію та омонімію фінансових показників електронних документів, була використана при реалізації АрмО Ф6 ФСС з ТВП (довідка від 30.11.2001) та запроваджена у виконавчій дирекції Харківського обласного відділення Фонду соціального страхування з тимчасової втрати працездатності (довідка від 27.03.2002), а також отримала від тестової лабораторії PC Magazine Russian Edition логотип "Yes, It works Office Extensions" і розміщена в бібліотеці Microsoft Office Extensions (LocNet Ver. 0.3 - Застосування семантичної нейронної мережі для обробки семантичної синонімії та омонімії фінансових показників електронних документів (Excel 97 / Access 97) / Шуклин Д.Е. // Id:620 Date:2002.04.03 URL: http://www.microsoft.ru/offext/details.aspx?id=620).

Особистий внесок пошукувача. Усі результати дисертаційної роботи отримані автором самостійно. У роботі [1] дисертанту належить: визначення семантичної нейронної мережі; опис функціонування синхронізованих і несинхронізованих нейронів; формулювання функції, що виконує формальний нейрон над градієнтними даними; також доведено виконання властивостей асоціативності і правил де-Моргана для формальних нейронів, що застосовуються в семантичній нейронній мережі. У роботі [2] автор застосував принцип перетворення віртуальних машин для визначення змісту тексту як стану семантичної нейронної мережі та реалізації сховища нейронів семантичної нейронної мережі; описав принципи організації сховища нейронів і внутрішню структуру формального нейрона семантичної нейронної мережі.

Апробація результатів дисертації. Про основні результати дисертаційної роботи доповідалося на міжнародній студентській науковій конференції і виставці "Сучасна електроніка - каталізатор науково-технічного прогресу", де також було проведено і обговорення основних результатів. (Харків - 1994), 2-й міжнародній студентській науковій конференції і виставці-ярмарку, присвяченої 100-річчю винаходу радіо (Харків - 1995), 3-й Міжнародній студентській науковій конференції і виставці "Сучасна електроніка - каталізатор науково-технічного прогресу" (Харків - 1996), 5-му міжнародному молодіжному форумі "Радіоелектроніка і молодь у XXІ столітті " (Харків - 2001), на 5-му науково-практичному семінарі "Новые информационные технологии" (Москва - 2002), на 6-му міжнародному молодіжному форумі "Радіоелектроніка і молодь у XXІ столітті " (Харків - 2002) і на третій міжнародній науково-практичній конференції "Штучний інтелект-2002" (сел. Кацивелі, Крим - 2002).

Структура та об'єм дисертаційної роботи. Дисертаційна робота складається зі вступу, п'яти розділів, висновків, зі списку використаної літератури, додатків. Повний об'єм роботи - 196 сторінок. Дисертація містить 45 рисунків на 19 сторінках, 6 додатків на 40 сторінках, список використаної літератури з 79 найменувань на 7 сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність дисертації, сформульовано основну мету та задачі для дослідження, наведено відомості про зв'язок обраного напрямку з планами організації, в якій виконувалася робота, показана наукова новизна та практична цінність отриманих результатів. Показано наявність проблем проектування, супроводу та експлуатації складних програмних систем. Було акцентовано увагу на наявності проблеми спілкування користувачів з програмними системами природною мовою. Було запропоновано покращити ергономічність програмних систем шляхом введення в них здатності розуміти команди природною мовою. Висунуто тезу про можливість реалізації системи, що розуміє природну мову на основі штучної нейронної мережі.

У першому розділі проведено аналіз наслідків науково-технічних революцій. Було висловлено припущення про прогресивну соціальну роль автоматизації фізичної та розумової праці. Зроблено висновок про неприйнятність, а часто і про неможливість використання спеціалізованих мов для керування складними обчислювальними системами. Продемонстровано універсальність та прийнятність природної мови як мови спілкування людини з інформаційними системами. Зроблено висновок про необхідність формального описання природної мови для створення ефективного інтерфейсу спілкування між автоматичними системами та кінцевими користувачами. Розглянуто рівні формального описання текстів природної мови як семіотичної системи. Описано основні успіхи в галузі створення математичного апарата розуміння природної мови. Проведено аналіз важливості зворотнього зв'язку для вирішення проблеми обробки текстів природної мови. Описано сучасні досягнення в формалізації процесу обробки тексту природної мови. Великий внесок у дану галузь внесли Рене Декарт, Н.Вінер, А.Тюрінг, У.Маккалок, У.Піттс, Дж. фон Нейман, Н.Хомскій, Т.Віноград, Ф.Розенблат, М.Мастерман, М.Минский, Л.Заде, Н.М.Амосов, Ю.Д.Апресян, Ю.П.Шабанов-Кушнаренко. Розглянуто складність єдиної, відомоі на сьогодні системи, що здатна розуміти зміст текстів природної мови - людського мозку. Проведено аналіз основних досягнень в моделюванні природних нейронних мереж та створення штучних нейронних мереж. Проведено аналіз труднощів, що виникають при реалізації системи, що здатна розуміти природну мову.

У другому розділі встановлено, що для розуміння змісту речень природної мови за допомогою послідовних обчислювальних цифрових машин необхідна формальна мова описання змісту речень. Показано наявність аналогії між природною мовою та математичними мовами. Висунуто вимоги до математичної алгебри, до котрої належать смислові предикати. Застосовано математичний апарат теорії інтелекту - алгебри скінченних предикатів та предикатних операцій, розроблений Ю.П. Шабановим-Кушнаренко, як базу для логічної алгебри. Зроблено припущення про те, що змістом тексту природної мови є певний предикат. Акцентовано увагу на аналогії між структурою дерева синтаксичного підпорядкування, що використовується в лінгвістиці, та формулою речення, яка виражає зміст тексту. Виявлено, що схеми формули речення являють собою дерева, у вузлах котрих знаходяться операції алгебри логіки, що обробляють значення предметних змінних величин. Структура речення виражаєтся структурою формули предиката. Описана структура предиката змісту та показана її еквівалентність з певним графом. Введено поняття графа змісту, що еквівалентний предикату змісту. Описано структуру графа змісту. Показано можливість реалізації графа змісту певною штучною нейронною мережею. Грунтуючись на тезі фон. Неймана про теорему Гьоделя, зроблено висновок про придатність штучної нейронної мережі для реалізації на її основі обчислювальної системи, що обробляє текст природної мови.

Під терміном семантична нейронна мережа будемо розуміти мережу динамічно пов'язаних між собою об'єктів, паралельно або квазіпаралельно виконуючих операції нечіткої логіки, що обмінюються інформацією, й організованих у єдине ціле деякими організуючими принципами. Організуючі принципи можуть володіти власною обчислювальною активністю і взаємодіяти з нейронами. Нейрону може бути призначена відповідність деякому елементу семантики предметної області, а зв'язкам між нейронами - відносини між елементами семантики. Визначимо окремий нейрон як . Областю визначення такої алгебри буде множина нейронів , з яких складається нейронна мережа. Кожен нейрон представлений набором із теперішнього внутрішнього стану нейрона та теперішнього набору його зв'язків . Набор зв'язків нейрона , складається з окремих зв'язків нейрона , де - тип зв'язку (наприклад: вхід вихід, що синхронізують зв'язок), - нейрон з котрим встановлено цей зв'язок. Вхідні зв'язки називаютья дендритом, вихідні - аксоном. Внутрішній стан нейрона включає в себе операцію, що виконується нейроном, та результати обробки вихідних даних. У процесі роботи нейрон отримує дані від інших нейронів по дендриту, обробляє певним чином і передає далі по аксону в нейрони - приймачі. Описано проблему синхронізації величезної кількості одночасно працюючих процесів емуляціі нейронів та запропоновано її вирішення з використанням синхронізованих та несинхронізованих нейронів. Несинхронізовані нейрони обробляють вхідні дані та видають результати їх обробки безперевно. Синхронізовані нейрони видають результат безперервно, однак обробляють дані тільки в певні кванти часу. Момент активізації визначається спеціальним синхронізуючим входом. Обмін інформацією між нейронною мережею та зовнішнім середовищем виконується рецепторами та ефекторами. Показано можливість побудови семантичної нейронної мережі, що складається з підмереж, котрі обмінюються між собою інформацією через пари рецептор/ефектор. Описано розпізнавання рецепторами постійних ситуацій. Показано, що розроблена семантична нейронна мережа з точки зору біології ближче до математичної моделі мережі синапсів, а не математичної моделі мережі нейронів.

У семантичній нейронній мережі нейрон може відповідати певному елементу семантики тексту, що обробляється. Елементи семантики - сукупність певних понять та відносин між поняттями, котру можливо зіставити одному нейронові. Зміст тексту, що представлений станом нейронної мережі, обробляється мережею, як потік градієнтних даних, котрі передаються від одного нейрона до іншого. Під градієнтними даними розумітимемо цілі числові величини, що знаходяться в певному діапазоні. З одного боку, цей діапазон відповідатиме повному підтвердженню, з другого - повному відхиленню. Для спрощення викладу ми будемо вважати, що мінімальне значення цього діапазону є , а максимальне - . У випадку обробки діапазону в інтервалі від до легко провести нормалізацію діапазону градієнтних даних та отримати діапазон в інтервалі від до . Для цього дані, що обробляються нормалізуються за формулою: , денормалізація виконується за такою формулою: . Операції обробки даних реалізуються нейронами.

Операція диз'юнкції "" реалізується операцією взяття максимуму , котра обчислює максимальне значення від усіх вхідних градієнтних величин, що лежать в діапазоні від 0 до та надійшли на дендрит нейрона, або операцією збалансованого додавання , котра аналогічна операції додавання вірогідностей. Операція кон'юнкції "" реалізується операцією взяття мінімуму , котра обчислює мінімальне значення від усіх градієнтних величин, що лежать в діапазоні від до та надходять на дендрит нейрона, або операцією збалансованого множення , котра аналогічна операції множення вірогідностей в теорії вірогідностей. Операція інверсії "" визначається як: де - результат; - вхідні дані; - мінімальне значення, що береться зі вхідних даних; -максимальне значення, що приймається вхідними даними. Операції диз'юнкції та кон'юнкції підпорядковуються властивостям асоціативності , та правилам де Моргана , .

Доведено властивості та правила де Моргана для операцій диз'юнкції та кон'юнкції, що реалізовані збалансованим додаванням, множенням та взяттям максимуму, мінімуму. Показано можливість моделювання графа змісту семантичною нейронною мережею. На відміну від графа змісту, обчислення значення функції змісту в семантичній нейроннії мережі виконується не миттєво, а є процесом, що розвивається протягом певного часу. Різниця між семантичною нейронною мережею та мережею Неймана-Маккаллока-Піттса полягає у відсутності обмежень на топологію зв'язків між нейронами, наявності несинхронізованих нейронів та виконанні операцій нечіткої логіки, замість логічних операцій булевої алгебри. Нейрони в семантичній нейронній мережі відповідають елементам семантики природної мови. Кожний нейрон семантичної нейронної мережі має скінченну кількість станів. Тож семантична нейронна мережа може представити модель тексту, обмежену скінченним автоматом.

У третьому розділі розглянуто аналогію між семантичною нейронною мережею та алгеброю логіки. Введено рівні що ідентифікують елементи тексту на котрі можна розділити нейронну мережу. Окремий нейрон в підмережі розбору тексту означає елемент тексту, що відповідає етапу обробки, до котрої відноситься дане нашарування нейронної мережі. Елементи тексту - це будь-які сутності природної мови із завершеним змістом, такі, як символ, склад, слово, словосполучення, речення, абзац, весь текст. Різним етапам обробки відповідають різні рівні агрегації елементів тексту, наприклад: символ, склад, слово, словосполучення. У випадку наявності відповідного елементу в тексті, що аналізується, нейрон набуває значення "вірно", в у випадку відсутності - "невірно". Оскільки процес аналізу тексту розвивається в часі, по мірі надходження в нейронну мережу нових даних в нейронній мережі виникають хвили активності, що розповсюджуються від рецепторів до ефекторів. Можна вивести постулат, що одному фронту такої хвилі відповідають елементи тексту, які прийняті мережею безпосередньо перед початком цього фронту.

Після аналізу тексту в шарі обробки, результат обробки динамічно формується в шарі ефекторів, як сукупний стан усіх нейронів шару ефекторів. Кожен нейрон шару ефекторів відповідає певному елементу тексту. Наприклад, нейрон, що представляє елемент "іменник жіночого роду", активізується при досягненні шару ефекторів фронтом хвилі, котра відповідає завершенню введення в мережу таких слів, як "мама", "маме", "машина", "машине"… Шар обробки, побудований за принципом синхронізованого лінійного дерева, містить в собі підшари синхронізованих нейронів, що виконують операцію кон'юнкції, та підшари несинхронізованих нейронів, що виконують операції диз'юнкції та інверсії. Кожному синхронізованому підшару відповідає фронт хвилі обробки. Нейрони першого підшару відповідають першій літері слова, другого - другій і так далі. Загальна кількість підшарів дорівнює максимальній кількості літер в одному слові. Перший підшар складається із нейронів, що розпізнають першу літеру, другий шар складається із нейронів, що розпізнають перші дві літери, третій - перші три літери.

Класифікація понять реалізується в синхронізованому лінійному дереві за допомогою агрегуючих підшарів, котрі складаються із несинхронізованих нейронів. В окремому випадку для визначення типів або класів об'єктів, таких як "іменник", "чоловічий рід", "жіночий рід" та інших, аналогічних достатньо одного агрегуючого підшару, що складається із несинхронізованих нейронів-диз'юнкторів. Всі виходи нейронів, що є закінченими поняттями або відносяться до одного і того ж класу, об'єднуються несинхронізованим нейроном, котрий виконує операцію диз'юнктора, що виконує операцію диз'юнкції та відповідає за розпізнання класу. В разі необхідності враховувати поняття негативних відповідей, в цьому шарі розміщені нейрони інвертори. Загалом, агрегуючі підшари несинхронізованих нейронів, що виконують функції диз'юнкції, розміщені між підшарами синхронізованих нейронів, котрі виконують функції кон'юнкції. В результаті виходить багатошарова структура, в котрій перед кожним підшаром фронту хвилі находиться агрегуючий підшар.

Група матиме синхровхід, вхідний пучок дендритів та вихідний пучок аксонів. Аналіз більш складних конструкцій, таких як словосполучення або речення, здійснюватиметься в кілька етапів, шляхом включення лінійних дерев послідовно одне за одним. Цим забезпечується послідовна обробка елементів, рівень абстрагування котрих збільшується з кожним лінійним деревом. Перше дерево обробляє символи, друге - морфеми, третє - слова, четверте - словосполучення і так далі.

Синхронізоване лінійне дерево можна розглядати як певну множину субавтоматів, що набувають певну множину субстанів. Показано, що при одночасній наявності кількох субстанів в збудженому стані можна вирішити проблеми морфологічної та синтаксичної синонімії та омонімії. Несинхронізовані диз'юнктори з підшару агрегування та пов'язані з їхніми аксонами синхронізовані кон'юнктори фронту хвилі об'єднані в одному логічному елементі. Кожен такий елемент матиме по два дендритних дерева, одне - виконує функцію диз'юнкциії вхідних градієнтних значень, друге - виконує функцію кон'юнкції вхідних градієнтних значень та результату функції диз'юнкції. Цей логічний елемент є ансамблем з двох нейронів, назвемо його дизкон'юнктором. Всередині кола будемо записувати символи, що відповідають дендриту кон'юнктора, або точку, що відзначає збудження дизкон'юнктора.

Один підшар диз'юнкторів відповідає суміжним підшарам несинхронізованих агрегуючих диз'юнкторів та синхронізованих кон'юнкторів. Структура, котра складається з дизкон'юнкторів синхронізованого лінійного дерева, аналогічна структурі спрощеного лінійного дерева. Розроблено внутрішню структуру словникової статті, що реалізується нейронним субавтоматом. Окрема словникова стаття є групою словоформ, що перетворюються між собою шляхом словозміни (відмінки та групи відмінків). З цієї групи виділяють головну словоформу (лексему), що несе основне змістовне навантаження статті. У шарі розбору тексту кожна словарна стаття є одним нейронним субавтоматом, а кожна словоформа - одним дизкон'юнктором або субстаном, що належить до цього субавтомата. Словозміна полягає в переході субавтоматів з одного субстану в іншій.

Показано, що лінійне дерево забезпечує розв'язання задачі класифікації словотвору за словарними статтями у визначенні синтаксичних ознак цієї словоформи. Стан дизкон'юнктора відповідає субстану цього субавтомата. Збуджений стан дизкон'юнктора означає успішне розпізнавання відповідної словоформи. У випадку одночасного збудження двох різних дизкон'юнкторів одного субавтомата будемо говорити, що субавтомат одночасно має два різних збуджених субстана. Для керування розповсюдженням хвиль збудження введено спецсимволи, що не є частиною вхідної мови,. Введено різні типи рецепторів, що розпізнають символи вхідного алфавіту та спецсимволи. Розглянуто варіанти організації та функціонування словозміни.

Обробка елементів тексту полягатиме в обробці стану нейронів, що характеризується набором їхніх вихідних градієнтних значень. Для перетворення елементів у вигляді набору градієнтних даних можна застосувати експертні системи. Продуктивна експертна система є мережею правил. Окремі правила - окремі вузли, а елементи, що входять в умови та наслідки правил, є зв'язками між вузлами цієї мережі. Мережу правил експертної системи можна реалізувати семантичною нейронною мережею, в котрій всі правила виконуються паралельно. Така експертна система може містити в собі імітаційну модель предметної області та служити для здійснення семантичного аналізу тексту. При перетворенні правил експертної системи в нейронну мережу необхідно розбити кожне правило на елементарні операції диз'юнкції, кон'юнкції та інверсії. До кожної такої операції призначається група з кількох нейронів. Кожна така група нейронів є елементарною операцією, що виконується правилом експертної системи. Групи нейронів пов'язані з іншими групами через дендрити та аксони.

В експертній системі застосовуються такі залежності розрахунку значень операцій, реалізовані групами:

кон'юнкції

"": ,

,

;

диз'юнкції

"": ,

; ;

інверсії

"": , , ;

де - результат операції; - вхідні значення; - завершенiсть висновку операції; - завершенiсть вхідних значень; - важливість операції для вхідних нейронів; - важливості операції від вихідних нейронів. Значення операції та завершенiсть висновку операції є значеннями прямого розповсюдження, тобто вони розповсюджуються в напрямку від фактів до висновків експертної системи. Важливості операції є значеннями зворотного розповсюдження і розповсюджуються в напрямку від висновків до фактів. Тобто, значення фактів і завершенiсть висновків операції подаються на входи експертної системи, а знімаються з її виходів. Значення важливості факту для висновку подається на виходи експертної системи, а знімаються з її входів. Значення операції розраховується головним нейроном групи і показує ступінь можливості виникнення даного висновку експертної системи. Завершенiсть висновку операції показує ступінь вірогідності отриманого результату. Завершенiсть висновку операції розраховується групою на підставі типу операції, виконуваною групою, і ступеня завершеності вхідних даних, отриманих групою. Важливість операції визначається ступенем завершеності висновку групи і важливістю груп, що використовують результат операції. У випадку надходження на вхід групи, що реалізує операцію хоча б одного завершального значення, ця група набуде завершене значення і мінімальну важливість. Частину нейронів семантичної нейронної мережі, що виконує функції бази знань експертної системи, умовно позначимо

У четвертому розділі вказано на наявність проблеми реалізації нейронних мереж, що володіють масовим паралелізмом, на існуючих послідовних обчислювальних системах. Показано можливість рішення вказаної проблеми з використанням віртуальної машини. Запропоновано реалізувати семантичну нейронну мережу у вигляді віртуальної машини. Перераховано рівні реалізації віртуальної машини, що забезпечує функціонування семантичної нейронної мережі на персональному комп'ютері. Розроблено API для ядра віртуальної машини. Описано функції API для рівня операційної системи, рівня управління сховищем фреймів, рівня кешування фреймів та рівня управління секціями нейронів. Розглянуто управління пам'яттю, описано роботу збирача сміття. Описано роботу рівнів сховища фреймів та кешування фреймів. Проведено розділення функціонування синхронізованого лінійного дерева на два режими: програмування та обробки тексту. Процес розбору тексту в синхронізованому лінійному дереві протікає як певний процес, розподілений в часі. Кожному кванту часу в синхронізованому лінійному дереві відповідає фронт хвилі обробки. Час - це послідовність квантів. Послідовність квантів організована у вигляді лінії, в котрій кожен квант часу пов'язаний з попередніми та наступними квантами. Протягом одного кванту часу результатом розбору є миттєвє становищє синхронізованого лінійного дерева.

Лінія часу - це група нейронів. Кожному кванту часу відповідає певний фронт хвилі обробки та певний нейрон лінії часу. Нейрони лінії часу пов'язані один з одним та утворюють лінію, в котрій кожен нейрон має зв'язки з двома іншими нейронами лінії часу: з одним нейроном попереднього кванту і з одним з наступного кванту. Кожен нейрон лінії часу утворює семантичні зв'язки з усіма дизкон'юнкторами синхронізованого лінійного дерева, збудженими в певний квант часу. Ця множина збуджених дизкон'юнкторів утворює хвилю обробки, що відповідає нейрону лінії часу, з котрим утворено зв'язки. Лінія часу забезпечує на рівні дискурсу обробку непроективних зв'язків між елементами різних речень. Всі дизкон'юнктори, котрі знаходяться в збудженому стані в певний квант часу, пов'язані семантичним зв'язками з відповідним цьому кванту нейроном лінії часу. Тому можливо повністю виключити обмін градієнтними даними між дизкон'юнкторами та повністю позбавити нейрон свого внутрішнього стану, в тому числі і збудження. Стан дизкон'юнктора збуджений / пасивний в даний момент часу визначається по тому, чи має цей дизкон'юнктор зв'язки з відповідним нейроном лінії часу. Тому синхронізоване лінійне дерево може бути представлене в пам'яті машини у вигляді графа, в котрому всі вузли та однонаправлені зв'язки навантажені додатковими атрибутами, а нейрони (вузли) не мають внутрішнього стану. Обробку тексту природної мови прийнято розподіляти на операції морфологічного та синтаксичного розбору, семантичного аналізу та синтезу. Операції морфологічного та синтаксичного розбору реалізуємо двома синхронізованими лінійними деревами. Кожне таке дерево обробляє елемнти свого рівня абстракції. Обробка речення на цих рівнях організована послідовно, рівень морфологічного розбору готує дані для рівня синтаксичного розбору. Для кожного лінійного дерева організується своя лінія часу.

Лінійне дерево рівня морфологічного розбору 2 виконує виділення з тексту окремих слів, розпізнавання та розбиття цих слів на морфеми, та визначення для кожного слова на основі проведеного розбору ознак, що необхідні для синтаксичного розбору. Лінійне дерево рівня синтаксичного розбору 3 проводить підготовчу роботу, необхідну для семантичного аналізу тексту. Синтаксичний розбір визначає синтаксичну структуру тексту, синтаксичні зв'язки між словами та синтаксичні ознаки слів, з котрих складається даний текст.

Операцію синтезу тексту 5 реалізуємо програмно, шляхом відтворення тексту по збудженому нейрону-ефектору в синхронізованому лінійному дереві. Комутатор 7 містить в собі чергу символів тексту, оброблюваних системою. Вхідний текст з зовнішнього середовища 8 потрапляє в комутатор 7 і, пройшовши через нього, на шар рецепторів 1. З шару ефекторів 6 символьна послідовність попадає в комутатор 7. Якщо символьна послідовність є зовнішньою реакцією системи, то комутатор 7 передає її в зовнішнє середовище 8. Якщо символьна послідовність є проміжним результатом, то комутатор 7 подає її на шар рецепторів 1. В результаті в системі виникає семіотичний зворотній зв'язок. Наявність внутрішніх спецсимволів, що циркулюють по контуру семіотичного зворотнього зв'язку, дозволяють на примітивному рівні реалізувати операції планування бесіди та керування увагою в межах кількох обговорюваних тем. Можна побачити, що процеси, котрі виникають в описаній системі, нагадують відомі з психології феномени внутрішнього монологу та самосвідомості. Проведено аналіз недоліків запропонованої структури та можливості їх усунення.

У п'ятому розділі Розглянуто застосування експертних систем для вирішення неформалізованих задач. Описана програмна реалізація дослідницької продукційної експертної системи ELEX-4 на основі віртуальної машини, що моделює семантичну нейронну мережу. Описано її склад, характеристики та можливості. Наведено приклади екранних форм. Описана програмна реалізація, що будує дерево синтаксичного підпорядкування речення природної мови. Розроблено алгоритм додання нового нейрона в лінійне дерево. Наведено приклади програмуючих символьних послідовностей, аналізованих символьних послідовностей, результуючих символьних послідовностей та екранних форм. Проведено аналіз електронного документообігу в розподіленій інформаційній мережі. Показано принципові труднощі, котрі необхідно долати в системах електронного документообігу. Розглянуто вимоги, котрим повинна відповідати система електронного документообігу. Проаналізовано структуру електронного документа. Виявлено, що обробка електронних документів за своєю складністю аналогічна обробці природної мови. Доведено, що фінансові показники документа можна розглядати як знакову систему методами семіотики. Розглянуто відповідність контексту, концепту та денотату документа фінансовому показнику та його значенню. Розроблено модифіковану семантичну нейронну мережу, що забезпечує семантичне успадкування показників документів різних типів та різних версій. Розглянуто специфічні вимоги, котрим має відповідати сховище нейронів, що використовується для збереження електронних документів. Розроблено структуру реляційної бази даних, що забезпечує збереження модифікованої семантичної нейронної мережі. Розглянуто реалізацію Форми 6 "Фінансовий звіт про виконання бюджету Фонду Соціального Страхування України" в середовищі Microsoft Excel 97 та Microsoft Access 97 з застосуванням семантичної нейронної мережі для побудови формальної моделі електронного документа Ф6 та обробки семантичної синонімії та омонімії фінансових показників. За висновками перевірки в тестовій лабораторії PC Magazine/RE в рамках програми Microsoft Office Extensions розробка LocNet Ver. 0.3 - застосування семантичної нейронної мережі для обробки семантичної синонімії та омонімії фінансових показників електронних документів (Excel 97/Access 97) / Шуклин Д.Е.// Id: 620 Date: 2002.04.03 відповідає вимогам до програмних продуктів, висунутих тестовою лабораторією, та розміщені в бібліотеці Office Extensions (http://www.microsoft.ru/offext/). Приведено можливу структуру системи, що розуміє смисл тексту природної мови. Розглянуто прогнозування системою розвитку подій в зовнішньому середовищі. Розглянуто синтез та аналіз зовнішніх реакцій системи з використанням зовнішнього зворотного зв'язку.

У додатках приведено алгоритми тренування персептрону; екранні форми експертної системи, в котрій було використано результати дисертаційної роботи; список функцій API; тексти запитів на обхід нейронів в синхронізованому лінійному дереві; вихідний текст програми візуалізації результатів витягнення дерева синтаксичного підпорядкування, документи про застосування результатів роботи.

ВИСНОВКИ

У дисертаційній роботі приведено результати, котрі у відповідності з метою дослідження, в сукупності є вирішенням актуальної наукової задачі ідентифікації символьних послідовностей, визначення їхніх морфологічних та синтаксичних ознак, враховуючи феномени синонімії та омонімії в текстах обмеженої природної мови, та аналізу ідентифікованих елементів продукційною експертною системою, що містить в собі модель предметної області. Вирішення цієї задачі полягає в застосуванні розроблених моделей нейронних мереж в системах автоматичної обробки тексту природної мови та має велике значення для створення ефективного інтерфейсу спілкування між рядовими користувачами та автоматичними системами. У результаті вирішення сформулюваної задачі:

Проаналізовано існуючі методи та моделі формальної обробки текстів природної мови, показано відсутність моделей, що адекватно обробляють морфологічну та синтаксичну синонімію та омонімію, обґрунтовано необхідність розробки системи, що обробляє природну мову на основі штучної нейронної мережі.

Розроблена модель та реалізація семантичної нейронної мережі, близька до штучної нейронної мережі Неймана-Маккалока-Питтса, що відрізняється відсутністю обмежень на топологію зв'язків між нейронами, наявністю несинхронізованих нейронів та можливістю обробляти градієнтні дані. Завдяки близькій аналогії між природною мовою та математичними виразами це дозволило представити модель тексту обмеженої природної мови як формальну алгебру, в котрій операції над елементами природної мови реалізовані як операції нечіткої логики, що виконуються синхронізованими і несинхронізованими нейронами над градієнтними даними.

Розроблена модель та реалізація структури зв'язків нейронів семантичної нейронної мережі, названої синхронізованим лінійним деревом, що є скінченним автоматом, та завдяки розповсюдженню хвиль збудження по нейронах мережі забезпечує з урахуванням морфологічної і синтаксичної синонімії й омонімії ідентифікацію в режимі реального часу, лексем, морфологічних і синтаксичних ознак, що відповідають представленим у вигляді символьної послідовності елементам тексту, паралельно виконує морфологічний аналіз словоформ та синтаксичний аналіз речень, що приводить до збільшення швидкості аналізу багатозначного тексту. Лінійне дерево дозволяє представляти структуру граматичних зв'язків елементів тексту, яка є підмножиною проєктивних зв'язків та допускається скінченними автоматами.

Розроблена модель та реалізація структури зв'язків нейронів семантичної нейронної мережі, названої лінією часу, що становить групу послідовно пов'язаних нейронів, котрі відповідають квантам часу, яка використовується в бінарному синхронізованому лінійному дереві, виконує функцію короткочасної пам'яті та забезпечує встановлення зв'язків між елементами різних речень, що дозволяє реалізувати аналіз зв'язаного тексту завдяки використанню під час аналізу поточного речення результатів розбору попередніх речень.

Розроблена модель та реалізація структури зв'язків нейронів семантичної нейронної мережі, аналогічної механізму прямого висновку продукцій, що моделює паралельне виконання множини правил в базі знань предметної області як мережу нечіткіх логичних операцій, виконуваних нейронами, що дозволяє реалізувати семантичний аналіз тексту обмеженої природної мови на основі мережі правил предметної області, що знаходиться в базі знань, і градієнтних рівнів збудження нейронів, що відповідають ідентифікованим у тексті лексемам і їх граматичним ознакам. Розроблена програмна реалізація механізму прямого виводу продукцій може застосовуватися як самостійно, у вигляді окремого програмного продукту, так і як компонент механізму виводу продукційній експертній системі.

Розроблена структура багаторівневої системи, що використовує структури семантичної нейронної мережі для морфологічного, синтаксичного та семантичного аналізу елементів вхідного тексту обмеженої природної мови. В системі запропонована модель семіотичного зворотного зв'язку, в якій циркулюють символи тексту, що застосовується в семантичної нейронної мережі для коригування словоформ в процесі побудови вихідних речень, та дозволяє проводити операції словотвору і словозміни в синхронізованому лінійному дереві, значно скорочуючи кількість нейронів, необхідних для реалізації шару синтезу тексту.

Експерименти показали, що наявність семіотичного зворотного зв'язку та повторної обробки синтезованих символьних послідовностей полегшує реалізацію словотвору та словозміни, оскільки в такому разі операції словотвору та словозміни проводяться в шарах аналізу тексту. Було виявлено, що наявність внутрішніх спецсимволів, що циркулюють по контуру семіотичного зворотного зв'язку, дозволяє реалізувати операцію керування увагою в межах кількох тем, що запрограмовані.

Розроблено набір функцій Application Programming Interface для ядра віртуальної машини, що моделює семантичну нейронну мережу на послідовній обчислювальній системі, котрий може використовуватися як при розробці систем, моделюючих нейронні мережі, так і в об'єктно-реляційно-мережевих системах управління базами даних та знань. Розроблена програмна реалізація віртуальної машини може застосовуватися як однопотоковий програмний компонент, що моделює семантичну нейронну мережу на x86-сумісних обчислювальних машинах. Програмна реалізація, що будує дерево синтаксичного розбору підпорядкування речення, може використовуватися як компонент систем, що обробляють текст природної мови.

Спеціально модифікована семантична нейронна мережа, що обробляє семантичну синонімію фінансових показників електронних документів, була використана при реалізації АрмО Ф6 ФСС з ТВП та впроваджена у виконавчій дирекції Харківського обласного відділення Фонду соціального страхування з тимчасової втрати працездатності, а також отримала від тестової лабораторії PC Magazine Russian Edition логотип "Yes, It works Office Extensions" та розміщена в бібліотеці Microsoft Office Extensions.

СПИСОК ОПУБЛІКОВАНИХ АВТОРОМ РОБІТ НА ТЕМУ ДИСЕРТАЦІЇ

1. Дударь З.В., Шуклин Д.Е. Семантическая нейронная сеть как формальный язык описания и обработки смысла текстов на естественном языке // Радиоэлектроника и информатика. Х.: Изд-во ХТУРЭ, 2000. - №. 3. С. 72-76.

2. Дударь З.В., Шуклин Д.Е. Реализация нейронов в семантических нейронных сетях // Радиоэлектроника и информатика. Х.: Изд-во ХТУРЭ, 2000. - №. 4. С. 89-96.

3. Шуклин Д.Е. Структура семантической нейронной сети извлекающей в реальном времени смысл из текста // Кибернетика и системный анализ. Киев. Изд-во Института кибернетики НАН Украины, 2001. - № 2. C. 43-48.

4. Шуклин Д.Е. Структура семантической нейронной сети, реализующей морфологический и синтаксический разбор текста // Кибернетика и системный анализ. Киев. Изд-во Института кибернетики НАН Украины, 2001. - № 5. С. 172-179.

5. Шуклин Д.Е. Применение семантической нейронной сети в экспертной системе, преобразующей смысл текста на естественном языке // Радиоэлектроника и информатика. Х.: Изд-во ХТУРЭ, 2001. - №. 2. С. 61-65.

6. Шуклин Д.Е. Реализация бинарного синхронизированного линейного дерева и его применение для обработки текста естественного языка // Кибернетика и системный анализ. Киев. Изд-во Института кибернетики НАН Украины, 2002. - № 4. C. 36-43.

7. Шуклин Д.Е. Разработка системы обрабатывающей текст естественного языка на основе семантической нейронной сети // Искусственный интеллект. Донецк. Изд-во Института проблем искусственного интеллекта НАН Украины, 2002. - №4. С.312-320

8. Шуклин Д.Е. Применение семантической нейронной сети как формального языка описания смысла текста естественного языка // 5-й Международный молодежный форум "Радиоэлектроника и молодежь в XXI веке": Сб. научных трудов. Ч. 1. - Харьков: ХТУРЭ. 2001. С.83-84

9. Шуклин Д.Е. Морфологический и синтаксический разбор текстов как конечный автомат, реализованный семантической нейронной сетью имеющей структуру синхронизированного линейного дерева // Новые информационные технологии: материалы пятого научно-практического семинара /М.: МГИЭМ, 2002. С.74-85

10. Шуклин Д.Е. Обработка морфологической и синтаксической синонимии и омонимии в семантической нейронной сети // 6-й Международный молодежный форум "Радиоэлектоника и молодежь в XXI веке": Сб. научных трудов. Ч. 2. - Харьков: ХНУРЭ. 2002. C.308-309

11. Шуклин Д.Е. Разработка системы обрабатывающей текст естественного языка на основе семантической нейронной сети // Материалы международной научно-технической конференции "Искусственный интеллект - 2002". Т. 2. Таганрог: Изд-во ТРТУ, 2002. С.310-314

АНОТАЦІЯ

Шуклін Д.Є. Моделі семантичних нейронних мереж та їх застосування в системах штучного інтелекту. - Рукопис.

Диссертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи та засоби штучного інтелекту. - Харківський національний університет радіоелектроніки, Харків, 2003.

Дисертація присвячена вирішенню задачі ідентифікації символьних послідовностей, визначення їх морфологічних та синтаксичних ознак, враховуючи феномени синонімії та омонімії в текстах обмеженої природної мови. У дисертаційній роботі розроблено: модель семантичної нейронної мережі, що дозволяє представляти формальну модель тексту як алгебру з операціями над елементами природної мови, що виконуються нейронами; модель синхронізованого лінійного дерева у вигляді структури зв'язків нейронів семантичної нейронної мережі, яка є скінченним автоматом і забезпечує: ідентифікацію лексем, морфологічних і синтаксичних ознак, що відповідають елементам тексту, та обробку морфологічної і синтаксичної синонімії та омонімії; модель лінії часу, що виконує функцію короткочасної пам'яті; модель механізму прямого виводу продукцій у вигляді структури зв'язків нейронів, котра виконує семантичний аналіз елементів природної мови. Спеціально модифікована семантична нейронна мережа, що обробляє синонімію й омонімію фінансових показників електронних документів, була впроваджена у виконавчій дирекції Харківського обласного відділення Фонду соціального страхування з тимчасової втрати працездатності, а так само одержала від тестової лабораторії PC Magazіne Russіan Edіtіon логотип "Yes, Іt works Offіce Extensіons" і розміщена у бібліотеці Mіcrosoft Offіce Extensіons.