Методи і моделі процесів та елементів поверхневої семантики словосполучень природної мови в системах штучного інтелекту

Размещено на http://www.allbest.ru/

МІНІСТЕРСТВО ОСВІТИ І НАУКИ, МОЛОДІ ТА СПОРТУ УКРАЇНИ

ХАРКІВСЬКИЙ НАЦІОНАЛЬНИЙ УНІВЕРСИТЕТ РАДІОЕЛЕКТРОНІКИ

УДК 004.89:004.423.4

АВТОРЕФЕРАТ

дисертації на здобуття наукового ступеня

кандидата технічних наук

МЕТОДИ І МОДЕЛІ ПРОЦЕСІВ ТА ЕЛЕМЕНТІВ ПОВЕРХНЕВОЇ СЕМАНТИКИ СЛОВОСПОЛУЧЕНЬ ПРИРОДНОЇ МОВИ В СИСТЕМАХ ШТУЧНОГО ІНТЕЛЕКТУ

05.13.23 - системи та засоби штучного інтелекту

Преснякова Дар'я Володимирівна

Харків - 2011

Дисертацією є рукопис.

Роботу виконано у Харківському національному університеті радіоелектроніки Міністерства освіти і науки, молоді та спорту України.

Науковий керівник

кандидат технічних наук, доцент Дюбко Геннадій Федорович, Харківський національний університет радіоелектроніки, професор кафедри програмного забезпечення ЕОМ.

Офіційні опоненти:

доктор технічних наук, професор Кучеренко Євген Іванович, Харківський національний університет радіоелектроніки, професор кафедри штучного інтелекту;

доктор технічних наук, доцент Шостак Ігор Володимирович, Національний аерокосмічний університет ім. М.Є. Жуковського "ХАІ", професор кафедри інженерії програмного забезпечення.

Захист відбудеться "____"_____________ 2011 р. о ______ годині на засіданні спеціалізованої вченої ради Д 64.052.01 у Харківському національному університеті радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

З дисертацією можна ознайомитися у бібліотеці Харківського національного університету радіоелектроніки за адресою: 61166, м. Харків, пр. Леніна, 14.

Автореферат розісланий "____"_____________ 2011 р.

Вчений секретар спеціалізованої вченої ради С.Ф. Чалий.

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми. Розвиток WEB-індустрії, електронного документообігу, автоматичного розпізнавання мови, систем машинного перекладу породило завдання вилучення семантичної інформації із природно-мовних форм. Науково-технічний прогрес призвів до інформаційного вибуху, коли зростанням обсягу нової інформації в одиницю часу відбувається за експонентним законом. Досить актуальним є завдання автоматичного реферування природно-мовних текстів і вирішити це завдання на якісному рівні неможливо без семантичної інформації.

Особливого значення набуває семантика в такій актуальній області, як машинний переклад. Спроби вирішити завдання машинного перекладу на виключно граматичних принципах не призвели до значних успіхів. Існуючі розвинені системи машинного перекладу обов'язково мають у своєму складі рівень поглибленого синтаксичного аналізу, що враховує деякою мірою значеннєві зв'язки між словами. Для підвищення якості машинного перекладу потрібні подальші дослідження в області семантики й формалізації міркувань. Системи машинного перекладу в основному орієнтовані на написаний текст. Машинний переклад усного мовлення поки не набув поширення, головним чином через те, що в цьому випадку, крім перекладу з однієї мови на інші, необхідно вирішити завдання розпізнавання усного мовлення, що саме по собі не просте завдання і без залучення семантики навряд чи може бути вирішене. Останнім часом актуальним завданням стають комп'ютерні технології в освіті. Тут можна відзначити такі напрямки, як дистанційна освіта, незалежне тестування, електронні підручники, у яких істотну роль відіграє система контролю знань. Широко розповсюджений тестовий контроль не дозволяє якісно оцінити знання учня. Вводиться система логічного контролю (модель вчителя), що дозволяє тому, кого навчають, формулювати відповідь природною мовою (або його підмножиною), що знову ж вимагає семантичної інформації, яка вилучається із природно-мовних текстів.

Згадані вище сфери застосування інформації, що вилучаються із природно-мовних текстів, вимагають автоматичної обробки природної мови. Основна мета цих робіт - порівняння й оцінка результатів роботи різних пошукових систем і систем реферування. Неухильно збільшується кількість програмних продуктів, пов'язаних з автоматичною обробкою природної мови. Автоматичну обробку природної мови (ПМ) називають комп'ютерною лінгвістикою. Обробка природної мови відноситься до прикладної області й спрямована на створення програмних продуктів, які моделюють здатність людини до спілкування природною мовою. Теоретична комп'ютерна лінгвістика займається створенням штучних мов, які були б еквівалентними природній мові в семантичному аспекті. Досягнення в сучасній логіці, штучному інтелекті, комп'ютерній лінгвістиці створили передумови для дослідження й моделювання семантичних зв'язків у природній мові. Запропоновано різні моделі семантики для таких природно-мовних форм, як пропозиції, розділи, абзаци, тексти. Прогрес в області інформаційних технологій забезпечує необхідні передумови для програмної реалізації розроблювальних моделей.

Таким чином, актуальність дисертаційної роботи обумовлюється потребами обробки природно-мовних форм у зв'язку з комп'ютеризацією всіх сфер людської діяльності.

Зв'язок теми дисертації з планами наукових робіт. Дисертаційна робота виконувалася у Харківському національному університеті радіоелектроніки на кафедрі програмного забезпечення ЕОМ відповідно до плану НДР університету у рамках теми № 159.0103U001545 "Моделі механізмів інтелекту людини та їх застосування в інформаційних системах штучного інтелекту", наказ Міністерства освіти і науки України №633 від 05.11.2002р.; №202 "Розробка принципів побудови мозкоподібних ЕОМ"(№0106U003292); №07-40 від 20 серпня 2007р. "Розробка вимог і рекомендацій до засобів взаємодії та інтерфейсу фундаментальної лексикографічної системи "Словник української мови"", де автор працював як виконавець.

Мета і задачі дослідження. Метою дисертаційної роботи є побудова моделей та методів семантики словосполучень природної мови і їх використання в процесі аналізу, для підвищення якісних характеристик аналізу словосполучень природної мови.

Досягненню поставленої мети сприяє вирішення таких завдань:

- аналіз існуючих моделей синтаксису та семантики природної мови;

- розробка моделі поверхневої семантики у вигляді семантичних функцій, які представлені функціональною мовою, основою якої є функціональні константи і список аргументів, що відображують семантичні примітиви;

- розробка методу встановлення еквівалентності семантичних функцій, що виявляє еквівалентність синтаксичних структур з елементами семантики в процесі аналізу словосполучень;

- розробка моделі фрагмента словника для інтерпретації дієслів що позначають дію, і простих словосполучень, в якому словарні статті інтерпретуються за допомогою семантичних функцій та л-числення (л - словник);

- удосконалення методу синтаксичного аналізу згорткою для формальних мов, зробивши його придатним для одержання синтаксичної структури словосполучень природної мови з елементами семантики;

- розробка засобів вирішення прикладних задач аналізу природної мови в системах штучного інтелекту.

- Об'єктом дослідження є процес автоматичної обробки словосполучень природної мови.

Предметом дослідження є моделі синтаксису й семантики словосполучень природної мови, методи в процесі автоматичного аналізу словосполучень.

Методи дослідження ґрунтуються на системах формального висновку, формальних граматиках, математичній логіці, методах штучного інтелекту.

Наукова новизна отриманих результатів. У процесі вирішення поставлених завдань отримано такі наукові результати:

1) уперше запропоновано модель поверхневої семантики для слів, зазначених в л-словнику, у вигляді суперпозиції семантичних функцій, які відображують сенсові аспекти синтаксичної структури природно-мовних форм і є основою для одержання формул формальної семантики. Така модель дає можливість формалізувати словосполучення природної мови у вигляді іменник+іменник у родовому відмінку, іменник+прикметник та словосполучення, що містять дієслово;

2) уперше запропоновано метод установлення еквівалентності двох текстуально різних семантичних функцій, який дозволяє обчислювати ідентичність при визначенні контексту в л-формулах для дієслів шляхом покрокового порівняння аргументів семантичних функцій. Метод використовується в семантико-синтаксичних аналізаторах та дає можливість знаходити мовні конструкції з однаковою поверхневою семантикою;

3) подальшого розвитку набула модель семантичного словника дієслів, що позначають дію, яка відрізняється від існуючих представленням дієслів формулами лямбда числення та семантичними функціям, що дає можливість оцінювати семантичну правильність мовної конструкції;

4) подальшого розвитку набув метод синтаксичного аналізу словосполучень природної мови з елементами поверхневої семантики, який на відміну від існуючих враховує такі елементи продукції граматики: продукція контекстно-вільної граматики, предикатна формула, процедура, яка здійснює згортку для цієї продукції. Метод дозволяє поліпшити якість аналізу, наближаючи його до адекватного сприйняття інформації.

Практичне значення отриманих результатів. Розроблені автором моделі й методи доведено до рівня програмної реалізації та можуть знайти практичне застосування в таких галузях як: синтаксичний і семантичний аналіз природно-мовних текстів, орієнтований на різні подальші застосування; пошук інформації, представленої природно-мовними текстами, за її семантичним змістом; створення інтелектуальних інтерфейсів різного призначення; автоматичне реферування природно-мовних текстів; створення систем машинного перекладу, що базуються на семантиці.

Теоретичні й прикладні результати дисертації використано у навчальному процесі на кафедрі Програмного забезпечення ЕОМ Харківського національного університету радіоелектроніки в дисциплінах "Формальні системи та моделювання знань", "Проектування експертних систем", у дипломних проектах фахівців і атестаційних роботах магістрів, акт впровадження від 08.12. 2010, а також у виробничому процесі на ТОВ "КОДА" (м. Харків, Україна), акт впровадження від 20.12.2010 р.

Особистий внесок здобувача. Усі результати дисертації отримано автором самостійно. В [1,9]автором запропоновано модель семантики словосполучень природної мови у вигляді семантичних функцій, подано їх визначення й сформульовано загальний підхід до автоматичного аналізу словосполучень: іменник + іменник у родовому відмінку, іменник + прикметник та словосполучень, що містять дієслово. В [2,11,13]розроблено модель семантичного словника для дієслів, що позначають дію, природної мови з використанням семантичних функцій і лямбда числення. В [5]розроблено метод установлення еквівалентності семантичних функцій, що заснований на семантичному словнику. В [3,13] запропоновано модель формальної семантики, що інтегрує в собі формули лямбда числення, числення предикатів і семантичні функції. Запропоновано методику використання інтегрованої семантики в семантичному словнику. Запропоновано метод одержання формул інтегрованої семантики й метод резолюцій для цих формул. лексична семантика природна мова

В [4,7,8,14]розроблено синтаксичний аналізатор словосполучень природної мови з елементами семантики, що перетворює словосполучення в семантичні функції. Аналізатор використовує граматику природної мови, семантичний словник і метод аналізу "перенос - згортка". В [6]пропонується застосування аналізатора в інтелектуальній системі контролю знань при електронному навчанні. В [10]пропонується застосування семантичних функцій у системі машинного перекладу.

Усі співавтори за спільними публікаціями здобувачки згодні з задекларованою нею особистою участю. Задекларований особистий внесок здобувачки в роботах, виконаних у співавторстві, відповідає темі та змісту дисертації.

Апробація результатів дисертації. Основні результати дисертаційної роботи доповідалися й обговорювалися на міжнародних та регіональних наукових конференціях, які мають пряме відношення до теми роботи: 1) 8-й, 9-й,10-й,12-й, 14-й Міжнародний молодіжний форум "Радіоелектроніка та молодь в XXI сторіччі" (м. Харків, 2004, 2005,2006, 2008, 2010 р.); 2) Міжнародна наукова конференція "Горизонти прикладної лінгвістики та лінгвістичних технологій" (м. Партеніт, 2007, 2008 р.).

Публікації. За результатами досліджень опубліковано 6 робіт, з них 5 - статті у наукових спеціалізованих виданнях, згідно з "Перелік наукових фахових видань України", 8 - матеріалів конференцій.

Структура й обсяг дисертаційної роботи. Дисертаційна робота складається із вступу, чотирьох розділів, висновків та додатків, обсяг основного тексту складає 147 сторінок, в тому числі 21 рисунок, 1 таблиця, список використаних літературних джерел, що складається зі 97 найменувань, на 10 сторінках. Робота також містить 2 додатки на восьми сторінках.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У вступі обґрунтовано актуальність дисертаційної роботи, сформульовано основну мету і задачі дослідження, наведено відомості щодо наукової новизни отриманих у дисертації результатів, визначено їх практичну цінність, наведено відомості про апробацію та впровадження результатів.

Перший розділ містить огляд існуючих моделей синтаксису та семантики природної мови, як основу для автоматичного аналізу мови. Розглядається загальний підхід до моделювання природної мови. Формальні граматики розглядаються як синтаксис. При цьому виділяються атрибутні граматики, де семантичні елементи вводяться на рівні синтаксису. Семантика природної мови представлена лексичною моделлю, моделлю формальної семантики та моделлю комп'ютерної семантики. Лексична семантика базується на тлумачних словниках мови та правилах одержання словосполучень. Модель формальної семантики будується на численні предикатів першого порядку. Комп'ютерна семантика подається реалізацією аналізу мови комп'ютерними програмами без формулювання моделей у явному вигляді. Сформульовано постановку задач дисертаційного дослідження.

У другому розділі розроблено модель поверхневої семантики у вигляді семантичних функцій, які можуть бути використані як інтерпретатор моделі лексичної семантики для слів, зазначених в л-словнику та простих словосполучень природної мови: іменник + іменник у родовому відмінку, іменник + прикметник та словосполучень, що містять дієслово. Показано, що одержання виражень формальної семантики без урахування поверхневої семантики може призводити до похибок при одержанні логічних наслідків. Інтеграція формальної та поверхневої семантики вимагає формальну мову (метамову) для опису тлумачень. Метамова для опису лексичної семантики має відповідати таким вимогам:

- мати описові засоби, еквівалентні засобам природної мови;

- дозволяти обчислення словникової статті слів і словосполучень природної мови;

- давати можливість установити еквівалентність для пари текстуально різних семантичних функцій, які вважаються еквівалентними, якщо вони мають однакові значення. Значенням семантичної функції вважається номер словарної статті слова в л - словнику.

Як метамова в роботі обрана функціональна мова. Функціональними константами обрані позначення V і F_имя. Функція V_i(б) позначає лексичне значення слова , що задається i-ю словниковою статтею в тлумачному словнику. Сама словникова стаття виражена суперпозицією функцій V і F. Функціями F можна описати сполучуваність слів у словосполученні, включаючи речення, як особливий тип словосполучення. Назвемо такі функції семантичними функціями, і описуватимемо з їхньою допомогою сполучення слів природної мови. Наприклад, семантику речення "жители большого города дышат смогом" можна виразити семантичною функцією

(1)

де - функція, що відповідає словосполученню "іменник - іменник у родовому відмінку",

- функція для словосполучення "прикметник - іменник".

Відзначимо, що кожному словосполученню відповідає свій тип семантичної функції, від якого залежить розподіл ролей для аргументів. Так в (1), якщо перший аргумент - дієслово, що виражає дію певного типу, другим аргументом є той, хто робить дію. Слова природної мови виражають поняття, які можуть утворювати ієрархічну залежність, на верху якої перебувають "ОБ'ЄКТ, ДІЯ, АБСТРАКЦІЯ, ВІДНОШЕННЯ". Із цього погляду, словосполучення можуть так само мати трактування в більш загальних поняттях, ніж поняття словосполучення. Пояснимо цю тезу на прикладі. У дисертаційній роботі обрано модель семантики словосполучень природної мови, що базується на численні предикатів, у яке вбудовані семантичні функції. Так для формули (1), що відображує речення, формула числення предикатів матиме вигляд:

де - є предикатні константи, - змінна.

Інші аргументи предикатів представлені семантичними функціями.

Таке подання предикатних формул дозволяє в процесі логічного висновку враховувати сполученя слів у словосполученні. Сформульовано визначення семантичної функції. Позначимо через L(ПМ) безліч конструкцій ПМ, тобто безліч словосполучень, а через L(СФ) - безліч конструкцій мови, словникові статті. Зазначимо, що L(ПМ) неформальна мова, а L(СФ) - формальна. Нехай У_т термінальний алфавіт для подання ланцюжків в L(ПМ), У_рт - частина У_т, що використовується тільки для подання слів L(ПМ). Через б ^*_т позначимо мовну конструкцію б, що складається із символів алфавіту У_т (включаючи порожнє слово Е). Тоді

У⁺_т = У^*_т - {Е}.

N-алфавіт для представлення конструкцій мови L(СФ), і

N={V,F_и, (,),,}U У_рт.

Нехай - функція, яка відповідає словосполученню, що складається зі слів

У⁺_т

Значенням цієї функції є зміст, що може бути обчислений за допомогою відповідних процедур, тобто

,

де в N+. Мовна конструкція в представляє семантичну функцію

, (2)

X_j=V_i(б_k) або

X_j=F'_и (1?j?m, 1?i?n),

к - номер словникової статті в семантичному словнику); и - назва функції (словосполучення); F'_и - семантична функція, вкладена в F_и; б_к - слово зі словосполучення.

Отже, можна записати

, (3)

де права частина рівності визначена в (2).

Наведемо приклади семантичних функцій в українській мові. Нехай розглядається словосполучення "ціна товару в упаковці". Йому відповідає семантична функція F_родового відмінка (V_j(ціна),F_прийменник(V_r(в), V_e(товару), V_s(упаковці))).

Для словосполучення "ціна товару в гривнях" семантична функція має вигляд: F_родового відмінка (F_прийменник (V_i(в), V_j(ціна),V_k(гривнях), V_e(товару)).

В обох прикладах індекси i, j, k, e, r, s позначають номер словникової статті в семантичному словнику.

Обрані приклади демонструють факт, що в слов'янських мовах слова й словосполучення можуть бути в L(ПМ) не підряд, а розірваними. Семантична ж функція представляє всі слова і словосполучення у фіксованому порядку.

Функція з (3) має областю свого визначення безліч слів, а областю значень - безліч рядків (термов), що є семантичною функцією. У свою чергу семантична функція може інтерпретуватися як функція, аргументами якої є інші функції, і яка має свою область значень. Задаючи правила обчислення семантичних функцій, можна одержувати їхні значення. Із цього погляду рівність (3) можна переписати у вигляді:

, (4)

де P^m+1 - (m+1) місцева функція з відомими правилами обчислення (обчислюються значення Х ₁,…Х_m, а потім - значення функції F_и).

Областю значень F_и є безліч семантичних функцій. Виникає питання в чому різниця між F_и й безліччю її значень, оскільки значенням семантичної функції є інша семантична функція. В ПМ значення словосполучення може відбивати конкретику цього словосполучення, а може бути узагальненим. Конкретика відбивається функцією F_и, а узагальнення - значенням F'_и.

За допомогою семантичних функцій можна виразити синтаксичну структуру словосполучення з елементами семантики. Якщо залучення л - словника не дозволяє побудувати семантичну функцію, то конструкція вважається помилковою.

Мова для подання семантичних функцій є формальною і складається з термів - рядків, побудованих на алфавіті N. Наведемо визначення терму.

Слово б ⁺_рт є термом. Слово V_i(б) є термом. Слово F_и(t₁,…t_n), де t₁,…t_n - терми, є термом.

Одномісна семантична функція V_i(б) і багатомісна функція F_и мають безліччю визначення й безліччю значень безліч термів.

Безліч семантичних функцій підрозділяється на типи, і кожна семантична функція ставиться до певного типу. Тип семантичної функції визначає ролі її аргументів. Для кожної конкретної мови (російська, українська, англійська) визначаються свої типи семантичних функцій, які пов'язані із граматичною структурою мови. Визначено семантичні функції для часто зустрічальних словосполучень. Наприклад, словосполученню б₁б₂, де б₁ - іменник і б₂ - іменник у родовому відмінку, називаному в лінгвістиці "генетів", відповідає семантична функція . У такому словосполученні може бути більше двох слів, тому що б₁ і б₂ самі можуть бути словосполученнями. У цьому випадку семантична функція має вигляд:

,

де Х ₁,…,Х_к, Y₁,…,Y_e - семантичні функції. Обробка формул потребує порівняння формул з метою встановлення еквівалентності двох семантичних функцій.

Для цього розроблено метод встановлення еквівалентності семантичних функцій, який дозволяє обчислювати еквівалентність при визначенні контексту в л-формулах для дієслів.

Введемо позначення: СФ 1 і СФ 2 - семантичні функції; Д 1 і Д 2 - дерева для функції СФ 1 і СФ 2 відповідно; ТекД 1 і ТекД 2 - пари оброблюваних вершин (поточних) з відповідних дерев; СемСл - семантичний словник.

Метод обчислення еквівалентності семантичних функцій.

Вхід: СФ 1, СФ 2.

Вихід: "так", "ні".

1. Перетворення СФ 1 у Д 1, СФ 2 у Д 2.

2. Обхід Д 1 і Д 2 у глибину з фіксацією пари вершин у ТекД 1 і ТекД 2.

3. Якщо

ТекД 1 = ТекД 2 (як терми),

то виконати пункт 2.

4. Якщо

ТекД 1 = 'V(б)' і ТекД 2=F_1,

то перетворення Д 1: ТекД 1 стає коренем піддерева, що позначений F_2, де F_2 - семантична функція, що є значенням V_i(б) у СемСл. Покажчики на вершини Текд 1 і Текд 2 не змінюються. Виконати пункт 3.

5. Якщо

ТекД 1 = F_и ТекД 2 = 'V(б)',

аналогічно пункту 4.

6. Якщо

ТекД 1 = 'V_i(б) і ТекД 2= 'V_j(в),

то перетворити Д 1 і Д 2. ТекД 1 стає коренем для СФ F_1, ТекД 2 - коренем піддерева для СФ F_2, де F_1 і F_2 суть значення V_i(б) і V_j(в) відповідно в СемСл. Покажчики в ТекД 1 і ТекД 2 не міняються. Виконати пункт 3.

7. Якщо

ТекД 1 = 'F_1' і ТекД 2 = 'F_2',

то обрати дерево для перетворення й змінити його відповідно до правил обчислення значення для функції типу F.

Загальна складність алгоритму має оцінку О(m*n). Семантична структура речення відображується семантичною функцією, яка названа пропозицією. У пропозиції однозначно представлена семантична структура словосполучення. Для побудови пропозицій запропоновано використовувати л - словник і семантичні примітиви. Семантичні примітиви - це елементи елементарної семантики, які утворюють онтологію. На вершині цієї онтології знаходяться примітиви ОБ'ЄКТ, АБСТРАКЦІЯ, ДІЯ, ВІДНОШЕННЯ.

Таким чином, у другому розділі запропоновано формальну мову для представлення семантичних функцій, які можуть бути використані як інтер-претатор моделі елементів лексичної семантики для слів, зазначених в л-словнику та простих словосполучень природної мови. Такий підхід дозволяє формалізувати і використовувати інформацію із тлумачних словників. Запропоновано метод установлення еквівалентності семантичних функцій, що дозволяє обчислювати еквівалентність при визначенні контексту в л - формулах для дієслів.

У третьому розділі набула подальшого розвитку модель л - словника дієслів, що позначають дію, яка складається на основі тлумачного словника. У л - словнику значення слів (словникові статті) представлені семантичними функціями. Онтологія семантичних примітивів задається або в л - словнику, або в певній інформаційній структурі. Введемо предикат Р(Х), що відповідає наступним умовам. Р є ім'я семантичного примітива (категорії), а Х - семантична функція типу V або _F, або їхня суперпозиція. Семантична функція Х описує деякий семантичний примітив. Предикат Р(Х) приймає значення "істина" тільки в тому випадку, коли категорія, обумовлена рядком Р, який збігається з категорією, обумовленою рядком Х, або категорія Р є підкатегорією Х. Розглянемо тепер обчислення значення предиката Р(Х), якщо Х представлено семантичною функцією F і суперпозицією функцій. Семантична функція F вказує на наявність словосполучення, що може описувати об'єкт або відношення. Тому ім'я предиката Р має містити інформацію про те, що описується: семантичний примітив для об'єкта або семантичний примітив для відношення.

Нехай Р-О вказує, що розглядається семантичний примітив для об'єкта, а Р-R семантичний примітив для відношення. Наприклад, словосполученню "портфель профессора" відповідає семантична функція

= F_генітив(V(портфель),V(профессора)).

Якщо генітив має як головне слово об'єкт, то цей об'єкт належить деякій категорії, що записується як Р-О(Х). У нашому випадку - це може бути предикат сумка-О(F_ генітив(V(портфель),V(профессора)), що має значення "істина", оскільки головне слово семантичної функції є об'єктом і підкатегорією категорії "сумка".

Якщо категорія представляє відношення, предикат має вигляд Р-R(Х), наприклад, належить-R(F_генітив(V(портфель),V(профессора))). Обчислення семантичного примітива для F_генітив можна здійснити за наступною схемою.

Якщо є F_генітив(Х ₁,Х ₂) і Х ₁ - неживий об'єкт, а Х ₂ - живий об'єкт, відношення, що відповідає цьому словосполученню, є "належить". Отже, останній предикат у нашому розгляді приймає значення "істина". Розглядаючи приклад родич-R(F_генітив(V(портфель),V(профессора))), відзначаємо помилкове значення зазначеного предиката.

Викладений вище підхід до обчислення семантичних примітивів припускає наявність процедур для семантичних функцій типу F, які співвідносять примітив до розглянутої семантичної функції. Такі функції можуть бути побудовані на базі л - словника.

Розроблено модель семантики на основі лямбда числення, яке використовується як засіб для одержання виражень формальної семантики з вбудованими в них семантичними функціями. При цьому використовується л - словник, де кожному слову зіставляє л-вираження, що задає контекст використання цього слова. Для обчислення словарної статті, де використано дієслово, застосовується формула

З кожною словарною статтею дієслова пов'язана така формула.

Так для "работать" у значенні "находиться в действии" л-формула матиме вигляд: лx.(ОБ'ЄКТ(х))@щ. Це справедливо для речень "Машина работает", "Завод работает". Для "работать" у значенні "совершать действие" л-формула матиме вигляд в такий спосіб:

лx1.лx2.(ОБ'ЄКТ(x1)&ОБ'ЄКТ(F_прийменник(V("над"),V(x2)))&х 1. живий = "живий") @щ₁@щ₂

Це справедливо для речень типу "работать над рукописями".

Для "работать" у значенні "иметь постоянное занятие" л-формула матиме вигляд в такий спосіб:

лх 1.лх 2.(ОБ'ЄКТ(х 1)&СПЕЦІАЛЬНІСТЬ(х 2)&х 1. живий = "живий"&х 2.відмінок= "місцевий").

Зазначимо, що семантична функція, яка є результатом обчислення, відображує поверхневу семантику природно-мовної форми, що аналізується. Також, визначається семантична функція, яка є лексичним значенням дієслова, що використовується в словосполученні. Остання семантична функція може трактуватися як узагальнений зміст аналізуючого словосполучення природної мови,.

Сформована вищеописаним способом інформація втримується в л - словнику. Тут кожній словниковій статті конкретного дієслова приписана л-формула Ця формула стає істиною, якщо периферія дієслова збігається з периферією в л-формулі. Інформацію, представлену в л-словнику можна структурувати так, як показано на рис. 1.

Размещено на http://www.allbest.ru/

Рис. 1. Структурування інформації в л-словнику

Кожній словниковій статті дієслова може відповідати одна або декілька л - формул, а також дві семантичні функції. Одна із семантичних функцій є фрейм для побудови значеннєвого еквівалента аналізованого речення. Інша семантична функція представляє значення дієслова, тобто його трактування формальною мовою. Схема обчислення словникової статті й відповідної їй семантичної функції представлена на рис. 2. Тут б - аналізоване дієслово, {щ₁,..., щ_n} - його периферія, <в₁,..., в_n> - упорядкована n-ка з безлічі {щ₁,..., щ_n}, обирана для редукції л-формули. FORM - формула логіки предикатів, отримана в результаті редукції. Також при аналізі ПМ форм використовується інформація про семантичні примітиви, дієслово та його периферію.

Також визначається ще одна семантична функція (див. рис. 1), що є номером словникової статті в л - словнику вживаного дієслова.

Размещено на http://www.allbest.ru/

Рис. 2. Схема обчислення словникової статті і її семантичної функції

Розроблено модель інтегрованої семантики, яка базується на формулах числення предикатів, елементами яких є семантичні функції. Так предикатні константи мають значення, що задаються семантичними функціями типу V. Аргументами предикатів, крім змінних і констант, можуть бути семантичні функції. Предикатні константи можуть мати атрибути, за рахунок яких можливо у логічний наслідок включати такий фактор, як час. Для виведення логічних наслідків модифіковано метод резолюцій, для чого в операцію уніфікації введено доповнення: уніфікуючими вважаються літерали еквівалентні та ті, що знаходяться у розміщені семантичних функцій.

Таким чином, у третьому розділі подальшого розвитку набула модель л - словника для дієслів, яка дозволяє підвищити якість автоматичної обробки словосполучень.

У четвертому розділі подальшого розвитку набув метод синтаксичного аналізу словосполучень з елементами семантики, що трансформує словосполучення природної мови у семантичну функцію. На першому етапі здійснюється морфологічний аналіз за допомогою скінченного автомата та морфологічного словника, що вміщує в собі усі словоформи слова з морфологічною інформацією до кожної словоформи. Розроблено структуру морфологічного словника, що дозволяє швидкий доступ до словоформи. Результатом морфологічного аналізу є термінальний символ граматики, що описує слово, з атрибутами. На другому етапі здійснюється синтаксичний аналіз за стратегією згортки, який реалізується автоматом з магазинною пам'яттю. Для скорочення перебірних варіантів виводу використовується управляюча таблиця і особлива форма продукцій граматики, що є подальшим розвитком методу синтаксичного аналізу з елементами семантики. Продукція граматики складається з таких частин: продукція контекстно-вільної граматики (А>б), предикатна формула, що складається із порівнянь значень атрибутів; процедура, яка здійснює згортку для цієї продукції. На рівні виводу одержується розбір на дієслово та периферію. За допомогою схеми, зображеної на рис. 2, одержується кінцевий вид семантичної функції.

Розроблено основу для побудови фрагмента інтелектуальної системи перевірки знань при електронному навчанні з використанням розроблених моделей і методів. База знань складається з формул моделі інтегрованої семантики. Формули визначають правила перетворення мовних конструкцій - відповіді користувача. Відповідь користувача також перетворюється у формули інтегрованої семантики. На основі одержаних формул і бази знань здійснюється виведення логічного наслідку методом резолюцій. На основі залишкових літералів виведення формується коментар для користувача про тип помилки.

Розроблено принцип застосування семантичних функцій в системах машинного перекладу. У запропонованому підході послівний переклад здійснюється у межах контексту, поданого реченням.

Таким чином, у четвертому розділі набув подальшого розвитку метод синтаксичного аналізу для словосполучень природної мови з елементами семантики, що трансформує природно-мовну конструкцію у семантичну функцію, який застосовується при побудові інтелектуальної системи контролю знань та в системах машинного перекладу.

У висновках сформульовано теоретичні та практичні результати роботи.

У додатках наведено акти впровадження отриманих теоретичних та прикладних результатів, приклади використання розроблених методів та моделей.

ВИСНОВКИ

У дисертаційній роботі наведено результати, які відповідно до поставленої мети є вирішенням науково-технічної задачі аналізу природно-мовних конструкцій з використанням семантичних моделей і методів. Отримані результати мають важливе наукове та практичне значення для аналізу текстів з урахуванням семантики, що дозволяють підвищити якісні характеристики в процесі аналізу.

Під час проведення досліджень отримано такі результати.

1. Проведений аналіз існуючих моделей синтаксису та семантики показав необхідність врахування семантики в процесі автоматичної обробки природно-мовних форм. Аналіз природно мовних форм без семантичної інформації може призводити до хибних висновків.

2. Уперше запропоновано модель поверхневої семантики для слів, зазначених в л-словнику, у вигляді суперпозиції семантичних функцій, які відображують сенсові аспекти синтаксичної структури природно-мовних форм. Така модель дозволяє інтерпретацію елементів поверхневої семантики як складової частини формальної семантики. Семантичні функції описують синтаксичну структуру словосполучення з елементами семантики. Сформульовано семантичні функції для словосполучень російської мови, що найчастіше зустрічаються.

3. Уперше запропоновано метод установлення еквівалентності двох текстуально різних семантичних функцій, який дозволяє обчислювати ідентичність при визначенні контексту в л-формулах для дієслів шляхом покрокового порівняння аргументів семантичних функцій. Метод заснований на граматичному розборі семантичної функції. Значенням семантичної функції вважається номер словарної статті слова в словнику. Еквівалентність функцій обчислюється при визначенні контексту в л-формулах для дієслів. Такий метод дозволяє обчислювати еквівалентність мовних конструкцій в процесі аналізу.

4. Подальшого розвитку набув метод синтаксичного аналізу для словосполучень російської мови з елементами семантики, який відрізняється від існуючих використанням л-вираження та семантичних функцій в процесі аналізу. Результатом аналізу словосполучення є семантична функція. Метод ґрунтується на стратегії "згортка" для атрибутних граматик з використанням інформації із семантичного словника. Цей метод дозволяє поліпшити якість аналізу, наближаючи його до адекватного сприйняття інформації.

5. Подальшого розвитку набула модель семантичного словника дієслів, що позначають дію, яка відрізняється від існуючих представленням дієслів формулами лямбда числення та семантичними функціям, що дає можливість оцінювати семантичну правильність мовної конструкції. Така модель дозволяє підвищити якість автоматичної обробки словосполучень.

6. Набула подальшого розвитку теза про поділ семантики природної мови на поверхневу й формальну. На відміну від існуючого підходу, поверхнева семантика представлена семантичними функціями і є основою для одержання формул формальної семантики. Для одержання й обробки семантичної структури словосполучень уведені семантичні примітиви, які є словами ПМ.

7. Проведено апробацію запропонованих моделей і методів: моделі семантики у вигляді семантичних функцій та метод синтаксико-семантичного аналізу, метод виявлення еквівалентності семантичних функцій, які впроваджені у виробничий процес на ТОВ "КОДА"(акт впровадження від 20.12.2010р.). Використання запропонованих методів та моделей дозволило скоротити обсяг знайденої текстової інформації на 25 %. У Харківському національному університеті радіоелектроніки результати дисертаційної роботи впроваджено у навчальному процесі на кафедрі ПЗ ЕОМ у дисциплінах "Формальні системи та моделювання знань" та "Проектування експертних систем" (акт впровадження від 08.12.2010 р).

8. Розроблені моделі й методи можуть бути ефективно використані в таких галузях як: синтаксичний і семантичний аналіз природно-мовних текстів, орієнтований на різні подальші застосування; пошук інформації, представленої природно-мовними текстами, за її семантичним змістом; створення інтелектуальних інтерфейсів різного призначення; автоматичне реферування природно-мовних текстів; створення систем машинного перекладу, що базуються на семантиці.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

1. Дюбко Г.Ф. Модель поверхностного смысла естественного языка на базе семантических функций / Г.Ф. Дюбко, Д.В. Преснякова //Бионика интеллекта. - 2007. - Вып. 1(66). - С. 103-106.

2. Дюбко Г.Ф. Формализация семантики естественного языка с применением лямбда-исчисления. / Г.Ф. Дюбко, Д.В. Преснякова // Бионика интеллекта. - 2007. - Вып 2(67). - С. 41-46.

3. Дюбко Г.Ф. Формальная семантика и анализ естественного языка. / Г.Ф. Дюбко, Д.В. Преснякова // Восточно-Европейский журнал передовых технологий. - 2008. - Вып. 4/2(34). - С. 48-53.

4. Дюбко Г.Ф. Синтаксико-семантический анализ естественно-языковых конструкций / Д.В. Преснякова, В.И. Омельченко, Г.Ф. Дюбко // Восточно-Европейский журнал передовых технологий. - 2010. - Вып. 4/2(46). - С. 28-31.

5. Преснякова Д.В. Эквивалентность семантических функций. / Д.В. Преснякова // "Системи обробки інформації", збірник наукових праць. - 2010. - Вип. 2 (83). - С. 229-232.

6. Бирюкова Н.С. Логический контроль знаний в компьютерных обучающих системах / Н.С. Бирюкова, Д.В. Соловова / Сборник научных трудов "Образование и виртуальность (ВИРТ)". - 2003. - Вып.9. - С. 169-173.

7. Преснякова Д.В. Анализ конструкций естественного языка с использованием семантики / Д.В. Преснякова // Радиоэлектроника и молодежь в ХХ 1 веке: 8-й международный молодежный форум: материалы форума. - Харьков: ХНУРЭ. - 2004. - С. 62.

8. Преснякова Д.В. Методы вычисления значений семантических функций в процессе выявления семантики конструкций естественного языка / Д.В. Преснякова // Радиоэлектроника и молодежь в ХХ 1 веке: 10-й юбилейный международный молодежный форум: материалы форума. - Харьков: ХНУРЭ. - 2006. - С. 361.

9. Преснякова Д.В. Исследование формальной модели смысла естественного языка на базе семантических функций / Д.В. Преснякова // Радиоэлектроника и молодежь в ХХ 1 веке: 9-й международный молодежный форум: материалы форума. - Харьков: ХНУРЭ. - 2005. - С. 372

10. Дюбко Г.Ф Концепция машинного перевода на базе семантических функций / Г.Ф. Дюбко, Д.В. Преснякова// Горизонти прикладної лінгвістики та лінгвістичних технологій: Міжнародна наукова конференція. - Партеніт. - 2007. - С. 260-261.

11. Преснякова Д.В. Формализация толкового словаря/ Д.В. Преснякова // Радиоэлектроника и молодежь в ХХ 1 веке: 12-й международный молодежный форум: материалы форума. - Харьков: ХНУРЭ. - 2008. - С. 254.

12. Дюбко Г.Ф Формальная семантика и анализ естественного языка / Г.Ф. Дюбко, Д.В. Преснякова // Горизонти прикладної лінгвістики та лінгвістичних технологій: Міжнародна наукова конференція. - Партеніт. - 2008. - С. 153-154.

13. Дзех М.Ю. Формализация толкового словаря естественного языка / Д.В. Преснякова, М.Ю. Дзех // Радиоэлектроника и молодежь в ХХ 1 веке: 14-й международный молодежный форум: материалы форума. - Харьков: ХНУРЭ. - 2010. - С. 219.

14. Омельченко В.И. Синтаксико-семантический анализ в естественном языке / В.И. Омельченко, Д.В. Преснякова // Радиоэлектроника и молодежь в ХХ 1 веке: 14-й международный молодежный форум: материалы форума. - Харьков: ХНУРЭ. - 2010. - С. 220.

АНОТАЦІЯ

Преснякова Д.В. "Методи і моделі процесів та елементів поверхневої семантики словосполучень природної мови в системах штучного інтелекту" - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.23 - системи й засоби штучного інтелекту. Харківський національний університет радіоелектроніки, Харків, 2011.

Дисертація Д.В. Преснякової присвячена розробці моделей семантики словосполучень природної мови, методів їх інтерпретації та застосування моделей і методів в аналізі природно-мовних конструкцій. Розроблені моделі й методи дозволяють підвищити якість аналізу словосполучень і простих речень природної мови, наближаючи його до реальної мовної практики.

Розроблено формальну мову для представлення семантичних функцій, які можуть бути використані як інтерпретатор моделі лексичної семантики для окремих слів та простих словосполучень природної мови. Розроблено ряд комбінованих моделей семантики природної мови на основі семантичних функцій, числення предикатів і лямбда числення. Так само як комбінована модель семантики, запропоновано модель інтегрованої семантики, що є модифікацією моделі формальної семантики. Розроблено метод синтаксичного аналізу з елементами семантики природно-мовних конструкцій, результатом якого є семантична функція, що визначає синтаксичну й семантичну структуру. Розроблено підхід до побудови фрагмента системи інтелектуального контролю знань при електронному навчанні. Запропоновано метод використання семантичних функцій у системах машинного перекладу, де послівний переклад здійснюється в контексті речення.

Ключові слова: лексична семантика, формальна семантика, семантична функція, модель інтегрованої семантики, семантичний словник.

АННОТАЦИЯ

Преснякова Д.В. "Методы и модели процессов и элементов поверхностной семантики словосочетаний естественного языка в системах искусственного интеллекта" - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.23 - системы и средства искусственного интеллекта. Харьковский национальный университет радиоэлектроники, Харьков, 2011.

Диссертация Д.В. Пресняковой посвящена разработке моделей элементов семантики естественного языка для словосочетаний, методов их интерпретации и приложения моделей и методов в анализе естественно-языковых конструкций. Разработанные модели и методы позволяют повысить качество анализа словосочетаний и простых предложений естественного языка, приближая его к реальной языковой практике.

Разработан формальный язык для представления семантических функций, которые могут быть использованы как интерпретатор модели лексической семантики для отдельных слов и простых словосочетаний естественного языка. Семантические функции интерпретируются на базе знаний в виде л - словаря. Значениями семантических функций являются другие семантические функции и семантические примитивы, с помощью которых можно вычислить значение слова и словосочетания. Предложен метод вычисления эквивалентности семантических функций. Семантическая функция позволяет однозначное представление синтаксической структуры предложений естественного языка с элементами семантики.

Разработан ряд комбинированных моделей семантики естественного языка на основе семантических функций, исчисления предикатов и лямбда-исчисления. Предложена предикатно-лексическая модель для семантических примитивов, где предикатные формулы и семантические функции встроены в формулы лямбда-исчисления, редукция последних позволяет вычисление семантических примитивов. В модели описания семантики на основе лямбда исчисления предикатно-лексическая модель расширена до уровня представления контекста, в котором может быть использовано слово естественного языка. Эта модель позволяет формировать автоматически выражения формальной семантики для предложения, исходя из пропозиции (семантической функции предложения). Поскольку в интерпретации моделей используется л - словарь, предложена формальная модель такого словаря. Эта модель разработана для глаголов, с учетом того, что глагол является главным словом в предложении. Построенный таким образом семантический словарь позволяет идентифицировать словарную статью в которой используется глагол. Также в качестве комбинированной модели семантики предложена модель интегрированной семантики, которая является модификацией модели формальной семантики. Выражениями модели интегрированной семантики являются формулы исчисления предикатов, в которые встроены семантические функции. Здесь же предлагается метод логического вывода на основе модифицированного метода резолюций.

Разработан метод синтаксического анализа простых предложений с элементами семантики, результатом которого является семантическая функция, определяющая синтаксическую и семантическую структуру предложения. Метод основан на выводе в атрибутной грамматике по стратегии "свертка" с привлечением информации из семантического словаря.

Разработан подход к построению фрагмента системы интеллектуального контроля знаний при электронном обучении. Интеллектуальная система контроля предусматривает свободно конструируемый ответ обучающегося на языке предметной области, анализ ответа с использованием разработанных в диссертации моделей и методов, логический вывод. Данный подход позволяет проверяет правильность ответа.

Предложен метод использования семантических функций в системах машинного перевода, где пословный перевод осуществляется в контексте предложения.

Ключевые слова: лексическая семантика, формальная семантика, семантическая функция, модель интегрированной семантики, семантический словарь.

ABSTRACT

Presnyakova D.V. "Methods and models of processes and elements superficial semantics word combinations of a natural language artificial intelligence systems" - Manuscript.

The thesis for a scientific degree of the candidate on engineering science on a specialty 05.13.23 - systems and means of an artificial intellect - Kharkov National University of Radioelectronics, Kharkov, 2011.

Dissertation of Presnyakovoy D.V. is devoted development of models of semantics of natural language, methods of their interpretation and appendix of models and methods in the analysis of natural-linguistic constructions. The developed models and methods allow to promote quality of analysis of combinations of words and simple sentences of natural language, approaching it to the real linguistic practice.

A formal language is developed for presentation of semantic functions which can be used as an interpreter of model of lexical semantics for separate words and simple combinations of words of human language. The row of the combined models of semantics of human language is developed on the basis of semantic functions, calculation of predicates and lambda of calculation. Similarly as the combined model of semantics the model of computer-integrated semantics which is modification of model of formal semantics is offered. The method of sintaksiko-semantic analysis of simple sentences, the result of which is a semantic function, determining the syntactic and semantic structure of a sentence, is developed. Going near the construction of the intellectual checking of knowledges systems is developed at the electronic teaching. The method of the use of semantic functions is offered in the machine translation systems, where word-per-word translation is carried out in the context of suggestion.

Keywords: lexical semantics, formal semantics, semantic function, model of computer-integrated semantics, semantic dictionary.

Размещено на Allbest.ru

...