Лексикографічні системи граматичного типу та їх застосування в засобах автоматизованого опрацювання мови

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

НАЦІОНАЛЬНА АКАДЕМІЯ НАУК УКРАЇНИ

НАЦІОНАЛЬНА БІБЛІОТЕКА УКРАЇНИ імені В.І.ВЕРНАДСЬКОГО Спеціальність 10.02.21 - Структурна, математична та прикладна лінгвістика

АВТОРЕФЕРАТ дисертації на здобуття наукового ступеня

кандидата технічних наук

Лексикографічні системи граматичного типу та їх застосування в засобах автоматизованого опрацювання мови

Любченко Тетяна Петрівна

Київ - 2011

Дисертацією є рукопис.

Роботу виконано в Українському мовно-інформаційному фонді

Національної академії наук України.

Науковий керівник:член-кореспондент НАН України,

доктор технічних наук,

Широков Володимир Анатолійович,

Український мовно-інформаційний фонд НАН України, директор

Офіційні опоненти:доктор технічних наук,

Манако Алла Федорівна,

Міжнародний науково-навчальний центр інформаційних технологій та систем МОНмолодьспорту України та НАН України, завідувач відділу

кандидат технічних наук, доцент

Кульчицький Ігор Маркіянович,

Інститут комп'ютерних наук та інформаційних технологій при Національному університеті «Львівська політехніка»,

доцент кафедри прикладної лінгвістики

Захист відбудеться 20 жовтня 2011 р. о 13:00 год. на засіданні спеціалізованої вченої ради Д 26.165.02 для захисту дисертацій на здобуття наукового ступеня доктора (кандидата) технічних наук у Національній бібліотеці України імені В. І. Вернадського за адресою: 03039, м. Київ, просп. 40-річчя Жовтня, 3.

З дисертацією можна ознайомитися в читальному залі бібліотекознавчої літератури Національної бібліотеки України імені В. І. Вернадського за адресою: 03039, м. Київ, просп. 40-річчя Жовтня, 3.

Автореферат розіслано 15 вересня 2011 р.

Учений секретар спеціалізованої вченої ради

кандидат технічних наукН. Ф. Самохіна

ЗАГАЛЬНА ХАРАКТЕРИСТИКА РОБОТИ

Актуальність теми дисертації. У сучасних умовах постійного зростання інформаційних потоків проблема автоматичного опрацювання природномовної інформації набуває все більшого значення. Із розвитком Інтернету надзвичайно активізувався напрям прикладної лінгвістики, пов'язаний зі створенням багатомовних інформаційних ресурсів. Отже, актуальним постало завдання розробки та створення систем опрацювання багатомовної інформації. Серед засобів опрацювання природної мови (ОПМ), що мають широке застосування, відзначимо інформаційнопошукові системи, системи машинного перекладу, семантичного, статистичного, оптичного та акустичного аналізу і синтезу мови, автоматизованого редагування, екстракції знань з природномовних текстів, реферування (анотування), індексування текстів, навчально-дидактичні, менеджменту лінгвістичних корпусів, інструментальні засоби укладання словників різних типів та ін.

Центральними об'єктами опису природномовного тексту є одиниці лексичного рівня мови, тобто слова. Тож обов'язковим компонентом кожної системи ОПМ є підсистема морфологічного аналізу, яка вирішує завдання селекції та граматичної ідентифікації лексичних одиниць тексту. Для мов із розвиненою словозміною завдання граматичної ідентифікації (визначення канонічної форми слова та отримання повного набору його словоформ) є складним і працемістким, а тому вимагає автоматизації словозмінних процесів. Здійснення останньої неможливе без вирішення питання формального представлення процесів лексемної парадигматизації та лематизації словоформ. Це передбачає створення спеціальних комп'ютерних засобів автоматичного морфологічного аналізу (АМА). У свою чергу, необхідним елементом будь-якої системи АМА є електронні граматичні словники (ЕГС).

Протягом останніх десятиліть розроблено чимало систем морфологічного аналізу, синтезу і лематизації для української, російської та інших мов світу, які орієнтуються на граматичний лад відповідної мови. Тут варто згадати праці Г. Г. Бєлоногова, А. Ф. Гельбуха, С. А. Старостіна, А. В. Сокирко, І. В. Шевченка, К. В. Широкова та ін. Тим часом, універсальної формалізованої моделі, спроможної відіграти роль концептуальної бази моделювання морфологічних підсистем для класу мов із флективним компонентом у словозміні, досі не сформульовано, що залишається одним із важливих завдань прикладної лінгвістики та лінгвістичних технологій. Створення такої концептуальної бази неможливе без розробки загальних принципів побудови лексикографічних систем (Л-систем) граматичного типу та побудови за цими принципами зазначених систем для конкретних мов, що й вмотивовує актуальність теми дисертації - «Лексикографічні системи граматичного типу та їх застосування в засобах автоматизованого опрацювання мови».

Зв'язок з науковими програмами, планами, темами. Результати дисертаційного дослідження одержано в процесі виконання загальнодержавної та відомчої тематики науково-дослідних робіт і рішень Уряду України, а саме: завдань, визначених Указом Президента України від 07.08.1999 р. № 967 «Про розвиток національної словникової бази» та науково-дослідних тем Українського мовно-інформаційного фонду НАН України «Лексикографічні системи в інтелектуальному опрацюванні природної мови» (2002-2006 рр.; № держреєстрації 0102U003220); «Дослідження мовно-інформаційних процесів та розподілених систем Національної словникової бази» (2002-2006 рр.; № держреєстрації 0102U003221); «Моделювання онлайнових інформаційно-лексикографічних систем» (2003-2006 рр.; № держреєстрації 0102U003222); «Розробка параметрів лексикографічної системи для російськоукраїнського словника» (2005-2007рр., № держреєстрації 0105U008377).

Мета і завдання дослідження. Метою дисертаційного дослідження є розробка формальних моделей лексикографічних систем граматичного типу та створення лінгвістично-інформаційних технологій побудови лексикографічних систем граматичного типу для мов із флективним компонентом у словозміні.

Досягнення цієї мети передбачає виконання таких основних науково-технічних завдань:

аналіз формально-граматичної будови мов із флективним компонентом у словозміні;

розроблення загальних принципів моделювання словозмінних процесів у мовах із флективним компонентом у словозміні;

побудова на розроблених принципах формальних моделей словозміни та застосування їх для опису словозмінної системи мов із флективним компонентом;

побудова на базі теорії лексикографічних систем концептуальних моделей Л-систем граматичного типу для мов із флективним компонентом у словозміні; автоматизований мова словозміна електронний словник

розроблення алгоритмічно-програмного забезпечення та лінгвістично-інформаційної технології автоматизованого формування лексикографічних систем граматичного типу;

розроблення програмно-технологічних інструментальних комплексів електронних граматичних словників;

застосування розроблених моделей та лінгвістично-технологічних інструментів для опису ряду мов (російської, німецької, англійської, іспанської).

Об'єктом дослідження є граматичні процеси в системах словозміни мов із флективним компонентом у словозміні.

Предметом дослідження є формальні моделі лексикографічних систем граматичного типу та лінгвістично-інформаційні технології їх побудови.

Методи дослідження ґрунтуються на комп'ютерному моделюванні граматичних явищ. Дослідження проводилося шляхом формалізації закономірностей морфологічної будови російської, німецької, англійської, іспанської мов і побудови формальних моделей їхньої словозміни. Використовувалась теорія лексикографічних систем, теорія множин (у тому числі, теорія мультимножин та нечітких множин), теорія моделей та баз даних, сучасні інструментальні засоби програмування.

Наукова новизна. У дисертації вперше у вітчизняній прикладній лінгвістиці розроблено формальну модель словозміни для класу мов із флективним компонентом у словозміні.

Побудовано концептуальну модель Л-системи граматичного типу для представлення словозміни російської мови з урахуванням явища акцентуації, а також з урахуванням дефектності та варіативності словозмінної парадигми.

Розроблено формальну модель лексикографічної системи «Електронний Граматичний словник російської мови» (Л-системи ЕГС РМ) та побудовано відповідну лексикографічну базу даних.

Уперше на матеріалі репрезентативної авторської Л-системи ЕГС РМ (обсягом близько 170 тис. реєстрових одиниць) досліджено ефекти дефектності та варіативності, репрезентовані у словозмінній системі російської мови, визначено їхні типи. Проіндексовано словниковий склад за параметрами дефектності та варіативності словозмінної парадигми, побудовано класифікацію лексики з урахуванням цих параметрів.

На основі створеної лексикографічної бази даних (ЛБД) граматичного типу для російської мови визначено повний перелік усіх можливих у сучасній російській мові типів граматичної омонімії та сформовано ЛБД граматичних омонімів російської мови.

Принципи концептуального моделювання Л-системи ЕГС російської мови застосовано для моделювання словозміни німецької, англійської, іспанської мов.

Практичне значення отриманих результатів. Застосування розроблених моделей та технологій дозволило одержати низку практично корисних результатів.

Створену ЛБД ЕГС РМ та відповідну інформаційну технологію лексикографування впроваджено у промислову експлуатацію в Національній словниковій базі Українського мовно-інформаційного фонду НАН України.

Інструментальний комплекс для укладання граматичного словника російської мови, реалізований за системотехнікою віртуальної лексикографічної лабораторії, також упроваджено в промислову експлуатацію, що дозволяє територіально розподіленим користувачам виконувати основні функції супроводу ЛБД - пошук, редагування, видалення та поповнення новою лексикою, коригування словозмінних класів.

Структуру ЛБД, розроблену для російської мови, та відповідну інформаційну технологію її створення було покладено в основу для побудови інструментальних систем німецької, англійської та іспанської мов.

Створені Л-системи граматичного типу, а також програмний інструментарій пройшли апробацію на значних лексичних масивах (російська - близько 170 тис. одиниць; німецька - 60 тис. одиниць, англійська - близько 50 тис. одиниць; для іспанської проведено комп'ютерний експеримент на матеріалі дієслова).

Розроблені ЛБД лексикографічних систем ЕГС та програмні засоби їх редагування дозволяють ефективно організувати процес створення Л-систем граматичного типу.

Л-система ЕГС РМ використовується в Українському мовно-інформаційному фонді НАН України для морфологічного маркування російських текстів на етапі формування російської зони автоматичного багатомовного перекладного словника та в процесі формування на основі паралельних текстів перекладного словника словосполучень.

Створені ЛБД можуть успішно використовуватися при дослідженні словозмінних процесів і явищ, зокрема таких, які важко або взагалі неможливо провести в “ручному” режимі. У даному випадку йдеться про отримання даних щодо типології та лексикографії дефектності та варіативності словозмінної парадигми, а також про обчислення типів та моделей граматичної омонімії в мові. На ці дані спираються алгоритми усунення омонімії.

Особистий внесок здобувача. Усі результати дисертації, які винесено на захист, належать авторові. Результати дисертації викладено у працях [1-19]. Особистий внесок автора в працях, опублікованих із співавторами, є таким: у праці [9] розроблено структуру ЛБД ЕГС РМ і алгоритмічно-програмне забезпечення її формування та сформульовано алгоритми автоматичного морфологічного аналізу, лематизації та синтезу словоформ; у праці [11] визначено принципи переходу від версії електронного граматичного словника для писемної форми мови до версії ЕГС російської мови з урахуванням акцентуації, розроблено моделі та спосіб представлення схем наголосу в структурі даних словника; у праці [7] запропоновано структуру багатомовного перекладного словника; у працях [8] та [14] до особистого внеску дисертантки належить алгоритм формування перекладних словників словосполучень на основі корпусу паралельних текстів із залученням Л-систем граматичного типу; у колективній монографії [1] дисертантка брала участь у написанні першого розділу «Лінгвістичні корпуси в логічному та історичному аспектах» та п'ятого розділу «Система маркування та морфологічного аналізу Українського національного лінгвістичного корпусу» (написала підрозділ «Морфологічний аналіз в УНЛК»).

Апробація роботи. Основні матеріали дисертації доповідалися на міжнародних та вітчизняних конференціях, у тому числі на: Міжнародній конференції «Корпусна лінгвістика та лінгвістичні бази даних» (Санкт-Петербург, 2002); Міжнародній науково-технічній конференції «Штучний інтелект - 2002»; V Міжнародній школі-семінарі «Теоретична лексикографія: сучасні тенденції розвитку» (Іваново, 2003); Міжнародній конференції «Корпусна лінгвістика-2004» (Санкт-Петербург, 2004); Міжнародній конференції «Сучасні проблеми лексикографії» (Гродно, 2005); Міжнародній конференції MegaLing'2005 «Прикладна лінгвістика в пошуку нових шляхів» (Крим, 2005); Міжнародних конференціях MegaLing'2006-2008, 2011 «Горизонти прикладної лінгвістики та лінгвістичних технологій» (Партеніт, 2006, 2007, 2008, 2011); Міжнародній науковій конференції MondiLex (Київ, 2009); численних наукових семінарах Українського мовно-інформаційного фонду НАН України.

Публікації з теми дисертації. Результати дисертації висвітлено у 19 наукових працях, серед яких колективна монографія «Корпусна лінгвістика», чотири самостійні статті у виданнях, що увійшли до переліку ВАК України, а також тези та доповіді десяти міжнародних конференцій.

Структура та обсяг роботи. Дисертація складається зі вступу, чотирьох розділів основного змісту, висновків, списку використаної літератури, який містить 223 найменування, та 9 додатків. Обсяг дисертаційного дослідження без списку використаної літератури - 202 сторінки, загальний обсяг роботи (з бібліографією та додатками) - 294 сторінки.

ОСНОВНИЙ ЗМІСТ РОБОТИ

У Вступі обґрунтовано актуальність теми дисертації, окреслено об'єкт та предмет дослідження, сформульовано мету і завдання роботи, подано відомості про наукову новизну отриманих результатів та їх практичне застосування, висвітлено питання апробації роботи та особистого внеску здобувача у праці, написані у співавторстві.

У першому розділі «Лексикографічні системи опрацювання природної мови» здійснено аналітичний огляд існуючих підходів та результатів у галузі граматичних аспектів комп'ютерної лінгвістики. Зокрема, у першому підрозділі проаналізовано сучасний стан та проблеми розвитку систем ОПМ. Показано, що обов'язковим складником систем ОПМ є підсистема морфологічного аналізу як така, що визначає ефективність роботи даних систем.

У другому підрозділі подано огляд методів і систем морфологічного аналізу. Показано, що серед великої кількості напрацювань у цій галузі можна виокремити три основні підходи до виконання морфологічного аналізу: на основі використання великих словників (так звана чітка морфологія), на основі правил (нечітка морфологія) та ймовірнісний підхід (ґрунтується на статистиці сполучуваності слів у реченні). Перший з них дозволяє отримувати точні результати морфологічної ідентифікації слів (за умови наявності аналізованого слова у словнику). Другий дозволяє будувати гіпотези щодо можливого граматичного статусу слів, незнайомих системі. Третій підхід задовільно працює тільки для мов із чітким порядком слів у реченні і, отже, не може бути застосованим для слов'янських мов. Комбінування першого і другого підходів дозволяє отримувати достатньо точний і повний морфологічний аналіз. Зазначимо, що обидва підходи передбачають звертання у своїх алгоритмах до граматичних (морфологічних) словників.

У третьому підрозділі викладаються необхідні для подальшого дослідження факти з теорії лексикографічних систем (Л-систем) та загальні принципи побудови словозмінної моделі флективної мови. Згідно з теорією лексикографічних систем ми будуємо Л-систему граматичного типу, яка реалізує парадигматичні відношення. Будова граматичної (парадигматичної) Л-системи для мови із флективним компонентом у словозміні представляється діаграмою:

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

У наведеній схемі елементи мають таку інтерпретацію: V(PAR) - множина словникових статей морфологічної (парадигматичної) Л-системи; (PAR) - множина лівих частин словникових статей: (PAR) = FPARV(PAR) ={x0}, де {x0} - множина слів у канонічній (початковій) формі; P(PAR) - множина правих частин словникових статей: P(PAR) = СPARV(PAR) ={[x]}, де {[x]} - множина всіх словозмінних парадигм (словоформи, що входять до складу словозмінної парадигми, називаємо парадигматичними формами); Н = НPAR - оператор парадигматизації, який здійснює побудову повної словозмінної парадигми будь-якого слова, заданого канонічною його формою х0: НPARx0 = [x]; Н-1 = НLEM - оператор лематизації, обернений до НPAR, він здійснює реконструкцію канонічної форми х0 за текстовою формою (х): НLEM (х) = х0 , де (х) - будь-який елемент парадигми [x].

Завдання побудови Л-системи граматичного типу зводиться до побудови оператора парадигматизації, що, в свою чергу, вимагає розв'язання проблеми формалізації опису словозмінної системи природної мови. З цією метою встановлюються та формалізуються лінгвістичні критерії, згідно з якими уся множина слів мови розбивається на певні підмножини, взаємний перетин яких є порожнім, так що в середині кожної з них процес словозміни відбувається за одним правилом. Підмножини слів з такими властивостями називаються словозмінними парадигматичними класами.

Через те, що у природних мовах дуже поширені явища омонімії та полісемії, при моделюванні словозмінних процесів для адекватного їх представлення використано поняття мультимножини (ММ), тобто множини з повторюваними елементами. Моделювання поділу мультимножини слів на словозмінні парадигматичні класи відбувається у декілька етапів. На першому визначається поняття парадигматичного типу (ПТ), у визначенні якого принципову роль відіграють поняття граматичної категорії, граматичного значення та граматичної форми. Парадигматичний тип визначається комплексами граматичних значень, що характеризують певні граматичні стани лексем (сукупністю граматичних значень та відповідних граматичних форм).

За ознакою належності до певної частини мови та за додатковими ознаками, які є класифікувальними (не словозмінними) в межах певної частини мови, мультимножина слів WL розподіляється на підмультимножини, які ми називаємо граматичними класами. Класифікація лексики флективної мови за парадигматичними типами, граматичними та парадигматичними класами здійснюється згідно з принципом, який схематично представлено на рис. 1.

Рис. 1. Класифікація лексики флективної мови

Будь-яку лексему x для мов із флективним компонентом у словозміні (з урахуванням її словозмінних варіантів) можна представити у вигляді комбінації незмінної та змінної частин:

(2)

де - частина лексеми х, яка в процесі словозміни залишається сталою (квазіоснова), - її змінна частина (квазіфлексія), * - конкатенація. Стала та змінна частини можуть мати як нульову довжину, так і збігатися з самою лексемою.

Словозмінна парадигма лексеми х представляється у вигляді:

(3)

де - квазіфлексії у відповідних граматичних формах. При цьому будь-яка граматична форма може виражатися більше ніж однією словоформою, тобто у загальному випадку , де l = 1,2,…,н - кратність граматичної форми.

Для розбиття мультимножини слів певного граматичного класу на парадигматичні класи будуються відношення парадигматизації i, які визначаються в такий спосіб:

,(4)

де - набір квазіфлексій слів, які мають у відповідних граматичних значеннях (певного парадигматичного типу, що його характеризує) однакові змінні складники. Відношення парадигматизації є відношенням еквівалентності, оскільки воно, очевидно, рефлексивне, симетричне і транзитивне. Фактор-множина є множиною парадигматичних класів {} граматичного класу Pi (парадигматичного типу Ti): .

До одного парадигматичного класу входять тільки ті слова, які мають однакові набори квазіфлексій для відповідних граматичних форм, а відрізняються один від одного лише графемним складом частини c(x). Слова з одного класу еквівалентності, визначеного в такий спосіб, мають, відповідно, і однакові правила словозміни.

Для автоматичного одержання повної парадигми слова х за його початковою формою будується оператор парадигматизації:

(5)

дія якого визначається відношенням .

Оператор парадигматизації для кожного парадигматичного класу визначається незалежно:

, ,(6)

де - оператор парадигматизації, що діє в межах парадигматичного класу Рk; індекси i= 1,2,…,N; j=1,2,…,pj; k=1,2,…,nj використовуються, відповідно, для парадигматичних типів, граматичних класів та парадигматичних класів; N - кількість парадигматичних типів; pj - кількість граматичних класів, що мають парадигматичний тип Ti; nj - кількість парадигматичних класів у граматичному класі ; - множина наборів квазіфлексій слів парадигматичного класу Рk.

Оператор парадигматизації, що діє на мультимножині слів кожного граматичного класу, визначається через оператори парадигматизації , які діють у межах своїх конкретних парадигматичних класів Рk:

, де , (7)

де k, j, i - індекси, відповідно, парадигматичного класу, граматичного класу і парадигматичного типу.

Викладена морфологічна модель є концептуальною основою для комп'ютерного моделювання та реалізації парадигматичних відношень для класу мов із флективним компонентом у словозміні.

Другий розділ «Концептуальне моделювання лексикографічних систем граматичного типу» присвячено побудові морфологічних моделей і словозмінних класифікацій лексичного складу російської, німецької, англійської та іспанської мов (кожній мові присвячено окремий підрозділ).

Розглядаючи формальні аспекти граматичної семантики, виходимо з існування відповідності між словом та його граматичним станом:

, (8)

де х - певна словоформа, - відповідність між w та - формальним об'єктом, який репрезентує граматичний стан слова x. Граматичний стан виражається певним комплексом граматичних значень.

На прикладі російської мови розглянуто побудову словозмінної моделі з урахуванням акцентуації. Для представлення у концептуальній моделі словозміни явища акцентуаційного зміщення введено параметр акцентуації або характеристичну акцентуаційну функцію , яка визначається у такий спосіб. Нехай лексема х у початковій формі х0 має наголос у позиції р0. Тоді функція:

(9)

характеризує дистрибуцію наголосу у словозмінних формах лексем. У наведеній формулі символами позначено позиції наголосу в словоформі хі, що належить парадигмі лексеми х, j - кількість наголосів у слові, k - кількість варіантів словоформ лексеми, які відповідають певному граматичному значенню. Величини характеризують зсув наголосу у словоформі хі відносно позиції наголосу в початковій формі х0 лексеми х. Вони можуть набувати як додатних (зсув наголосу праворуч), так і від'ємних значень (зсув наголосу ліворуч).

Характеристичні функції з різними значеннями qi задають різні акцентуаційні класи Acc(). Уведення акцентуаційних класів дозволяє розширити поняття парадигматичного класу, визначене у першому розділі для писемної форми мови, на випадок її усної форми і розглядати парадигматичний клас з урахуванням акцентуації (або акцентно-парадигматичний клас) як декартів добуток ЧAccq, де Accq - певний акцентуаційний клас, що об'єднує лексеми з однаковою акцентною дистрибуцією, яка описується характеристичною акцентуаційною функцією (9).

Розроблена модель пройшла практичну апробацію на лексичній базі російської мови обсягом близько 170 тис. одиниць. При цьому визначено 2015 парадигматичних класів, у тому числі 818 парадигматичних класів іменників, 132 - ад'єктивів, 37 - займенників-іменників, 31 - займенників-прикметників, 966 - парадигматичних класів дієслів, 25 - кількісних числівників та 6 класів дієприкметників.

У цьому розділі також викладено принципи застосування формалізму нечітких множин для ідентифікації граматичних станів слів флективної мови. Згідно з формулою (8) встановлюється відповідність між словом x та його граматичним станом g. Нехай F - деякий оператор, який ідентифікує певне значення конкретної граматичної категорії, що відповідає певному граматичному стану:

,(10)

де fi - значення деякої граматичної категорії (наприклад, частини мови), які називатимемо власними значеннями оператора F; функції gi представляють граматичні стани. Множина усіх граматичних станів, що відповідають цьому власному значенню, є множиною часткових граматичних станів: G(fi)= {G: Fg = fi gi}. У тих випадках, коли G(fi) складається більше ніж з одного елемента, рівняння (10) стає формальним вираженням явища омонімії, яке полягає в тому, що певна словоформа може одночасно перебувати у стані, скажімо, іменника і дієслова (міжчастиномовна омонімія), або в межах однієї частини мови словоформа має різні граматичні стани, в яких значення певних граматичних категорій (наприклад, відмінка) відмінні (внутрішньочастиномовна омонімія). Якщо у рівнянні (10) певному власному значенню fi відповідає декілька граматичних станів , j =1, 2, …, говоритимемо про вироджені граматичні стани. Кількість власних граматичних станів словоформи x, які відповідають певному значенню категорії F, називатимемо кратністю виродження цього граматичного стану. Граматичні стани, в яких оператор F має певне визначене значення, називатимемо чистими. Стани, для яких оператор F, діючи на функцію граматичного стану словоформи, зображається комбінацією певного числа чистих граматичних станів, що відповідають різним власним значенням цього оператора, називатимемо змішаними граматичними станами.

Явище омонімії описується рівнянням:

, (11)

де різні члени правої частини відповідають різним омонімічним станам слова х, якщо йому притаманний той чи інший різновид омонімії. У процесі мовного опрацювання, на етапі усунення омонімії, права частина цього рівняння редукується до одного члена, який, власне, і представляє чистий граматичний стан аналізованого слова х. У цьому випадку множина G усіх граматичних станів може бути представлена як об'єднання множин часткових граматичних станів , що не перетинаються: , при .

Якщо слово знаходиться у змішаному граматичному стані, зменшити число членів рівняння (11) не вдається. Наявність змішаних граматичних станів у деяких слів природних мов свідчить про те, що граматика має риси нечіткості. Отже, для опису багатозначних граматичних ситуацій доцільно використовувати формальний механізм теорії нечітких множин. На множині визначимо структуру нечіткої (в смислі Л. Заде) множини. Для цього на кожній з підмножин визначимо функцію належності , яка для кожного набуває певного числового значення з інтервалу між 0 та 1:

. (12)

При граматичний стан g вважається чистим, а якщо , відповідний g є компонентом змішаного стану, другий компонент якого g (для двокомпонентних станів) належить до певної підмножини , , зі значенням функції належності , але таким, щоб виконувалася умова:

(13)

Тоді кожна з підмножин перетворюється на нечітку множину з функцією належності :

(14)

Елементами визначеної у такий спосіб нечіткої множини є пари . Разом з цим структура нечіткої множини індукується і на всій множині G як об'єднанні нечітких множин (14) при виконанні умови (13). Функція належності при цьому набуває інтерпретації як міра набуття граматичним станом g властивостей частини мови fi. Максимального значення, рівного 1, функція належності набуває на чистих станах, які характеризують слова з однозначно визначеним показником частиномовної належності. Для слів зі змішаними граматичними станами виду:

(15)

величина демонструє ступінь, з яким слово x виявляє властивості частини мови f1, а , відповідно, ступінь, з яким слово x виявляє властивості частини мови f2. Умова (13), а саме: , забезпечує повноту граматичних властивостей розглядуваного слова і замкненість граматичного опису. Викладений формальний апарат, на наш погляд, надає адекватні засоби для опису складних лінгвістичних феноменів, які мають нечітку природу, зокрема, явища омонімії.

За викладеними у розділі 1 загальними принципами моделювання словозмінних процесів у мовах із флективним компонентом подано опис підходу до моделювання словозміни німецької лексики та побудовано відношення парадигматизації, лексичний склад розбито на словозмінні парадигматичні класи. При цьому визначення парадигматичного класу узагальнено на випадок флективної мови з елементами аналітизму (тобто такої, в якій певним граматичним значенням відповідають аналітичні форми). Аналітична форма (АФ) у загальному випадку може складатися з двох або більше компонентів, тобто x = x1 + x2 + … + xQ. При цьому кожен із компонентів АФ xq, де 1? q ? Q, може бути змінюваним або незмінним. У цьому випадку аналітична форма представляється у вигляді:

,(16)

де q = 1, 2, …, Q - індекс компонента АФ , Q - кількість компонентів АФ. Якщо Q =1, маємо один компонент, тобто x має представлення за синтетичною формулою (2). Складові елементи компонентів АФ є такі: - квазіоснова та - квазіфлексія компонента АФ . Квазіоснова може набувати таких значень: =0 (порожній рядок) у випадку суплетивних словозмінних форм; = , якщо - незмінюване слово; = -. Квазіфлексія =0, якщо компонент є незмінюванним, =, якщо всі словозмінні форми суплетивні. Словозмінна парадигма відповідно до представлення (16) має вигляд:

(17)

де - квазіфлексії компонента у відповідних граматичних станах. При цьому будь-який граматичний стан може виражатися більше ніж однією формою (аналітичною або синтетичною).

Відношення парадигматизації i при наявності аналітичних форм визначаються в такий спосіб. Два слова, що мають у словозмінній парадигмі аналітичні форми, належать до одного парадигматичного класу, якщо аналітичні форми будуються за однаковими схемами (мають ті самі допоміжні складові, а відрізняються тільки змістовим компонентом) і відповідні компоненти АФ мають однакові набори квазіфлексій:

, :

, (18)

де - набори квазіфлексій слів-складників АФ у відповідних граматичних значеннях. За відношенням парадигматизації отримуємо фактор-множину , яка є множиною парадигматичних класів {} граматичного класу Pi.

Отже, у загальному випадку, коли словозмінна парадигма може складатися як із синтетичних, так і з аналітичних форм, до визначення парадигматичного класу додається ознака однаковості схем побудови аналітичних форм: схеми АФ для відповідних граматичних значень будуються з однакових допоміжних складників (ці складники, взагалі кажучи, можуть бути змінюваними); всі словозмінні складники АФ мають однакові набори квазіфлексій для відповідних граматичних форм.

На лексичній базі обсягом понад 52 тис. одиниць для німецької мови визначено 478 парадигматичних класів: 86 парадигматичних класів іменників, 5 - ад'єктивів, 370 - дієслів, 8 - артиклів та 1 парадигматичний клас дієприкметників.

Крім того, у даному розділі розглянуто моделі словозміни англійської та іспанської лексики, які будувалися на основі досвіду моделювання словозміни німецької мови.

Третій розділ «Технологічні та алгоритмічно-програмні аспекти створення Л-систем граматичного типу» присвячено реалізації конкретних лексикографічних систем граматичного типу. Використання морфологічної моделі мови уможливлює автоматизовану побудову граматичного словника. У розділі викладено технологічні аспекти створення ЛБД ЕГС на основі паперового варіанту Граматичного словника російської мови А.А. Залізняка (ГСЗ). Зазначену ЛБД було отримано в такий спосіб. На першому етапі було здійснено конверсію паперового варіанта словника до електронної форми, яку виконано засобами сканування та розпізнавання тексту. Цифровий варіант тексту ГСЗ (880 сторінок) було збережено у DOC-форматі, після чого здійснено подвійну коректуру електронного тексту (виправлено помилки, які виникли під час сканування). На наступному етапі підготовки до створення ЛБД було здійснено конверсію з DOC-формату в HTML-формат із системою кодування Unicode засобами текстового редактора Microsoft Word. Для забезпечення процесу автоматичної конверсії тексту ГСЗ до ЛБД було розроблено програмне забезпечення виділення елементів структури ГСЗ відповідно до будови Л-системи та з використанням поліграфічних ознак їх текстової ідентифікації.

Структуру даних репрезентовано реляційною моделлю. На рис. 2 наведено схему зв'язків між таблицями ЛБД ЕГС російської мови: таблицею реєстрових слів (nom), граматичних класів (Parts), парадигматичних класів (indent), квазіфлексій (flex), словозмінних типів (gr) та акцентуаційних класів (accent).

Рис. 2. Схема зв'язків між таблицями ЛБД ЕГС російської мови

Для редагування та перегляду ЛБД ЕГС було створено інструментальний комплекс, який працює під управлінням операційної системи Microsoft Windows XP/2003/2008 або Windows Vista. Створена граматична ЛБД російської мови функціонує під СУБД Microsoft SQL Server 2008. Комплекс орієнтовано на роботу у мережевому середовищі.

Програмні засоби для укладання російського ЕГС надають можливість виконання таких функцій:

перегляд реєстру ЕГС та повної парадигми кожного слова;

сортування в прямому або інверсному алфавітному порядку;

фільтрація реєстру за ознаками: частина мови, парадигматичний клас, омоніми, власні назви, активні/неактивні та вилучені/ невилучені реєстрові одиниці тощо;

пошук слів у реєстрі;

додавання, вилучення та редагування: реєстрових слів, парадигматичних класів та акцентуаційних класів;

створення граматичного файлу gram.dic, який використовується програмою автоматичного морфологічного аналізу.

Окремі підрозділи присвячено побудові Л-систем ЕГС німецької, англійської та іспанської мов. Розглянуто технологічні аспекти створення ЛБД відповідних мов, описано структуру даних та програмні засоби для редагування та поповнення лексикографічних баз даних. Викладено принципи роботи з Л-системами ЕГС у віртуальному режимі (принципи віртуалізації Л-систем).

Розділ 4 «Практичні застосування лексикографічних систем граматичного типу» присвячено використанню ЕГС у морфологічних аналізаторах (в алгоритмах морфологічного аналізу, лематизації та синтезу з використанням ЕГС), в алгоритмі укладання контекстологічного конкордансу для створення словника словосполучень за паралельними текстами.

У розділі також розглядаються питання формування ЛБД омографів на основі електронного граматичного словника. ЛБД омографів російської мови було створено у такий спосіб. На реєстрі російського ЕГС обсягом 152695 одиниць шляхом синтезу словозмінних парадигм було побудовано словник словоформ. Обсяг отриманого словника - 3115457 одиниць (з повтореннями). Вибірка з реєстру словника словоформ його повторюваних одиниць становить повний перелік омографів (обсяг 823325 одиниць). Сформований реєстр омографів було опрацьовано морфологічним аналізатором, внаслідок чого кожна омонімічна словоформа отримала характеристику у вигляді омонімічного коду (омокоду), - ланцюжка пар ‹граматичний клас, граматичне значення›. Аналіз отриманих омокодів дозволив встановити моделі та типи омонімії. При цьому типи омонімії є виразниками міжчастиномовної омонімії без урахування конкретного граматичного значення, а моделі омонімії - конкретних граматичних значень, які можуть реалізуватися відповідним типом. Нами встановлено 196 типів омонімії, для кожного з яких визначено моделі омонімії. Визначені типи та моделі омонімії використовуватимуться в алгоритмах контекстного аналізу російських текстів. Аналогічний підхід до побудови словника омонімів, обчислення типів та моделей омонімії може бути використано і для інших мов.

Окремий підрозділ присвячено застосуванню ЕГС у лінгвістичних дослідженнях словозмінних систем стосовно опису таких ефектів парадигматичної системи як варіативність (наявність у словозмінній парадигмі паралельних форм) та дефектність (відсутність певних форм у словозмінній парадигмі). Визначення типів дефектності (ТД) та типів варіативності (ТВ) словозмінної парадигми російської мови здійснювалося шляхом автоматичного аналізу таблиці квазіфлексій, яка в структурі бази даних ЕГС містить опис парадигматичних класів. З цією метою було створено необхідні програмні модулі. У результаті дослідження ефектів дефектності словозмінної парадигми російської мови визначено 15 типів дефектності для граматичного класу іменників, 8 - для прикметників, 2 - для займенників-прикметників, 1 - для дієприкметників. У межах кожного граматичного класу слів для кожного типу дефектності визначено типи варіативності парадигм. Визначення типів варіативності здійснювалося в такий спосіб: спочатку встановлювалися типи заповнення парадигм. З останніх вибиралися варіативні парадигми, в яких хоча б одна граматична форма може реалізуватися більше ніж однією словоформою. На масиві лексики обсягом 170 тис. одиниць загалом визначено 253 типи заповнення парадигм, серед них: 58 - для іменників, 20 - для прикметників, 9 - для займенників-іменників, 8 - для займенників-прикметників, 93 - для дієслів недоконаного виду, 3 - для дієприслівників, 59 - для дієслів доконаного виду, 3 - для кількісних числівників. У іменників виявлено 42 типи варіативності словозмінних парадигм, у прикметників - 16.

ОСНОВНІ РЕЗУЛЬТАТИ ТА ВИСНОВКИ

У результаті дисертаційного дослідження одержано ряд нових науково-технічних результатів.

Розроблено загальні принципи моделювання словозмінних процесів мов із флективним компонентом у словозміні. Здійснено адаптацію теорії лексикографічних систем до моделювання граматичних процесів словозміни для мов із флективним компонентом у словозміні та побудовано концептуальні моделі парадигматичних Л-систем для ряду мов (російської, німецької, англійської, іспанської).

На основі теорії лексикографічних систем створено парадигматичну

Л-систему російської мови, тобто розроблено структуру, сформовано ЛБД ЕГС російської мови та програмно реалізовано оператори парадигматизації і лематизації. Розроблено технологічний інструментальний комплекс граматичних словників, який використано для укладання ЕГС російської мови.

На основі створеної ЛБД російської мови розроблено і побудовано спеціалізовану ЛБД та програмні модулі для дослідження лексикографічних ефектів дефектності та варіативності словозмінної парадигми.

За визначеними типами дефектності та варіативності здійснено параметризацію реєстрового складу ЕГС російської мови, що дозволило побудувати нову класифікацію російської лексики, яка враховує дефектність та варіативність як класифікувальні параметри.

На основі розробленої концептуально-технологічної схеми створено лінгвістично-інформаційну технологію укладання граматичних словників німецької, англійської та іспанської мов у вигляді відповідних інструментальних лексикографічних комплексів.

Розроблено концептуальну модель словника граматичних омографів на основі ЛБД російського ЕГС. Побудовано словник граматичних омографів російської мови. Створений словник омографів як інструмент контекстного аналізу використовується на етапі усунення омонімії (при морфологічному аналізі).

Розроблено алгоритм побудови перекладного російсько-українського (українсько-російського) словника словосполучень за корпусом паралельних текстів із використанням граматичних Л-систем відповідних мов.

Проведене дослідження дозволяє зробити висновок, що розроблені формальні моделі словозміни мов із флективним словозмінним компонентом демонструють високу ефективність у прикладних застосуваннях при побудові нових інформаційних технологій лексикографування та дослідження словозмінних ефектів природних мов.

СПИСОК ОПУБЛІКОВАНИХ ПРАЦЬ ЗА ТЕМОЮ ДИСЕРТАЦІЇ

Корпусна лінгвістика / [Широков В. А., Бугаков О. В., Грязнухіна Т. О., Костишин О. М., Кригін М. Ю., Любченко Т. П., Рабулець О. Г., Сидорчук Н. М., Сидоренко О. О., Шевченко І. В., Шипнівська О. О., Якименко К. М.]; за ред. В. А. Широкова. - К. : Довіра, 2005. - 471 с.

Особисний внесок здобувача: брала участь у написанні першого розділу «Лінгвістичні корпуси в логічному та історичному аспектах»; у п'ятому розділі „Система маркування та морфологічного аналізу Українського національного лінгвістичного корпусу” написала підрозділ „Морфологічний аналіз в УНЛК” (С. 217-237).

Любченко Т. П. Морфологічна модель словозміни флективної мови та електронний граматичний словник / Т. П. Любченко // Біоніка інтелекту: наук.-техн. журнал. - 2006. - № 1 (64). - С. 72-77.

Любченко Т. П. Організація даних та структура електронного граматичного словника німецької мови / Т. П. Любченко // Математичні машини і системи. - 2007. - № 2. - С. 98-110.

Любченко Т. П. Програмно-технологічні аспекти створення граматичних лексикографічних систем / Т. П. Любченко // Проблеми програмування. - 2007. - № 3. - С. 61-75.

Любченко Т. П. Моделирование морфологии естественного флективного языка / Т. П. Любченко // Бионика интеллекта: науч.-техн. журнал. - 2008. - № 1 (68). - С. 52-64.

Любченко Т. П. Синтез словоформ німецьких іменників у системі машинного перекладу / Т. П. Любченко // Вісник лінгвістичного університету. - Київ, 2002. - Т. 5. - № 2. - С. 145-154.

Грязнухіна Т. О., Любченко Т. П. Автоматичний багатомовний перекладний словник / Т. О. Грязнухіна, Т. П. Любченко // Вісник лінгвістичного університету. - Київ, 2003. - Т. 6. - № 2. - С. 68-71.

Особистий внесок здобувача: організація даних та розробка структури АБПС.

Грязнухіна Т. О., Любченко Т. П.Паралельні корпуси текстів і машинний переклад / Т. О. Грязнухіна, Т. П. Любченко // Мовознавство. - 2006. - № 1. - С. 71-82.

Особистий внесок здобувача: розроблено алгоритм формування перекладного словника словосполучень на основі корпусу паралельних текстів.

Грязнухина Т. А., Любченко Т. П., Рабулец А. Г. Электронная версия Грамматического словаря русского языка А. А. Зализняка как инструмент автоматического морфологического анализа русского текста / Т. А. Грязнухина, Т. П. Любченко, А. Г. Рабулец // Доклады научной конференции «Корпусная лингвистика и лингвистические базы данных». - СПб. : Изд-во С.-Петерб. ун-та, 2002. - С. 63-70.

Особистий внесок здобувача: розроблено структуру та алгоритмічно-програмне забезпечення для формування ЛБД ЕГС.

Любченко Т. П. Электронные грамматические словари как инструмент морфологической разметки корпуса / Т. П. Любченко // Труды международной конференции «Корпусная лингвистика - 2004». - СПб. : Изд-во С.-Петерб. ун-та, 2004. - С. 206-215.

Грязнухина Т. А., Любченко Т. П., Шевченко И. В. Новая версия электронного грамматического словаря русского языка с учетом акцентуации / Т. А. Грязнухина, Т. П. Любченко, И. В. Шевченко // Слово и словарь = Vocabulum et vocabularium : сб. науч. тр. по лексикографии / отв. ред. Л.В. Рычкова - Гродно : ГрГУ, 2005. - С. 188-193.

Особистий внесок здобувача: визначено систему переходів від версії ЕГС для письмової форми мови до версії ЕГС російської мови з урахуванням акцентуації; розроблено моделі та принцип подання схем наголосу у структурі даних словника; запроваджено акцентуаційні класи.

Любченко Т. П. Структура данных электронного грамматического словаря немецкого языка / Т. П. Любченко // Труды Международной конференции «MegaLing'2005. Прикладная лингвистика в поиске новых путей». - Спб. : Издательство „Осипов”, 2005. - С. 74-79.

Любченко Т. Подання ад'єктивів у комп'ютерному граматичному словнику німецької мови / Тетяна Любченко // Прикладна лінгвістика та лінгвістичні технології. MegaLing'2006 : зб. наук. праць. - К. : Довіра, 2007. - С. 219-229.

Грязнухіна Т., Любченко Т., Рабулець О.Побудова перекладних словників словосполучень на основі корпусу паралельних текстів / Тетяна Грязнухіна, Тетяна Любченко, Олександр Рабулець // Прикладна лінгвістика та лінгвістичні технології. MegaLing'2006 : зб. наук. праць. - К. : Довіра, 2007. - С. 103-110.

Особистий внесок здобувача: розроблено алгоритм формування перекладного словника словосполучень на основі корпусу паралельних текстів.

Любченко Т. Один из подходов к построению классификации русской лексики / Татьяна Любченко // Прикладна лінгвістика та лінгвістичні технології: MegaLing'2007: зб. наук. пр. - К.: Довіра, 2008. - С. 211-232.

Lyubchenko T. Modelling of the Digital Grammar Dictionary of Russian / Tetyana Lyubchenko // Organization and Development of Digital Lexical Resources. MONDILEX 2nd Open Workshop. - Kyiv, Ukraine, 2-4 February, 2009. - P. 73-84.

Любченко Т. Исследование дефектности и вариативности словоизменительной парадигмы русского языка / Татьяна Любченко // Прикладна лінгвістика та лінгвістичні технології: MegaLing'2008 : зб. наук. пр. - К.: Довіра, 2009. - С. 146-160.

Любченко Т. П. Технология создания системы автоматической парадигматической классификации русского языка / Т. П. Любченко // Искусственный интеллект - 2002: Материалы междунар. науч.-техн. конф. - Таганрог: Изд-во ТРТУ, 2002. - Т. 2. - С. 19-21.

Любченко Т. П. Исчисление типов и моделей грамматической омонимии русского языка / Т. П. Любченко // MegaLing'2011. Горизонти прикладної лінгвістики та лінгвістичних технологій. Доповіді міжнародної наукової конференції. Весняна сесія. - 12-16 травня 2011. - Сімферополь : ТНУ ім. В.І.Вернадського. - С. 52-53.

АНОТАЦІЯ

Любченко Т.П. Лексикографічні системи граматичного типу та їх застосування в засобах автоматизованого опрацювання мови. - Рукопис.

Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 10.02.21 - cтруктурна, прикладна і математична лінгвістика. - Національна бібліотека України імені В. І. Вернадського. - Київ, 2011.

У дисертації застосовано теорію лексикографічних систем для побудови лексикографічних систем граматичного типу. Розроблено та сформовано лексикографічну базу даних граматичного словника (ЛБД ЕГС) російської мови, створено технологічний комплекс його укладання. На основі ЛБД ЕГС російської мови автором розроблено та створено спеціалізовані лексикографічні бази даних для проведення ряду лінгвістичних досліджень, зокрема, явищ дефектності й варіативності словозмінної парадигми та явища граматичної омонімії (як міжчастиномовної так і в межах граматичних класів).

Принципи та досвід розробки і створення Л-системи ЕГС російської мови застосовано до побудови Л-систем граматичного типу інших мов, а саме: німецької, англійської, іспанської. Розроблено та сформовано ЛБД граматичних словників згаданих мов та створено технологічні комплекси укладання відповідних Л-систем ЕГС. Розроблена технологія та інструментальні лексикографічні системи дозволяють значно підвищити продуктивність лексикографічної праці.

Ключові слова: лексикографічна система граматичного типу, лексикографічна база даних, граматичний словник, парадигматичний тип, граматичний клас, парадигматичний клас, дефектність словозмінної парадигми, варіативність словозмінної парадигми, морфологічний аналіз тексту, граматична омонімія.

АННОТАЦИЯ

Любченко Т.П. Лексикографические системы грамматического типа и их применения в средствах автоматизованной обработки языка. - Рукопись.

Диссертация на соискание ученой степени кандидата технических наук по специальности 10.02.21 - структурная, прикладная и математическая лингвистика. - Национальная библиотека Украины имени В. И. Вернадского. - Киев, 2011.

В диссертационном исследовании теория лексикографических систем применена к лексикографическим системам грамматического типа. Разработана формальная модель словоизменения для класса языков с флективным компонентом в словоизменении. Построена концептуальная модель Л-системы грамматического типа для представления словоизменения русского языка с учетом явлений акцентуации, дефектности и вариативности словоизменительной парадигмы.

На основе теории лексикографических систем разработана модель и сформирована лексикографическая база данных электронного грамматического словаря русского языка (ЛБД ЭГС), создан технологический комплекс его составления.

Созданная ЛБД ЭГС русского языка послужила основой для разработки и построения лексикографических баз данных с целью проведения ряда лингвистических исследований, в частности для исследования явлений дефектности и вариативности словоизменительной парадигмы а также явления грамматической омонимии (как межчастеречной так и внутриклассовой). Автором создана специализированная ЛБД и на ее основе исследованы явления дефектности и вариативности словоизменительной парадигмы русского языка. В результате исследования выполнена параметризация словарного состава ЭГС русского языка по параметрам дефектности и вариативности а также получена новая классификация русской лексики. Явления дефектности и вариативности исследованы на материале репрезентативной авторской Л-системы ЭГС русского языка, (объем словника составляет около 170 тыс. единиц), что подтверждает корректность модели и достоверность полученных результатов.

Кроме того, на основе ЛБД ЭГС был построен словарь грамматических омографов русского языка, использование которого необходимо в алгоритмах морфологического анализа для разрешения грамматической неоднозначности.

Опыт разработки и создания Л-системы ЭГС русского языка применен при построении Л-систем грамматического типа для других языков, а именно: немецкого, английского, испанского. Разработаны и сформированы лексикографические базы данных грамматических словарей указанных языков, созданы технологические комплексы составления Л-системы ЭГС немецкого языка, ЛС ЭГС английского языка и ЛС ЭГС испанского языка.

Разработанная технология позволяет значительно повысить производительность работы лексикографов.

Приведены примеры практического применения разработанных Л-систем грамматического типа: для разметки текстов лингвистического корпуса, для построения переводных контекстологических словарей словосочетаний (на основе параллельных корпусов текстов), для исследования языкового материала, в частности, для изучения таких свойств словоизменения флективного языка как дефектность и вариативность его словоизменительной парадигмы, для исследования грамматической омонимии, а также создания словаря грамматических омографов на основе Л-системы ЭГС. Примеры практического применения Л-систем грамматического типа изложены на материале русского языка.

Ключевые слова: лексикографические системы грамматического типа, лексикографические базы данных, грамматический словарь, парадигматический тип, грамматический класс, парадигматический класс, дефектность словоизменительной парадигмы, вариативность словоизменительной парадигмы, морфологический анализ текста, грамматическая омонимия.

ABSTRACT

...