Електронні словники у корпусі української мови: параметри пошуку та систематизації мовних одиниць

Размещено на http://allbest.ru

Інститут філології КНУ імені Тараса Шевченка

Електронні словники у корпусі української мови: параметри пошуку та систематизації мовних одиниць

Зубань О.М., канд. філол. наук, доц.

м. Київ

Сучасна українська комп'ютерна лексикографія має у своєму доробку чимало різногалузевих електронних словників, частина яких представлена на лінгвістичному порталі (www.mova.info) лабораторії комп'ютерної лінгвістики Інституту філології Київського національного університету імені Тараса Шевченка [8]: Відкритий словник новітніх термінів; Українсько-італійський граматичний словник дієслів; серія частотних словників (Частотний словник художньої прози, Частотний словник сучасної української публіцистики, Частотний словник наукового стилю, Частотний словник сучасної української поетичної мови та ін.); Словник української мови (Академічний тлумачний словник (1970-1980); Електронний граматичний словник української літературної мови (словозміна); Чотиримовний словник термінів із хімії та фізики; Система електронних навчальних словників "Глоса" (англо-український, українсько-англійський навчальний словник); Труднощі англійського слововживання для українців; Таблиця окремих термінів, вживаних у диференційній геометрії (багатомовний перекладний словник); Тезаурус комп'ютерної лексикографії; Короткий українсько-сербський словник сполучуваності слів; Українсько-російсько-англійський тезаурус із лінгвістичної термінології; Семантичний словник української мови та ін.

Такі словники є зручними для користувача інформаційно-довідковими системами й надзвичайно важливі для фахівців різних галузей науки та для філологів, зокрема для організації повномасштабного дослідження мови, але їх не можна використовувати в режимі автоматичного аналізу тексту. Тому особливої уваги нині заслуговують ті електронні лінгвістичні продукти, які спрямовані на аналіз тексту і є пошуковими системами, здатними в автоматичному або автоматизованому режимі вилучати з тексту інформацію про мовні одиниці.

Таку лінгвостатистичну інформацію можна отримати: 1) на базі корпусу текстів; 2) за допомогою автоматичного лінгвістичного аналізу.

Колективом лабораторії комп'ютерної лінгвістики Інституту філології Київського національного університету імені Тараса Шевченка було створено Корпус української мови [7] і розроблено методику формалізованого опису мовних одиниць різних рівнів тексту [1; 2; 5]. На основі цієї методики укладено лінгвістичні бази даних, які використовуються в лінгвістичному анотуванні текстового матеріалу: параметризації українського тексту на морфологічному, морфемному та синтаксичному рівнях його організації.

Корпус української мови має модульну будову: 1) модуль- текст; 2) модуль-аналізатор; 3) модуль-словник.

Модуль-текстрепрезентує корпус параметризована текстів обсягом ~ 44 млн слововживань. Маркування метаінформації текстів корпусу здійснюється насамперед за стилем (див. Рис. 1.).

Рис. 1. Статистика текстів корпусу

За стильовими ознаками формується 6 підкорпусів: законодавчі тексти - 1 581 090 слововживань; наукові тексти - 2 616 052 слововживання; поетична мова - 724 084 слововживання; публіцистика - 16 185 986 слововживань; фольклорні тексти - 77 339 слововживань; художня проза - 22 377 417 слововживань. Як показує статистика, корпус текстів вимагає стилістичного збалансування, над чим зараз працює колектив викладачів і студентів.

У межах кожного стильового підкорпусу формуються за ієрархічним принципом підкорпуси за різноманітними ознаками (галузь, тема, періодичне видання, автор, стать автора й ін.). Кінцевою ланкою ієрархії є заголовок конкретного тексту (наприклад, художня проза: Євген Гуцало: Голодомор, Княжа гора, Мертва зона; див. Рис. 1.). За умови активації конкретного твору, до нього додається інформація про видавництво, місце видання, жанр тексту й деяка інша інформація.

Модуль-аналізатор - інструмент лінгвістичних досліджень великих текстових масивів, що включає пакети програм, які можуть виконувати такі функції: 1) забезпечують зв'язок корпусу текстів із лінгвістичними базами даних: морфологічною, морфемно-словотвірною, синтаксичною; 2) забезпечують роботу в автоматичному режимі пошуку та класифікації лексики за різними параметрами і формують інвентар лексем (початкових форм) за текстовими слововживаннями; 3) забезпечують проведення автоматичного морфологічного, морфемного, синтаксичного і статистичного аналізів; 4)формують словник-конкорданс контекстових слововживань.

Модуль-словник систематизує різнотипну лінгвістичну інформацію, отриману внаслідок автоматичної лінгвістичної анотації текстів. У поєднанні роботи двох модулів - модуля-текстів і мо- дуля-аналізатора - за запитом користувача автоматично укладаються різні типи словників: словники-конкорданси; алфавітно- частотні словники слів (лексем), словоформ, морфем, морфемних структур слів, словосполучень.

Словники-конкорданси. Словники-конкорданси автоматично укладаються за опцією "Пошук у корпусі" (див. Рис. 2) у межах підкорпусу текстів обраного стилю (перше зверху діалогове вікно, опція "Виберіть зону пошуку"). Укладання може здійснюватися за такими пошуковими параметрами: 1) пошук контекстів до одного слова за заданою конкретною лексемою (всі словоформи лексеми) або словоформою - перше у другому рядку діалогове вікно; 2) пошук контекстів до всіх словоформ стилю за обраною морфологічною характеристикою (друге діалогове вікно у другому рядку, опція "Морфологічні ознаки").

Словник-конкорданс лексеми // словоформи можна автоматично укласти, записавши обране слово у перше знизу діалогове вікно: на Рис. 1 задано пошук контекстів до словоформи Україною (орудний відмінок однини) у межах підкорпусу художньої прози);

Рис. 2. Параметри автоматичного укладання словника-конкорданса словоформи Україною

При активації кнопки "Знайти" автоматично будується конкорданс до заданої словоформи (див. Рис. 2) з урахуванням двох додаткових параметрів, що вибираються у другому зверху діалоговому вікні:

1)глибини контексту (кількості слововживань правобічного й лівобічного оточення словоформи у реченні); 2) статі автора.

Рис. 3. Фрагмент словника-конкорданса словоформи Україною

Як показує приклад словника-конкорданса словоформи Україною (Рис. 3), контекст до аналізованої словоформи може бути розширений у двох напрямах дистрибуції слова до межі речення за допомогою активації позначок - " ; -". До кожного текстового слововживання подається індекс джерела (див. Рис. 4), із якого взято текстовий фрагмент, наприклад, перше речення - Вже була весна,.. - взято із роману "Диво" (глава: "1966 рік Весна. Київ.") П. Загребельного. Навігація до джерела здійснюється автоматично за допомогою позначки - " - у колонці "Джерело".

Рис. 4. Визначення джерела текстового фрагмента

Словник-конкорданс за параметром пошуку контекстів до всіх словоформ стилю за обраною морфологічною характеристикою (друге діалогове вікно у другому рядку - див. Рис. 2) будується за вибором морфологічних ознак кожної частини мови у випадному списку опції "Морфологічні ознаки".

Рис. 5. Параметри автоматичного укладання конкорданса за обраною морфологічною характеристикою

На Рис. 5. задано пошукові параметри: частина мови - іменник, рід - жіночий, число - однина, відмінок - орудний.

За цими параметрами пошуку автоматично укладається конкорданс до всіх іменників жіночого роду орудного відмінка однини, які вживаються у текстах художньої прози (див. Рис. 6). Навігація до текстового джерела здійснюється автоматично через позначку - " -.

Рис.6. Фрагмент словника-конкорданса іменникових словоформ жіночого роду орудного відмінка однини на базі текстів художньої прози

Частотні словники. Рубрика "Статистика текстів" відкриває діалогове вікно зі стилістичною параметризацию корпусу за підкорпусами стилів (див. Рис. 1). Розгортаючи дерево кожного підкорпусу до кінцевої ланки - конкретного тексту, користувач на базі цього тексту може автоматично укласти алфавітно-частотні словники лексем і словоформ кожного тексту корпусу із визначенням абсолютної частоти вживання.

На тепер у Корпусі української мови в режимі on-line автоматично укладаються 29725 частотних словників лексем // словоформ за окремими текстовими вибірками. На Рис. 7. показано фрагмент двох частотних словників: частотного словника лексем і частотного словника словоформ.

Словники укладаються за вибором параметра формування інвентаря одиниць: алфавітом або частотою (абсолютна частота вживання у вибірці тексту). За параметром частоти вживання інвентар одиниць може формуватися за спадом частот або за зростанням частот при активації опції "Абс. частота".

Рис. 7. Фрагмент частотного словника лексем та словоформ глави "1966 рік Весна. Київ" роману "Диво" П. Загребельного

Частотні словники за стилями, розділами, авторами, збірками і таке інше з метою оптимізації пошуку на базі великого обсягу текстової інформації не укладаються в режимі on-lin.

Такі словники укладені на замовлення користувача і викладені в рубриці "Частотні словники" (див. Рис. 2) як окремі електронні лексикографічні системи, із якими також можна працювати в режимі on-lin. Нині укладено електронні частотні словники 9 авторів, публіцистики, художньої прози, фольклорних текстів, ендокринології [9].

Наприклад, в Електронному словнику мови Тараса Шевченка [3] користувач може автоматично укласти такі частотні словники:

1) алфавітно-частотний словник словоформ за заданою буквою або словом;

2) алфавітно-частотний словник всіх словоформ усіх частин мови або за вибраною морфологічною характеристикою;

3) алфавітно-частотний словник лексем усіх частин мови або за вибраною морфологічною характеристикою;

4) алфавітно-частотний словник словосполучень за 9 параметрами;

5) алфавітно-частотний словник морфем (префіксів, коренів, суфіксів, інтерфіксів) усіх слів або за вибраною морфологічною характеристикою слів;

6) алфавітно-частотний словник морфемних структур слів (початкових форм) усіх частин мови або за вибраними морфологічними ознаками.

Інформація в алфавітно-частотних словниках структурно розподіляється на три зони:

1. Інвентар одиниць за вибраним типом;

2. Реалізація одиниць (морфем) у словах, (слів) у реченнях з інформацією про частотні характеристики:

а)абсолютну частоту вживання слова (кількість слововживань лексеми у текстах);

б)кількість текстів (творів), у яких вживається слово;

в)середню частоту слова;

г)середньоквадратичне відхилення;

д)коефіцієнт стабільності;

3. Контексти (речення) вживання аналізованої одиниці.

Наприклад, розглянемо структуру алфавітно-частотного словника кореневих морфем, укладеного за текстами Т. Шевченка.

Рис. 8. Фрагмент електронного частотного словника коренів мови Т. Шевченка

1 зона. Фрагмент частотного словника коренів (Рис. 8.) показує, що словник коренів іменникової лексики поетичного мовлення Т. Шевченка складає 1509 коренів з інформацією про абсолютну та середню частоту вживання кожного кореня в текстових слововживаннях (в усіх слововживаннях тексту без обмеження частиномовної характеристики слів). Формування інвентаря коренів можливе за алфавітом або за спадом чи зростанням абсолютних частот.

2 зона. У другій зоні словника подано лексичну реалізацію конкретного кореня, вибраного в першій зоні: фрагмент словника на Рис. 9. демонструє реалізацію частотного кореня -люд- (з абсолютною частотою 306 слововживань) в іменникових слововживаннях тексту. Цей корінь реалізується в 7-ми словах із різною продуктивністю. Найчастотнішим є слово люди, яке реалізоване в поетичному мовленні у 270 слововживаннях тексту.

Рис.9. Лексична реалізація кореня -люд-

3 зона. У третій зоні подаються контексти вживання вибраного в реєстрі 2-гої зони слова (див. Рис. 10). До кожного фрагмента тексту подано джерело - твір, із якого взята цитата. Навігація до цієї інформації здійснюється через активізацію позначки - >>.

Рис. 10. Фрагмент словника-конкорданса до слова люди

Алфавітно-частотний словник словосполучень укладено на тепер лише для текстів Т. Шевченка. Цей словник найскладніший за структурою опцій укладання: 9 параметрів (див. Рис. 11). Словник автоматично будується за: 1) конкретним словосполученням - "Уведіть повністю словосполучення"; 2) початковою формою головного слова (опція - "Головне слово"), залежного слова (опція - "Залежне слово") або обох слів словосполучення; 3) прийменником у прийменниковому словосполученні (опція - "Прийменник"); 4) морфологічними характеристиками (випадні списки морфологічних ознак в опції "Частина мови") головного слова, залежного слова або обох слів словосполучення; 5) типом синтаксичного зв'язку (опція - "Тип зв'язку": усі, координація, підрядний ядровий, підрядний ад'юнктний, сурядний); 6) грамемою залежного слова (опція - "Граматична форма залежного слова"); 7) морфологічним типом словосполучення (опція - "Тип словосполучення": усі, іменникове, дієслівне, прикметникове, займенникове, числівникове).

Рис. 11. Параметри укладання частотного словника словосполучень

На Рис. 11 задано такі параметри пошуку: головне слово - дієслово; залежне слово - іменник, зв'язок прийменниковий за допомогою прийменника перед. мова електронний словник довідковий

За такими ознаками при активації опції "Шукати" автоматично укладається алфавітно-частотний словник 8-ми словосполучень за текстами Т. Шевченка. Як і в попередніх типах частотних словників, цей словник має зв'язок із контекстами, у яких реалізовується кожне словосполучення, а контексти - зв'язок із джерелом (конкретним твором), із якого взято речення.

Два види словників у Корпусі - конкорданси та частотні - поєднані між собою взаємозворотньою й інформаційно допов- нювальною навігацією:

1) конкорданс - частотний словник: словники-конкорданси (див. Рис. 3, Рис. 6.) через опцію "Джерело" поєднуються з алфавітно-частотними словниками тексту, із якого взято речення (див. Рис. 7);

2) частотний словник - конкорданс: якщо користувач працює з частотними словниками стилів, авторів, збірок, то через опцію "Контекст" (див. Рис. 12) або активацію конкретного слова (див. Рис. 9, Рис. 10) він може перейти до конкорданса обраного слова або словосполучення.

Представлені електронні частотні словники та словники- конкорданси - надзвичайно ефективні й раціональні інструменти лінгвістичних досліджень, оскільки вони передбачають різноманітні автоматичні класифікації з одиницями українського тексту в режимі online.

Отримана статистична інформація про організацію українських текстів на різних рівнях мовної системи дає можливість вивчати закономірності функціонування мовних одиниць у різних стилях, комплексно досліджувати мовні особливості ідіостилів українських поетів і письменників.

Дослідження статистичних параметрів морфемного рівня організації поетичного тексту Т. Шевченка [4; 6] показують, що кількісні та статистичні характеристики морфемних структур слів, які формують відносно невеликий інвентар одиниць, виявляють закономірності будови тексту ідіостилю поета. Електронні частотні словники такого типу можуть бути укладені для всіх авторів і тестів Корпусу української мови за запитом користувача, якому необхідно отримати статистичну інформацію для різноманітних філологічних досліджень.

Багатоаспектна систематизація лінгвістичної інформації в Корпусі української мови, встановлення статистичних закономірностей функціонування різнорівневих мовних одиниць у різних типах текстів формують лексикографічну систему нового покоління, яка розглядається як універсальна довідкова система з української мови для учителя, журналіста або пересічного користувача, а для філолога-дослідника, викладача - як лінгвістична база знань, комп'ютерна граматика української мови.

Список використаних джерел

1. Алексієнко Л. А. Методика створення автоматизованої системи морфемно-словотвірного аналізу (АСМСА) слів української мови / Л. А. Алексієнко, Н. П. Дарчук, О. М. Зубань // Наукова спадщина професора С. В. Семчинсько- го. Збірник наукових праць. - К., 2001, ч. 1. - С. 38-49.

2. Дарчук Н. П. Комп'ютерне анотування тексту: результати і перспективи : монографія / Н. П. Дарчук. - К. : Освіта України, 2013.

3. Електронний словник мови Тараса Шевченка. - Режим доступу від 18.04.2016: http://www.mova.info/cfqsh.aspx.

4. Зубань О. М. Особливості морфемної будови слів у поетичних текстах Т. Шевченка (на матеріалі Корпусу української мови) / О. М. Зубань // Українське мовознавство. - 2014. - № 44/1. - С. 123-133.

5. Зубань О. М. Параметризована база даних як інструмент дослідження корпусу текстів / О. М. Зубань // Лексикографічний бюлетень: Збірник наукових праць. - К., 2006. - Вип. 13. - С. 37-43.

6. Зубань О. М. Стилеметричні ознаки морфемних структур слів у поетичному мовленні Т. Шевченка (на матеріалі Корпусу української мови) / О. М. Зубань // Мовні і концептуальні картини світу. - К., 2014. - Вип. 48. - С. 165-179.

7. Корпус української мови. - Режим доступу від 18.04.2016: (http://www. mova.info/coipus.aspx).

8. Словники. - Режим доступу від 18.04.2016: http://www.mova.info/Page.aspx?l1=61.

9. Частотні словники Корпусу. - Режим доступу від 18.04.2016: http:// www.mova.infb/artide.aspx?l1=210&DID=5215.

Анотація

Електронні словники у корпусі української мови: параметри пошуку та систематизації мовних одиниць. Зубань О. М., канд. філол. наук, доц. Інститут філології КНУ імені Тараса Шевченка, м. Київ

Описано структуру інтерфейсу Корпусу української мови, стилістичну параметризацію текстів, параметри пошуку лінгвістичної інформації в електронних словниках-конкордансах і частотних словниках лексем, словоформ, морфем, морфемних структур слів, словосполучень. Стаття має довідковий характер і покликана ознайомити користувачів-філологів із систематизацією лінгвістичної інформації в Корпусі з метою оптимізації пошукових можливостей.

Ключові слова: комп'ютерна лексикографія, лінгвостатистика, Корпус української мови, електронний словник-конкорданс, електронний частотний словник.

Аннотация

Электронные словари в корпусе украинского языка: параметры поиска и систематизации языковых единиц. Зубань О. Н., канд. филол. наук, доц., Институт филологии КНУ имени Тараса Шевченко, Киев

Рассматривается структура интерфейса Корпуса украинского языка, стилистическая параметризация текстов, параметры поиска лингвистической информации в электронных словарях-конкордансах, электронных частотных словарях лексем, словоформ, морфем, морфемных структур слов, словосочетаний. Статья знакомит пользователей-филологов из систематизацией лингвистической информации в Корпусе с целью оптимизации поисковых возможностей.

Ключевые слова: компьютерная лексикография, лингвостатистика, Корпус украинского языка, электронный словарь-конкорданс, электронный частотный словарь.

Abstract

Electronic dictionaries in the Ukrainian language corpus: parameters for the search and systematization of language units. Zuban O. М., PhD, Associate Professor Kyiv Taras Shevchenko National University

The article describes the structure of the interface of the Ukrainian Language Corpus according to the parameters for searching linguistic information such as stylistic parametrization of texts, electronic concordance dictionaries, electronic dictionaries of frequent lexemes, word forms, morphemes, morphemic structures of words and word combinations. The article is primarily informative in nature and aims to acquaint users (philologists) with the systematization of linguistic information in the Ukrainian Language Corpus in order to expand their search possibilities.

Keywords: computer lexicography, linguostatistics, Ukrainian Language Corpus, electronic concordance dictionary, electronic frequency dictionary.

Размещено на Allbest.ru