Критерії визначення якості лінгвістичних корпусів на прикладі китайської, японської та індонезійської мов

Ph. D. in Philology, Assistant at the Department of Languages and Literatures of the Far East and Southeast Asia Taras Shevchenko National University of Kyiv (Kyiv, Ukraine)

Criteria for determining the quality of linguistic corpora based on the example of Chinese, Japanese and Indonesian languages

The result of author's research is creation of eight linguistic corpora of parallel texts based on different sources in comparative purposes (three as the main and five as the derivatives). The methods for downloading material for the corpus, which are based on the frequency list, electronic dictionaries, as well as frequency word lists of previously self - created corpora, proved to be effective. The theoretical investigations and practical researches for normalization of the corpus were carried out. The type / token ratio, indicators of the average sentence length ASL, etc. proved to be effective for the study of the corpus. TTR, ASL, types, tokens and other indexes may vary according to the language, left or right part of the corpus. The construction of the graphs of the vocabulary distribution by frequency and length of sentences in the body clearly illustrates the results of the research and represents the material effectively. For the enclosed corpora, the total number of signs, words and sentences in the corpus with the corresponding summary table were calculated; the average sentences length (ASL), the type / token ratio (TTR) were determined; the program was written in Python to calculate all these values; frequency lists of vocabulary were compiled, the total number of unique vocabulary was calculated and the corresponding logarithmic graphs were constructed. The proposed method of analysis of the frequency dictionary vocabulary distribution, which is based on the graphs by dividing them into three parts (initial, middle and tail), is considered promising. A complex method for determining the quality of the corpus based on the TTR, type indicators, indicators of the graph of the corpus vocabulary distribution by frequency, as well as the distribution of corpus sentences by the quantity of words is offered. To determine the productive models of sentences, a method of the statistical section in the form of separate corpora with the appropriate lengths of sentences is shown. The methodology of working with the corpora of Oriental languages (Chinese, Japanese), which do not contain spaces between words, has been developed. The comparative methodology for the Indonesian language was conducted.

Key words: linguistic corpus quality, electronic text corpus, parallel corpus, neural networks, automatic translation systems, Chinese language, Japanese language and Indonesian language.

Основна частина

Нині спостерігається значний інтерес до використання корпусів в освітній та професійній сферах. Значна кількість словників укладається на основі корпусів. Серйозною проблемою виявляється визначення якості корпусу, відбір необхідного матеріалу, в тому числі серед величезної кількості наявних корпусів. Адже добір текстів для корпусу, а також текстів перекладу - права частина корпусу, визначають якість термінології, що добувається на їхній основі.

Актуальність і новизна теми полягає у тому, що запропоновано аналіз на основі поєднання різноманітних статистичних характеристик корпусу для визначення його якості, у тому числі в автоматичному режимі. Швидке визначення якості лінгвістичних корпусів великих обсягів із навчальною, дослідницькою та прикладною метою на основі статистичних даних раніше не здійснювалося подібним чином. Створення якісних паралельних корпусів східних мов із українською парою наразі є необхідною умовою для покращення роботи систем машинного перекладу. Окремо була розроблена методологія роботи з корпусами східних мов, що не містять проміжків між словами: китайська та японська мови.

Задля досягнення мети дослідження слід виконати такі завдання: визначити джерела лінгвістичного матеріалу; створити чи отримати кілька корпусів із різних джерел, користуючись відмінними методами; розглянути основні можливі характеристики створених корпусів; запропонувати критерії оцінювання якості корпусів. Під якістю корпусу ми розуміємо високий ступінь різноманітності ілюстративного матеріалу для окремої лексичної одиниці. Якість паралельного корпусу, як оцінювання якості перекладених текстів правої частини паралельного корпусу, у межах цієї статті розглядатися не буде.

В Україні у сфері корпусної лінгвістики працювали такі дослідники: О.О. Балабан, Н.М. Бобер, М.М. Брик, Н.П. Дарчук, О.А. Дюндик, А.М. Желєзко, В.В. Жуковська, В.П. Захаров, П.В. Зернецький, О.М. Зубань, Л.С. Івашкевич, Я.В. Капранов, Є.А. Карпіловська, В.І. Качанов, В.В. Комаренко, А.В. Корольова, Ю.В. Кравцова, Н.Є. Леміш, Л.Л. Макарук, Т.Б. Маслова, С.А. Матвєєва, Б.О. Назаров, В.О. Папіжук, В.М. Підвойний, Ю.І. Позніхіренко, В.Ф. Старко, А.А. Таран, О.М. Тищенко, О.В. Ткачик, Т.С. Толчеєва, М.О. Шведова, С.М. Щербина. Основні напрями їхніх досліджень можна побачити у матеріалах першої Міжнародної науково-прикладної конференції «Прикладна і корпусна лінгвістика: розроблення технологій нового покоління» за 25 квітня 2018 року. Закордоном відомі такі прізвища: S. Hoffmann, S. Evert, G. Kennedy, T. MacEnery, C. Meyer, T. Otlogetswe, J. Sinclair, J. Svartvik, E. Tognini - Bonelli, A. Hardie, G. Leech, Ch. Fillmore, P. Baker, Douglas Biber, W. Francis, R. Xiao, Lu. Xiaofei та багато інших. Усі зазначені дослідники мають власний підхід, завдання і мету дослідження корпусів, що лише опосередковано по'вязані з результатами наших досліджень, запропонованими тут методиками створення та аналізу корпусів.

Найбільш вдалим прикладом іноземних досліджень, що корелюють із нашими, буде стаття G. Corpas P. та M. Seghiri «Розмір має значення» (Gloria Corpas Pastor), де описується робота програми ReCor, яка призначена для визначення ідеального розміру репрезентативного корпусу; показує кількість типів, кількість лексем, співвідношення TTR, кількість слів, що з'являються лише один раз (V1) та кількість слів, які з'являються лише двічі (V2); зазначена програма окремо створює файли списки слів із їхньою частотністю поданими в алфавітному порядку та ранжованими. Попри вагомі результати дослідниці доходять висновку, що наразі питання репрезентативності корпусу та його ідеальний розмір лишається невизначеним.

Під лінгвістичним корпусом ми розуміємо великий (не менше одного мільйона речень) за обсягом набір мовних даних, відібраних за певним організуючим принципом, які зберігаються в електронному вигляді. Відповідно паралельний корпус - це електронний корпус унікальних речень, який окрім оригінальних текстів має переклади іншою мовою, що вирівняні відповідно до оригіналу за реченнями. Головним атрибутом якісного корпусу виступає його репрезентативність, обумовлена домінантою, що об'єднує всі тексти єдиним логічним задумом. Усі корпусно - орієнтовані дослідження покладаються на якість, кількість та репрезентативність корпусу як основу для отримання достовірних результатів.

Оскільки жоден корпус текстів не містить інформацію про всі сфери лексики і граматики, яким би великим цей корпус не був, а будь-який малий корпус може надати факти, які ніколи не можна було б з'ясувати жодним іншим способом, тому основна задача при створені корпусу - це збалансовано відібрати матеріал для дослідження.

На думку Т МакЕнері репрезентативність більшості корпусів великою мірою обумовлюється набором жанрів, включених до корпусу (збалансованість), та критеріями відбору текстів кожного жанру (відібраність) (МсЕпегу 2006, 11).

На нашу думку, основними напрямками використання паралельних корпусів на сьогодні є: 1) навчальні та дослідницькі цілі, аби перевірити, чи використовується певна лінгвістична форма в мові в певному контексті; 2) для створення систем машинного перекладу, які теж «навчаються» на паралельних корпусах; тому репрезентативним буде відбір речень за двома критеріями: лексичним та граматичним. Лексичний полягає у доборі речень, що містять слова за частотним списком мови або списками-слів створених на базі термінологічних словників, при цьому кожне таке слово має бути представлене мінімум 10 ілюстративними реченнями у корпусі. Визначити граматичний критерій дещо складніше, оскільки відсутній частотний список граматичних моделей речень, а варіативність мовлення наближається до безкінечності.

Однак критерієм, що корелює з частотністю граматичних моделей речень, може бути довжина речення у поєднанні з частотністю кожного слова цього речення. Ми знаємо, що речення короткої і середньої довжини трапляються частіше в усному мовленні, натомість художню прозу і популярні журнали репрезентують середні та довгі речення; самі лише довгі речення характерні для публіцистичних та наукових текстів. Тому, ймовірно, варіативність вживання певного слова для певної довжини речення буде обмеженою.

До нашої уваги потрапили такі статистичні характеристики корпусів як: загальна кіль

кість знаків (characters), загальна кількість слів (words або tokens), загальна кількість речень (sentences), загальна кількість різних слів (type), співвідношення TTR, ASL тощо. Співвідношення type / token ratio (TTR) - це співвідношення між типами та лексемами корпусу. «Типи» - це сукупність різних слів корпусу. Як показали попередні наші дослідження, чим довший текст, тим менший відсоток TTR. Значення TTR рахувалося за англійською частиною паралельного корпусу. ASL - це середня довжина речення (англ. Average sentence length) = words /sentences). Представлені нижче статистичні характеристики рахувалися за англійською частиною корпусів, оскільки тут легше здійснити поділ на слова, а згадані вище індекси були розроблені саме під англійську мову.

Окремо автором було розроблено методологію дослідження корпусу шляхом поділу логарифмічного графіка розподілу лексики корпусу по частотності на три частини: початкову, середню та кінцеву. Кінцева ділянка графіка представляє лексику з частотою вживання, що дорівнює 1, середня частина графіка репрезентує частотність від 10 до 2 слововживань, початок графіка - лексика з частотністю вище за 11 включно. На нашу думку частотність 10 є оптимальною для логарифмічного графіка.

Скориставшись своїм попереднім досвідом, було створено власний паралельний корпус китайсько-англійських перекладів на основі сайту-словника Quword (Quword). Першим кроком було складання списку слів для пошуку та завантаження. З цією метою, спочатку за основу було взято частотний список англійської мови 5000 слів, який є у вільному доступі; оскільки інформація щодо частотного списку на 60 і 220 тисяч слів дається фрагментарно - лише кожне п'яте слово (Word frequency data).

Завантаження сторінок зазначеного словника виконувалося за допомогою програми WinHTTrack Website Copier (HTTrack Website Copier). Пошукові запити: https://www. quword.com/ liju/w/only або https://www.quword.com/search? - word=Xi&. Для подальшого редагування отриманого html коду за допомогою регулярних виразів використовувався текстовий редактор EmEditor (EmEditor). Об'єднуємо усі отримані сторінки в одну командою: «copy *.* file_name». Фільтруємо всі строчки, що починаються з тегів: «<dl><dt>». Вилучаємо зайве. Не всі словники можна скачувати таким чином, наприклад, сайт https:// www.youdao.com/ має захист від скрейпінгу.

Для подальшого збільшення величини корпусу ми застосували інший метод. Шляхом першого завантаження було отримано корпус на 106 000 паралельних пар речень китайської і англійської мов; після складення частотного списку англійської частини цього корпусу, отримано словник - список вже на 42 000 слів, на основі якого була повторена процедура завантаження і отримано корпус до 920 000 пар речень або 12 900 000 лексем, який має словник на 166 000 слів, 46% яких (76 000) вживаються лише один раз - правий «хвіст» графіка; середня частина графіка - частоти від 10 до 2-х - займає близько 28% лексики (47 000); найчастотнішими є перші 26% слів (43 000), див. Граф. 1. TTR корпусу - 1,3% (166 000 / 12 900 000). Середня довжина речення становить 14 слів.

Дещо інакший підхід було застосовано для отримання інформації з іншого сайту Xxenglish (Xxenglish). На основі словника Collins (Collins English Dictionary) було підготовлено список слів (близько 80 000) та проведено завантаження. У результаті отримано корпус на 1 330 000 пар речень або 18 691 000 лексем, який має словник на 322 000 слів, 50% яких (162 000) вживаються лише один раз - правий «хвіст» графіка; середня частина графіка - частоти від 10 до 2-х - займає близько 30% лексики (96 000); найчастотнітими є перші 20% слів (64 000). TTR корпусу - 1,7% (322 000 / 18 691 000). Середня довжина речення становить 13,68 слів.

У порівнянні помітно аномально високий TTR другого корпусу, хоча із зростанням обсягу корпусу ця величина має зменшуватися, тобто тут він має бути меншим за 1,3% (TTR першого меншого корпусу). Також на Граф. 2 помітно, що «сходинка» лексики, з якої починається спад, змістилася до початку графіка, тобто кількість гарно проілюстрованої лексики (більше 10 слововживань на корпус) зменшилася щодо загального обсягу лексики. Можна говорити про недостатню якість корпусу, а отже і сайту-першоджерела для потреб створення корпусів.

Для порівняння було також досліджено третій корпус отриманий з сайту OPUS (The open parallel corpus) обсягом 106 000 пар речень або 668 000 лексем, який має словник всього на 11 700 слів; 35% яких (4150) вживаються лише один раз - правий «хвіст» графіка; середня частина графіка - частоти від 10 до 2-х - займає близько 41% лексики (4750); найчастотнішими є перші 24% слів (2 800), див. Граф. 3. TTR корпусу - 1,75% (11 700 / 668 000). Середня довжина речення становить 6,3 слів. Для порівняння та узагальнення результатів аналізу корпусів див. Табл. 1.

Граф. 1. Логарифмічний графік розподілу лексики корпусу по частотності на 920 000