Вплив використання нейронної системи машинного перекладу на якість перекладу текстів у галузі економіки

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Кафедра перекладознавства імені Миколи Лукаша

Харківського національного університету імені В.Н. Каразіна

Вплив використання нейронної системи машинного перекладу на якість перекладу текстів у галузі економіки

Алла Ольховська, доктор педагогічних наук, професор

Анастасія Хоменко, студентка другого курсу магістратури

У статті описано експериментальне дослідження із вивчення впливу трьох нейронних систем машинного перекладу (Google Translate, Microsoft Translator, online-translator.eu) на якість перекладу уривку тексту економічної тематики в аспекті кількості помилок різних типів. Одержані результати підтвердили сформульовану нами гіпотезу: різні нейронні системи машинного перекладу надають переклад одного і того самого тексту економічної тематики різної якості, яку можна відстежити, порахувавши кількість помилок у кожному виконаному перекладі. Відрив у результатах, продемонстрованих обраними нами системами не можна назвати великим, проте найкращу якість перекладу тексту економічної тематики зафіксовано у Google Translate.

Ключові слова: машинний переклад; нейронні системи машинного перекладу; економічна тематика; інформаційно-комунікаційні технології у перекладі; підготовка перекладачів.

Alla Olkhovska, Doctor of Sciences (Pedagogy), Professor of the Mykola Lukash Translation Studies Department of V. N. Karazin Kharkiv National University

Anastasiya Khomenko, Second-year Graduate Student of the Mykola Lukash Translation Studies Department of V N. Karazin Kharkiv National University

The impact of using a neural machine translation engine on the quality of translation of texts in the field of economy

The article describes an experimental research the aim of which was to study the impact of using three neural machine translation engines (Google Translate, Microsoft Translator, online-translator.eu) on translation quality of an economic text in terms of the number of errors ofdifferent types. In order to achieve the aim we solved a number of tasks: formulated a research hypothesis, selected an economic text and three neural machine translation engines, determined the optimal procedure for evaluating the results of translations performed by the selected neural machine translation engines, translated the text by means of the selected neural machine translation engines, assessed the translations according to the established evaluation procedure, analyzed and interpreted the results obtained during the empirical research. The evaluation procedure used in our study was developed by Leonid Chernovaty who suggested establishing penal points for certain types of errors. Thus, he distinguishes three types of errors: first type errors - serious errors that distort the content of the original text or simply omit certain semantic fragments (1,0 penal point is given); second type errors - errors that could theoretically affect the understanding of the content of the original text, that is when the information is transmitted ambiguously, and the translation provides for the possibility of broad interpretation, which may be erroneous (0,5 penal point is given); third type errors - minor errors that do not affect the content of the original text, but which can spoil the impression of the translated text: incorrect punctuation, incorrect spelling, grammatical errors, etc. (0,1 penal point is given). The subject of the research, its purpose and tasks led to the use of such empirical methods as a control translation of an economic text by means of three neural machine translation engines (Google Translate, Microsoft Translator, online-translator.eu), quantitative method of processing experimental data. The obtained results confirmed the hypothesis formulated in the beginning of the study: different neural machine translation engines provide translation of the same economic text ofdifferent quality, which can be traced by counting the number of errors in each performed translation. The gap in the results demonstrated by our engines is not crucial, but the translation of the best quality was performed by Google Translate.

Keywords: machine translation; neural machine translation engines; economic domain; information and communication technologies in translation; translator's training.

Постановка проблеми

Постійне зростання обсягів перекладу економічної літератури у світі призводить до необхідності використання перекладацьких інформаційно-комунікаційних технологій, без яких професійних перекладач вже не в змозі виконувати роботу швидко ті конкурувати на ринку перекладацьких послуг. Останнім часом особливого розвитку зазнали системи машинного перекладу, які пропонують переклад належної якості, часто безкоштовно та дуже швидко - майже миттєво. Найвищу якість перекладу на сьогоднішньому етапі пропонують нейронні системи машинного перекладу, а тому їх можна було б використовувати з метою підвищення продуктивності виконання перекладів в галузі економіки.

Аналіз основних досліджень і публікацій

Економічний переклад все частіше стає об'єктом наукових досліджень, зокрема вивчалися: особливості перекладу економічних текстів [9], переклад новин про фінанси [10], ключові труднощі перекладу текстів економічної тематики та помилки, яких перекладачі припускаються найчастіше [7], когнітивний підхід до перекладу метафор у текстах економічного спрямування [8], типологія економічних текстів та вибір методу перекладу [1], особливості перекладу фінансово-економічних текстів [6] та багато інших проблем.

Безперечно, усі перелічені праці зробили значний внесок у дослідження перекладу текстів економічної тематики, проте нам не вдалося знайти публікацій, які були б присвячені питанням вивчення економічних текстів з точки зору машинного перекладу: наскільки добре системи машинного перекладу різних типів можуть перекладати тексти економічної тематики, наскільки добре такі системи передають економічну термінологію мовою перекладу, скільки потрібно витратити часу на постредагування економічних текстів людині-перекладачеві та наскільки системи машинного перекладу різних типів (зокрема нейронні) здатні полегшити та прискорити перекладацький процес? Усі ці питання потребують ретельного вивчення, що й робить наше дослідження актуальним.

Мета дослідження - вивчити вплив використання нейронних систем машинного перекладу на якість перекладу текстів у галузі економіки в аспекті кількості помилок різних типів.

Реалізація сформульованої нами мети передбачає розв'язання низки завдань:

- сформулювати гіпотезу дослідження;

- відібрати уривка тексту економічної тематики для проведення дослідження;

- відібрати нейронні системи машинного перекладу;

- визначити оптимальну процедуру оцінки результатів перекладу обраними нейронними системами машинного перекладу;

- виконати переклад уривку тексту засобами обраних систем машинного перекладу;

- перевірити одержані переклади за встановленою процедурою оцінки;

- проаналізувати та інтерпретувати результати, одержані в ході емпіричного дослідження.

Матеріалом дослідження виступають три тексти перекладу уривка тексту економічного спрямування, виконані засобами нейронних систем машинного перекладу Google Translate, Microsoft Translator, online-translator. eu.

Предмет дослідження, його мета та завдання зумовили використання таких емпіричних методів: контрольний переклад уривка тексту економічного спрямування засобами трьох сучасних нейронних систем машинного перекладу (Google Translate, Microsoft Translator, online- translator.eu), кількісний метод обробки одержаних експериментальних даних.

Виклад основного матеріалу

Експериментальне дослідження з вивчення впливу використання нейронної системи машинного перекладу на якість перекладу текстів у галузі економіки було проведене за такими загальновизнаними етапами, як: організація, реалізація, констатація та інтерпретація [3].

Перед початком дослідження нами було сформульовано гіпотезу: різні нейронні системи машинного перекладу будуть надавати переклад одного і того самого тексту економічної тематики різної якості, яку можна відстежити, порахувавши кількість помилок у кожному виконаному перекладі. Наша гіпотеза надає можливість передбачити такий наслідок: у результаті проведення дослідження ми зможемо встановити, яка з обраних нами нейронних систем машинного перекладу демонструє вищу якість при перекладі текстів економічного спрямування. Така інформація здатна значною мірою допомогти як майбутнім перекладачам, так і професійним практикуючим фахівцям скоріше та легше обрати собі в допомогу безкоштовну нейронну систему машинного перекладу.

Наступним кроком став відбір уривка тексту економічної тематики для проведення емпіричного дослідження. З цією метою ми вирішили звернутися до професійної економічної літератури. Нашу увагу привернула фундаментальна праця в галузі макроекономіки Ґреґорі Манків [11] та її офіційний переклад [2]. Наявність офіційного професійного перекладу відігравала для нас особливо важливе значення, оскільки для перевірки перекладів нам потрібен був еталонний переклад. Варіантів його отримання було декілька. По-перше, ми могли його виконати самостійно, однак, оскільки нам бракує знань з економічної тематики, наш переклад міг виявитися не повністю еталонним. По-друге, професійний переклад можна було б замовити в перекладацькій агенції, однак це коштувало б досить дорого, а бюджет нашого дослідження не передбачав таких витрат. Саме тому ми зупинилися на праці, яка вже має офіційний переклад та є дуже вагомим доробком у галузі макроекономіки.

Для того, щоб отримані нами результати були показовими, ми вирішили обрати три системи машинного перекладу. Оскільки, бюджет нашого дослідження є доволі обмеженим, ми не могли скористатися платними системами машинного перекладу, а тому в полі нашої уваги опинилися лише системи типу open-source, тобто з відкритим кодом (безкоштовне використання).

Також, зважаючи на обмеженість місця на нашому персональному комп'ютері, нас не влаштовував варіант завантаження та встановлення нового програмного забезпечення, а тому було прийняте рішення скористатися онлайновими перекладачами, які відкриваються безпосередньо у браузері комп'ютера.

Керуючись згаданими критеріями, ми обрали такі нейронні системи машинного перекладу: Google Translate, Microsoft Translator, online- translator.eu.

З метою визначення оптимальної процедури оцінки результатів перекладу обраними нейронними системами машинного перекладу ми звернулися до праць відомого дослідника у галузі методики викладання перекладу професора Л. Черноватого [4; 5], який розробив систему оцінювання письмових перекладів за допомогою виставлення штрафних балів за певні типи помилок. Усього в межах моделі виокремлено три типи помилок, а саме:

- перший тип - серйозні помилки, які перекручують зміст тексту оригіналу або пропуск певних смислових фрагментів. За цей тип помилок передбачено виставлення одного штрафного балу;

- другий тип - помилки, які теоретично можуть вплинути на розуміння змісту тексту оригіналу, тобто коли інформацію передано неоднозначно, та передача передбачає можливість широкої інтерпретації, яка, у тому числі, може бути і помилковою;

- третій тип - незначні помилки, які не впливають на зміст тексту оригіналу, але через які може справлятися прикре враження стосовно тексту перекладу: неправильна пунктуація, неправильна орфографія, граматичні помилки тощо.

Система оцінювання, розроблена Л. Черноватим, оптимальна у тому плані, що є легкою та зручною у використанні, усі три типи помилок дуже легко визначаються та розрізнюються, а користування системою дає змогу перевірити переклади дуже швидко.

Наступним кроком нашого дослідження став аналіз отриманих результатів, для чого нам необхідно їх порівняти між собою. Найкращий спосіб зробити це - побудувати таблицю та діаграму, у яких було б наведено усі одержані результати, що уможливимо б легке зіставлення даних.

Таким чином, у таблиці 1 представлено результати в штрафних балах по текстах перекладу, виконаних з асобами усіх трьох нейронних систем машинного перекладу, а саме: Google Translate, Microsoft Translator та online- translator.eu

Як випливає з таблиці 1, досить великий розрив у межах першого типу помилок ми зафіксували між системами Google Translate і onlinetranslator, eu, причому різниця складає 4,0 штрафні бали, що є досить показовим результатом. Різниця між Google Translate і Microsoft Translator та Microsoft Translator і online-translator.eu є не настільки великою та складає усього 2,0 штрафні бали. Найменше помилок першого типу припустився Google Translate, усього 7,0 штрафних балів.

У межах помилок другого типу різниця між системами є не такою суттєвою. Так, найбільше відрізняються результати у Google Translate і Microsoft Translator. Так, у Google Translate спостерігається на 2,0 штрафні бали більше, різниця між Microsoft Translator і online- translator.eu є ще несуттєвішою - усього 0,5 штрафного бала, тобто online-translator.eu припустився на одну помилку другого типу більше.

У межах третього типу помилок найменшу кількість штрафних балів зафіксовано у нейронної системи машинного перекладу Google Translate - 32,6 штрафного бала, у той час як найбільша кількість помилок спостерігається в системи Microsoft Translator - 40,7 штрафного бала. Різниця між продемонстрованими результатами складає 8,1 штрафних балів, що є найбільшим розривом серед усіх трьох категорій. Дещо меншу різницю спостерігаємо між результатами Microsoft Translator і online-translator.eu, вона становить 3,6 штрафного бала, у той час як різниця між Google Translate і online-translator.eu складає 4,5.

Найпоказовішими є узагальнені результати, продемонстровані нейронними системами машинного перекладу та наведені у самому кінці нашої таблиці.

Згідно з т аблицею, найкращий результат зафіксовано у нейронної системи машинного перекладу Google Translate: загальна кількість штрафних балів, набрана системою складає 52,1, найгірший результат - у системи Microsoft Translator: 60,2 штрафного бала. Проміжну позицію зайняла нейронна система online- translator.eu, набравши 59,1 штрафного бала.

нейронний машинний переклад економічний