Машинний переклад: порівняння результатів та аналіз помилок DeepL та Google Translate

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Машинний переклад: порівняння результатів та аналіз помилок DeepL та Google Translate

Моісєєва Наталія

Статтю присвячено дослідженню помилок систем машинного перекладу на прикладі сервісів DeepL та Google Translate. Метою дослідження є порівняльний аналіз результатів роботи цих сервісів на прикладах уривків текстів художнього та публіцистичного стилів. Для досягнення поставленої мети використовувалися наступні методи: теоретичний аналіз, описовий, зіставний, контекстологічний, дедуктивний методи та метод кількісних підрахунків. Отримані результати дослідження вносять важливий внесок у подальші детальні дослідження роботи сервісів машинного перекладу, а також є підґрунтям для покращення алгоритмів роботи подібних ресурсів. Дискусія про результати показує, що наразі немає сталої думки на користь одного з вищезгаданих сервісів-конкурентів, адже з року в рік оцінка якості перекладів сервісами машинного перекладу різниться. У висновках дослідження представлені результати аналізу роботи сервісів, а саме: DeepL припускався меншої кількості помилок у загальному, ніж Google Translate. Тож переклади від DeepL вважаються якіснішими за переклади від Google Translate на основі того, що постредакторові потрібно буде більше часу на опрацювання та редагування перекладів від Google Translate. Дослідження має велику новизну, оскільки постійне оновлення та покращення систем машинного перекладу робить попередні дослідження застарілими на сьогодні. Представлена наукова розвідка є однією з перших для мовної пари «німецька-українська». Отримані результати мають важливе практичне значення для лекційних, семінарських та практичних занять з дисциплін, дотичних до вивчення технічних аспектів перекладу та машинного перекладу безпосередньо. Також здобуті результати можуть слугувати базою для більш детального вивчення процесів кожного окремого етапу перекладу або перекладацьких програм.

Ключові слова: машинний переклад; типологія помилок; DeepL; Google Translate; сервіси машинного перекладу; системи машинного перекладу.

Nataliia Moisieieva, Olga Dzykovych, Alina Shtanko. Machine Translation: Comparison of works and analysis of errors made by DeepL and Google Translate. The article is focused on the study of machine translation errors on the example of the results of DeepL and Google Translate. The aim of the study is to compare the results of these services on the basis of literary and journalistic texts. The following methods were used to achieve this goal: theoretical analysis, descriptive, comparative, contextual, deductive, and quantitative methods. The results of this study make an important contribution to further detailed research on machine translation services and provide a basis for improving the algorithms of these services. The article will also be useful for researchers who want to deepen their knowledge in the field of translation. The discussion of the results shows that there is currently no firm opinion in favor of one of the above-mentioned competitor services, as the quality of translations by machine translation services varies from year to year. The conclusions of the study present the results of the analysis of the services, namely: DeepL made fewer errors in general than Google Translate. Therefore, translations from DeepL are considered to be of higher quality than translations from Google Translate on the basis that post-editors need more time to process and edit translations from Google Translate. The study is of great novelty, as the constant updating and improvement of machine translation systems makes previous studies obsolete today. It is also one of the first studies for the German-Ukrainian language pair. The results are of great practical importance for practical, lecture and seminar courses in translation-related disciplines. The results can also be used as a basis for a more detailed study of the process of each individual stage of translation or translation programs.

Keywords: machine translation; typology of errors; DeepL; Google Translate; machine translation services; machine translation systems.

ВСТУП

машинний переклад deepl google translate

Процес комп'ютеризації сприяє появі сервісів, які автоматизовують більшість процесів: від збору та обробки даних до більш конкретних дій, як-от автоматичне субтитрування відеороликів чи швидкий міжмовний переклад.

Машинний переклад (МП) став популярним за досить короткий проміжок часу завдяки своїй швидкості та постійному вдосконаленню якості. Зростання попиту на нього генерує регулярні перевірки якості результатів таких сервісів, оскільки вони пропонують можливість перекладу у межах багатьох мовних пар, що створює простір для помилок. Постійне оновлення систем МП породжуює також і численні дослідження стосовно якості результатів таких систем, найпопулярнішими серед яких наразі є такі сервіси як DeepL та Google Translate (далі: GT).

Так, порівнянням перекладацьких можливостей, зокрема стилістично забарвленої лексики обох сервісів, займались французькі журналісти Лелу та Ларусері, а також дослідники Юліанто та Супріатнанінгсиг, які вивели статистику помилок в перекладах «французька- англійська». Варто відмітити також роботи українських науковців Лазебної, Гудманяна, Сітко та Струк, присвячені аналізу помилок у перекладах виконаних системою GT в мовній парі «українська-англійська», а також їх порівнянню з перекладами, виконаними людиною. З'ясуванням питання, яка з систем МП перекладає краще, займались також чеські дослідники, зокрема Кораб. Крім того, цікавими є дослідження Норд, Копонен і Попович, присвячені загальній типологізації та класифікації помилок у перекладах онлайн-ресурсами.

Проте однозначних висновків стосовно лідерства певного сервісу МП наразі немає, як і подібних досліджень для мовної пари «німецька-українська».

Мета статті полягає у здійсненні порівняльного аналізу результатів роботи систем МП DeepL та GT на прикладах текстів художнього та публіцистичного стилів в межах мовної пари «німецька-українська».

МЕТОДИ

Матеріалом дослідження стали уривки текстів публіцистичного та художнього стилів, а саме зі статті з новинного порталу “Zeit Online” (Roth, 2023) та з казки-новели “Spiegel, das Katzchen” автора Келлера (Keller, 1986). Матеріали дослідження проаналізовані із використанням наступних методів: теоретичний аналіз, описовий, зіставний, контекстологічний методи, метод кількісних підрахунків та дедуктивний метод.

РЕЗУЛЬТАТИ

На сьогодні головні конкуренти у сфері МП - сервіси DeepL та GT. У 2006 році компанія Google запустила свій проєкт для перекладу GT, що базувався на статистичній системі перекладу і був найбільш перспективним. В її основі лежить принцип пошуку шаблонів перекладу для певної мовної пари у закладеній базі текстів. Втім, вже за 10 років GT почав використовувати нейронну систему, а через рік на ній же розпочав свою роботу й DeepL. Попри кращі показники, обидва ресурси припускаються різних помилок. Спираючись на наведені вище дослідження, а також власний емпіричний досвід, було виведено класифікацію помилок, яка використовувалася для аналізу роботи сервісів DeepL та GT. До класифікації належать наступні помилки: лексичні, синтаксичні, морфологічні, орфографічні, пунктуаційні та інші, вторинні, помилки прагматичного/культурного характеру, а також ті, що не можна чітко класифікувати за попередніми категоріями.

За результатами аналізу під час перекладу художнього тексту DeepL припустився в загальному 41 помилки, з яких 20 - лексичних, 6 - синтаксичних, 4 - морфологічних, 2 - пунктуаційних та 9 інших помилок. GT припустився 39 помилок, серед яких 14 - лексичних, 4 - синтаксичних, 6 - морфологічних, 3 - пунктуаційних та 12 інших помилок.

Пропонуємо розглянути деякі приклади, в яких перекладачі припустилися одночасно кількох помилок. Наприклад, речення “ Wenn ein Seldwyler einen schlechten Handel gemacht hat oder angefuhrt worden ist, so sagt man zu Seldwyla: Er hat der Katze den Schmer abgekauft!” GT опрацював наступним чином: «Коли сельдвілер уклав невдалий торг або його вели, вони кажуть сельдвілу: він купив біль кота!».

Лексема der Handel хоч і має серед своїх значень значення «торг», втім за контекстом воно недоречне у перекладі цього речення. GT нє неправильно переклав лексему «anfuhren», що означає «обманювати, дурити», й обрав варіант «вели», що вважається за лексичну помилку, яка спричинила синтаксичну неузгодженість фрази «або його вели» з першою частиною речення. Також у перекладі GT було помічено додану лексему «вони», якої не було в оригінальному тексті. Цей випадок розцінюється як прагматична помилка, адже це додавання змінює сенс оригінального речення, а також спричиняє порушення синтаксису. У цьому реченні GT також не дотримався пунктуаційних правил, адже пряма мова береться у лапки з обох боків і лексема «він» має писатися з великої літери. DeepL переклав це речення наступним чином: «Якщо селдвилянин уклав невдалу угоду або був обманутий, то в Селдвилі кажуть: «Купив шмер у кота!». Обидва онлайн-перекладачі змінили рід лексеми die Katze, що перекладається як «кішка», на «кіт». Цей варіант перекладу вважається умовною помилкою, адже не змінює контексту та сенсу речення, втім є неправильним перекладом оригіналу. Помилки у транскрипції лексеми Seldwyla припустилися обидва онлайн-перекладачі, адже перед голосними літера “S” транскрибується в літеру «З». Також помічаємо помилку у відтворенні назви особи за національною ознакою. За правилами українського правопису похідна назва жителя Зельдвіля - зельдвілець, тож обидва сервіси припустилися морфологічної помилки. До того ж і DeepL, і GT припустилися лексичної помилки у перекладі слова «der Schmer», що перекладається як «сало». За мотивами казки прислів'я мало б звучати як «купив котяче сало», метою якого було зобразити безглуздість дії, адже у кота його немає. Втім через неправильно перекладені лексеми бачимо спотворення змісту, тож цей випадок вважаємо прагматичною помилкою.

Аналіз результатів виявив також й лінгвокультурну помилку. Фрагмент тексту “Spiegel, so war der Name des Katzchens wegen seines glatten undglanzenden Pelzes,..” GT переклав як «Дзеркало, як прозвали кошеня за його гладку і блискучу шерсть, ...», а DeepL - «Шпігель, як прозвали кошеня через його гладеньку і блискучу шерсть, ...». У цьому прикладі DeepL використав прийом транскрипції, втім, не додавши примітки стосовно значення слова, тому для цільової аудиторії, яка не знає етимології лексеми, може бути незрозумілим вибір імені. Можна припустити, що GT використав прийом одомашнення, але вважаємо це за дослівний переклад та лінгвокультурну помилку, адже попри збереження причинно-наслідкових зв'язків таке прізвисько домашнього улюбленця є не характерним для української традиції.

У проаналізованому матеріалі були виокремлені речення, які GT не опрацював. До таких речень належать ті, зміст яких незрозумілий через наявність у них сукупності різних типів помилок. Втім, виокремити і визначити їх першочерговість для розуміння змісту речення неможливо через їхню нечитомість. Під час опрацювання тексту публіцистичного стилю DeepL припустився в загальному 23 помилок, серед яких 14 - лексичних, 2 - синтаксичних, 3 - морфологічних, 2 - пунктуаційних та 2 інших помилок. GT демонструє 31 помилку, серед яких 16 - лексичних, 7 - синтаксичних, 4 - морфологічних, 1 - орфографічна та 3 інших помилки.

Пропонуємо розглянути деякі приклади. Так, речення “Die Augen schief und aufgesperrt, den Mund voll kantiger Zahne, hilflos erhobene Patschhande statt Flugeln - er ist kein Posaunenengel, dieser Angelus Novus” GT переклав як «Криві та широко відкриті очі, рот, повний нерівних зубів, безпорадно підняті руки замість крил -- він не ангел-труба, цей Angelus Novus». DeepL переклав це речення наступним чином: «Криві та розплющені очі, повний рот квадратних зубів, безпорадно підняті руки замість крил - цей Ангелус Новус не янгол- трубач».

Що DeepL, що GT припустилися кількох лексичних помилок у цьому реченні. Обидва не впорались з опрацюванням лексем schief та kantiger, які були перекладені як «криві» та «квадратні» або «нерівні» відповідно. Лексема «schief» може перекладатися як «кривий», але у контексті очей цей варіант перекладу вжито недоцільно. З лексемою kantiger, яка перекладається як «загострений» або «гострий», не впоралися обидва сервіси. Також обидва перекладачі не опрацювали лексему Patsch, яка була важлива при описі картини. Найкраще відтворити значення тут можна було б за допомогою дослівного перекладу «руки-лапи». Також бачимо труднощі у перекладі назви картини Angelus Novus. Оскільки це лексеми з латинської мови, вважаємо, що GT впорався з їх опрацюванням, втім для кращого сприйняття тексту не вистачає пояснення або перекладу назви картини українською у дужках. DeepL натомість не впорався з перекладом лексем, адже опрацював їх прийомом транскрипції, що вважаємо лексичною помилкою. Також бачимо лексичні помилки у GT у перекладі лексеми der Posaunenengel, яку сервіс переклав як «ангел-труба» замість «ангел-трубач», та дієприкметника aufgesperrt, відтвореного як «відкриті». Такий варіант перекладу не буде правильним для української мови, адже дієслово «відкривати» не вживається з іменником «очі».

У наступних реченнях DeepL демонструє кращі результати. Наприклад, у реченні “Sie passt irgendwie immer, diese Denkfigur'” DeepL не припустився помилок, переклавши це речення як «Вона якось завжди доречна, ця думка». Натомість GT пропонує варіант: «Якимось чином це завжди підходить, ця фігура думки». Сервіс переклав лексичну одиницю «passen» як «підходити». Розцінюємо обраний варіант як лексичну помилку, адже в українській мові лексема «підходити» вживається лише у контексті руху. До того ж помічаємо синтаксичну неузгодженість першої частини речення з другою. Також GT переклав die Denkfigur дослівно як «фігура думки», що вважаємо за недоцільний переклад у цьому контексті.

ВИСНОВКИ ТА НАПРЯМИ ПОДАЛЬШИХ ДОСЛІДЖЕНЬ

У межах порівняльного аналізу двох сервісів МП DeepL та GT було опрацьовано два уривки текстів публіцистичного та художнього стилів. На основі проведеного аналізу вважаємо, що DeepL та GT краще впоралися з перекладом публіцистичного, ніж художнього уривка тексту. Оскільки DeepL впорався з передачею змісту речень оригінального тексту, а також подекуди орієнтувався на стилістичні особливості вихідного тексту, розцінюємо результати перекладу від DeepL кращими за результати від GT, що доводить також обсяг постредакційних правок, необхідних для продуктів перекладу обох сервісів.

Через постійні оновлення та покращення систем МП предметом подальшої наукової роботи можуть бути результати перекладу таких сервісів на прикладах опрацювання текстів інших стилів.

СПИСОК ЛІТЕРАТУРИ

Гудманян А. Г., Сітко А. В., Струк І. В. Функціонально-прагматична адекватність машинного перекладу публіцистичних текстів. Львівський філологічний часопис. 2019. № 5. С. 48-52. URL: https://dspace.nau.edu.ua/bitstream/NAU/39981/1/%D0%93%D1%83%D0%B4%D0%BC%D0%B0%D0%B D%D1%8F%D0%BD%20%D0%90.%D0%93.,%20%D0%A1%D1%96%D1%82%D0%BA%D0%BE%20% D0%90.%D0%92.,%20%D0%A1%D1%82%D1%80%D1%83%D0%BA%20%D0%86.%D0%92._2019.pdf (дата звернення: 12.04.2023).

Лазебна Н. В. Семантична неоднозначність урбаністичної термінології (українсько-англійський переклад Google Translate vs людський переклад). Нова філологія. 2019. № 76. С. 61-64. URL:

http://www.novafilolohiia.zp.ua/index.php/new-philology/article/view/65/63 (дата звернення: 12.04.2023).

Keller G. Spiegel, das Katzchen. Memmingen : Kleine Konstanzer Buchertruhe, 1986. 88 с. URL: https://www.projektgutenberg.org/keller/spiegel/spiegel.html (дата звернення: 12.04.2023).

Koponen M. Assessing Machine Translation Quality with Error Analysis. URL: https://www.sktl.fi/@Bin/40701/Koponen_MikaEL2010.pdf (дата звернення: 12.04.2023).

Korab P DeepL: An Exceptionally Magnificent Language Translator. URL: https://towardsdatascience.com/deepl-an- exceptionally-magnificent-language-translator-78e86d8062d3 (дата звернення: 12.04.2023).

Leloup D., Larousserie D. Le Monde. URL: https://www.lemonde.fr/signataires/david-larousserie/ (date of access: 19.04.2023).

Nord C. Text analysis in translation: theory, methodology, and didactic application of a model for translation-oriented text analysis. 2nd ed. New York: Rodopi, 2005. 286 p. URL:

https://archive.org/details/textanalysisintr0000nord/page/n1/mode/1up (дата звернення: 12.04.2023).

Popovic M., Burchardt A. From Human to Automatic Error Classification for Machine Translation Output. Leuven. P 265-272. URL: https://aclanthology.org/2011.eamt-1.36.pdf (дата звернення: 12.04.2023).

Roth J. Die Lust am Gruseln. Zeit Online. URL: https://www.zeit.de/kultur/2023-03/kuenstliche-intelligenz-chatgpt- tiktokbeautyfilter-moral (дата звернення: 12.04.2023).

Yulianto A., Supriatnaningsih R. Google Translate vs. DeepL: A quantitative evaluation of close-language pair translation (French to English). The Asian Journal of English Language & Pedagogy. 2021. No. 9. P 109-127. URL: https://ojs.upsi.edu.my/index.php/AJELP/article/view/6087/3303 (дата звернення: 12.04.2023).

REFERENCES

Hudmanian, A. H., Sitko A. V., & Struk, I. V. (2019). Funktsionalno-prahmatychna adekvatnist mashynnoho perekladu publitsystychnykh tekstiv [Functional and pragmatic adequacy of machine translation of journalistic texts] ILviv Philological Journal, 5, 48-52.

https://dspace.nau.edu.ua/bitstream/NAU/39981/1/%D0%93%D1%83%D0%B4%D0%BC%D0%B0%D0%B D%D1%8F%D0%BD%20%D0%90.%D0%93.,%20%D0%A1%D1%96%D1%82%D0%BA%D0%BE%20% D0%90.%D0%92.,%20%D0%A1%D1%82%D1%80%D1%83%D0%BA%20%D0%86.%D0%92._2019.pdf [in Ukrainian]

Lazebna, N. V. (2019). Semantychna neodnoznachnist urbanistychnoi terminolohii (ukrainsko-anhliiskyi pereklad Google Translate vs liudskyi pereklad) [Semantic ambiguity of urban terminology (Ukrainian-English translation by Google Translate vs. human translation)]. Aew philology, 76, 61-64. https://doi.org/10.26661/2414-1135/2019- 76-11 [in Ukrainian]

Keller, G. (1986). Spiegel, das Katzchen. Kleine Konstanzer Buchertruhe. https://www.projekt-gutenberg.org/keller/spiegel/spiegel.htmlKoponen, M. (2010). Assessing Machine Translation Quality with Error Analysis. In MikaEL: Electronic proceedings of the KaTu symposium on translation and interpreting studies, 4. Suomen kaantajien ja tulkkien liitto. https://sktl- fi.directo.fi/@Bin/40701/Koponen_MikaEL2010.pdf

Korab, P. (2021). DeepL: An Exceptionally Magnificent Language Translator. Medium.

https://towardsdatascience.com/deepl-an-exceptionally-magnificent-language-translator-78e86d8062d3

Leloup, D., & Larousserie, D. (2017). Quel est le meilleur service de traduction en ligne ? Le Monde.

https://www.lemonde.fr/pixels/article/2017/08/29/quel-est-le-meilleur-service-de-traduction-en ligne_5177956_4408996.html [in Franch]

Nord, C. (2005). Text analysis in translation: theory, methodology, and didactic application of a model for translation- oriented text analysis (2nd ed). Rodopi. https://archive.org/details/textanalysisintr0000nord/page/n10/mode/1up Popovic, M., & Burchardt, A. (2011). From Human to Automatic Error Classification for Machine Translation Output.

(pp. 265-272). https://aclanthology.org/2011.eamt-1.36.pdf

Roth, J. (2023). Die Lust am Gruseln. Zeit Online. https://www.zeit.de/kultur/2023-03/kuenstliche-intelligenz-chatgpt- tiktok-beautyfilter-moral

Yulianto, A., & Supriatnaningsih, R. (2021). Google Translate vs. DeepL: A quantitative evaluation of close-language pair translation (French to English). AJELP: Asian Journal of English Language and Pedagogy, 9(2), 109-127. https://doi.org/10.37134/ajelp.vol9.2.9.2021

Размещено на Allbest.ru