Історія становлення та розвитку машинного перекладу

Размещено на http://www.allbest.ru/

Стаття з теми:

Історія становлення та розвитку машинного перекладу

Олексій Калюжний, (студент ІІ курсу другого (магістерського) рівня вищої освіти факультету іноземних мов)

Науковий керівник - кандидат філологічних наук, доцент Бондаренко О. С.

У статті розглянуто історичний аспект розвитку машинного перекладу (МП), основні досягнення та невдачі науковців на шляху до створення ідеальної системи МП, представлено основні види систем машинного перекладу в хронологічному порядку, проведено історичний аналіз їх переваг і недоліків.

Ключові слова: переклад, машинний переклад, машинний переклад на основі правил, статистичний машинний переклад, нейронний машинний переклад, англійська мова, українська мова, історія машинного перекладу.

Постановка проблеми

машинний переклад перевага історичний

Повністю автоматичний високоякісний переклад тексту, написаного однієї мовою, іншою - майже недосяжна мрія, яка надихає науковців в усьому світі ось уже майже ціле століття. Історія машинного перекладу налічує не один зліт і не одне падіння, а сучасний користувач Інтернету засумнівався б у достовірності інформації, побачивши перший прототип пристрою для автоматичного перекладу. Саме тому дослідження історії розвитку систем машинного перекладу є надзвичайно важливим для розуміння особливостей їхнього функціонування та створення нових алгоритмів обробки тексту.

Аналіз досліджень і публікацій. Дослідження можливості автоматичної обробки тексту та його перекладу було предметом дослідження багатьох науковців: Дж. Хатчінс [6; 7; 8], У. Вівер [15], І. Бар- Хіллел [3], Н. Макдоналд [11], Ф. Блансом [10], Н. Калчбреннер [10], а також деяких компаній: IBM, Google, Systran, Hitachi, Fujitsu й інші.

Мета статті - дослідити історію становлення машинного перекладу, визначити ключові етапи цього процесу й перспективи розвитку.

Поставлена мета передбачає виконання низки завдань: дослідити історію розвитку машинного перекладу; визначити основні етапи становлення МП; розглянути особливості алгоритмів машинного перекладу в хронологічному аспекті.

Виклад основного матеріалу (результатів) дослідження

Перші згадки про «механічні словники», які могли б допомогти перекладачам у процесі їхньої професійної діяльності, датуються ще XVII століттям, проте перші конкретні пропозиції щодо створення подібних систем було озвучено лише у ХХ столітті. У 1933 році одразу два вчені, які працювали незалежно один від одного, - французький інженер Жорж Артсруні та радянський учений Петро Смірнов-Троянський - запропонували перший прототип приладу для машинного перекладу.

Пристрій Артсруні, як він його називав «механічним мозком», складався з чотирьох основних компонентів: «пам'яті» слів чотирма мовами, пристрою введення, що складався з клавіатури, яка активувала зчитуючу голівку, пошукового механізму та механізму виведення, який активувався за допомогою зчитуючої голівки. Ці чотири компоненти було під'єднано до невеликого мотора, а весь пристрій уміщався у квадратний ящик розмірами 25 » 40 » 21 см [8, с. 3].

Пристрій Смірнова-Троянського значною мірою відрізнявся від розробленого Артсруні. Він складався з гладкої дошки, розміщеної під кутом, широкої стрічки з перфорацією та вічком. Стрічка - великий словник, у якому кожна із шести колонок відповідала певній мові. Принцип роботи полягав у тому, що оператор розміщував певне слово вихідної мови навпроти вічка, а потім пересував стрічку так, щоб у вічко потрапило слово з колонки з потрібної мовою. Після цього біля слова вписувався код, який позначав граматичну категорію чи роль слова в реченні, і оператор фотографував цю комбінацію на плівку. Аналогічну процедуру повторювали з кожним словом у реченні. Коли всі слова було «перекладено», їх складали у так званий зв'язний текст і передавали редактору, який на основі призначених кодів замінював слова їхніми правильними морфологічними формами [8, с. 7].

З ретроспективного погляду винахід Смірнова-Троянського був важливішим, адже передбачав триступеневу систему перекладу. На першому етапі носій лише мови оригіналу здійснював аналіз слів і визначав їхню початкову форму та роль у реченні. Після цього машина перетворювала цю послідовність слів у їхній початковій формі із зазначеною роллю в мові оригіналу на аналогічну послідовність мовою перекладу. Під час останнього етапу носій лише мови перекладу перетворював отриману послідовність у зв'язний текст. Варто зазначити, що, незважаючи на принцип роботи пристрою, Смірнов-Троянський вважається автором лише другого етапу (безпосередньо механічного перекладу).

Приблизно в той самий час незалежно від Смірнова-Троянського, якого мало знали за межами СРСР, американський учений Уоррен Вівер також висунув пропозицію щодо використання комп'ютерів для здійснення автоматичних перекладів. Ідея створення системи машинного перекладу набула загального розголосу після публікації меморандуму Уоррена Вівера, який він назвав дуже просто - «Переклад». У ньому він виклав чотири принципи. Перший мав на меті вирішити проблему семантичної багатозначності - слова необхідно розглядати лише в певному контексті. Свій другий принцип він почав викладати з того, що мова складається з логічних елементів, завдяки чому існує певна математична можливість обчислення таких елементів. Третій полягав у можливості застосування криптографічного методу, успіхи використання якого в інших галузях вразили його значною мірою. Четвертий принцип був радше утопічним. У його основі було переконання Вівера, що можуть бути логічні риси, які є однаковими для всіх мов, тобто цілі логічні універсали [15, с. 1-3].

Кілька років потому власні дослідження МП почали науковці Університету Вашингтону, Університету Каліфорнії та Массачусетського технологічного інституту, а в 1951 році Ієгошуа Бар-Хіллел (Массачусетський технологічний інститут) став першим дослідником, для якого вивчення машинного перекладу було основним видом зайнятості. Усього через рік було проведену першу конференцію, присвячену МП, де нарешті було окреслено напрямки майбутніх досліджень. Серед основних можна виділити роботу із синтаксисом, пропозиції щодо написання спеціальних текстів із використанням обмеженої кількості мовних засобів для роботи з машинним перекладом, а також створення систем підмов [13].

Незважаючи на нескінченну кількість різних думок і позицій, більшість науковців одностайно погоджувалась у єдиному - незалежне функціонування системи машинного перекладу неможливе без довготривалих базових досліджень, а також без участі людини, зокрема при підготовці текстів для опрацювання машиною та пост-редагуванні перекладу.

Успіхи 30-40-х років призвели до того, що протягом 1950-х років робота над удосконаленням машинного перекладу розділилася на два основні напрямки: практичний і теоретичний. Науковці-практики працювали за принципом спроб і помилок, основною метою якого було створення робочої системи найближчим часом. Теоретики ж націлювалися на довгострокову перспективу, проводячи фундаментальні дослідження в галузях мовознавства й комп'ютерних технологій. Одним із основних напрямків їхньої роботи була розробка програмного забезпечення для «обробки» мови та покращення наявного апаратного забезпечення, зокрема магнітних накопичувачів і пристроїв введення/виведення, якісні характеристики яких на той час були доволі слабкими [7].

Найбільш знаковою подією цього періоду став Джорджтаунський експеримент у співпраці з IBM. 7 січня 1954 року Джорджтаунський університет разом із компанією IBM провели показ можливостей машинного перекладу. Експеримент полягав у перекладі більш ніж 60 речень із російської мови англійською. Для цього було підготовано всього шість граматичних правил і словник із 250 лексичними одиницями російською мовою, пов'язаних зі сферами політики, права, математики, хімії, металургії та військової справи (слова було записано латиницею). Для кожного слова російською мовою було підібрано англійський відповідник; усі слова вибивалися на спеціальних картках.

Як апаратне забезпечення було використано комп'ютер IBM 701, який обробляв вхідне речення й видавав переклад усього за 5-8 секунд [11, с. 9].

Успіх Джорджтаунського експерименту призвів до збільшення кількості досліджень у сферах мовознавства й лінгвістики, адже науковці з різних країн почали шукати шляхи для посилення можливостей машинного перекладу. Втім варто наголосити, що цей метод потребував значних допрацювань, адже основною метою був переклад значних обсягів текстів із різних сфер багатьма мовами.

Попередні успіхи в роботі машинного перекладу, яких було досягнуто протягом 1950-х років, були просто приголомшливими, а останні досягнення у сферах комп'ютерних технологій і традиційного мовознавства, зокрема синтаксису, ще більше надихали науковців на роботу з покращення якості вихідного тексту. Проте кожне нове досягнення у сфері МП супроводжувалося появою нових і все складніших проблем, можливостей для вирішення яких лишалось усе менше й менше. У 1960 році ізраїльський математик і вчений Ієгошуа Бар-Хіллел, відомий своїми працями у сферах машинного перекладу та традиційного мовознавства, ущент розкритикував доволі поширене на той час припущення про призначення машинного перекладу - без жодного втручання людини створювати вихідний текст такої самої високої, як це зробив би професійний перекладач. На його думку, це було майже неможливо не тільки наразі через недостатню кількість знань у сфері мовознавства та недосконалість комп'ютерних систем і технологій, а й узагалі [3, с. 41].

Після публікації його праці стало цілком очевидним, що жодна комп'ютерна програма не впорається з таким простим для людини завданням без створення величезної бази енциклопедичних знань. Трохи згодом усе більше науковців почали стикатися з подібними перепонами в правильному визначенні семантичного значення слова у відповідному контексті. Бар-Хіллел рекомендував ставити перед розробкою МП менш амбіційні цілі - створити механізм, який би забезпечував економічну вигідну й обґрунтовану співпрацю між людиною та машиною.

У 1964 році в США було створено Консультативний комітет по автоматизованій обробці в мові, метою якого було дослідження перспектив розвитку МП. Після двох років плідної роботи, у 1966 році, науковці Комітету опублікували свій славнозвісний звіт, у якому йшлося про те, що від машинного перекладу нема користі ні в короткостроковій, ні в довгостроковій перспективі - він повільний, не такий точний, а його обслуговування обходиться вдвічі дорожче, ніж вартість роботи професійного перекладача [2].

Незважаючи на хибні висновки Консультативного комітету по автоматизованій обробці в мові, які майже на десятиліття сповільнили активний розвиток машинного перекладу, дослідження продовжилися, хоч і з дещо іншою метою. Так, наприклад, дослідники та мовознавці зі США основну увагу зосередили на перекладі наукових робіт і технічної документації з російської мови, у той час як їхні колеги з Радянського Союзу працювали над перекладом з англійської. Основні зусилля канадського двомовного суспільства було спрямовано на переклад з англійської мови французькою. Найгострішою ж потреба в якомога швидшому розвитку машинного перекладу була в Європі. На початку 70-тих років ХХ століття Європейський Союз (тоді - «Європейська спільнота з вугілля й сталі») нараховував 9 країн-членів, кожна з яких мала чималу кількість наукових, технічних і законодавчих документів, які потрібно було перекласти на мову кожної з країн-членів.

Саме в цей час (1976) під керівництвом Алена Колмерауера групою вчених Монреальського університету в рамках проекту TAUM (Traduction Automatique de I'Universite de Montreal) було розроблено систему машинного перекладу прогнозів погоди з англійської французькою під назвою TAUM-METEO [12, с. 3]. Трохи згодом ці ж науковці спробували повторити свій успіх і розробити аналогічну систему для перекладу текстів іншої галузі (зокрема, авіаційних), проте їхні спроби були невдалими. Основна проблема полягала у великій кількості складних іменникових сполук і словосполучень, з якими часом не можуть упоратися навіть досвідчені перекладачі.

Серед радянських учених значних успіхів досяг Петр Тома, який був учасником дослідницької групи Джорджтаунського експерименту. У 1970 році він закінчив роботу над системою SYSTRAN, яка стала однієї з найбільш успішних систем МП протягом попередніх і наступних років [12, с. 3]. У тому ж році Повітряні сили США взяли цю систему на «озброєння» для російсько-англійського перекладу, а з 1976 її почав використовувати Європейський Союз для перекладу з англійської мови французькою. Крім того, SYSTRAN використовувало багато міждержавних організацій (наприклад, НАТО) і транснаціональних компаній, зокрема канадський підрозділ General Motors і компанія Dornier.

Найбільшою активність у сфері дослідження машинного перекладу й розробки відповідного програмного забезпечення протягом 1980-х років була в Японії. У цей час більшість ІТ-компаній розробляла ПЗ для машинного перекладу з японської мови англійською й навпаки. Незважаючи на велику кількість докладених зусиль, більшість їхніх рішень складно було назвати високотехнологічними, адже аналіз текстів обмежувався лише морфологічним і синтаксичним рівнями. Ці компанії майже не намагалися вирішити питання лексичної багатозначності, але в цьому й не було необхідності - тематика зазвичай обмежувалася сферами комп'ютерних наук та інформаційних технологій). Крім того, японські розробники значну увагу приділяли людському фактору в процесі машинного перекладу, а саме попередній підготовці й пост-редагуванню.

Серед найбільш вдалих систем машинного перекладу, розроблених у Японії протягом цього періоду, були такі: ATLAS2 (Fujitsu), DUET (Sharp, 1982), Honyaku Adaptor II (NEC, 1983), PENSEE (OKI3, 1986), HICATS (Hitachi, 1986) [12, с. 3].

Протягом 60-80-х років ХХ століття науковці в усьому світі досягли значних успіхів у створенні систем машинного перекладу на основі правил, які мали змогу робити синтаксичний аналіз тексту, а потім на основі запрограмованих у них правил здійснювати переклад. Порівняно з іншими підходами до МП цей був найбільш вдалий. Проте наприкінці 1980-х - на початку 1990-х популярність систем, розроблених за таким принципом, різко впала.

Почалось усе в 1988 році після публікації фахівцями компанії IBM результатів експерименту, під час якого для перекладу вони використовували систему, в основі якої був виключно статистичний метод. Перевага такого методу полягала в тому, що він був одночасно як засобом аналізу тексту оригіналу, так й інструментом для створення тексту мовою перекладу. Такий підхід повністю виключав потребу у використанні в процесі перекладу будь-яких правил і найголовніше - потребу в їх створенні [4]. Суть методу полягала в підборі великого корпусу двомовних текстів, встановленні зв'язків між фразами, словосполученнями й окремими словами, а також подальших розрахунках імовірності того, що певне слово в реченні мови оригіналу перекладатиметься відповідним словом іншої мови. Таким способом, власне, компанія IBM і проводила своє дослідження, узявши за основу величезний корпус французьких та англійських текстів із парламентських дебатів у Канаді.

На превелике здивування науковців, зокрема тих, які досягли значних успіхів у вивченні машинного перекладу на основі правил, статистичний переклад виявився набагато ефективнішим. Приблизно половина з контрольних зразків відповідала варіанту з корпусу, який було перекладено професійним перекладачем, або система пропонувала близький за значенням і якістю варіант. Це дало поштовх до створення нових систем, і незабаром японські розробники презентували MAPTRAN, а команда NEC адаптувала свою систему, яка раніше працювала на основі правил (PIVOT) відповідно до нових досягнень [6, с. 12].

Перша спроба вивести машинний переклад у глобальний доступ відбулась у 1992 році із заяви компанії CompuServe про те, що їй необхідні послуги машинного перекладу (у парі англійська - німецька) для підписників сервісу. Таким чином систему машинного перекладу було вперше інтегровано у веб-сайт для перекладу дописів користувачів. У 1997 році вже відомими своїми заслугами в галузі перекладу компаніями Digital Equipment Corporation і Systran Software Inc. було запущено перший автономний онлайн-сервіс машинного перекладу - AltaVista Translation Service [14, с. 235].

У 2006 році було запущено сервіс Google Перекладач (на основі системи статистичного машинного перекладу). На той час компанія ще не мала такої великої кількості паралельних текстів, тож за основу було взято корпуси Європейського Парламенту й ООН.

Згодом починають з'являтися більш різноманітні сервіси машинного перекладу, доступні широкому загалу. Так, наприклад, у 2007 році було запущено сервіс MOSES - систему статистичного МП з відкритим вихідним кодом. У 2008 році японські розробники представили мобільний сервіс для перекладу текстових повідомлень, а у 2009 - мобільний телефон із вбудованою функцією перекладу для англійської, японської та китайської мов [1].

У 2013 році два науковці з Оксфордського університету, Філ Блансом і Нал Калчбреннер, який за сумісництвом був засновником дослідницької лабораторії Google Brain Amsterdam, запропонували нову структуру кодування й декодування тексту для систем машинного перекладу. Свої моделі вони назвали «повторюваними неперервними моделями для перекладу». Для роботи з текстами ці моделі використовують виключно неперервну послідовність слів, словосполучень і речень, а не відношення між ними, як це реалізовано в інших моделях машинного перекладу [10].

У 2016 році іншою групою вчених було запропоновано іншу модель, яка використовувала той самий принцип навчання на основні послідовностей, а також метод акцентування [16; 9; 5]. Ця модель складалася з трьох компонентів: кодера, декодера й модуля акцентування.

Науковці компанії Google порівняли результати статистичного й нейронного підходів до перекладу, і виявилося, що остання технологія набагато ефективніше опрацьовує текст та видає якісніший переклад. З огляду на цей успіх технологію глибокого аналізу було покладено в основу нейронного перекладача від компанії Google, який, за словами самої компанії, з 2016 року використовується в загальнодоступній версії замість застарілого статистичного перекладача.

Висновки та перспективи подальших пошуків у напрямі дослідження

Виникнення машинного перекладу насамперед пов'язано з пошуком конкретного технологічного рішення для перекладу текстів з однієї мови іншою. Почавшись у 30-х роках минулого століття, історія МП пережила 7 періодів: зародження технології (1930-1940-ві), стрімкий розвиток (1950-ті), занепад (19б0-ті), комерціалізація МП (1970-1980- ті), перехід до статистичних алгоритмів (1990-ті), вихід у світову мережу (1990-2000-ні), створення нейронних систем. Кожен із цих періодів був надзвичайно важливим на шляху до систем, які сьогодні функціонують у загальному доступі. На кожному етапі науковці розробляли нові методи досліджень і підходи до їх проведення, нові алгоритми машинного перекладу й сфери їх застосування, а темпи розвитку галузі суттєво відрізнялися. Так, наприклад, на початку існування МП використовувалися лише системи машинного перекладу на основі правил, які лише допомагали фахівцям із перекладу виконувати свою роботу. Згодом на заміну таким систем прийшов алгоритм статистичного аналізу, який не потребував створення безлічі правил, а міг самостійно порівнювати паралельні тексти, завдяки чому обсяг роботи, який мала здійснювати людина під час перекладу, значно зменшився. Незважаючи на неймовірний прогрес у технологіях, якість систем СМП була доволі низькою, що спонукало науковців до створення нейронних систем, які набагато глибше за статистичні алгоритми аналізують текст і часом синтезують правила й закономірності, які може не помітити навіть фахівець із багаторічним досвідом.

Як бачимо, машинний переклад, як і будь-яка нова технологія, стрімко розвивався на початку свого існування - менш ніж за чверть століття пристрій для машинного перекладу перетворився з окремої величезної машини на засіб, інтегрований у комп'ютер. Після цього на виведення систем машинного перекладу в загальний доступ науковцям знадобилося ще близько 50 років, що, звісно, пов'язано з темпами розвитку комунікаційних технологій, зокрема Інтернету. Незважаючи на значне сповільнення протягом 1960-1980 років, з моменту виходу МП в глобальну мережу темпи його розвитку є досить значними та дивують ледь не щодня - усього за 20 років більшість систем МП перейшла зі статистичного методу, який мав значні недоліки та потребував постійного контролю з боку людини, до систем МП на основі нейронних мереж, які мають значно вищу ефективність і набагато простіші в обслуговуванні.

Бібліографія

1. A (Brief) History of Machine Translation. Smartling: веб-сайт. URL: https://www.smartling.com/resources/101/a-brief-history-of-machine- translation/ (дата звернення: 29.06.2020).

2. Automatic Language Processing Advisory Committee. Language and Machines - Computers in Translation and Linguistics. 1966. Washington, DC.

3. Bar-Hillel Y. The Present Status of Automatic Translation of Languages. Advances in Computers. 1960. Vol. 1. P. 91-163.

4. Brown P., Cocke J., Della Pietra S., Della Pietra V., Jelinek F., Mercer R., Roossin P. A Statistical Approach to Language Translation. Proceedings of the 12th Conference on Computational Linguistics. 1998. Vol. 1. P. 71-76.

5. Dzmitry Bahdanau, KyungHyun Cho, Yoshua Bengio. Neural Machine Translation by Jointly Learning to Align and Translate. 2016. URL: https://arxiv.org/pdf/1409.0473.pdf (дата звернення: 29.06.2020).

6. Hutchins J. Computer Translation: History of Research and Applications. Routledge Encyclopedia of Translation Technology (chapter 6). 2013. 18 P.

7. Hutchins J. From First Conception to First Demonstration: The Nascent Years of Machine Translation, 1947-1954 chronology. Machine Translation. 1997. Vol. 12, № 3. P. 195-252.

8. Hutchins J. Two Precursors of Machine Translation: Artsrouni and Trojanskij. International Journal of Translation. 2004. Vol. 16, № 1. P. 11-31.

9. Ilya Sutskever, Oriol Vinyals, Quoc V. Le. Sequence to Sequence Learning with Neural Network. 2014. URL: https://arxiv.org/pdf/1409.3215.pdf (дата звернення: 29.06.2020).

10. Kalchbrenner N., Blunsom Ph. Recurrent Continuous Translation Models. Proceedings of the 2013 Conference on Empirical Methods in Natural Language Processing. 2013. P. 1700-1709.

11. Macdonald N. Language Translation by Machine - a Report of the First Successful Trial. Computers and Automation. 1954. Vol. 3, № 2. P. 6-10.

12. Mohamed Amine Cheragui. Theoretical Overview of Machine translation. Proceedings of the fourth International Conference on Web and Information Technologies. 2012. P. 160-169.

13. Reifler E. The First Conference on Mechanical Translation. 1951. URL: http://www.mt-archive.info/50/MT-1954-Reifler.pdf (дата звернення: 29.06.2020).

14. Sreelekha S., Pushpak Bhattacharyya, Shishir K. Jha, Malathi D. A Survey Report on Evolution of Machine Translation. International Journal of Computer Technology and Applications. 2016. Vol. 9, № 33. P. 233-240.

15. Weaver W. Warren Weaver Memorandum: 50th Anniversary of Machine Translation. MT News International. 1999. Vol. 8, № 1. P. 5-6.

16. Yonghui Wu, Mike Schuster, Zhifeng Chen, Quoc V. Le, Mohammad Norouzi et al. Google's Neural Machine Translation System: Bridging the Gap between Human and Machine Translation. 2016. URL: https://arxiv.org/pdf/1609.08144.pdf (дата звернення: 29.06.2020).

Размещено на Allbest.ru