Нейронная сеть и машинный перевод

Размещено на http://allbest.ru

¹Институт кибернетики им. Е.И. Попова

²Иркутский национальный исследовательский технический университет

Нейронная сеть и машинный перевод

¹Павлов Валерий Ефимович, магистрант,

²Башмакова Ирина Степановна, кандидат филологических наук

г. Иркутск

Первые исследования в области компьютерной лингвистики начались в 1950-60-е годы [1], однако разработать идеальный алгоритм машинного перевода письменных и, желательно, устных текстов с одного языка на другой с помощью специальной компьютерной программы не удалось.

На сегодняшний день существует несколько компьютерных программных приложений, позволяющих переводить как отдельные слова (электронные словари), так и целые предложения с попыткой учета морфологических, семантических и синтаксических связей членов предложения. Несмотря на возможность воспроизводить относительно «осмысленные» фразы, машинный перевод не справляется с переводом грамматических и стилистических явлений.

Цель статьи - описать алгоритм перевода предложений с помощью нейронной сети. Данная цель предполагает решение следующей задачи: проанализировать существующие программные приложения машинного перевода.

Актуальность работы обусловлена проблемами, связанными с машинным переводом.

Новизна исследования заключается в описании нового способа машинного перевода. Теоретическая значимость и практическая ценность заключаются в том, что использование нейронной сети будет способствовать более адекватному переводу текстов на другой язык. При работе над текстами перевода был использован метод сравнительного анализа.

Как указывалось выше, машинный перевод - это процесс перевода текстов с языка оригинала на язык перевода с помощью специальной компьютерной программы.

Иными словами, для осуществления необходимого перевода в компьютер вводится программа, которая будет непосредственно реализовывать последовательность определенных действий над текстом при заданном направлении с целью нахождения эквивалентных соответствий каждому введенному слову.

Система машинного перевода состоит из двуязычных словарей, в которых зафиксирована информация по грамматике, синтаксису и семантике, а также алгоритмические средства, с помощью которых данная информация автоматически анализируется для обеспечения передачи эквивалентных соответствий.

Среди основных систем машинного перевода выделяются три типа [2]: подходы, основанные на правилах (Rule based approach), подходы, основанные на примерах (Example based approach), статистические подходы (Statistical approach).

С помощью данных систем можно сделать лишь синтаксический, пословный перевод текста, в котором за основную единицу принимается слово, а все синтаксические связи этих слов определяются связями текста оригинала. программный машинный перевод язык

Таким образом, классические подходы заключаются в последовательном преобразовании исходного текста в текст перевода с сохранением структуры входного и выходного предложения.

С учетом того, что системы, основанные на правилах, могут использовать разные типы перевода: пословный перевод, трансфертный и интерлингвистический, результаты переводов показывают, что в настоящее время не существует корректно работающей интерлингвистической системы, так как во всех переведенных текстах очевидно существенное искажение содержания оригинала [3].

Тем не менее, как показал проведенный учеными сравнительный анализ качества перевода трех наиболее распространенных систем (Google, Яндекс и PROMT), при переводе художественной литературы относительно корректный перевод осуществляется Яндекс.Перевод, при переводе научной литературы - переводчиком Google [4].

Проблемой машинного перевода являются и сами словари, так как при переводе с языка оригинала слово не является единственной «единицей текста». В тексте перевода одновременно используется как слово в целом, так и семантические единицы (уровень слов, уровень морфем, уровень предложений, уровень словосочетаний).

При этом смысл семантической единицы, которая находится уровнем выше, не должен определяться смыслом единицы низшего уровня. Все существующие словари для машинного перевода можно охарактеризовать как словари для перевода отдельных слов, редко - устойчивых выражений и словосочетаний.

Примерами неадекватного машинного перевода (переводчик Google) могут служить следующие словосочетания: matter wave - «материя-волна» вместо «волна де Бройля»; Greens function - «функция зелень» вместо «функция Грина»; SQUID bias - «кальмар предвзятости» вместо «сдвиг сквида» (superconducting quantum interference device).

Существующие современные средства машинного перевода способны осуществить лишь пословный перевод, в котором присутствует перевод каждого отдельного слова, но не передается смысл высказывания. Самые неудовлетворительные результаты обнаруживаются при переводе с русского языка на японский и с японского на русский.

Это связано с тем, что при машинном переводе происходит перевод посредством языка-посредника (обычно английского), а не напрямую.

Однако проблема машинных переводов может быть успешно решена, если подключить к машинному переводчику предварительно обученную нейронную сеть.

Объяснение этому заключается в том, что статистические методы изначально были ориентированы на подбор наиболее употребительных словосочетаний и выражений при переводе текста. Нейронная сеть работает на совершенно ином уровне. Она не только «перебирает» возможные варианты перевода, но и выполняет интеллектуальный анализ предложений, разделяя их на «словарные участки».

Внутри сети данные «словарные участки» соответствуют смыслам слов. Искусственная нейронная сеть представляет собой систему взаимодействующих между собой искусственных нейронов-процессоров. Каждый процессор отвечает на сигналы, которые он получает, и передает их другим процессорам.

Соединенные в большую сеть с управляемым взаимодействием, эти простые процессоры вместе способны выполнять сложные задачи. Искусственная нейронная сеть - это математическая модель, построенная по принципу организации и функционирования биологических нейронных сетей - сетей нервных клеток живого организма[5].

Нейронные сети не программируются, а обучаются. Возможность обучения - одно из главных преимуществ нейронной сети перед традиционными алгоритмами. Технически обучение заключается в нахождении коэффициентов связей между нейронами-процессорами. Алгоритм работы нейронной сети при переводе текста с языка оригинала на язык перевода следующий:

1. Подача текста.

2. Разбивка текста нейросетью на слова, смысловые группы-участки.

3. Обработанные нейросетью, проведенные по уровням и осмысленные предложения на выходе.

Текст делится компьютерной программой на предложения, слова, затем нейронная сеть «подбирает» наиболее подходящий перевод с учетом веса каждого слова в оригинальном тексте. Весовые коэффициенты, получаемые нейроном от предыдущего слоя, изначально задаются случайным образом. Далее нейронная сеть «пересматривает», «уточняет» содержание в поисках более точного эквивалента.

Обрабатывая тысячи вариантов, она каждый раз будет вносить что-то новое в перевод до тех пор, пока не найдет наиболее подходящий вариант. Нейронная сеть нуждается в большом объеме информации (обучающий сет), чтобы понимать и выбирать через слои-уровни необходимое. Она может сравнивать полученный результат и корректировать его, объединяя в текст, выдавая на выходе осмысленное содержание. Как показывают результаты проведенных экспериментов, нейронная сеть обеспечивает перевод текста с одного языка на другой на порядок качественнее, чем все существующие машинные переводчики. Данную технологию протестировали в системе Google на одной из самых сложных языковых пар китайский ? английский. В итоге нейронная сеть на 60 % снизила количество ошибок перевода [6]. Для оптимизации процесса перевода алгоритм «обучался» на компьютерном оборудовании, специально разработанном для тестирования нейросети. Для оценки эффективности системы был подобран большой набор предложений из Википедии и новостных статей. Эти тексты внедрили в нейросеть, в старую систему машинного перевода перевода Google Translate и предложили для перевода переводчикам-профессионалам. В рамках слепого тестирования люди-переводчики оценивали качество перевода каждого фрагмента, в том числе перевод, осуществленный людьми. Несмотря на значительное уменьшение количества ошибок, качество перевода нейросетью в языковой паре английский ? китайский уступило качеству перевода людей-переводчиков. Однако в некоторых языковых парах перевод нейросети приближался по качеству к переводу профессионалов. Результаты работы нейросети показаны на рисунке.

Модель перевода

Хотя результаты проведенного эксперимента были относительно хорошими, ученые уверены, что компьютер сможет приблизиться к человеку или обойти его по качеству перевода только в том случае, если к системе с интегрированной нейронной сетью подключить дополнительные каналы входящей информации, такие как видео и звук.

Однако на сегодняшний день, несмотря на активные разработки в этой области, такого уровня подачи информации не существует.

Перевод - это сложный аналитико-интегративный процесс, связанный с воссозданием смысла оригинала, в осуществлении которого задействованы все мыслительные ресурсы переводчика. Как показывают эксперименты, нейронный перевод превосходит по качеству классические методы машинного перевода, но достичь полной смысловой целостности текста при переводе разработчикам систем еще не удалось.

Библиографический список

1. Тобоева Т.Н., Прозорова Н.И. Компьютерная лингвистика [Электронный ресурс]. URL: http://nethash.ru/kompeyuternaya-lingvistika-t-n-toboeva-1-n-i-prozorova.html (02.04.2017).

2. Каменева Н.А. Семантические проблемы компьютерной лингвистики. В мире научных открытий [Электронный ресурс]. URL: http://naukarus.com/semanticheskie-problemy-kompyuternoy-lingvistiki (02.04.2017).

3. Андреева А.Д., Меньшиков И.Л, Мокрушин А.А. Обзор систем машинного перевода [Электронный ресурс]. URL: https://moluch.ru/archive/59/8581/ (02.04.2017).

4. Никитин И.К. Структурно-семантические трансформации в научно-техническом тексте при машинном переводе в современном английском языке [Электронный ресурс]. URL: http://www.academia.edu/3439386/ (02.04.2017).

5. Википедия [Электронный ресурс]. URL: https://ru.wikipedia.org/wiki (16.04.2017).

6. Артем Чернодуб. Geektimes [Электронный ресурс]. URL: https://geektimes.ru/post/211610/ (02.04.2017).

Аннотация

УДК 811.161.1

Нейронная сеть и машинный перевод. Павлов Валерий Ефимович, магистрант Института кибернетики им. Е.И. Попова, гр. БИм-16-1, e-mail: pavlov_valera@bk.ru; Башмакова Ирина Степановна, кандидат филологических наук, доцент кафедры иностранных языков для технических специальностей № 1, e-mail: bis61@mail.ru. Иркутский национальный исследовательский технический университет, 664074, г. Иркутск, ул. Лермонтова, 83.

Рассматриваются результаты проведенных экспериментов по интеграции нейронной сети в переводчик. Описывается общий принцип работы программ машинного перевода и проблемы, связанные с достижением адекватности переводимого текста при использовании электронного переводчика. Доказывается, что при подключении нейронной сети к переводчику можно добиться более точного эквивалента переводимого слова, предложения и, как конечный результат, более качественного перевода целых текстов разных жанров.

Ил. 1 Библиогр. 6 назв.

Ключевые слова: машинный перевод; нейронная сеть; проблемы перевода; электронный перевод; эквивалентный перевод; способы и приемы перевода; выбор словарных участков; словарное соответствие.

Annotation

Neural network and machine translation. Pavlov Valeriy, a postgraduate student of Cybernetics Institute named after E.I.Popov. e-mail: pavlov_valera@bk.ru; Bashmakova Irina, Candidate of Philology, Associate Professor of Foreign Languages for Technical Specialties Department №1. e-mail: bis61@mail.ru. Irkutsk National Research Technical University, 83 Lermontov Street, Irkutsk, 664074, Russia

The article discusses the results of experiments on the neural network integration into a translator. The article describes the general principle of machine translation programmes work and the problems related to the adequacy of the translated text when using an electronic translator. It is proved that when connecting the neural network to the translator, it is possible to achieve a more exact equivalent of the translated word, sentence and, as a final result, a better translation of the entire text of different genres.

Illustrations: 1. References: 6.

Keywords: machine translation; neural network; problems of translation; electronic translation; equivalent translation; ways and methods of translation; selection of vocabulary areas; dictionary match.

Размещено на Allbest.ru