Размещено на http://www.allbest.ru/

Выравнивание параллельных текстов для заданных пар языков на основе функционально-семантического подхода



Введение

Корпусная лингвистика сегодня, это активно развивающаяся область теоретического и прикладного языкознания. Корпусные методы и технологии уже прочно вошли в деятельность лингвистов как мощный инструмент для проведения многочисленных исследований, изысканий и т.п. Среди специалистов по языкознанию даже существует такое мнение, что появление корпусов повлекло за собой революцию в лингвистике, т.к. они в корне изменили то, каким образом проводятся языковые исследования. Однако, оставаясь самостоятельным инструментом, большие корпуса текстов на естественном языке являются ключевым элементом во многих системах автоматической обработки текста (системах NLP, Natural Language Processing). В частности для систем машинного перевода на основе статистического подхода.

Однако разработчики электронных переводчиков нового поколения не только используют алгоритмы машинного обучения и статистические данные для перевода, но стремятся к гибридизации подходов и технологий в погоне за повышением качества перевода. Современные системы часто совмещают в себе как использование статистических данных, так и трансформационный правиловый компонент. Предварительная подготовка, в том числе и разметка параллельных текстов, является нетривиальной, но очень важной задачей, которая стоит перед создателями электронных переводчиков. Данная работа посвящена поискам оптимального решения для подготовки параллельных корпусов, из которых можно было бы извлекать не только статистические, но и лингвистические закономерности -? в этом и состоит ее актуальность.

Объектом исследования в рамках выпускной квалификационной работы были выбраны наиболее частотные переводческие трансформации, применяемые при переводе с английского языка на русский. Предметом исследования являются такие направления компьютерной лингвистики как машинный перевод и корпусная лингвистика.

Цель написания выпускной квалификационной работы:

1) Дать обзор существующим подходам и средствам выравнивания параллельных текстов, выявить их сильные стороны и недостатки;

2) Предложить собственную методологию подготовки данных для алгоритмов машинного обучения, применяемых для выравнивания, основанную на идеях такого направления лингвистики как функциональная семантика. Задачи:

1) Отбор текстов СМИ, опубликованных как в зарубежных изданиях на английском языке, так и на русском языке (в переводе), ручное выравнивание подобранных текстов;

2) Анализ переводческих трансформаций, выявление наиболее распространенных трансформаций, используемых при переводе Eng->Rus;

3) Выявить предложения, содержащие интересующие нас в рамках работы переводческие трансформации.

Научная и практическая значимость -- повышение качества машинного перевода с использованием машинного обучения.

Исследование проводилось на материале текстов, опубликованных на сайтах зарубежных СМИ, таких как The Washington Post, The New York Times, The Daily Beas и др. В качестве сопоставимых текстов были отобраны переводы публикаций, выполненные профессиональными переводчиками и размещенные на ресурсу inosmi.ru. Теоретической основой послужили наработки российских и зарубежных ученых в области функциональной грамматики, среди них работы А. И. Мельчука, А. В. Бондарко, Ч. Филлмора и др. Методологической основой послужил анализ трансформаций в терминах грамматики составляющих, функциональный анализ отдельно взятых единиц языка и сопоставительный метод.

Исследование состоит из введения, трех глав, заключения и списка литературы.



Глава 1. Выравнивание параллельных текстов

1.1 Параллельные тексты

Определения, история. Параллельными текстами (или «битекстом») в общем смысле принято называть тексты-источники и их «зеркальные» переводы [1]. Слово «параллельный» в названии отражает, что изначальный текст переводится не выборочными фрагментами (например, только аннотация) или обобщенным пересказом, а «насквозь» -- от первого до последнего слова.

Параллельные тексты несут в себе большой потенциал применения в изучении иностранных языков, повышении качества переводческой деятельности, так как в «живом», естественном языковом контексте демонстрируют, какими словами переводящего языка (ПЯ) оптимально передается смысл, заложенный в исходном языке (ИЯ). Накопление параллельных текстов и постепенное формирование корпуса параллельных текстов расширяет богатство трактовок конкретных фраз в различных контекстах. В итоге это позволяет выбрать на базе уже сделанных переводов вариант, наиболее подходящий для нового перевода, способствует повышению качества и точности переводов.

Параллельные тексты крайне важны для задач автоматизации переводческой деятельности. Простейшие электронные словари типа «слово -- перевод» обычно содержат переводы пословно -- максимум с несколькими примерами употребления проверяемого слова в устойчивых выражениях. Таких примеров недостаточно, чтобы понять иные варианты употребления слова в естественной языковой среде, где их разнообразие велико. При работе не с «одинарными» словами, а фразами и текстами пословный перевод дает «мозаику» смыслов отдельных слов, но не может слаженно, понятно передать их общий конечный смысл.

Именно такую задачу помогают решить параллельные тексты. Они позволяют на примере массива переводов предложений, переведенных в контексте, получать значение, наиболее подходящее заданной пользователем фразе (работу с параллельными текстами переводческих сервисов можно, например, найти в технологиях «Яндекса» [3]).

Чтобы система машинного перевода понимала, какой части переведенного текста соответствует конкретная часть изначального, эти тексты требуют выравнивания (см. далее) -- сопоставления, при котором четко понятно соответствие между каждым предложением ИЯ и его «парой» ПЯ.

Выравнивание -- трудоемкая переводческая работа, когда она выполняется вручную. Чтобы эту работу можно было проводить полностью автоматически, требуется ряд доработок. Но если все же рассматривать «идеальное» определение параллельных текстов в том виде, к которому сейчас стремится компьютерная лингвистика, вероятно, оно могло бы звучать так. Параллельный текст -- формат единовременного представления текста- оригинала и его перевода, при котором каждое предложение на переводящем языке размещено рядом с предложением-источником в исходном языке и эти предложения визуально сопоставимы. Автор издания «Иностранные языки самостоятельно» Илья Шальнов пишет, что параллельный текст -- таблица, в которой «родительский» язык и его перевод размещены в двух соседних колонках [4] (см. Рисунок 1). Альтернативное представление, указывает автор, -- в виде предложений, когда в паре «оригинал -- перевод» одно предложение размещено под другим. «Возможны также варианты с транскрипцией или с транслитерацией», -- добавляет он.



Рисунок 1. Пример параллельного текста (английский -- русский) из книги Л. Кэрролла «Алиса в стране чудес»

Задачи, цели параллельного текста. Параллельный текст служит эффективному решению ряда задач языкознания, повышая качество анализа словоупотреблений, передачи смысла в зависимости от контекста и т.д. Наряду с высокой востребованностью в научных кругах параллельный текст часто встречается и в общественной жизни -- при обучении иностранным языкам, в ряде случаев переводческой деятельности -- в том числе при переводе государственных и международных документов (см., например, корпус параллельных текстов Европарламента (2007-2011), См. [6]), договоров, в двуязычных изданиях и т.д.

Как отмечается в книге Н.С. Новиковой и О.М. Щербаковой, параллельный перевод (альтернативная версия определения «параллельный текст») помогает не только лучше понять текст, во многом заменяет постоянное обращение к словарям и частично даже обучение с педагогом. Битекст также помогает обучающемуся усвоить специфику перевода слов, устойчивых и редких выражений, демонстрируя, когда уместен перевод всех компонентов словосочетания пословно, а когда это приводит к бессмыслице [7, стр. 4].

Значимость параллельных текстов хорошо демонстрирует трактовка, которую дал переводу известный итальянский мыслитель, писатель, специалист по семиотике У. Эко. В одной из своих работ [8, стр. 128] он предложил интерпретировать «переводить» как «сказать то же самое на другом языке» (или точнее: «даже зная, что то же самое никогда не говорится, можно сказать почти то же самое» [8, стр. 13]). Один из примеров автора ярко показывает, в какой степени перевод текста может отличаться от оригинала и, если перенести этот частный случай на обширную языковую практику, насколько именно параллельное сопоставление оригинальных и переводных текстов может быть полезно в работе переводчиков.

Рисунок 2. Фрагмент книги У. Эко «Сказать почти то же самое. Опыты о переводе»

На взгляд У. Эко, «самое большее, что может дать параллельный текст,

— это привнести некие элементы для оценки перевода» [8, стр. 290].

Известный отечественный филолог и лингвист Л.Н. Беляева выделяет две основные группы задач применения параллельных текстов -- практические и исследовательские [9]. В рамках первой это:

· дополнение массива переводов, добавляемых в словарь, через выбор устойчивых словосочетаний, применяемых в исходных текстах- оригиналах;

· детализация употребительности и значений слов, словосочетаний в текстах той или иной тематики, с тем чтобы добавить в словари частотные слова и (или) частотные конструкции;

· проверка значений лексических единиц, уже представленных в двуязычных словарях (особенно касательно идиом, терминологических выражений);

· выделение устойчивых словосочетаний, идиом, которые могут быть рекомендованы для включения в автоматические словари, глоссарии.

В рамках второй:

· выявление интерференции исходных языков авторов на лексические, грамматические аспекты текстов;

· определение специфики перевода на основании исследований текстов- оригиналов, их переведенных версий;

· оценка релевантности перевода текстов.

Научное сообщество склонно признавать важность параллельного текста как единой, связной языковой материи. В статье С.В. Евтеева и А.Л. Семенова [10] «Перевод: параллельные тексты и системы "память переводчика"« подчеркивается важность связного контекста для всех лингвистических явлений. Авторы отмечают, что в основе деятельности, связанной с переводами

— переводами как таковыми, обучением иностранному языку и его освоением, составлением словарей -- дву- и многоязычных, всегда лежит весомая доля проведенных сопоставлений. В статье указывается, что сопоставление можно считать методом обучения переводу «как виду деятельности и как результату сопоставительной деятельности». Именно поэтому, пишут авторы, сравнение параллельных текстов может быть способом обучения иностранному языку и переводу, при этом параллельные тексты сами по себе хорошо подходят как исследовательский объект.

Параллельные корпусы: задачи, предназначение. По аналогии с

«родительской» дисциплиной -- корпусной лингвистикой, изучающей

«корпусы» (совокупность текстов, объединенных общим признаком и размеченных по определенному стандарту [11]), параллельные тексты формируют параллельный корпус (англ. «parallel corpora»), или корпус параллельных текстов -- КоПарТ [12]. Четкая упорядоченность предложений в параллельных текстах «позволяет использовать параллельный корпус как инструмент исследования» [13]. «Источником параллельных текстов являются современные корпуса текстов», -- подтверждают тезис С.В. Евтеев и А.Л. Семенов [10].

По мнению Л.Н. Беляевой, параллельный корпус текстов -- совокупность документов, переведенных на два или более языка и при этом «выровненных по предложениям и размеченных, написанных на одну тему и на одном языке авторами с разными родными языками» [9].

Добровольский Д.О., Кротова Е.Б., Парина И.С. указывают, что корпус параллельных текстов можно эффективно применять в разных областях лингвистических исследований. Корпус, отмечают авторы, позволяет специалистам, создающим двуязычные словари, получить доступ к обширному языковому материалу, проверить гипотезы в отношении тождественности разных языковых единиц [14]. В лингвистике процесс накопления материала «оригинал -- перевод» максимально затруднительный и минимально творческий [10]. Корпусы параллельных текстов эффективно решают соответствующую проблему -- позволяют не тратить ресурсы на утомительную рутину, сохраняя их для более важной составляющей, требующей вовлеченности переводчика.

Параллельные тексты: история развития. Зарождение, зарубежье. Родоначальником параллельных текстов в зарубежной практике принято считать Брайана Хэрриса (Brian Harris) -- сотрудника Школы письменных и устных переводчиков университета Оттавы, члена Комитета новых технологий при Международной федерации переводчиков. Брайан Хэррис представил концепцию параллельных текстов в 1988 году в статье «Битекст, новая концепция в теории переводов». Отметим, что годом ранее -- в декабре 1987 -- профессор Хэррис также опубликовал краткую статью [15] на ту же тему в журнале Language Monthly. В ней автор выделял три существенные части в концепции битекста, проработанные им на тот момент. Первая -- изначальная природа параллельных текстов, являющаяся психолингвистической. Вторая -- их приспособление, адаптация к компьютеру, открывающие преимущества машинной обработки. Наконец, третья -- представление битекста -- такое, которое позволяет нам удобно его использовать и с ним работать.

В 1999 году Гарольд Сомерс (Harold Somers) отмечал [16], что под параллельным корпусом подразумевается текст, доступный на двух или более языках, -- в том числе текст, написанный группой авторов на различных языках и затем опубликованный в различных языковых версиях. Автор указывал, что корпус такого типа иногда называют «сравнительным», хотя подобное определение, по словам Сомерса, также используется -- тем самым смешивая смыслы -- для похожих, но необязательно равнозначных текстов. Гарольд Сомерс отмечал, что информацию, автоматически получаемую из параллельных корпусов, можно считать «лингвистическим метазнанием».

После Б. Хэрриса концепцию параллельного текста развивал коллектив ученых Университета Монреаля (Universitй de Montrйal), в оригинале взявший себе название «Recherche appliquйe en linguistique informatique» (RALI), по- английски -- «Applied Research in Computational Linguistics» («Прикладные исследования в вычислительной лингвистике»).

Представитель RALI при Университете Монреаля Эллиотт Маклович (Elliott Macklovitch) в своей презентации «Об удовольствиях быть би- текстуальным, или Моя жизнь в параллельном тексте» («On the Pleasures of being Bi-textual OR My life in parallel text») на мастер-классе по выстраиванию и использованию параллельных текстов на конференции 2003 года отмечал выдающиеся вехи до и после профессора Хэрриса [17]. Маклович указал, что в 1981 году Алан Мелби (Alan Melby) первым, насколько это известно, предложил хранить прошлые переводы в электронной форме для двуязычного конкорданса. Позднее Питер Браун (Peter Brown) -- по имеющимся данным, в 1991 году, а также Уильям Гейл (William Gale) и Кеннет Черч (Kenneth Church)

-- в 1993 году -- опубликовали первые алгоритмы по выравниванию предложений в параллельных текстах. Сообщается, что алгоритм Гейла идентичен алгоритму Брауна -- за исключением того, что основывает выравнивание не на количестве слов в предложениях, а на количестве знаков в них [18].

В 2011 году профессор Школы перевода и языковой интерпретации (School of Translation and Interpretation) при Университете Оттавы Йорг Тидеманн (Jцrg Tiedemann), основываясь на устоявшемся подходе, значительно расширил определение битекста до «симметричного соответствия между двумя половинами» такого параллельного текста, соотносящимися друг с другом «тем или иным способом» [19].

Развитие параллельных текстов в России. В 1988 году выдающийся лингвист, известный переводчик и авторитетный ученый в области языкознания А.Д. Швейцер писал в работе «Теория перевода» [20, стр 13] о параллельных текстах, используемых в сопоставительной лингвистике, что их нет возможности расценивать в рамках соотношения «оригинал -- перевод». Зачастую «для сопоставлений используются тексты, у которых вообще отсутствует семантический инвариант, но которые позволяют выявить дифференциальные признаки текстов данного жанра в сопоставляемых языках».

Некоторые исследователи выделяют отдельные типы параллельных текстов. Например, С.В. Евтеев и А.Л. Семенов рассматривают «параллельные тексты трех основных типов, которые соотносятся с тремя основными компонентами: прагматикой, семантикой и синтагматикой» [10] …

На сегодняшний день развитие параллельных корпусов продвинулось вперед. В книге «Прикладная и компьютерная лингвистика» [21, стр. 142] отмечается, что по критерию параллельности корпусы делятся на одноязычные, двуязычные и многоязычные. В свою очередь двуязычные и многоязычные корпусы далее подразделяются на параллельные (переводные) корпусы и сопоставимые (псевдопараллельные) корпусы. Первые -- это ряд текстов на языке-оригинале, переведенных на один и более других языков. Вторые -- собрание текстов на оригинальных языках (одном или нескольких), объединенных одной и той же семантической областью.

Выравнивание параллельных текстов. Важной задачей подготовки параллельного текста является его «выравнивание» -- выявление соответствий между предложениями в обеих (оригинальной и переводной) частях текста. На сегодняшний день для этого в основном используются специальные программные средства.

В описании подкорпусов Национального корпуса в статье «Инструменты корпусной лингвистики» [22] сказано, что выравненными называются тексты, для которых определено, каким частям оригинального текста соответствуют конкретные фрагменты переводного. На базе массива выровненных параллельных текстов, подчеркивает Л.Н. Беляева [9], можно получить устойчивые парные комбинации типа «исходное слово -- перевод».

Несмотря на наличие достаточного количество технических решений для автоматизированного выравнивания параллельных текстов -- например, LF Aligner, Hunalign, Trados, ABBYY Aligner, TextAlign, GIZA++, WordFast tools, bitext2tmx, OmegaT, Euclid, DejaVu, SDLX, WordFisher и т.д., специалисты отмечают, что процесс выравнивания все еще не решен на достаточном уровне и требует участия человека. Д.О. Добровольский [13] подчеркивает, что работа по выравниванию (по главам, абзацам или в идеале по предложениям) крайне затруднительна, занимает много времени и требует оплаты, соответствующей высокой квалификации специалиста. Поэтому количество «чистых», качественно составленных параллельных корпусов в мире невелико. Большая трудность автоматизации такой деятельности в том, что переводчик, по словам Добровольского, переводчики крайне редко придерживаются заданных границ предложений. Например, одно предложение при переводе оригинала может передаваться двумя-тремя или наоборот -- несколько одним. По этой причине «математические» команды по соединению первого предложения с первым, второго со вторым и так далее без участия человека приведут к несуразице, обречены на провал. Автор отмечает, что технических способов упростить обозначенную проблему немало, однако выравнивание корпусов без человека по-прежнему далеко от того чтобы называться качественным или достаточно глубоким.

Применение. Машинный перевод. Параллельные корпусы (как и сопоставимые) в том числе применяются для создания систем автоматического (машинного) перевода (кроме того, для автоматического извлечения терминов, сравнительных исследований языков, а также для изучения иностранного языка).

А.В. Могилев в книге «Технологии обработки текстовой информации. Технологии графической и мультимедийной информации» [23, стр. 180] в качестве основоположника идеи машинного перевода в России указывает П.П. Троянского, а «автором» идеи применить для перевода ЭВМ называет США, где она была высказана в 1946 году. Первой открытой демонстрацией машинного перевода, пишет А.В. Могилев, считается получивший широкое мировое освещение «Джорджтаунский эксперимент» в 1954 году. В рамках эксперимента применялся словарь из 150 слов, грамматика из 6 правил, проводился перевод нескольких несложных предложений.

Одной из первых компаний, начавших развивать машинный перевод, Могилев указывает Systran. Одним из лидеров на рынке программного обеспечения для персональных компьютеров -- компанию Promt. В России, пишет А.В. Могилев, серьезную роль в развитии машинного перевода сыграла [23, стр. 180] группа под руководством проф. Р.Г. Пиотровского» (РГПУ им. А.И. Герцена, Санкт-Петербург).

В 2013 году руководитель департамента лингвистических продуктов ABBYY Александр Рылов сравнил машинный перевод с Эверестом на пути создания искусственного интеллекта. «Тот, кто сумеет это сделать хорошо, сможет решить все остальные задачи, связанные с пониманием текстов машиной» [24, стр. 42], отмечал он.

В учебном пособии «Общая методика обучения информатике» [25, стр. 260] авторы, приводя историю машинного перевода, выделяют четыре

основные вехи. Первая -- сороковые годы XX века -- появление концепции автоматизированного перевода. Вторая -- пятидесятые-шестидесятые годы -- период лингвистических проблем в машинном переводе. Третья -- семидесятые-восьмидесятые годы -- машинный перевод на фоне развития вычислительной техники. Наконец, четвертый -- эра настоящего -- машинный перевод с конца 90-х годов по сегодняшний день (и перспективами в будущем). При этом, как отмечают авторы далее, для систем машинного перевода характерны «лингвистическое, математико-алгоритмическое, программное, информационное и логическое обеспечение».

Другой представитель ABBYY -- глава компании Сергей Андреев -- в той же статье [24, стр. 42] сравнивал концепцию машинного перевода, возникшей в шестидесятые годы и основанной на правилах (rule-based machine translation), с альтернативой -- теорией статистического перевода, появившейся ближе к переходному периоду между XX и XXI веком. Впрочем, обе эти концепции не могли гарантировать достоверную передачу смысла текста. В ответ на «смысловую» проблему появилась концепция, «основанная на использовании универсальных (не зависящих от языка) понятий, которыми мыслят все люди на Земле, и полном семантическом и синтаксическом разборе текста», отмечал Сергей Андреев.

В современном учебном пособии «Введение в профессиональную этику переводчика и специалиста социально-культурного сервиса и туризма» А. Барабаш [26, стр. 46] отмечает, что машинный перевод заведомо уступает

«человеческому» в силу ограниченности условий, заданных программе для переводческого процесса. Во взгляде автора можно проследить идею, что полнота и точность параллельных корпусов, формирующих «базу данных» для машинных переводов, определяет их качество. Другими словами, отмечает автор, интересен вопрос границы между непосредственно творческой составляющей перевода и границей, в пределах которой достаточен перевод механический, стандартизированный. А. Барабаш пишет, что для перевода необходима такая невероятная «фоновая эрудиция», хорошая осведомленность в смежных фактах, реализация запутанного клубка задач перевода, что для этого вряд ли подходит нечто иное, кроме как человеческий мозг. «Перевод -- это искусство, а искусство и автоматизация -- два несовместимых, на мой взгляд, понятия», делится автор. С ним соглашается А.В. Могилев [23, стр. 180]: на его взгляд, художественные тексты, переведенные машинным методом, в подавляющем большинстве случаев не соответствуют необходимому уровню качества. Как результат, для машинного перевода оптимальны тексты технического (описания, руководства) и официально-делового характера, добавляет он.

В статье «Корпус параллельных текстов и база данных для исследования переводческих соответствий: проблемы и процедуры формирования» от 2008 года В. Мамонтова [27, стр. 117-118] указывала, что проблема поиска интересующих пользователя слов, которую можно проводить штатными средствами поиска текстовых редакторов, пока не решена компьютерными средствами. Необходима семантическая (слоовообразовательная) разметка, чтобы помечать сложносоставные слова, пишет автор. Далее В. Мамонтова приводит возможный «пример записи базы данных сложносоставных слов на материале текстов современной публицистики» (программа Microsoft Access)

-- см. Рисунок 2:

текст функциональный семантика

Рисунок 2. Пример записи базы данных сложносоставных слов на материале текстов современной публицистик (В. Мамонтова).



В таком виде, по предложению В. Мамонтовой, полученная база данных может представлять интерес как исследовательский корпус «для сопоставительного лингвопереводческого анализа сложносоставных слов в англо-русских публицистических текстах».

Проблемы. Переводческие трансформации. Процесс перевода неизбежно осуществляется с применением переводческих трансформаций. Связано это с тем, что в паре языков едва ли найдется большое количество полностью эквивалентных друг другу единиц (слов, выражений, устойчивых сочетаний). Переводчики прибегают к трансформациям как к универсальным приемам, позволяющим «обернуть» смысл, заложенный автором в текст на естественном языке, в форму, допустимую грамматикой переводного языка.

Понятие «переводческая трансформация» это один из центральных аспектов такой научной дисциплины как переводоведение. К настоящему моменту этот аспект достаточно глубоко разработан теоретиками перевода, существует не одна классификация трансформаций.

Рассмотрим некоторые из них:

Таблица 1. Сравнение подходов к классификации переводческих трансформаций

Фитерман А. М. и Левицкая Т. Р.	Швейцер А. Д.	Рецкер Я. И.	Миньяр- Белоручев Р. К.	Комиссаров В. Н	А. Б. Шевнин и Н. П. Серов	Л. К. Латышев	Бархударов Л. С.	Щетинкин В. Е.,
граммат ические	прагмат ический уровень	граммат ические	граммат ические	граммат ические	граммат ические	морфол огическ ие, синтакс ические	переста новки, замены, опущен ия, добавле ния	граммат ические
стилист ические	стилист ический уровень (компре					стилист ические		стилист ические
Фитерман А. М. и Левицкая Т. Р.	Швейцер А. Д.	Рецкер Я. И.	Миньяр- Белоручев Р. К.	Комиссаров В. Н	А. Б. Шевнин и Н. П. Серов	Л. К. Латышев	Бархударов Л. С.	Щетинкин В. Е.,
	ссия и расшир ение)
лексиче ские	осущес твляющ иеся на референ циально м уровне	лексиче ские	лексиче ские	лексиче ские	лексиче ские	лексиче ские		лексиче ские
	на компон ентном уровне семанти ческой валентн ости		семанти ческие
				компле ксные		трансфо рмации смешан ного вида

В лексических трансформациях Комиссаров В. Н. [51, стр. 263- 390

]выделяет переводческое транскрибирование, транслитерацию, некоторые лексико-семантические замены (например, модуляция, конкретизация и генерализация), калькирование.

В качестве грамматических трансформаций выступают дословный перевод (или синтаксическое уподобление), грамматические замены (замены членов предложения, форм слова, частей речи) и членение предложения. Комплексные трансформации (или лексико-грамматические) это экспликация (по-другому, описательный перевод), антонимический перевод и компенсация.

Бархударовым Л. С. [54, стр. 82] выделяется всего четыре типа преобразований (трансформаций), имеющих место в ходе работы над переводом. Причем многими исследователями, в частности Щетинкиным В. Е. [55] эти трансформации относятся к типу грамматических.

Приемы, используемые при перестановке, -- это изменение порядка расположения компонентов сложного предложения, а также изменение места слов и словосочетаний. К приемам замены Бархударов отнёс компенсацию, синтаксические замены в структуре сложного предложения, замену частей речи, компонентов предложения и словоформ, конкретизацию и генерализацию, членение и объединение предложения, замену причины следствием (и наоборот), антонимический перевод. Опущения и добавления имеют соответствующие типы трансформаций -- опущение и добавление [28].

Как мы видим, классификации переводческих трансформаций разных авторов могут довольно сильно различаться. Однако большинство авторов выделяют две основных группы трансформаций -- грамматические и лексические. Безусловно, и те, и другие представляют особую сложность для создателей автоматизированных систем, направленных на выравнивание текстов. Все же, дабы очертить предметную область нашей работы, мы сконцентрируемся именно на грамматических трансформациях, поэтому рассмотрим их чуть подробнее.

Итак, большинством исследователей среди грамматических трансформаций выделяют такие операции: добавление, опущение, замена, перестановка, членение и объединение предложений.

1. Перестановки -- это изменение расположения языковых элементов в тексте перевода по сравнению с текстом подлинника. Элементами, могущими подвергаться перестановке, являются обычно слова, словосочетания, части сложного предложения и самостоятельные предложения в строе текста.

2. Замены -- наиболее распространенный и многообразный вид переводческой трансформации. В процессе перевода замене могут подвергаться как грамматические единицы, так и лексические, в связи с чем можно говорить грамматических и лексических заменах. К грамматическим же относятся следующие типы:

а) замена форм слова; б) замена частей речи;

в) замена членов предложения (перестройка синтаксической структуры предложения);

г) синтаксические замены в сложном предложении:

· замена простого предложения сложным,

· замена сложного предложения простым,

· замена придаточного предложения главным,

· замена главного предложения придаточным,

· замена подчинения сочинением,

· замена сочинения подчинением,

· замена союзного типа связи бессоюзным,

· замена бессоюзного типа связи союзным.

3. Добавления. Этот тип переводческой трансформации основан на восстановлении при переводе опущенных в ИЯ «уместных слов».

4. Опущение -- явление, прямо противоположное добавлению. Под опущением имеется в виду опущение тех или иных «избыточных» слов при переводе.

А. Д. Швейцер [20, стр. 116] классифицировал грамматические трансформации следующим образом:

1) объединение предложений -- способ перевода, при котором синтаксическая структура предложения в оригинале преобразуется путём соединения двух простых предложений в одно сложное.

2) членение предложения -- способ перевода, при котором синтаксическая структура предложения в оригинале преобразуется в две или более предикативные структуры переводящего языка.

3) добавление грамматикализированных единиц, например, союзов, местоимений и т. п.

4) опущение грамматикализированных элементов.

Разбиение переводческих трансформаций на типы, как и любая другая классификация, может осуществляться на разных основаниях. Л. К. Латышев взял за основание уровни языка. По его словам, это позволяет не только классифицировать переводческие трансформации, но и провести границу между ними и другим большим классом переводческих приёмов -- подстановками.

Языковые уровни -- это подсистемы общей системы языка, каждая из которых характеризуется совокупностью относительно однородных единиц и категорий языка, а также правил, регулирующих их использование. Выделяются следующие уровни языка: фонетический, морфологический, синтаксический и лексический.

Минимальной мерой переводческих преобразований является переход от фонетики ИЯ к фонетике ПЯ. Без замены "звуковых оболочек" значений перевод вообще немыслим. Если других изменений, кроме такой замены, не происходит, то перевод выполнен (исключительно) с помощью подстановок.

Фонетическое преобразование исходного высказывания не может считаться трансформацией, поскольку оно -- обязательный, константный элемент процесса перевода. О трансформациях правомерно говорить только в тех случаях, когда трансъязыковое перефразирование затрагивает еще и другие уровни языка: морфологический, лексический, синтаксический или же еще более глубокие структуры порождения речи.

Если в результате подстановок возникает переводное высказывание, симметричное исходному на всех уровнях, за исключением фонетического, то использование уровневых трансформаций ведет к их асимметрии на том или ином уровне -- в зависимости от того, какая трансформация имела место.

Преобразования на уровне частей речи именуются категориально- морфологическими трансформациями, поскольку части речи -- одна из

основных категорий морфологии. Этот тип трансформаций широко применяется в переводе. Их особенность в том, что они в минимальной степени отражаются на передаваемом содержании -- не влекут за собой существенных содержательных потерь или модификаций.

Достаточно нейтральны в отношении передаваемого содержания и синтаксические трансформации. Синтаксическая трансформация может заключаться в замене одного типа синтаксической конструкции другим. Кроме того, Л. К. Латышев [53, стр. 98-113] выделяет лексические трансформации: в процессе перевода некоторые лексемы исходного высказывания заменяются не системными (словарными) лексическими эквивалентами ПЯ, а некоторыми контекстуальными эквивалентами, то есть эквивалентами только на данный конкретный случай, которые при наложении друг на друга лексических систем ИЯ и ПЯ не пересекаются, стилистические: изменение стилистической окраски переводимой единицы, а также глубинные: вторгающиеся в более глубинный слой речемыслительной деятельности, в результате чего претерпевает изменения сама схема мысли.

Таким образом, анализируя высказывания лингвистов, можно сделать общий вывод, что грамматические трансформации заключаются в преобразовании структуры предложения в процессе перевода в соответствии с нормами переводящего языка. Они могут происходить:

1. На синтаксическом уровне (синтаксические трансформации):

1.1.	Синтаксическое уподобление;
1.2.	Перестановки;
1.3.	Замена членов предложения;
1.4.	Переход от обратного порядка слов к прямому;
1.5.	Смена предикатов при переводе;
1.6.	Преобразование активных конструкций в	пассивные	и
наоборот;
1.7.	Членение предложения;

1.8. Объединение предложений;

1.9. Замена типа синтаксической связи;

1.10. Опущения;

1.11. Дополнения;

2. На морфологическом уровне (замены частей речи):

2.1. Преобразование местоимения;

2.2. Замена прилагательного существительным или наречием;

2.3. Замена отглагольного существительного глаголом;

2.4. Замена личной формы глагола причастием;

2.5. Грамматическая замена числа;

2.6. Замена грамматического времени;

2.7. Словообразовательные трансформации [29].

Существует ряд исследований, целью которых было выявить наиболее частые переводческие трансформации. Например, в статье Козеренко Е. Б. [35] приведен список 4 самых распространенных трансформаций для пар текстов на английском и русском языках, составленный на основе статистики больших параллельных корпусов:

– номинализация (35% в англо-русской языковой паре);

– пассивизация (18%-24% в русско-английском направлении перевода);

– адъективно-адвербиальные трансформации (12%-14% в обоих направлениях англо-русской языковой пары);

– субъектно-объектные трансформации (28% в обоих направлениях англо-русской языковой пары).

1.2 Компьютерная реализация выравнивания

Итак, мы выяснили, что параллельные тексты это сопоставленные друг другу по содержанию отрезки текста, выровненные с определенным уровнем точности. Эти отрезки могут быть небольшого или, напротив, значительного размера. Если речь идет о целом ряде параллельных текстов, то такие коллекции уже считаются параллельными корпусами текстов. Параллельные корпусы сегодня нередко используются в промышленных масштабах и прежде всего машинном переводе.

В этом параграфе мы дадим обзор существующих подходов и технологий для выравнивания параллельных текстов. Но, прежде чем это сделать, мы должны оговориться, насколько «глубоко» могут быть выровнены два текста. Тексты могут быть выровнены:

· по главам;

· по абзацам;

· по предложениям;

· по фразам или по словам.

Чем глубже выровнен текст с его переводом, тем более ценным является этот материал для такой цели, как повышение качества машинного перевода. Вместе с тем, выравнивание текстов -- это весьма кропотливый процесс для человека. А тщательное сопоставление языковых единиц пока все же нетривиальная задача для вычислительной системы. Поэтому и по сей день выравнивание во многом «ручной» труд, а значит и времязатратный и дорогостоящий. И все же, тенденцией последних десятилетий во всех областях знаний и производства является автоматизация и, конечно же, лингвистика не исключение.

Перейдем непосредственно к подходам к автоматическому выравниванию параллельных текстов. Подходы можно условно расклассифицировать по качеству выравнивания -- от низкого уровня выравнивания к высокому.

Методы, которые позволяют выравнивать тексты на низком уровне, характеризует простая идея: разбиение на сегменты, опираясь на конец абзаца, т.е. конец строки, либо опираясь на конец предложения -- точку, а затем последовательное сопоставление сегментов в исходном тексте сегментам в тексте перевода. Однако эти методы имеют большое количество недостатков. Переводческие трансформации, опущения, которые неизбежно присутствуют в переводных текстах, меняют как количество предложений в тексте, так и их порядок. Не говоря уже о том, что далеко не всегда в тексте точка находится в конце предложения. Поэтому сегодня эти методы не применяют как самостоятельные, а зачастую используют в качестве предварительной обработки текстов перед ручной разметкой или последующим применением более сложных методов автоматического выравнивания.

Другой метод выравнивания основан на идее, что длина предложения в исходном тексте и в тексте перевода приблизительно одинакова. Причем в рамках этого метода есть два похода -- длина предложения может считаться как по словам, так и по символам [45].

Методы на основании длины очень чувствительны к пропускам в том смысле, что отдельный пропуск может приводить к неправильному последующему выравниванию от точки пропуска до конца корпуса.

Для вычисления сходства двух структурных единиц текстов вводится некоторая мера близости, например количество переводных эквивалентов, имеющихся в словаре. Полученный вес нормализуется на длину текста, чтобы величины для разных единиц текста были сопоставимы. (А.Ф. Гельбух и др., 2006).

Для оптимального решения задачи выравнивания применяется метод динамического программирования. Однако вычисление всей матрицы сопоставления для достаточно больших текстов не представляется возможным вследствие больших временных затрат. Поэтому вместо решения задачи на всей матрице предлагается решать её на некоторой окрестности диагонали (Липатов, Мальцев, 2006) [39].

Еще один метод выравнивания -- с использованием опорным меток. Этот метод изложен в статье Потемкина С.Б. Кедровой Г.Е [39]. Вот как они описывают предложенный ими метод:

Основной проблемой при автоматическом выравнивании текста на уровне предложений является появление ложных пар предложений, полученных при работе алгоритма, но не являющихся переводными эквивалентами. При разработке предлагаемого метода мы старались свести к минимуму такие явления.

Алгоритм выравнивания разработан в предположении, что (a) порядок предложений в русском и английском текстах совпадает (b) в параллельных текстах нет значительных (более 500 слов) пропусков (c) длина текстов не слишком большая -- рассказ или глава романа, около 64. Последние ограничения непринципиальны и связаны в основном с временем работы алгоритма. Метод основан на использовании обширного англо-русского словаря (Кедрова, Потемкин, 2005), по которому выполняется поиск переводных эквивалентов из анализируемых текстов. В отличие от статистических методов и методов, основанных на мере близости, предлагается рассматривать только низкочастотные слова, а именно слова, встречающиеся только 1 раз в каждом тексте (hapax legomena). Вначале для каждого такого слова (русского) текста находим переводной эквивалент в (английском) тексте, который также имеет частотность 1. Если для этого русского слова нашлось несколько эквивалентов, все они исключаются из рассмотрения. Если, далее, найденные эквиваленты связывают предложения с нарушением их порядка в тексте, они также исключаются. В результате такой ограничительной стратегии получаем набор уникальных пар эквивалентов в двух текстах. Такие пары образуют первичную структуру опорных точек или якорей, связывающих те предложения текстов, к которым они относятся. На этом этапе мы не говорим об эквивалентности найденных пар предложений, можно только утверждать, что такие пары предложений имеют непустое пересечение. Затем исходные тексты разбиваются на отрезки, ограниченные найденными парами предложений. Эти отрезки рассматриваются как новые параллельные тексты и процедура расстановки опорных точек повторяется. Итерации продолжаются, пока появляются новые якоря. На практике число итераций в рассмотренных текстах не превышает 6.

После определения опорных точек производится поиск критического пути методом динамического программирования. Для этого рассматриваются отрезки русского и английского текста между опорными точками. Для каждого слова отрезка русского текста отыскивается словарный эквивалент в соответствующем отрезке английского текста. Число таких эквивалентов подсчитывается для каждой пары предложений. Полученные таким образом меры сходства нормируются на единицу по длине предложений и записываются в матрицу смежности. К элементам матрицы, соответствующим опорным точкам к значению меры сходства прибавлено большое число (10000), чтобы критический путь заведомо прошел через эти точки. Далее поиск критического пути выполнялся стандартными методами динамического программирования («поиск Витерби»).

Все упомянутые выше в этом параграфе методы относятся к выравниванию по предложениям. Однако для задач машинного перевода такой уровень выравнивания зачастую недостаточен, поэтому лингвисты продолжают искать оптимальные методы выравнивания с высоким уровнем качества и проработки. Далее мы переходим к методам выравнивания на уровне слов или фраз.

Доминирующим методом выравнивания на уровне слов сегодня, безусловно, является выравнивание с использованием методов машинного обучения (machine learning). Основная идея этого подхода заключается в разработке модели на основе статистической оценки с наиболее оптимальными параметрами для пословного выравнивания.

Для обучения алгоритму на вход должны поступить так называемые

«чистые» данные множество сопоставленных друг другу языковых единиц для пары языков. Тут, во-первых, на помощь могут прийти уже существующие глубоко аннотированные и выровненные параллельные корпусы, коих, к сожалению, не так много. Во-вторых, использование эмпирических или статистических даны. Очень хорошим материалом могут быть материалы так называемой «переводческой памяти». Задача алгоритма на основе большого объема данных выявить характерные переводные соответствия для двух пар языков.

Для выравнивания используются так называемые эвристические и статистические модели. Различные модели предполагают различную меру точности, из чего следует вывод -- для оценки точности выравнивания должна существовать некая мера. Например существует подход, основанный на модели Витерби. Более подробно о ней можно прочитать в источнике [61, стр. 2].

В последние годы в области компьютерной лингвистики рядом авторов был предложен новый гибридный подход к выравниванию -- выравнивание не по предложениям или словам, а по фразам. Этот подход мотивирован как раз обозначенной нами в предыдущей главе проблемой -- переводческими трансформациями, которые меняют грамматический строй и лексический состав предложений при переводе.

В частотности, интересное исследование провел профессор Эдинбургского университета Крис Каллисон-Берч в соавторстве с Филлипом Коэном и Майлзом Осборном. В их работе «Improved Statistical Machine Translation Using Paraphrases» [43] излагается подход к выравниванию на основе так называемых парафраз -- это альтернативных словесных способах выражения одной и той же идеи в рамках одного языка. Парафразы выделяются интересным и, на первый взгляд, неоправданным способом. Две фразы идентифицируются как парафраз путем автоматического перевода на язык- посредник и обратного перевода на исходный язык. Наглядно этот процесс показан на Рисунке 3.

Рисунок 3. Процесс извлечение перефраз путем перевода на язык-посредник и обратно



Однако исследования показали что использование таких языковых пар дало повышение «покрытие» выравнивания параллельных корпусов, т.е. подбор перевода для каждого элемента текста, до 90 % (по сравнению с 50 % при пословном статистическом выравнивании).

Ключевой идеей эксперимента была интеграция парафраз в систему машинного перевода на основе статистического подхода, что дало эффект некой «генерализации».

«Мы можем использовать информацию о синонимичных значениях слов, которая является внешней по отношению к обучающей выборке, и использовать это при переводе» -- объясняют авторы. Эта «внешняя информация» и есть фразовые единства, определенные на этапе подготовке параллельных текстов для систем машинного перевода [43].

Этот подход коррелирует с идеей, изложенной в статье «Лингвистическое моделирование для систем машинного перевода и обработки знаний» за авторством Елены Борисовны Козеренко. Одним из ключевых звеньев предлагаемого ей подхода является использование когнитивной трансферной грамматики. КТГ является вариантом унификационно-трансформационной грамматики и предполагает разбор рассматриваемых высказываний в терминах грамматики составляющих, однако, остается функциональной грамматикой, т.к. она подкреплена семантическим компонентом .

Основу КТГ [37] составляют прототипические структуры исследуемых языков (в исходной модели -- русского и английского), их наиболее вероятные позиции в предложении, статистические данные о дистрибутивных характеристиках структур (т.е. информация о контекстных условиях употребления исследуемых объектов -- о структурных контекстах), схемы полного разбора предложений.

Для подготовки обучающей выборки создается ресурс, состоящий из банка синтаксических деревьев и корпуса семантически выровненных параллельных текстов. В отличие от подходов на основе «переводческой

памяти» («Translation Memory»), реализующих возможность наращивания языковой компетенции системы за счет ранее переведенных текстовых фрагментов и в значительной степени основанных на аппарате регулярных выражений, КТГ предназначена для реализации механизма структурной памяти, который моделирует языковую компетенцию взрослого обучаемого («Adult Learning Memory»).

При разработке лингвистического процессора, обеспечивающего англо- русский и русско-английский трансфер, возникло понятие полей функционального переноса (ПФП).

1.3 Функционально-семантический подход. Описание смежной дисциплины

Функциональный подход к описанию естественного языка в истории лингвистических учений занимает свое особое место. Существует целый ряд теорий или моделей описания естественного языка, в которых семантика не исключается из предмета рассмотрения (в противоположность строгим генеративистским теориям синтаксиса), в некоторых из них, помимо прочего, предметом рассмотрения может выступать и лексика.

Функциональный подход, в отличие от традиционного системно- категориального, характеризуется направленностью на общую коммуникативную функцию языка, стремится дать ответ на вопросы: «Какие элементы грамматики языка выражают тот или иной смысл» и «Какой функциональный диапазон несет в себе рассматриваемый элемент языка».

Если говорить о сопоставлении функционального подхода с формальным, то в первом из них внимание исследователя в первую очередь направлено на переменные ограничения языка, в то время как «формалистов» интересуют постоянные ограничения (действительные для любого естественного языка). А. А. Кибрик и В. А. Плунгян [58] пишут, что функционализм является противовесом генеративной грамматике Хомского и «основной пафос функционализма» состоит в объяснении языковой формы ее функциями.

Термины функциональная лингвистика или функциональная грамматика появились в языкознании сравнительно недавно, однако история функционального подхода имеет довольно глубокие корни и описывается многими лингвистами. Например, в своей книге «Теория функционального синтаксиса от семантических структур к языковым средствам» известный финский ученый, русист Арто Мустайоки [56, стр. 118-135] пишет, что дальними предшественниками функционального подхода считают лингвистов школы Пор-Рояля, см. [40]. Однако целью ее авторов являлся скорее ответ на вопрос, какими общими функциями обладают грамматические категории в разных языках. Первым же лингвистом, у которого появилось описание языка по основному принципу, объединяющему все функциональные подходы, «от значения к форме», он называет Георга фон дер Габеленца. Приблизительно в одно и то же время (1920-е гг.) на необходимость такого описания указывали многие исследователи -- О. Есперсен, С. И. Бернштейн, Ф. Брюно.

«Несмотря на многолетнюю историю развития, функциональный подход это особое направление в современной науке о языке, специальным пред- метом изучения которого стали функции и функционирование языковых единиц и языковой системы в речи. Они являются дальнейшим развитием системно-структурного изучения языка, но на принципиально новой основе: система языка понимается не только как некоторое целое, состоящее из взаимосвязанных элементов, но и как целое, состоящее из элементов, обладающих определенными функциями в речи человека» -- пишет М. А. Шелякин, автор книги «Функциональная грамматика русского языка» [41].

Во второй половине 20-го века и начале 21-го направление функционального синтаксиса бурно развивалось и продолжает развиваться по сей день. В уже упомянутой нами «Теории функционального синтаксиса от семантических структур к языковым средствам» А.Мустайоки, помимо описания своей модели функционального синтаксиса, дает весьма подробный обзор схожим и предшествующим функциональным моделям описания естественного языка. В частности, среди этих моделей он выделяет:

· Функциональную грамматику А. В. Бондарко

· Функционально-трансфармационный метод П. Адамца

· Функционально-коммуникативный синтаксис М. В. Всеволодовой

· Модель «Смысл-текст» И. А. Мельчука

· Functional Grammar С. Дика

· Role and Reference Grammar Р. Ван Валина

· Функциональную грамматику русского языка М. А. Шелякина

· Грамматика говорящего Б. Ю. Нормана

· Активную грамматику Ю. Н. Караулова и ряд других теорий

Какие бы позиции ни занимал тот или иной подход в области теоретического языкознания, компьютерному лингвисту хоть и важна целостность теоретического основания, но для задач обработки естественного языка в первую очередь интересны средства, которые метод предоставляет для анализа текстовой информации.

...