Сущность и задачи компьютерной лингвистики

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

1. Компьютерная лингвистика

Компьютерная лингвистика - область знаний, связанная с решением задач автоматической обработки информации, представленной на естественном языке.

Также её часто понимают, научное направление в области математического и компьютерного моделирования интеллектуальных процессов у человека и животных при создании систем искусственного интеллекта, которое ставит своей целью использование математических моделей для описания естественных языков.

Компьютерная лингвистика частично пересекается с обработкой естественных языков.

Однако последний акцент делается не на абстрактные модели, а на прикладные методы описания и обработки языка для компьютерных систем.

Полем деятельности компьютерных лингвистов является разработка алгоритмов и прикладных программ для обработки языковой информации.

Компьютерная лингвистика - сравнительно молодая наука, зародилась в середине 40-х годов ХХ века вместе с первыми идеями по машинному переводу.

Окончательно сформировалась в середине 50-х годов ХХ века вместе с первыми результатами по созданию систем МП. (нужно дополнить историю лингвистики).

В настоящее время компьютерная лингвистика накопила уже достаточный арсенал знаний, взаимодействуя с такими науками, как кибернетика, статистика, математика, теория перевода, психология, педагогика и многими другими

Во многом история происхождения такой науки, как компьютерная лингвистика отождествляется с историей создания систем МП.

2. Основные направления компьютерной лингвистики

I. Обработка естественного языка: синтаксический, морфологический, семантический анализы текста. Сюда включают также:

1. Корпусная лингвистика, создание и использование электронных корпусов текстов.

2. Создание электронных словарей, тезаурусов, онтологий.

3. Автоматический перевод текстов.

4. Автоматическое извлечение фактов из текста

5. Автореферирование.

6. Построение систем управления знаниями.

II. Создание вопросно-ответных систем

III. Оптическое распознавание символов.

IV. Автоматическое распознавание речи

V. Автоматический синтез речи

Чуть подробнее рассмотрим раздел корпусной лингвистики и задачи по созданию и усовершенствованию электронных словарей, как наиболее актуальные направления компьютерной лингвистики на сегодня.

3. Корпусная лингвистика

Корпусная лингвистика -- раздел языкознания, занимающийся разработкой, созданием и использованием текстовых (лингвистических) корпусов. Термин введён в употребление в 60-х годах XX века в связи с развитием практики создания корпусов, которому, начиная с 80-х годов, способствовало развитие вычислительной техники.

Корпус языка - собрание текстов на данном языке в электронной форме, специальным образом обработанное («аннотированное»), так, чтобы исследователь языка мог быстро и в полном объеме найти в корпусе интересующую его информацию о языке. В зависимости от характера аннотации, возможен поиск по грамматическим характеристикам слов и предложений языка (морфологическим, синтаксическим, семантическим параметрам), а также по разнообразным характеристикам самих текстов, входящих в корпус: по автору, дате создания текста, жанру, тематике и т.п.

Типы корпусов текстов.

В зависимости от поставленной цели выделяют несколько типов корпусов текстов:

1. по форме хранения:

- в звуковой форме;

- письменные;

- смешанные;

2. по языку представления текстов:

- одноязычные;

- многоязычные;

3. по жанровой принадлежности:

- литературные;

- диалектные;

- разговорные;

- публицистические;

- смешанные;

4. по способам доступа:

- свободно доступные;

- коммерческие;- закрытые;

5. по назначению:

- исследовательские;

- иллюстративные;

6. по динамичности:

- динамические (мониторные);

- статические;

7. по наличию дополнительной информации:

- аннотированные (размеченные);

- неразмеченные.

Чем богаче и разнообразнее аннотация - и чем больше число текстов, входящих в корпус, - тем более ценным инструментом для лингвистических исследований становится корпус. Наиболее ценным и наиболее часто используемым типом корпуса является так называемый «национальный корпус», под которым понимается максимально представительное собрание всех типов текстов, имеющихся на данном языке в определенную эпоху - как литературно-художественных. Так и научно-публицистических, как письменных, так и устных, как нормативных (стандартных), так и представляющих различные диалектные и социальные варианты языка, и т.п. Объем такого корпуса достигает сотен миллионов словоупотреблений, а в последнее время не редкостью становятся и корпуса, объем которых превышает миллиард словоупотреблений. В то же время для малоизученного (и в особенности бесписьменного) языка крайне ценным может являться и корпус в несколько сотен или даже десятков тысяч словоупотреблений - при условии, что он снабжен лингвистически корректной аннотацией.

В мировой науке первые корпуса стали возникать практически одновременно с внедрением компьютерных технологий в гуманитарные исследования, однако массовый рост корпусных исследований и создания новых корпусов приходится на период конца 1980-середины 1990 гг. Именно в это время появляются крупные национальные корпуса английского, итальянского, финского, чешского и ряда других языков (преимущественно, европейских). И именно в это время в теоретическую лингвистику приходит осознание того, что представительный корпус не просто является очень мощным средством поиска примеров в текстах - он должен рассматриваться как принципиально новый инструмент, применение которого приводит к революционным (и не до конца еще осознанным) результатам в исследовании языка.

4. Машинный перевод

История машинного перевода.

Годом рождения машинного перевода считается 1947, а основателем идеи машинного перевода - Уоррен Уивер. Он первым предложил использовать электронно-вычислительные машины (далее ЭВМ) для первода и дешифровки текстов. В 1949 был издан так называемый «Меморандум Уивера», содержавший в себе ряд идей для улучшения качества машинного перевода. Они помогли существенно усовершенствовать существующую до этого систему пословного перевода. В течение следующих десятилетий системы машинного перевода получили бурное развитие не только за рубежом, но и в СССР.

В США в 1954 году была впервые продемонстрирована система машинного перевода, получившая название Mark II. Эта система предназначалась для перевода русского текста на английский. Этот эксперимент получил широкий резонанс: исследования возможностей компьютерного перевода начались в Англии, ФРГ и в том же, 1954 году, в СССР.

После демонстрации возможностей Mark II в СССР начались работы по созданию систем машинного перевода. Первая демонстрация перевода с английского языка на русский была проведена в 1955 году на платформе БЭСМ.

Классификация машинного перевода по Л. Чайлдсу.

Принятое за основу разделение МП принадлежит Лари Чайлдсу, выступившему с ним на Международной конференции по техническим коммуникациям в 1990 году.

Эта классификация состоит из трех основных разделов:

1) полностью автоматический перевод текста;

2) автоматизированный машинный перевод при участии человека;

3) перевод, осуществляемый человеком с использованием компьютера.

Рассмотрим каждый вид отдельно.

Полностью автоматизированный машинный перевод.

Основное понятие, часто отождествляемое с понятием «Машинного перевода». Смысл данного типа заключается в том, что в компьютер вводится определенный текст на определенном языке. Затем данный текст обрабатывается компьютером, анализируется и выводится на том языке, который нужен в данный момент пользователю. Однако данная область машинного перевода еще малоизучена и сталкивается со множеством проблем.

Основной проблемой является сложность и динамичность языка. У одного слова может быть целый ряд значений, которые могут различаться между собой по своему смысловому определению. Каким образом компьютер будет в состоянии их различить, если у выходного языка для этого слова имеются свое множество значений.

Отчасти эту проблему помогли решить программы, которые различают смысл того или иного слова, основываясь на контексте. Однако, несмотря на продолжающиеся исследования в этой области, полностью автоматический перевод текстов с различной тематикой является крайне трудновыполнимой задачей.

Наиболее ярким примером того, что автоматизированный машинный перевод несовершенен и нуждается в большом количестве дополнений и усовершенствований, мажет являться пример перевода документации к драйверу мыши, проведенной системой МП Poliglossum. Данный перевод более распространен под названием «Гуртовщики мыши».

Хотелось бы привести небольшой отрывок из этого перевода, который, напоминаю, является инструкцией по использованию компьютерной мыши.

«специалисты Microsoft компании после большого числа опытов выявили, что наиболее эффективной командой из-под Окон 95 является "Послать на...", которая доступна в любом времени и месте при ударе по правой почке мыши. Если вы только что закрепили себе окна 95, вы сумеете послать только на А (Б) и в специальное место "Мой портфель". Но по мере того как вы будете закреплять себе новые программы для Окон 95, вы начнете посылать на все более сложные и интересные места и объекты».

Как можно заметить, данный перевод не отличается особой точностью. Это еще раз доказывает несовершенство полностью автоматизированного машинного перевода.

Автоматизированный перевод при участии человека.

Под этим обозначением понимается редактирование человеком текста как до, так и после обработки его компьютером. Данный вид МП является намного более простым по осуществлению, нежели полностью автоматизированный машинный перевод.

Перед вводом текста в компьютер, человек изменяет его, делает понятным и более простым для распознавания программой-переводчиком. И после перевода текста компьютером человек редактирует грубый машинный перевод, делая его понятным теперь уже для человека. Также существуют программы МП, требующие непосредственного присутствия и участия человека в переводе. В данном случае человек помогает переводить компьютеру особенно сложные слова, неоднозначные лексические конструкции и т.д. Такой тип перевода присущ текстам строго ограниченной тематики.

Перевод, осуществляемый человеком с помощью компьютера.

При данном виде машинного перевода человек является центральным звеном процесса перевода, а компьютер является своего рода инструментом, позволяющим человеку быстрее и эффективнее переводить текст.

Такого рода программами являются электронные словари, которые могут обеспечить мгновенный перевод требуемого слова. Человеку отводится роль отсеивания и выбора из множества значений слова того, которое нужно в данной конкретной ситуации. Подобные словари помогают облегчить и ускорить процесс перевода, но также они требуют от человека определенных языковых знаний. К тому же такой перевод требует от человека больших затрат времени на перевод.

Одно из ведущих мест среди систем перевода подобного типа занимают системы Translation Memory(ТМ), представляющие собой интерактивное средство накопления эквивалентных сегментов текста, с последующей возможностью их поиска и редактирования. В данном случае переводчик сам формирует базу данных в процессе перевода. Так что от самого переводчика зависит то, насколько полной будет база данных слов.

Данные системы позволяют избежать повторного перевода фраз. Перевод фразы осуществляется переводчиком один раз, и при последующем переводе программа ищет совпадения (полные или неточные) и выдает их пользователю-переводчику.

Программы ТМ, хотя они и разнообразны, имеют ряд общих черт:

1) функция сопоставления - использование уже переведенных материалов по данной тематике.

2) Механизм поиска неполных или неточных совпадений. Одно из основных достоинств систем ТМ. Если при переводе текста встречается сегмент, близкий по значению к переведенному ранее, то системой этот сегмент предлагается как альтернативный вариант перевода, который может быть отредактирован.

Можно отметить, что с помощью систем ТМ удобно переводить руководства пользователя, инструкции по эксплуатации, каталоги и другую деловую документацию, имеющую в своем составе множество совпадений.

5. Электронные словари

Плюсы электронных словарей:

1) Резкое сокращение объема словаря.

2) Скорость поиска нужного слова.

3) Поиск слова по словарям разных направлений одновременно.

4) Обновление лексики проходит гораздо быстрее по сравнению с бумажными словарями.

Минусы электронных словарей:

- дороговизна официальных версий.

- ошибки и неточности в переводе.

Рассмотрим теперь словари компании ABBYY, как наиболее популярный и успешный электронный словарь на сегодня. Компания пошла по иному пути, нежели её конкуренты. В словаре ABBYY содержатся не только оцифрованные бумажные словари: экономический, медицинский и другие, но пользовательские словари- словари создаваемые частными лицами. Все эти словари открыты в доступе, и любой пользователь может присоединить их к своей версии электронного словаря. Данный вид электронного словаря также имеет возможность встраивания в офисные приложения, что позволяет переводить тексты на месте, без использования каких-либо сторонних программ.

Системы машинного перевода.

В современных системах машинного перевода наиболее широко распространена следующая последовательность операций по синтезу и анализу текста.

Первая стадия включает в себя ввод текста и поиск словоформ, таких как слов, в определенной грамматической форме в словаре того языка, с которого осуществляется перевод.

На второй стадии производится перевод идиоматических выражений (при их наличии) или штампов данной области языка. Также проводится определение основных грамматических характеристик текста. Определение и разграничение однозначных и многозначных слов.

Третья стадия состоит из окончательного грамматического анализа, в котором текст дополняется и редактируется в соответствие с грамматическими правилами выходного языка.

Четвертая стадия состоит из, собственно, синтеза выходного текста и выдача его пользователю.

В разных программах анализ текста может производиться как пофразно, так и для всего текста целиком.

Одной из наиболее популярных систем машинного перевода является программы компании ПРОМТ. В стандартном варианте подобный словарь содержит в себе 7 млн. лексических единиц (слова, словосочетания), объединенный в примерно 110 тематических словарей. Интерфейс просто в понимании, легок к освоению. В словарях ПРОМТ имеется возможность настройки процедуры перевода: использовать при переводе тот или иной словарь, уточнять правила перевода при сложных грамматических случаях (ед.ч. или мн.ч. в слове «ножницы»).

Также пользователю предоставлена возможность переводить тексты в Интернете, на сайте translate.ru.

В целом же, хотя ПРОМТ и является наиболее популярной сегодня системой МП, перевод в его исполнении не лишен недостатков.

Например, при переводе с русского на немецкий при вводных конструкциях, программа может ошибиться с порядком слов в предложении, форме глаголов, а некоторые слова может и вовсе не распознать.

6. Задачи компьютерной лингвистики по Г.Г. Нелюбову

Перед компьютерной лингвистикой стоят также задачи лингвистического обеспечения процессов сбора, накопления, обработки и поиска информации. Автор труда «Компьютерная лингвистика и современные информационные технологии» Г.Г. Нелюбин считает, что наиболее важными из них являются:

1) Автоматизация составления и лингвистической обработки машинных словарей.

2) Автоматизация процессов обнаружения и исправления ошибок при вводе текста в ЭВМ.

3) Автоматическое индексирование документов и информационных запросов.

4) Автоматическая классификация и реферирование документов.

5) Лингвистическое обеспечение процессов поиска информации в одноязычных и многоязычных базах данных.

6) Машинный перевод текстов с одних естественных языков на другие.

7) Построение лингвистических процессоров, обеспечивающих общение пользователей с автоматизированными интеллектуальными информационными системами на естественном языке или языке, близком к нему.

8) Извлечение фактографической информации из неформализованных текстов.

Рассмотрим некоторые из них чуть точнее.

- Обработка машинных словарей является важной задачей, так как при их составлении необходимо стремиться к тому, чтобы они в полной мере отражали лексический состав текстов. Следовательно, их надо составлять по текстам большого объема. Такого вида работа может быть выполнена в относительно короткие сроки только при помощи широкого применения средств автоматизации, однако, при контроле со стороны человека.

- Задача автоматизированного обнаружения и исправления ошибок в текстах, вводимых в ЭВМ, согласно Белоногову может быть разделена на 3 области:

n орфографический контроль текстов- задача может быть решена при помощи процедуры морфологического анализа, использующей мощный словарь основ слов. В процессе контроля слова подвергаются морфологическому анализу, и если они отождествляются со словами эталонного словаря, то они считаются правильными. В противном случае они выдаются человеку с микроконтекстом

n синтаксический контроль текстов- более сложная задача, по сравнению, с задачей орфографического контроля. Эта задача включает в себя орфографический контроль, как один из своих компонентов. Данная задача не решена до конца, такой вид контроля возможен, однако не в полной мере. Существует 2 пути возможного решения этой задачи:

а) составление представительных словарей эталонных синтаксических структур и сравнивать с ними структуры анализируемого текста

б) разработка сложной системы сложной системы правил проверки грамматической согласованности элементов текста

n семантический контроль текстов- одна из задач для искусственного интеллекта. В полном объеме задача может быть решена только на основе моделирования процессов человеческого мышления. Для ограниченных предметных областей эта задача вполне разрешима.

7. Основные направления компьютерной лингвистики

По своей функционально-коммуникативной прагматике компьютерная лингвистика объединяет 3 направления: статистическую лингвистику, инженерную лингвистику , алгоритмическую лингвистику.

Статистическая лингвистика использует традиционный статистический аппарат для исследований произведений речи и системы языка, выявляя общие статистические закономерности в применении к языку, его статике и динамике. Статистическая лингвистика связана с компьютерной лексикографией в области построений методик обучения иностранным языкам, определяя параметры языка и осуществляя оптимизацию языка. Также связана с инженерной лингвистикой в области машинного перевода. Также связана и с алгоритмической лингвистикой, играя важную роль в оптимизации методов обучения иностранному языку с помощью компьютера.

Лингвостатистика иногда рассматривается как частный случай количественной лингвистики, которая изучает лингвистические явления с помощью методов теории вероятностей, и которое противопоставляется комбинаторной лингвистике, применяющей математическую логику для исследований.

Из вышесказанного следует, что статистическая лингвистика является основополагающим направлением компьютерной лингвистики, базой, на которой держится функционирования других направлений компьютерной лингвистики.

Вторым направлением компьютерной лингвистики является инженерная лингвистика, занимающаяся вопросами практической и теоретической реализации процессов обработки лингвистической информации в многоязычной ситуации, то есть построением систем МП и систем машинных автоматизированных словарей (МАС). Также задачей этого направления компьютерной лингвистики является преобразование частотных словарей в словари машинные и решение проблем, связанных с переработкой информации в условиях двуязычной ситуации. Также тесно связана с компьютерной лексикографией в области разработки новый принципов построения систем МП.

Третьим направлением компьютерной лингвистики является алгоритмическая лингвистика, которая занимается оптимизацией процесса обучения иностранным языкам, используя предписания алгоритмического типа при составлении разного рода языковых упражнений, которые реализуются в обучающих компьютерных программах. Данный вид лингвистики реализует алгоритмический подход к обучению иностранным языкам, разрабатывая теоретико-прагматические модели компьютерного обучения и осуществляя тем самым его компьютеризацию.

Сегодня создание обучающих программ тесно связано с созданием систем искусственного интеллекта, так как создание подобных систем может значительно облегчить не только стандартное обучение, но и обучение людей с всевозможными дефектами речи, поведения, строения тела и многими другими.

По определению из статьи Британской энциклопедии, искусственный интеллект - способность ЭВМ или какой-либо другой автоматизированной системы решать задачи, обычно связываемые с высшими проявлениями человеческой интеллектуальной деятельности, такими как распознавание человеческой речи, обобщение информации, поступаемой извне, способности рассуждать и обучаться на основе полученного ранее опыта.

компьютерный автоматизированный лингвистика машинный

Заключение

Подводя итоги, можно говорить о том, что, хотя наука компьютерная лингвистика является очень молодой, она играет большую роль во всех сферах жизни общества.

Такие разделы компьютерной лингвистики, как корпусная лингвистика, создание систем МП являются на сегодняшний день наиболее актуальными для лингвистов- переводчиков, так как являются хорошим подспорьем в их работе. Необходимо также развитие корпусов текстов в России, так как на данный момент существует лишь один корпус текстов русского языка - Национальный корпус русского языка.

Техника полностью автоматизированного перевода без участия человека еще очень далека от совершенства. Причиной может являться недостаточный уровень развития тех областей науки, которые участвуют в создании подобных систем. Смоделировать в компьютерной программе процесс перевода текста человеком очень сложно. Также причиной является то, что компьютер не может мыслить образами и понятиями, как человек.

Однако это не отрицает того факта, что программы МП и электронные словари во многом смогли облегчить жизнь переводчика, сделав перевод быстрее, мобильнее и менее энергозатратным.

Размещено на Allbest.ru

...