Автоматическое определение типов вопросительных предложений русского языка

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Правительство Российской Федерации

Федеральное государственное автономное

образовательное учреждение высшего образования

"Национальный исследовательский университет

"Высшая школа экономики"

Нижегородский филиал

Факультет гуманитарных наук

Выпускная квалификационная работа

Автоматическое определение типов вопросительных

предложений русского языка

Выполнил:

студент группы 15ФПЛ

Николаев К.И.

Научный руководитель:

к.ф.н, доцент

Малафеев А.Ю.

Нижний Новгород, 2019 год

Содержание

Введение

1 Вопросительные предложения русского языка

2 Автоматическая типологизация вопросительных предложений русского языка

2.1 Существующие методы типологизации вопросительных предложений

2.2 Автоматическая типологизация вопросительных предложений русского языка с использованием метода регулярных выражений

2.3 Применение классических алгоритмов машинного обучения в определении типов вопросов русского языка

2.4 Применение алгоритмов глубинного обучения в классификации вопросительных предложений русского языка

Заключение

Библиографический список

Приложение

типологизация предложение вопросительный алгоритм



Введение

Характеристика исследуемой проблемы

Развитие синтаксической науки предопределяет возрастающий интерес лингвистов к вопросам коммуникативного синтаксиса. Данный интерес связан с анализом особенностей реализации и функционирования языковых единиц в речи: с ограничениями и закономерностями их употребления, определяемыми ситуациями общения. И вопросительное предложение - одна из наиболее важных языковых единиц.

Вопросы и вопросительные предложения представляют высокий не только лингвистический, но и кросс-дисциплинарный интерес. С точки зрения обработки естественного языка, вопросительные предложения - основной материал для работы над такими задачами, как построение диалоговых агентов, реферирование, не в последнюю очередь - построение вопросно-ответных систем.

Вопросно-ответная система - это информационная система, способная принимать вопросы и отвечать на них на естественном языке. Другими словами, это система с естественно-языковым интерфейсом.

В настоящее время увеличивается количество вопросно-ответных систем на базе английского языка (разработанная в 1993 г. и развивающаяся до сих пор START и одержавшая победу в соревновании против лучших игроков в Jeopardy в 2011 г. IBM Watson являются наиболее известными примерами). Что же касается вопросно-ответных систем русского языка, в настоящий момент их охват в литературе невелик. Хотя некоторые работы, такие, как (Соснин, 2007), (Тихомиров, 2006), (Мозговой, 2006), (Соловьев, Пескова, 2010), и были опубликованы, их вклад в развитие вопроса в основном теоретический. В свою очередь, уже существующие практические решения, как правило, используют тривиальные (поиск ключевых слов) механизмы (Соловьев, Пескова, 2010), или недостаточно подробные таксономии (Соснин в (Соснин, 2007) выделяет три основных класса).

Таким образом, проблема типологизации вопросительных предложений русского языка, разработки многоклассового типологизатора с применением современных алгоритмов обладает научной новизной.

Несмотря на малую степень разработанности данной проблемы в отечественном научном сообществе, вопросно-ответные системы получают широкое распространение в различных сферах. Естественно-языковые интерфейсы разрабатываются для стационарных мобильных устройств (Алиса, Siri, Cortana), элементы вопросно-ответных систем включаются в поисковые механизмы (Google, Yandex). Тем не менее, корпоративные разработки в вопросно-ответной сфере представляют собой коммерческую тайну и не находятся в открытом доступе, и, как следствие, прямое воспроизведение экспериментов и использование соответствующих методов не представляется возможным. Таким образом, создание своей open-source (находящейся в открытом доступе) вопросно-ответной системы на базе русского языка обладает актуальностью.

Цель работы состоит в создании инструмента автоматической типологизации вопросительных предложений русского языка.

Для достижения поставленной цели определены следующие задачи:

1) Изучить вопросительные предложения с синтаксической и функциональной точек зрения;

2) Рассмотреть принципы автоматической типологизации вопросительных предложений в уже существующих вопросно-ответных системах (созданных на базе английского языка);

3) Изучить способы формализации языковых данных;

4) Протестировать различные алгоритмы классификации и выявить наилучший для данной задачи.

Объект исследования - вопросительные предложения русского языка;

Предмет исследования - методы автоматической типологизации вопросительных предложений русского языка.

В работе использовались следующие методы:

1. Описательный метод;

2. Методы корпусной лингвистики;

3. Экспериментальный метод;

4. Метод измерения;

5. Дистрибутивный анализ;

6. Программное моделирование.

В соответствии с целью и задачами исследования формируется и структура дипломной работы, состоящей из введения, заключения, двух глав и списка используемой литературы.

Введение включает в себя формулировку проблемы, обоснование ее актуальности и практической значимости, цели и задачи исследования, а также определение методологической основы и методов выполнения работы.

Первая глава «Вопросительные предложения русского языка» посвящена формированию необходимой теоретической платформы. На этом этапе проводится изучение вопросительных предложений, их синтаксического аспекта, рассмотрение различных классификаций предложений.

Вторая глава «Автоматическая типологизация вопросительных предложений русского языка» состоит из четырех разделов. В первом разделе рассматриваются способы автоматической типологизации вопросительных предложений в уже существующих вопросно-ответных системах.

Раздел «Автоматическая типологизация с использованием регулярных выражений» посвящен созданию типологической таксономии на основе уже изученных классификаций, определению простейшего алгоритма автоматической типологизации и его реализации посредством выбранного инструментария (язык программирования Python).

Третий и четвертый разделы посвящены внедрению различных алгоритмов машинного обучения для решения задач классификации. В третьем разделе рассматриваются, в первую очередь, классические методы (наивный байесовский классификатор, метод опорных векторов, и т.д.), в то время как четвертый посвящен, в основном, рассмотрению и применению методов глубинного обучения для решения поставленной задачи.

Апробация работы: результаты данного исследования были представлены на международной конференции «Analysis of Images, Social Networks and Texts» в 2017 и 2018 гг. и опубликованы в сборниках работ конференции: (Nikolaev, Malafeev, 2017) и (Nikolaev, Malafeev, 2018).



1 Вопросительные предложения русского языка

На первом этапе исследования рассмотрим вопросительные предложения как таковые, в особенности их функциональный и синтаксический аспект.

Вопросительные предложения выполняют важную функцию в речи. Вопрос имеет познавательное значение, но не заключает обычное атрибутивное суждение, поскольку в вопросах, как правило, отсутствует утверждение или отрицание. Вопросительное предложение используется для получения знания, и, таким образом, является одним из ключевых инструментов познания.

Согласно мнению Невольниковой С.В., проблема коммуникативно-функциональной характеристики текста и отдельных языковых единиц рассматривается «…все более широко и объемно в плане взаимодействия и соотношения языка и речи, языка и мышления, языка и объективной действительности». Она утверждает, что это обуславливает особенную значимость комплексного изучения вопросительных предложений, их специфики для современной лингвистики. (Невольникова, 2004: 3)

Точное определение вопросительным предложениям дала Н.Ю. Шведова: «Вопросительными называются предложения, в которых специальными языковыми средствами выражается стремление говорящего узнать что-либо или удостовериться в чем-либо». Искомые сведения могут быть различного характера: о деятеле («Кто это сделал?»), о месте действия («Ты был в цирке?»), о цели («Для чего ей это?»), о ситуации в целом («У тебя найдется минутка?»), и т.д. Вследствие нацеленности на получение информации, вопросительные предложения выступают как первый компонент сочетания реплик, предназначенного для обмена информацией в диалоге.

В выражении вопросительности главная роль, как правило, принадлежит интонации, вопросительным частицам (ли, так, верно, как, что ли, и т.д.), вопросительным местоименным словам (где, куда, когда, откуда, почему, зачем, как, кто, что, какой, каков, чей, который, сколько, докуда, отчего, насколько), порядку слов. При использовании этих средств можно преобразовать любое невопросительное предложение в вопрос или переспрос (Шведова, 1980: 386). В контексте исследования вопросительные местоименные слова, частицы и порядок слов представляют для нас особый интерес.

При образовании вопросительных предложений на основе невопросительных вопросительные частицы присоединяются к предложениям разной синтаксической структуры. Возможны предложения с совмещением вопросительных частиц: «Что, не ушиблись ли вы где-нибудь?»; «Она, что ли, не приедет?», и т.д. (Шведова, 1980: 387-388)

Вопросительные местоименные слова обозначают то, о чем спрашивается. Такие слова являются членами предложения, и обычно они начинают собою вопросительное предложение; однако такой порядок слов не является обязательным: «А как же быть?», «Он откуда взялся?» Возможны предложения с несколькими местоименными вопросительными словами: «Как, где, кем допущена ошибка?» (Шведова, 1980: 389)

Систему вопросительных предложений можно разделить на функционально-семантические типы, объединяемые на основе первичных и вторичных функций этих предложений. В своих первичных функциях вопрос направлен на поиск информации и получение ответа; во вторичных - на передачу информации, непосредственное сообщение о чем-либо. Для реализации вопросно-ответных систем важность представляют первичные функции вопросительных предложений.

Данные функции устанавливаются на основе:

1) Типа и объема той информации, которая ожидается в ответе;

2) Осведомленности говорящего о предмете вопроса;

3) Ожидаемого ответа.

Каждое вопросительное предложение заключает в себе весь комплекс соответствующих характеристик.

В зависимости от характера и объема требующейся информации, Шведова Н.Ю. разделяет вопросительные предложения следующим образом:

1) Общевопросительные, имеющие целью получение информации о ситуации в целом: «Что происходит в Китае?»; «Как выйти из затруднительного положения?»;

2) Частновопросительные, заключающие вопрос об отдельной стороне какого-либо факта, признаке, тех или иных обстоятельствах, и т.д.: «Как попасть на площадь?»; «Какие песни сделали Эллу Фицджеральд известной?»;

В зависимости от знаний, которыми уже обладает говорящий, вопросительные предложения можно разделить на три группы:

1) Собственно-вопросительные: спрашивающий не обладает знаниями по вопросу: «Кто изобрел танк?»

2) Неопределенно-вопросительные: совмещающие вопрос с предположением: «Не Гейтс ли фамилия основателя Microsoft?»

3) Констатирующе-вопросительные: в вопросе присутствует полная уверенность: «Юрий Гагарин первым полетел в космос, так?»

В зависимости от ожидаемого ответа вопросительные предложения делятся на:

1) Требующие ответа-подтверждения / ответа-отрицания (соответствия / несоответствия действительности): «Лондон - столица Англии?»

2) Требующие информации, сообщения о том, что спрашивается: «Зачем англичане пьют чай?»

С точки зрения ожидаемого ответа особого внимания также требует группа вопросительных предложений с такими словами максимально-обобщенных значений, как «много», «мало», «давно», «недавно», «часто», «редко» и т.д., требующих в одних конситуациях ответа-подтверждения или отрицания, в других - ответа, содержащего конкретную информацию о спрашиваемом: «Много ли весит кошка?» - «Немного» / «Около четырех килограммов». В контексте вопросно-ответных систем релевантным является ответ, содержащий конкретную информацию (Шведова, 1980: с. 394)

Стоит отметить, что ни одна из рассмотренных выше классификаций не служит непосредственному описанию функций вопросительных предложений в контексте данной задачи. Поступающие на вход вопросно-ответной системы запросы могут быть как общевопросительные, так и частновопросительные, равно как и требовать ответ-подтверждение/отрицание или информацию о спрашиваемом. Однако доля неопределенно-вопросительных и констатирующе-вопросительных предложений относительно собственно-вопросительных предложений в вопросно-ответной системе мала.

Соответственно, в контексте задач, решаемых с помощью вопросно-ответных систем, важна идентификация собственно-вопросительных предложений и определение их типа в зависимости от прямого функционала и требуемого аспекта информации. Более широкой классификацией, разделяющей вопросительные предложения по данному принципу, является функциональная классификация, представленная в труде Т.Лауэра, А.Пикок, А.Грэсера «Questions and Information Systems». Авторы выделяют следующие типы вопросов (представлены в таблице 1) (Lauer et al., 2013):

Таблица 1. Функциональная классификация А. Грэсера и Т. Лауэра

Вопрос	Абстрактная спецификация	Пример
1 Подтверждение	Истинный ли факт? Произошло ли событие?	Гагарин - космонавт? Шел ли вчера дождь?
2 Сравнение	Чем X похож на Y? Как X отличается от Y?	Как Флорида похожа на Китай?
3 Выбор из множества вариантов	X или Y?	Он заказал курицу или свинину?
4 Завершение концепта	Кто? Что? Где? Когда?	Кто написал эту песню? Что украл ребенок?
5 Определение	Что означает X?	Что такое фрейм?
6 Пример	Что служит примером X? Каково конкретное обстоятельство категории?	Что служит примером группы? Какой эксперимент поддерживает это утверждение?
7 Интерпретация	Как конкретное событие интерпретируется или обобщается?	Что произошло вчера?
8 Конкретизация свойств	Какими качественными атрибутами обладает X? Каково значение качественного атрибута?	Каков Джордж? Какого цвета собака?
9 Исчисление	Каково значение численного атрибута? Сколько?	Сколько комнат в доме?
10 Причина	Что послужило причиной события? Какое состояние или событие предшествовало другому?	Как горячий воздух попадает в Ирландию? Почему небо голубое?
11 Следствие	Каковы последствия события или состояния? Что следует из события или состояния?	Каковы последствия глобального потепления?
12 Целеориентация	Каковы мотивы деятеля? (при совершении действия) Какие цели преследовал деятель?	Зачем Иван переехал в Москву? С какой целью администрация уменьшила налоги?
13 Реализация	Какой объект или ресурс позволяет деятелю совершить действие?	Какой прибор позволяет измерять землетрясения?
14 Инструментальность / процедуральность	Как деятель достигает цели? Какой инструмент используется? Какой план действий позволяет деятелю достичь цели?	Как передвинуть курсор на мониторе? Как делить на большие числа?
15 Ожидание	Почему ожидаемое событие не произошло / происходит?	Почему у куклы нет рта? Почему люди не на Марсе?
16 Оценочность	Спрашивающий ожидает от спрашиваемого оценки идеи или совета	Что ты думаешь о новом налоге? Что мне делать, чтобы прекратить спорить?
17 Констатационные	Говорящий заявляет об отсутствии у него какой-либо информации	Я не понимаю, что значит эта ошибка Мне нужно знать, как попасть в аэропорт
18 Запрос/директива	Говорящий напрямую запрашивает какую-то информацию	Пожалуйста, скажи, как распечатать файл

Важно отметить, что данная классификация в первую очередь психологически-рациональная. Хотя авторы опирались на языковой материал английского языка, они ориентировались в первую очередь на рациональное целеполагание субъекта вопросно-ответного акта и классифицировали вопросительные предложения, исходя из специфики запроса, а не каких-то лексических, синтаксических или формальных характеристик, присущих исключительно английскому языку. Именно поэтому представляется возможным в дальнейшем использовать эту классификацию в том числе для типологизации вопросов русского языка.

Теперь рассмотрим вопросительные предложения с синтаксической точки зрения. В данном контексте в рамках данного исследования, для идентификации типов вопросительных предложений, требует изучения порядок слов вопросительных предложений русского языка.

По словам Н.Ю. Шведовой, он отличается большей свободой по сравнению с невопросительными предложениями. Для вопросительных в первичной функции, выступающих в первой части диалогического единства (и тем самым представляющих для нас особый интерес), характерна относительная свобода словорасположения. (Шведова, 1980: 396)

В русском языке порядок слов вопросительных предложений играет второстепенную роль в выражении вопроса, в то время как во многих других языках (английский, немецкий, и т.д.) вопросительный характер предложения определяется местом сказуемого: если глагольное сказуемое стоит в начале предложения, то предложение является вопросительным. В русском языке, однако, предиспозиция глагола-сказуемого не предопределяет вопросительного характера предложения при отсутствии вопросительной интонации. Тем не менее, более и менее типичные способы расположения слов в вопросе все же существуют.

В предложениях без вопросительных местоименных слов и частиц вопрос маркируется только интонацией (в письменной речи - вопросительным знаком). Структура такого предложения может изменяться: Лондон - столица Англии? Столица Англии - Лондон? В устной речи интонационный центр вопроса может смещаться и при прежнем порядке слов: Сегодня съели торт?

В предложениях с вопросительными местоименными словами эти слова располагаются в начале предложения (Как звали X? Когда произойдет Y? Почему светит луна? и т.д.), порядок других синтаксических компонентов может варьироваться. Самым распространенным является расположение синтаксических групп, обратное стилистически нейтральному порядку слов в невопросительных предложениях (Как звали первого космонавта? Первого космонавта звали Юрий Гагарин). [Шведова, с. 396]

Таким образом, были рассмотрены вопросительные предложения русского языка с точки зрения их функционального и синтаксического аспектов. Теперь возникает необходимость формирования общего представления об уже существующих решениях в области автоматической типологизации вопросительных предложений в рамках вопросно-ответных систем на английском языке.

2 Автоматическая типологизация вопросительных предложений русского языка.

2.1 Существующие методы типологизации вопросительных предложений

Для начала, необходимо обозначить различие между вопросно-ответными системами и поисковыми системами.

Вопросно-ответные системы отличаются от существующих и широко распространенных поисковых систем тем, что последние получают на вход ключевые слова и выводят список релевантных ресурсов, которые могут содержать информацию, необходимую пользователю, в то время как ответ вопросно-ответной системы точен и конкретен. (Monz, 2003)

Автоматический ответ на вопросы считается более сложной задачей в связи с ограничениями на представление получаемой (естественный язык, а не ключевые слова) и выводимой (конкретный ответ, а не целые документы) информации (Bunescu, Huang, 2010). Таким образом, преимущество вопросно-ответных систем в том, что они не перегружают пользователя лишней информацией (Galea, 2003).

Типовая вопросно-ответная система представляет собой комплекс модулей, предназначенных для анализа запроса и формирования ответа с учетом принципов естественного языка. Данные модули, как правило, работают с английским языком, поэтому их применение к запросам, сформулированным на русском языке, невозможно вследствие его синтетичности (грамматические значения выражаются формами самих слов) и гибкого, не только грамматического (как в английском языке), но и смыслового, порядка слов, который, таким образом, зависит в равной степени от грамматической природы слов в предложении и от смысла всего предложения.

Все описанное выше и обуславливает тот факт, что в настоящий момент распространенные вопросно-ответные системы на базе русского языка практически отсутствуют. Для ответа же на вопросы английского языка ранее было разработано несколько систем (к примеру, TEQUESTA (Monz, 2003), START (Katz et al., 2006), OpenEphyra (van Zaanen, 2008), IBM Watson (Ferrucci, 2010), EAGLi (Gobeill et al., 2012), и т.д.).

В статье «Issues, Tasks and Program Structures to Roadmap Researching Question and Answering» исследователи из различных организаций и университетов (MITRE, Корнеллский университет, университет Шеффилда, и мн. др.) рассматривают вопросы изучения вопросно-ответных систем. По их словам, для реализации такой системы необходимо исследовать следующие аспекты:

1) Типы вопросов (необходимость систематизации);

2) Обработка вопросов (понимание, определение неоднозначности, импликатура и переформулирование);

3) Контекстные вопросы;

4) Источники данных для вопросно-ответной системы;

5) Выделение ответов (выделение простых и распространенных ответов; обоснование ответа и оценка его правильности);

6) Формулировка ответа;

7) Ответы на вопросы в реальном времени;

8) Ответы на многоязыковые вопросы;

9) Интерактивность;

10) Развитый механизм рассуждений (вывода);

11) Профили пользователей вопросно-ответных систем (содержащие данные об их областях интересов, манере речи, фактах, подразумеваемых по умолчанию). (Burger et al, 2001: 5-22)

Тем не менее, в общем виде, работу любой из вопросно-ответных систем можно условно разбить на три этапа:

1) Анализ запроса пользователя;

2) Поиск релевантной информации;

3) Формирование ответа.

В качестве примера возьмем систему TEQUESTA для английского языка. После получения запроса на естественном языке, первичной обработки и формализации предложения (токенизация, парсинг) определяются атрибуты предложения для дальнейшего их использования. Следующий этап - отбор и анализ документов и фрагментов, в которых может содержаться ответ на искомый запрос. Последний шаг - извлечение ответа. Система также может включать в себя дополнительные модули для улучшения производительности (автоматические переводчики, распознаватели имен, и т.д.). Нас интересует первая ступень обработки запроса.

На первом шаге обработки система TEQUESTA классифицирует вопросительное предложение и относит его к одному из заранее определенных типов, основываясь на ряде признаков. К примеру, простейшим способом является идентификация типа вопроса по вопросительным словам. В таблице 2 продемонстрированы несколько классов используемых системой вопросов:

Таблица 2. Примеры классов вопросов.

Тип вопроса	Описание типа
agent	Имя или описание субъекта действия Who won the Oscar for best actor in 1970? Кто получил «Оскар» как лучший актер в 1970 г.?
aka	Альтернативное название явления What is the fear for lightning called? Как называется боязнь молний?
date	Дата события When did the story of Romeo and Juliet take place? Когда происходят события «Ромео и Джульетты»?
date-death	Дата смерти персоны When did Einstein die? Когда умер А. Эйнштейн?

Как можно увидеть, класс date-death является подклассом класса date. Соответственно, в рамках системы существует иерархия классов вопросов - так называемая таксономия классов.

Классификация вопроса может быть выполнена различными способами. Одним из простейших является применение регулярных выражений. В таблице 3 приведен список классов TEQUESTA с соответствующими шаблонами в виде регулярных выражений:

Таблица 3. Примеры шаблонов TEQUESTA.

Тип вопроса	Пример шаблона
agent	/[Ww]ho /, / bywhom[\.\?]/
aka	/[Ww]hat( i|\')s (another|different) name /
date	/[Ww]hen /, /[Ww](hat|hich) year /
date-death	/[Ww]hen .* die/, /[Ww](hat|hich) year .* die/

Для поиска нужного ответа на вопрос среди большого количества фрагментов текста требуется знать, что нужно найти. Для этого вводится такое понятие, как тип ожидаемого ответа. Это класс объекта или риторический тип дискурса, запрашиваемый вопросом. К примеру, вопрос «Кто открыл электричество?» предполагает поиск личности, в то время как «Когда родился Шекспир?» запрашивает дату рождения. (Bunescu, 2010: 1) Обычно тип ответа определяется по самому вопросу, и эффективная типологизация вопросов способствует более точному распознанию типа ожидаемого ответа.

При разработке вопросно-ответных систем выяснилось, что знания типа вопроса недостаточно для эффективного нахождения ответа. Было предложено определять такое понятие, как фокус вопроса. Фокус вопроса - это слово или последовательность слов, определяющие вопрос и перефокусирующие его, идентифицируя, что именно требуется в вопросе. К примеру, в предложении «Какой самый большой город в Германии?» фокусом является «Самый большой город» (Damljanovic, 2010: 1-2). Было доказано экспериментально, что фокус вопроса облегчает определение и формулировку ответа, улучшая тем самым точность системы.

В таблице 4 приведены примеры результатов классификации вопросов английского языка, представленных для тестирования вопросно-ответных систем на Text Retrieval Conference в 2011 году (Moldovan et al., 2000):

Таблица 4. Результаты классификации для вопросно-ответного тестирования на TRC-2011

Класс вопроса	Подкласс вопроса	Количество вопросов	Количество ответов	Тип вопроса	Пример вопроса	Фокус вопроса
Что		64	54
	что	40	34	Деньги / число / определение / должность	Какой был размер Нобелевской премии мира в 1989?	Размер
	что-кто	7	7	Человек / организация	Какой дизайнер одежды решил, что Майкл Джексон должен носить всего одну перчатку?	Дизайнер одежды
	что-когда	3	2	Дата	В каком году Ирландия избрала первую женщину-президента?	Год
	что-где	14	12	Место	Какая столица Уругвая?	Столица

Один из распространенных методов идентификации фокуса вопросительного предложения - использование синтаксических шаблонов. В основе данного метода лежит предположение, что фокус вопроса часто находится в определенном синтаксическом отношении с вопросительным словом, и, если их несколько, набор вариантов этих отношений ограничен. В результате синтаксического разбора можно получить дерево разбора, пример которого можно видеть на рисунке 1. (Bunescu, 2010: 4):

Рисунок 1. Образец дерева синтаксического разбора

Многие современные классификаторы вопросов основываются на машинном обучении. Такие классификаторы обучаются на корпусах вопросов, размеченных вручную такими атрибутами, как «тип вопроса» и «тип ответа». Перед получением запроса, система анализирует корпус в поисках потенциальных ответов на вопросы определенных типов (даты, аббревиатуры, имена, и т.д.), извлекает их в офлайн-корпус и хранит в виде табличных структур для быстрого вывода ответа при обработке вопроса пользователя.

Итак, была рассмотрена типовую архитектуру вопросно-ответной системы на примере TEQUESTA, используемые методы автоматической типологизации вопросительных предложений английского языка современными вопросно-ответными системами. Следующим этапом работы является создание типологической таксономии на основе уже изученных типологий, определение алгоритма автоматической типологизации и его реализация посредством выбранного инструментария.

2.2 Автоматическая типологизация вопросительных предложений русского языка с использованием метода регулярных выражений

Как таковые, типологии вопросительных предложений существуют достаточно давно и подробно рассматриваются в трудах многих отечественных лингвистов. Так, например, Шведова Н.Ю., в своем труде «Русская грамматика» рассматривает синтаксический аспект вопросительных предложений, вводит функциональные и структурно-семантические классификации.

При разработке собственной таксономии типов вопросительных предложений русского языка будет принята во внимание рассмотренная ранее классификация вопросов Шведовой Н.Ю. по характеру и объему требующейся информации:

1) Общевопросительные (general);

2) Частновопросительные (special).

Зависящие от осведомленности говорящего о предмете вопроса типы мы не рассматриваем, поскольку запросы, формулируемые в поисковые и вопросно-ответные системы, как правило, свидетельствуют об отсутствии у пользователя знаний о предмете. Еще одна классификация, использовавшаяся в формировании таксономии - функциональная типология Артура Грэсера, более подробно рассмотренная в первой главе.

Классификация Н.Ю. Шведовой более широкая, так что рассматриваемые ей две категории были взяты за основу для распределения предложенных А. Грэсером восемнадцати типов. Для формирования алгоритма типологизации установим шаблонные вопросы для каждого типа, их маркеры (вопросительные частицы, конструкции, местоименные слова):

1) Общевопросительные:

a. Вопрос-определение:

«Что такое / означает…?»

b. Вопрос-конкретизация свойств:

«Какой/ая/ое…?» / «Каким(и) свойством(ами)/качеством(ами) наделен/обладает/отличается/характеризуется/имеет…?»

c. Вопрос-исчисление:

«Сколько…?» / «Как много…?»

Времени: «Сколько времени…? Как долго…?»

Финансовое: «Сколько денег...? Как дорого…?»

Лет: «Сколько лет...? В каком возрасте…?»

d. Вопрос-инструментальность:

«С помощью/посредством кого/чего…?» / «Чем/кем воспользовался…?» / «Благодаря кому/чему…?» / «Кто/что позволил…?»

e. Вопрос-получение всей информации:

«…?» Категория, отсутствующая в оригинальной типологии Грэсера и отличающаяся отсутствием определенных маркеров.

f. Констатационный вопрос:

«Я не понимаю/знаю,…» / «Мне нужно понять/знать, … .» Отличается от обычного вопроса наличием вводной конструкции.

g. Прямой запрос / директива

«(Пожалуйста,) скажи/объясни, расскажи, … .» Отличается от обычного вопроса наличием обращения.

2) Частновопросительные:

a. Вопрос-сравнение:

«Чем похож(и)…?» / «Как отличае(ю)тся…?»

b. Вопрос-пример:

«Приведи пример…» / «Какой пример/образец…?» / «Что может служить/выступать / послужит/выступит (как) пример(ом)/образец(ом)…?»

c. Вопрос-реализация (+ процедуральность):

«Как…?» / «По какому плану / алгоритму…?» / «По какой схеме / тактике…?» / «Каким образом / путем…?» / «Какой тактикой / схемой…?»

d. Выбор из множества вариантов:

«… или …?»

e. Вопрос-целеориентация:

«Зачем…?» / «С какой целью / задачей…?» / «Для чего…?» / «Во имя/для какой цели/задачи…?» / «Какую цель / задачу…?»

f. Вопрос-интерпретация - иррелевантен для вопросно-ответной системы в силу абстрактности данной категории

g. Причинный вопрос:

«Почему…?» / «Что явилось / стало / послужило причиной…?»

h. Следственный вопрос:

«Каковы последствия…?» / «Что следует из…?» / «Что будет за / после / дальше…?»

i. Вопрос-завершение концепта:

Субъект: «Кто …?»

Объект: «Что …?»

Место: «Где …?»

Дата: «Когда …?» / «Какого числа…?» / «В каком году/месяце/дне недели…?»

Время: «Во сколько…?» / «В какое/который время/час…?» (конкретизация времени)

j. Оценочный вопрос - иррелевантен для вопросно-ответной системы в силу абстрактности данной категории

k. Вопрос-подтверждение. Маркер - «…ли…?». «X - Y?»

В качестве основного инструмента разработки воспользуемся языком программирования Python. Python - это кроссплатформенный высокоуровневый язык программирования общего назначения. Его синтаксис ядра минималистичен, однако стандартная библиотека включает значительный объем полезных функций. В то же время, это активно развивающийся язык, для него создано и продолжает создаваться большое количество библиотек для дальнейшей разработки и расширения функционала, регулярно выходят новые версии с добавлением / изменением языковых свойств.

Для осуществления автоматической типологизации вопросов и вопросительных предложений воспользуемся модулем re стандартной библиотеки, предназначенным для работы с регулярными выражениями.

Регулярные выражения - это стандартизированный способ поиска, замены и парсинга (синтаксического анализа посредством предварительно созданной математической модели (описанной одним из языков программирования) сравнения лексем с формальной грамматикой) текста при помощи комплексных шаблонов. При его использовании было задано правило поиска строки/строк, с формированием строки-образца. Строка-образец, будучи шаблоном поиска, имеет определенный формат и состоит из комбинации символов и метасимволов. В данном случае, когда тип вопросительного предложения можно определить, ориентируясь на типичные маркеры, этот метод наиболее удобен.

Для начала, составим регулярные выражения для каждого из рассматриваемых типов вопросов. Их можно наблюдать в Таблице 5.



Таблица 5. Типы вопросов и соответствующие регулярные выражения

Тип	Тэг	Номерной тэг	Регулярное выражение
Получение всей информации	Complex	1	/.*[\?\.]/
Подтверждение	Approval	2	/.*((ли)|(не)).*[\?\.]/
Определение	Definition	3	/.*([чЧ]то означает|такое).*[\?\.]/
Пример	Example	4	/.*(([пП]риведи|[кК]акой пример|образец)|(([чЧ]то|[кК]то) ((может ((служить)|(выступ(ать|ить))))|((по?)служит|выступ(ает|ит))) (как )?((пример(ом?))|(образ(ец|цом))))).*[\?\.]/
Сравнение	Comparison	5	/.*(([чЧ]ем\S.* похо(ж|жи|жа|же)|отлича(ются|ется|))|[кК]ак\S.* похо(ж|жи|жа|же)| отлича(ются|ется|)).*[\?\.]/
Выбор из нескольких вариантов	Choice	6	/.*([иИ]ли).*[\?\.]/
Завершение концепта:	Completion	7	Раскладывается на:
a) Субъект	Agent		/.*[кК]то.*[\?\.]/
b) Объект	Object		/.*[чЧ]то.*[\?\.]/
c) Место	Location		/.*[гГ]де.*[\?\.]/
d) Дата	Date		/.*((([кК]огда)|([кК]акого числа))|([вВ] како[мй] году|месяце|(день недели))).*[\?\.]/
e) Время (конкретизация)	Time		/.*(((([вВ]о)|([чЧ]ерез)) сколько)|([вВ] (какое|который) (время|час))).*[\?\.]/
Конкретизация свойств	Quality	8	/.*(([кК]ак(ой|ая|ое|ом|ие))|([кК]ак(им|ими|ие) ((свойств(ом|ами|а))|(качеств(ом|ами|а))) (наделен|обладает|характеризуется|отличается|имеет))).*[\?\.]/
Исчисление	Quantity	9	/.*([сС]колько|[кК]ак много).*[\?\.]/
Действие (+процедуральность)	Action	10	/.*(([чЧ]то (надо?).* чтобы|делать)|([кК]ак)|([пП]о как(ому|им) (план(у|ам))|(алгоритм(у|ам)))|([пП]о как(ому|ой) (схем(е|ам))|(тактик(е|ам)))|([кК]ак(им|ими) (образ(ом|ами))|(пут(ем|ями)))|([кК]ак(ой|ими) (тактик(ой|ами))|(схем(ой|ами)))) .*[\?\.]/
Инструментальность	Instrument	11	/.*((([сС] помощью|[пП]осредством) (кого|чего))|(([чЧ]ем|[кК]ем) (воспользова(лся|лась|ться))?)|([бБ]лагодаря (кому|чему))|(([кК]то|[чЧ]то) позволил(о?))).*[\?\.]/
Целеориентация	Goal	12	/.*(([кК] чему)|([зЗ]ачем)|([сС] как(ой|ими) (цел(ью|ями))|(задач(ей|ами)))|([дД]ля чего)|(([вВ]о имя)|([дД]ля как(ой|их)) (цел(и|ей))|(задач(и?)))|([кК]ак(ую|ие) (цел(ь|и))|(задач(у|и)))).*[\?\.]/
Причина	Reason	13	/.*(([пП]очему)|([чЧ]то было|явилось|стало|(по?)служило причиной)).*[\?\.]/
Следствие	Consequence	14	/.*(([кК]аковы последствия)|([чЧ]то следует (из|за))|([чЧ]то будет (за|после|дальше|далее))).*[\?\.]/

Здесь было решено исключить из поиска такие подклассы, как «Дата рождения», «Дата смерти», «Количество-возраст», «Количество-время» и «Стоимость», чтобы сформировать более легкие в идентификации классы, поскольку регулярные выражения - инструмент, не обладающий высокой гибкостью.

Для распознания типа вопроса, который программа получает на вход, была введена строковая переменная A. Вопрос пошагово сравнивался со всеми шаблонными строками, начиная с структурально простейших (1, 2, 3, 6) и заканчивая наиболее комплексными (10, 11, 12) посредством метода re.match(pattern, string). Данный метод производит поиск по заданному шаблону pattern в начале строки string. В случае совпадения шаблона возвращается объект класса MatchObject, логическое значение которого всегда True, в случае несовпадения возвращается None. При совпадении введенная изначально строковая переменная A получает значение искомого тэга, при несовпадении A остается неизменной, и происходит смена шаблона. Таким образом, тип вопроса определяется в соответствии с A после проверки всех шаблонов. Исходя из предположения, что изначально запрос направлен на получение всей доступной информации, и по ходу выполнения проверки конкретизируется, шаблон Complex был установлен первым шагом проверки.

Оценка производительности базового классификатора (как и других представленных в следующем разделе) производилась на вручную аннотированном экспертом по вышеописанной классификации наборе из 150 вопросов. Метод регулярных выражений верно определил 79 вопросов (52.7% точности).

Наиболее точно были определены категории «Выбор из нескольких вариантов», «Завершение концепта», «Конкретизация свойств», «Исчисление», «Целеориентация», «Причина». Это объясняется тем, что данные признаки обладают наиболее четкими и простыми в идентификации маркерами. С гораздо меньшей точностью идентифицированы вопросы категорий «Получение всей информации» и «Подтверждение». Это объясняется тем, что «Получение всей информации» не обладают четкими формальными критериями, в то время как для вопроса категории «Подтверждение» таким критерием может являться только частица «ли», в то время как в большинстве случаев значение выявляется из контекста.

2.3 Применение классических алгоритмов машинного обучения в определении типов вопросов русского языка

Многие ранние подходы к определению типов вопросительных предложений подразумевают вручную прописанные правила или регулярные выражения. Пинчак и Лин в своей работе [Pinchak, 2006], однако, отмечают, что в таком подходе есть два крупных недостатка:

1. Всегда найдутся вопросы, не соответствующие шаблону;

2. Предопределенная гранулярность категорий ведет к поиску компромисса между тем, насколько вопросы соответствуют данным типам и простоте построения тэггеров и классификаторов для них.

Таким образом, вероятностная модель, напрямую вычисляющая степень соответствия между потенциальным ответом и контекстом вопроса гораздо более эффективна. Такие алгоритмы успешно использовались в некоторых работах, посвященных вопросно-ответным системам английского языка: ((Li, Roth, 2002), (Zhang, Lee, 2003), (Pereira et al., 2009)), и т.д.

Для обучения классификаторов, необходим аннотированный набор вопросов русского языка. В связи с отсутствием подходящих корпусов вопросов, полуавтоматическим способом был извлечен набор из 2008 вопросов из Российского Интернет-корпуса (Sharoff, 2006). Вопросы были вручную размечены в соответствии с вышеописанной типологией. Были использованы две типологии: с упрощенными классами «Завершение концепта» и «Исчисление» (14 классов) и изначальной подробной классификацией (включая «дата рождения», «дата смерти», «исчисление-стоимость», и т.д.; 24 класса).

Для формального представления вопросительных предложений была использована модель bag-of-words, или т.н. «мешок слов». В данном формате каждое предложение представляется как последовательность бинарных признаков, каждый из которых индицирует наличие или отсутствие лексической единицы в предложении. Так, при имеющемся словаре (кошка, сидит, на, окне, муха, варенье), предложение «муха сидит на варенье» будет представлено как (0, 1, 1, 0, 1, 1).

В данной модели порядок элементов в рассматриваемом предложении игнорируется: два документа, отличающиеся только по данному признаку, будут иметь одинаковые векторы. Считается, что человек способен определить тематику текста, даже если слова расположены в случайном порядке. Таким образом, во многом игнорируются синтаксические особенности предложения и его членов, но сохраняется множественность, и данная модель широко используется в задачах т.н. тематического моделирования.

В широком смысле, тематическое моделирование (topic modelling) - это метод построения модели коллекции текстовых документов, который определяет, к каким темам относится каждый из документов. Современные способы тематического моделирования находят широкое приложение, например, в таких задачах, как тематический поиск документов, фильтрация спама, и классификация различных документов (Коршунов, Гомзин, 2012), в том числе вопросительных предложений русского языка.

Одним из главных недостатков модели bag-of-words является то, что, если элементы независимы друг от друга, то различные перестановки слов имеют одну и ту же вероятность. Например, вероятность встретить предложение «Сидит муха на варенье» такая же, что и у «На сидит варенье муха». Для разрешения возможных затруднений вводятся условные вероятности (Jelinek, Lafferty, 1991). Тогда вероятность следующего слова зависит от предшествующих ему, что являет собой случай т.н. марковской цепи.

Цепь Маркова - это последовательность дискретных случайных величин, в которой распределение последующего состояния зависит от текущего состояния величин, но не зависит от предыдущих. Одним из применений марковских цепей в лингвистике является модель N-грамм.

N-граммой является произвольная цепочка длиной N, например, последовательность из N элементов: букв в слове, слов во фразе или тексте (Гудков, Гудкова, 2011). N-граммы позволяют уменьшить фактор случайности в формальном представлении предложений для машинной обработки и частично учесть порядок слов / символов и, в гораздо меньшей степени, синтаксическую структуру предложения. Для этого словесные и символьные n-граммы могут использоваться как признаки и в упомянутой ранее репрезентации «мешок слов».

Таким образом, на следующем этапе мы произвели конвертацию вопросов в пять различных репрезентаций данного формата (символьные биграммы, триграммы, словесные униграммы, биграммы, триграммы) и затем использованы для обучения традиционных алгоритмов. Операции осуществлялись посредством RapidMiner, кросс-платформенного программного обеспечения, предоставляющего различные решения для машинного обучения, анализа текста и данных, предсказательной аналитики, и т.д. (Hoffmann, 2013).

Для автоматической классификации вопросов, было использовано три разных алгоритма машинного обучения:

1) Наивный байесовский классификатор;

2) Метод опорных векторов;

3) Логистическая регрессия.

Для обучения каждого из алгоритмов использовались десять наборов данных, выделенных в зависимости от подробного / обобщенного наборов и типа репрезентации. В процессе оценки точности, система опиралась только на n-граммы, использованные в обучении. Все не наблюдавшиеся в обучении n-граммы игнорировались, т.е. стратегии для использования неизвестных (ранее не наблюдавшихся) n-грамм внедрено не было.

Тестирование обученных моделей производилось на размеченном экспертом в соответствии с классификацией наборе из 150 вопросов. Количественное распределение обобщенных типов вопросов в обучающем и тестовом наборе проиллюстрировано в Таблице 4.



Таблица 4. Распределение вопросов по типам в наборах

Набор	1	2	3	4	5	6	7
Обуч.	153	424	64	10	15	76	579
Тест.	15	34	6	3	2	10	25
	8	9	10	11	12	13	14	Общ.
Обуч.	186	49	59	9	116	201	67	2008
Тест.	17	10	1	2	5	16	4	150

Как можно заметить, выборка несбалансированная: вопросов типа «подтверждение» (2) и «завершение концепта» (7) значительно больше, чем любого другого типа, особенно в сравнении с малопредставленными категориями, такими, как 4 (пример) и 11 (инструментальность). В дальнейшем это представило проблемы при обучении и при получении результатов. Также отметим, что данное количественное распределение сохраняется и в тестовой выборке.

Таблица 5 демонстрирует результаты точности для обоих наборов классов.

Таблица 5. Точность предсказания

Алгоритм и модель	Верно определено (подробная)	Точность (подробная)	Верно определено (упрощенная)	Точность (упрощенная)
НБ, сим-би	23	15.3%	19	12.7%
НБ, сим-три	39	26%	39	26%
НБ, сл-уни	38	25.3%	39	26%
НБ, сл-би	61	40.7%	61	40.7%
НБ, сл-три	61	40.7%	62	41.3%
ОВ, сим-би	65	43.3%	76	50.7%
ОВ, сим-три	69	46%	73	48.7%
ОВ, сл-уни	67	44.7%	74	49.3%
ОВ, сл-би	73	48.7%	82	54.7%
ОВ, сл-три	68	45.3%	81	54%
ЛР, сим-би	55	36.7%	63	42%
ЛР, сим-три	20	13.3%	40	26.7%
ЛР, сл-уни	58	38.7%	60	40%
ЛР, сл-би	90	59.3%	92	61.3%
ЛР, сл-три	88	56%	97	64.7%

Здесь ЛР - логистическая регрессия, ОВ - метод опорных векторов, НБ - наивный байесовский классификатор, сл-, сим- - словесные и символьные, уни-, би-, три - униграммы, биграммы и триграммы соответственно.

Можно заметить, что наилучшие результаты при использовании традиционных методов машинного обучения в доступных в RapidMiner конфигурациях по умолчанию были достигнуты моделью на основе логистической регрессии. Заслуживает внимания тот факт, что для подробной классификации наиболее эффективным оказалось использование биграмм-репрезентации (слова), в то время как для упрощенной - триграмм-репрезентации.

Также были изучены изменения в точности предсказания с нормализацией набора данных и использованием других ядер при методе опорных векторов. Это проиллюстрировано в таблице 6.

Таблица 6. Производительность при нормализации данных и использовании линейного ядра

Алгоритм, настройки	Верно определено (подробная)	Точность (подробная)	Верно определено (обобщенная)	Точность (обобщенная)
МОВ (точечное ядро), сл-три, нормализованная пропорция	68	45.3%	81	54%
МОВ (линейное ядро), сл-три, нормализованная пропорция	98	65.3%	103	68.7%

Таким образом, наилучшие результаты (65.3% точность на подробной и 68.7% на расширенной классификациях) были достигнуты при помощи метода опорных векторов с линейным ядром, при репрезентации обучающего набора в виде словесных триграмм. Это соответствует наилучшим результатам для английского языка, описанным в (Silva et al., 2011), также достигнутым методом опорных векторов с линейным ядром.

После оценки традиционных алгоритмов машинного обучения, обученных на данных разной степени сложности, можно наблюдать следующее:

1) Как и ожидалось, использование упрощенного набора данных оказалось более легкой задачей для алгоритма, что и обусловило повышение точности более, чем на 3%, относительно работы с подробной классификацией (для лучших результатов);

2) Различие в максимальной точности между двумя (подробной и упрощенной) типологиями варьируется от 0.6% (наивный байесовский) до 8.7% (логистической регрессии). Здесь рассматриваются пары «максимальная-минимальная точность» для каждого алгоритма.

3) Внедрение нормализации и использование линейного ядра при методе опорных векторов позволило повысить точность классификации до максимальных значений в 65.3% и 68.7% для подробной и упрощенной типологий соответственно. Для сравнения, метод регулярных выражений продемонстрировал стабильную точность в 52.7%, что выше результатов наивного байесовского классификаторов, но гораздо менее эффективно, чем остальные алгоритмы.

Важно, что сравнительно с аналогичными результатами для данных английского языка точность довольно низкая. Действительно, документированные результаты для английского языка (Silva et al., 2011) составляют 95% и 90.8% для 6 упрощенных и 50 подробных классов соответственно. Однако, это ожидаемые результаты по ряду причин.

Во-первых, Сильва и др. использовали гораздо более широкий набор данных (представленный в (Li, Roth, 2002), состоящий из 5500 обучающих и 500 тестовых вопросов. Во-вторых, английский язык обладает большим количеством инструментов обработки естественного языка, что позволяет использовать больший диапазон полезных для классификации признаков. В частности, помимо словесных униграмм, классификатор Сильвы и др. использует такие признаки, как заглавные слова, гиперонимы и непрямые гиперонимы.

Наконец, классификации вопросов английского языка посвящено множество исследований, как показывает (Loni, 2011), чего нельзя сказать про классификацию вопросов русского языка. Поскольку русский язык отличен от английского и морфологически, и синтаксически, методы, использованные для классификации вопросов английского языка не всегда настолько же эффективны или даже применимы к русскому языку.

2.4 Применение алгоритмов глубинного обучения в классификации вопросительных предложений русского языка

Вопросительные предложения - структурированные данные, поэтому их можно обрабатывать соответствующими методами. Проблемы, в которых высока важность структуры, можно решать с помощью сверточных нейр...