Важным этапом алгоритма разрешения анафорических связей является определение кандидатов для каждого анафора. Эту проблему авторы работ на данную тему для русского языка решали различными способами, разработанными при помощи Tomita-parser/Freeling. Но так как наша система работает с синтаксически обработанными текстами, было решено реализовать извлечение именных групп с помощью синтаксического дерева. Так как синтаксический разбор предложений был дополнен информацией о сдвиге каждого слова (подробнее будет описано далее), то это делало возможным сравнение именных групп - кандидатов с элементами референтных цепочек.

Алгоритм извлечения именных групп следующий:

1) Найти существительное и запомнить его порядковый номер "Х" в предложении

2) Добавить в список все слова в предложении, которые стоят под узлом с номером "Х"

3) Отсортировать список слов согласно правилам (к правилам относятся следующие:

4) 1) если слово глагол, либо прилагательное в сравнительной степени, либо это служебное слово (пунктуация), то алгоритм удаляет исходное слово из списка вместе со всеми зависимыми словами).2) если это предлог, сочинительный союз или существительное, то алгоритм переходит к пункту 2, используя порядковый номер данного слова как "Х".3) в остальных случаях алгоритм прекращает работу)

Возможно, алгоритм может быть дополнен во время проведения тестов и запуске системы для того, что повысить точность системы. Точность и полнота работы алгоритма не замерялась, так как главная цель этого алгоритма - получить вершину именной группы с показателем сдвига (вершиной именной группы может быть любое существительное). При определении границ именных групп возможны ошибки, которые обусловлены, во-первых, неполнотой описанных ограничений в алгоритме, во-вторых, работой синтаксического парсера, который может быть источником ошибок. Во время работы с синтаксически обработанными тексты выяснилось, что парсер может даже неправильно делить на предложения, тем самым, подтверждая тот факт, алгоритм поиска именных групп зависит от точности работы парсера.

Изначально, алгоритм ищет кандидатов на расстоянии 3+1 предложений от местоимения, т.е. три предложения до исходного плюс исходное предложение. Это расстояние превышает те размеры, которые были взяты авторами статей в работах, описанных в пункте 2.2 Поэтому, возможно, в дальнейшем потребуется изменить расстояние для того, чтобы улучшить эффективность алгоритма.

1.2.3 Извлечение признаков

В настоящей работе была использована следующая модель для распознавания анафорических связей. Задача распознавания сводится к задаче классификации. Это означает, что для каждого анафорического выражения алгоритм создает список кандидатов на роль антецедента, целевыми классами являются два класса: пара ИГ, связанная анафорической связью vs. пара, не связанная анафорической связью, т.е. мы имеем два целевых значения: 1-связь есть, 0 - связи нет. Далее в работе, пара двух ИГ потенциальный антецедент + анафорическое местоимение будет называться анафорической, если эта пара принадлежит множеству размеченных в аннотированном корпусе пар. Алгоритмов классификации существует большое количество, поэтому на базовых признаках будут запущены несколько алгоритмов, и тот алгоритм, который покажет наилучшие результаты, будет использован в дальнейшем исследовании влияния синтаксических признаков. Базовые признаки были выбраны на основе работ, в которых описывались системы для разрешения анафорических связей в русском языке.

В качестве базовых признаков в настоящей работе были использованы следующие признаки для обучения:

1) длина именной группы в буквах 2) длина именной группы в словах 3) дистанция между именной группой и местоимением в словах 4) дистанция между именной группой и местоимением в буквах 5) дистанция между именной группой и местоимением в именных группах 6) согласование в числе 7) согласование в роде 8) сколько раз встретилась лемма слова в тексте до местоимения (salience) 9) тип местоимения (personal/relative/reflexive)

Набор признаков практически целиком соответствует набору "самых полезных" признаков из статьи (Ionov and Kutuzov, 2014). Под "самыми полезными" признаками понимаются признаки, которые внесли наибольший вклад в классификацию кореферентных связей. Признаки 1-5 относятся к позиционным, признаки 6-7 относятся к синтаксическим, 8-й признак это, как было уже сказано ранее, контекстный вес, и 9-й признак - морфологический. Все признаки были собраны с помощью собственных скриптов, написанных на Python. На вход подавались только синтаксически обработанные тексты, тексты оригиналов никак не обрабатывались. Для того, чтобы связать словоформы из синтаксического дерева со сдвигом из другого документа, на котором основана разметка анафорических связей, синтаксическая разметка была дополнена информацией о сдвиге. Посчитать сдвиг автоматически, используя длины слов в синтаксическом дереве, так, чтобы этот сдвиг совпадал с разметкой, не удалось, потому как разметка была нанесена на оригинальный текст, в котором присутствовали лишние пробелы, либо дополнительные знаки, которые при обработке в синтаксическом парсере были удалены. Так как реализуются базовые признаки, которые не раз были реализованы в других работах, то ожидаемый результат работы классификаторов составлял от 40 до 60 процентов.

После определения всех базовых признаков стояла задача в соотнесении пар кандидат + анафор с референтными цепочками из документа. Решалась она следующим образом:

1) Поиск анафора в цепочках на основе совпадения сдвигов (после нахождения выдается референтная цепочка).

2) Для каждого кандидата для заданного анафора произведен поиск по вершине группы и сдвигу вершины среди всех элементов референтной цепочки.

3) Если вершина именной группы кандидата совпадает с вершиной элемента в референтной цепочки (совпадает их сдвиг), значит между этим кандидатом и анафором есть кореферентная связь.

Данный алгоритм позволяет решать проблему с возможным несоответствием именных групп, которые были извлечены с помощью собственных алгоритмов, с теми, что были представлены в цепочках.

1.2.4 Сравнение результатов классификаторов

Как уже было описано ранее, в настоящей работе разрешение анафорических связей рассматривается как задача классификации. Для реализации алгоритмов классификации была выбрала библиотека scikit-learn URL: http: //scikit-learn.org/stable/index.html на языке программирования Python. В данной библиотеке представлено большое количество алгоритмов классификации, среди которых были выбраны самые популярные: Логистическая регрессия, Наивный байесовский классификатор, Метод k ближайших соседей, Дерево решений и Метод опорных векторов (SVM). Для начала было решено проверить, какой алгоритм классификации покажет лучший результат на базовых признаках. И в последствии использовать лучший классификатор для изучения влияния синтаксических признаков. Кроме этого, при выделении именных групп - кандидатов, в работе было решено взять дистанцию в три предложения перед предложением с местоимением. Данный промежуток превосходит в длине те промежутки, которые были взяты за основу в алгоритмах для русского языка, описанных в разделе анализа существующих систем. Поэтому было решено проверить, как влияет промежуток на работу классификаторов, а именно, был взят промежуток D1 равный трем предложениям перед исходным, и промежуток D2 равный двум предложениям перед исходным.

После обработки текстов, были получены данные показанные в таблице 2.

Таблица 2.

Под положительными векторами понимаются вектора, относящиеся к парам антецедент + анафор, которые оказались анафорическими. Число положительных векторов растет при увеличении дистанции потому, что на одной дистанции могут оказаться несколько антецедентов сразу. Распределение на положительные и отрицательные получилось неравномерным, поэтому была взята только часть отрицательных векторов в соотношение 2 к 1 в пользу отрицательных. Тренировочный набор векторов состоит из 70 процентов от всего набора положительных векторов, соответственно тестовый набор - 30 процентов. При проверке дистанции было решено использовать минимальное количество из положительных векторов, т.е. 2072. Таким образом, число отрицательных векторов было равно 4000.

Результаты работы классификаторов представлены в таблице 3.

Таблица 3.

В схеме 2 наглядно показаны результаты работы классификаторов.

Схема 2.

Схема 2 показывает, как влияет дистанция на каждый классификатор. Классификатор "Логистическая регрессия" показывает примерно одинаковые результаты на данных разной длины. "Наивный Байес" чуть лучше справился с задачей классификации, чем предыдущий алгоритм, но в любом случае, изменение данных практически не повлияло на работу классификатора. Метод "k ближайших соседей показал лучший результат на большей дистанции (D1), однако разница в 0.01 не является значимой. Алгоритм "дерево решений" аналогично практически не зависим от дистанции. И наконец "Метод опорных компонент" показал намного более худшие результаты на дистанции в два предложения (разница 0.11).

Анализ данной схемы дает следующие результаты: для всех классификаторов, кроме "метода опорных векторов", увеличение дистанции в среднем практически не влияет на работу классификатора (в среднем означает F1-score, потому как он отражает среднее между Precision и Recall); изменение дистанции в большей степени повлияла на SVM. Если сравнивать классификаторы между собой, то в среднем, они дают приблизительно одинаковые результаты, кроме классификатора "метод опорных векторов". Последний алгоритм показал лучшие результаты на дистанции D1. На основе данной статистики было решено использовать SVM в качестве основного метода классификации, при этом оставив дистанцию D1, то есть три предложения перед исходным с анафором.

1.3 Внедрение синтаксиса

1.3.1 Эксперимент 1 (syntax1)

Синтаксические признаки в настоящей работе извлекаются благодаря синтаксической разметке. Синтаксическая разметка предоставляет следующую информацию:

1) положение в дереве зависимостей, а именно: от какого узла (порядковый номер) зависит данный узел (корневой элемент получает значение "0");

2) тип связи между данным узлом и узлом контролирующим данный.

Благодаря информации о положении в дереве, можно посчитать различные расстояния, к примеру, от корня дерева до узла или до другого узла, эти расстояния подробнее будут описаны позже.

Для начала было решено извлечь все возможные признаки из предложения, в котором находится местоимение, и проверить, как они повлияют на работу классификаторов. К таковым относятся:

1) расстояние от корня до местоимения (глубина местоимения);

2) тип связи местоимения и слова, контролирующего данное слово;

3) отношение глубины местоимения к глубине предложения;

4) количество узлов с той же глубиной;

5) количество запятых в предложении.

Сами по себе признаки никак не связаны с потенциальным антецедентом, отсюда можно сделать вывод, что значительного влияния на работу классификаторов признаки оказать не должны. Эксперимент осуществляется с помощью классификатора SVM. В данном эксперименте был выбран другой тренировочный сет, нежели при сравнении классификаторов, поэтому результаты могут измениться.

Результаты добавления признаков, перечисленных выше, представлены в таблице 4.

Таблица 4.

Результаты получились в целом лучше, чем дали базовые признаки (F1-score был 0.47, стал 0.54). Хотя предполагалось, что из-за того, что признаки никак не связаны с антецедентом, добавление данного набора не должно было существенно повлиять на работу системы. Однако, как можно заметить из таблицы 4, добавление признаков увеличило качество работы системы на 7 процентов. Можно попробовать изменить некоторые признаки, а именно: связать их с антецедентом для того, чтобы еще увеличить показатели. К примеру, глубину местоимения можно связать с глубиной антецедента, таким образом, получив некоторое позиционное отношение антецедента и анафора.

К тому же, благодаря второму признаку, а именно типу связи местоимения и слова, контролирующего его, удалось получить частотный список типов связей местоимения с его вершиной (т.е. типов пассивных валентностей местоимения). Список представлен в таблице 5.

В таблице 5 количество, указанное во втором столбце не соответствует количеству в основном корпусе текстов, поскольку для каждого местоимения строятся несколько векторов, а данный показатель отражает как раз таки количество связей в тренировочном корпусе.

Но соотношение между количеством связей в оригинальных текстах и количеством в тренировочном корпусе должно совпадать.

Данная статистика из таблицы 5 может помочь улучшить сам признак типа связей следующим образом: анализ диаграммы 1 показывает, что основное распределение синтаксических отношений (95%) основано на первых шести признаках (предик, опред, предл, 1-компл, квазиангет, 2-компл), а значит, что можно закодировать перечисленные типы связей под отдельными номерами, остальные же объединить в один нулевой тип, тем самым, уменьшить количество возможных вариантов признака.

Таким образом, получится 6 типов связи и одна общая группа.

Таблица 5.

Оставшиеся синтаксические отношения:

1) предик: Предикативное отношение связывает сказуемое X в качестве хозяина с подлежащим Y в качестве слуги;

2) опред: Х - существительное или прилагательное, Y - прилагательное или причастие. Обычно Y согласуется с X по роду, числу, падежу и одушевленности;

3) предл: Х - предлог, Y - именная группа, зависящая от предлога;

4) 1-компл, 2-компл: Эти синтаксические отношения связывают предикатное слово (глагол, существительное, прилагательное или наречие) с его (не первыми) синтаксическими актантами, а именно: 1-ое комплетивное синтаксическое отношение связывает слово с его вторым актантом, 2-е комплетивное - с 3-им актантом;

5) квазиагент: X - предикатное существительное, Y - слово, реализующее первую синтаксическую валентность этого слова, т.е. указывающее на его субъект.

Объединив девять синтаксических отношений, удалось увеличить показатели классификатора:

Таблица 4.

После объединения синтаксических отношений в специальные группы удалось увеличить результаты работы классификаторов на 0.01. Возможно, уменьшение количества вариантов данного признака (тип синтаксической связи) добавит еще немного к качеству работы классификатора, но было решено оставить группы в таком количестве, потому что они все являются значимыми (согласно информации из таблицы 5) для анафорических отношений, так что данный признак сможет значительнее повлиять на работу классификатора только при увеличении тренировочного набора векторов, т.е. при большем количестве документов с размеченными кореферентными связями.

1.3.2 Эксперимент 2 (syntax2)

Поскольку предыдущий эксперимент оказался успешным, внедрение следующих признаков будет независимым, то есть все признаки, которые уже были использованы, останутся, а к ним будут добавлены новые, а именно:

1) тип синтаксической связи антецедента со словом, его контролирующим;

2) глубина антецедента (расстояние от антецедента до корня в дереве).

Однако глубину антецедента и анафора в дереве можно объединить, то есть из этой комбинации можно получить два признака:

3) разница уровней в дереве (уровень антецедента vs уровень местоимения);

4) расстояние от анафора до антецедента.

Последний признак можно посчитать, только если анафор и потенциальный антецедент находятся в одном предложении. Для тех кандидатов, которые расположены в других предложения (т.е. не в том, где анафор), было решено добавить коэффициент, который отражал бы разницу в предложениях. То есть, к примеру, если взять коэффициент "+100" для каждого предложения получатся следующие результаты: данный признак в первом предложении должен выдавать значения от 0 до 100, то есть предполагается, что максимальная длина от антецедента до анафора в одном предложении не должна превышать 100; тогда во втором предложении данный признак будет получать значения от 100 до 200 и т.д. Алгоритм поиска расстояния от анафора до антецедента в одном предложении следующий:

1) для анафора и антецедента получить список из узлов от анафора/антецедента до корня;

2) посчитать путь до общего узла для антецедента и анафора (первый узел, встретившийся в двух списках сразу);

3) сложить полученные пути и вычесть 1.

Ожидается, что четыре новых признака повысят результаты работы алгоритма, потому как они добавляют характеристики антецедента, которых ранее не было.

Аналогично таблице о типах синтаксических отношений для анафора была подсчитана такая же статистика и для антецедентов. Поскольку таблица слишком большая, она доступна в приложении 2. Однако можно рассмотреть диаграмму распределения, она представлена в диаграмме 2.

Из диаграммы 2 видно, что основное распределение идет на следующие отношения: предл, 1-компл, предик, квазиагент, соч-союзн, аппоз). Аналогично методу, примененному в первом эксперименте, было решено закодировать самые частотные отдельными номерами, а остальные оставшиеся нулевым.

Неописанные синтаксические отношения, вошедшие в список самых частотных:

1) соч-союзн: Х - сочинительный союз, Y - вершина второго из однородных членов или предложений;

2) аппоз: Х - существительное, Y - следующее за ним приложение. Обычно X и Y согласованы по падежу и числу.

Результаты работы классификатора с новым алгоритмом представлены в таблице 5.

Таблица 5.

Добавление новых четырех признаков улучшило показатели классификатора на 0.03 (F1-score был 0.55, стал 0.58). Это говорит о том, что синтаксические отношения связывающие антецедент с анафором (расстояние, отношение уровней), положительно влияют на работу системы.

1.3.3 Эксперимент 3 (syntax3)

В предыдущих двух экспериментах были рассмотрены девять признаков, определяющих связь между анафорическим выражением и потенциальным антецедентом, которые удалось извлечь из синтаксического анализа текстов. Каждый из этих признаков напрямую связан либо с анафором, либо с антецедентом, либо с отношением этих признаков. В целом, признаки показали хорошие результаты (увеличение F1-score на 11 процентов).

Однако из синтаксических отношений между узлами в дереве, можно извлечь дополнительную информацию, кроме той, что уже была извлечена (тип отношения антецедента и анафора с контролирующим узлом). Между корнем и каждым узлом может быть определенная последовательность синтаксических связей, которая способна влиять на возможность анафорической связи между узлами. Оказывать влияние способна не последовательность, а непосредственно тип синтаксической связи, которая может быть характерна пути между антецедентом и корнем.

Таким образом, третий эксперимент предполагает изучение частотности синтаксических связей узлов, расположенных от узла с антецедентом до корня синтаксического дерева для того, чтобы перевести наиболее частотные синтаксические отношения в признаки для классификации. Хотя синтаксические связи антецедента извлекались для всех кандидатов, данные связи будут извлекаться не со всех потенциальных антецедентов, а только с тех, которые входят в кореферентную цепочку, для того, чтобы не предоставлять классификатору много лишней информации.

Таблица с синтаксическими отношениями и их количеством находится в приложении 3. Проанализировать таблицу можно с помощью диаграммы 3, которая представлена ниже.

Из диаграммы видно, что два самых больших блока это "предик" и "1-й компл". Далее, такие синтаксические отношения, как "предл", "соч-союзн", "сочин", "сент-соч", "подч-союзн", "квазиагент" и "обст", образуют следующий кластер отношений (позже второй кластер), согласно их примерной доли среди остальных отношений. Все оставшиеся отношения можно отнести в третий кластер.

Теперь необходимо сделать из этих кластеров признаки для обучения. Во-первых, данные признаки могут быть представлены как и по одиночке, так и вместе в некоторой комбинации, поэтому необходимо создать как минимум два признака. Во-вторых, эти признаки должны учитывать как самые большие кластеры, так и самые маленькие разделения, так как все они отражают отношения между корнем и антецедентом-референтом, поэтому было решено составить признаки для классификатора следующим образом:

1) Есть ли в списке отношений "предик"?

2) Есть ли в списке отношений "1-компл"?

3) Есть ли в списке отношений второй кластер?

4) Есть ли в списке отношений четвертый кластер?

После проведения последнего эксперимента (syntax3) были получены результаты, представленные в таблице 6.

Таблица 6.

Добавление последних четырех признаков не значительно повлияло на работу классификатора, прирост F1-score всего в 1 процент. В данном случае нельзя уверенно сказать, что признаки, представленные в 4-м эксперименте положительно влияют на работу, однако, возможно, в том случае, если корпус текстов вырастет в несколько раз, то и признаки и значение признаков для классификатора возрастет.

Одной из возможных причин, почему предложенный в третьем эксперименте набор признаков не дал значительных результатов, может быть и тот факт, что распределение синтаксических отношений вне референтных цепочек может совпадать с распределением внутри цепочки. Для того, чтобы проверить данную теорию, была собрана статистика таких связей (связь между корнем и антецедентом, который в итоге не является анафорическим элементом), представленная в таблице в приложении 4. Информацию с таблицы можно проанализировать наглядно с помощью диаграммы 4.

Анализ диаграммы показывает, что три самых больших блока ("1-компл", "предл", "предик") совпадают с распределением в референтной цепочке, однако немного в другом порядке. То же самое касается "второго кластера" ("обст", "сочин", "соч-союзн", "сент-соч", "подч-союзн", "квазиагент"), выделенного в референтных цепочках, он аналогично представлен тем же составом, но немного в другом порядке. Это подтверждает тот факт, что распределения примерно одинаковые. Однако, в добавок к этому, можно заметить, что количество разных отношений в референтных цепочках меньше, чем не в референтных, на 11 отношений. Это говорит о том, что если встретятся такие отношения, которые не представлены в референтных цепочках, то система должна отличать эти отношения, как отношения, не связанные с референтностью. Возможно, именно это связь и добавила один процент к результатам работы системы.