Сравнительный анализ организации систем синтаксических парсеров

3. Поиск границ простых предложений в составе сложноподчиненного предложения и определение типа связи между ними

На этом шаге используется та часть базы шаблонов союзов, которая описывает подчинительные союзы. Обратимся к организации базы шаблонов [18] и преимуществам, которые она даёт как в части анализа сложных предложений, так и при анализе употребления союзов в остальных случаях. Шаблон союза описывается полями:

1) количество слов первой части союза;

2) количество слов второй части союза;

3) написание союза;

4) предполагается ли запятая перед союзом 1- да, 0 -нет, 2-может стоять перед союзом, если он во второй части;

5) возможно ли многократное повторение, разделённое запятыми (открытое употребление союза) 1- да, 0 - нет;

6) возможно ли разделение союзом двух однородных членов (закрытое употребление союза) 1- да, 0 - нет;

7) тип союза;

8) номер класса правил для поиска связанных союзом слов.

Номер класса правил определяет множество правил, каждое из которых представлено кортежами:

1) грамматическое выражение, которое сопоставляется с морфологической информацией первого из слов, связанных посредством союза;

2) грамматическое выражение, которое сопоставляется с морфологической информацией второго из слов, связанных посредством союза;

3) перечень грамматических категорий, по которым должны согласоваться морфологические информации первого и второго слов элементы;

4) порядок следования в первого и второго слов в тексте (0 - безразличен, 1 - обязательно второе слово следует после первого, 2 - обязательно первое слово следует после второго);

5) требуемое положение первого слова по отношению к границам сегмента, в который он входит, и по отношению к границе между связанными сегментами;

6) требуемое положение второго слова по отношению к границам сегмента, в который он входит, и по отношению к границе между связанными сегментами.

Первые три элемента этих правил заимствованы из работы [3], где они описывали структуру правила согласования слов.

Для односоставных союзов «первым словом» считается слово, находящееся левее союза, а вторым - находящееся правее союза. Для двусоставных союзов первое слово принадлежит сегменту, в котором находится первая часть составного союза, а второе - сегменту, в котором находится вторая часть составного союза. Причем для подчинительных союзов первое первая часть союза принадлежит главной клаузе.

Описанная выше организация шаблонов правил позволяет решать отмеченные в работе [7] вопросы современных парсеров связанные с неодносложными союзами, с разбором трёх и более однородных членов, выбора слов главной и подчиненной клауз, связывающих их между собой, а также отмеченный в работе [5] вопрос с выразительным союзом «и».

Сегменты, между словами которых найдена связь, объединяют в один путем объединения их элементов. Предпочтение отдаётся сегментам, которые ближе расположены друг к другу.

4. Установление связей между однородными членами.

Для установления однородных членов используется база шаблонов сочинительных союзов, поля которой приведены выше. После этого анализируются оставшиеся знаки препинания.

5. Получение предикатной структуры предложения.

Предикатная структура представлена фрагментом дерева зависимости, в котором дугам приписаны типы семантической связи, а для глагола отмечен его семантический класс.

Из узлов фрагмента дерева зависимости (также как из самого дерева зависимости) доступны как написания соответствующих слов в тексте, так и их интерпретации (леммы и морфологическая информация), которые соответствуют синтаксическому разбору, что важно для последующего семантического и прагматического анализа.

ЗАКЛЮЧЕНИЕ

В результате проведенных исследований была разработана система синтаксического анализа, в которой реализованы методы автоматической обработки текста на русском и английском языках, позволяющие проводить его морфологический и семантико-синтаксический анализ. Это позволило сделать следующие выводы.

1. Предложено использовать многоуровневое представление текста, которое, с одной стороны, сохраняет все данные, полученные на более ранних этапах обработки, а с другой - позволяет получить представление о минимальных структурных элементах текста: лексических (слова) и нелексических (сокращения, аббревиатуры, адреса, даты и т.п.) единицах текста. Такое представление позволяет упростить синтаксический анализ текста. Кроме того, оно даёт возможность изменить интерпретацию отдельных структурных элементов текста или их перечень, если такая необходимость возникнет на более поздних этапах обработки текста (синтаксический, семантический, прагматический), что сделает лингвистический процессор более гибким и надёжным.

2. Введенные понятия структурных единиц предложения как обобщенный базовый элемент и сегмент, разработанные структуры данных для их описания, а также процедура выделения в отдельные сегменты последовательностей слов фрагмента предложения позволяют:

- эффективно выделять атрибутивные связи в словосочетаниях, включая проблемный случай нахождения связи в группах вида «прилагательное + прилагательное + существительное», упомянутый в работе [5];

- упростить процедуру синтаксического анализа - сократить после выделения сегментов количество анализируемых слов предложения за счет главного слова в сегменте.

3. Предложенная организация шаблонов союзов и правил для их выделения позволяет решать такие проблемные вопросы современных парсеров как интерпретация неодносложных союзов, разбор трёх и более однородных членов, выбор слов главной и подчиненной клауз, связывающих их между собой, а также проблему выразительного союза «и».

4. Использование минимальных структурных схем предложения позволяет избежать вопросов с главными членами предложения, в которых предикат выражен не формой глагола, а для русского языка - учитывать связку типа есть, кроме того, не допускать ошибок при обработке идиоматических конструкций «малого синтаксиса».

5. Использование словаря валентности глаголов позволяет уменьшить количество вариантов разбора, поскольку по нему выбирают предпочтительные связи между глаголом и его актантами, запоминают семантический класс глагола и типы предикатной связи присутствующих в предложении актантов.

6. Созданный синтаксический парсер представляет собой «легкий» инструментарий для анализа текста. Он предлагает универсальный подход к семантико-синтаксическому анализу, используя семантическую классификацию предикатов, адаптируемую под большинство языков. Это выгодно отличает представленную разработку от систем ABBYY Syntactic and Semantic Parser и ЭТАП-3, которые используют лингвистические ресурсы, создаваемые многими годами и большим количеством профессионалов, а следовательно, имеют огромную себестоимость и являются зависимыми от языка.

Представленная синтаксическая модель предложения является универсальной, описывает предложения русско- и англоязычных текстов и позволяет полностью выявлять как предикативные так и синтагматические отношения в виде дерева зависимостей, осуществлять первичный семантический анализ за счет учета семантического содержания актантов предиката, используя семантическую классификацию предикатов.

Работа была выполнена в рамках НИР «Исследование и разработка программного обеспечения понимания неструктурированной текстовой информации на русском и английском языках на базе создания методов компьютерного полного лингвистического анализа» (по контракту Минобрнауки от «07» июня 2012 г. 07.514.11.4133).

СПИСОК ЛИТЕРАТУРЫ

1. Anisimovich K. V., Druzhkin K. Ju., Minlos F. R., Petrova M. A., Selegey V. P., Zuev K. A. Syntactic and semantic parser based on ABBYY Compreno linguistic technologies // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 30 мая-3 июня 2012 г.). Вып. 11 (18): В 2 т. Т. 2: Доклады специальных секций - М.: Изд-во РГГУ, 2012. - С. 91-103.

2. Antonova A. A., Misyurev A. V. Russian dependency parser SyntAutom at the DIALOGUE-2012 parser evaluation task // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 30 мая-3 июня 2012 г.). Вып. 11 (18): В 2 т. Т. 2: Доклады специальных секций - М.: Изд-во РГГУ, 2012. - С. 104-118.

3. Iomdin L., Petrochenkov V., Sizov V., Tsinman L. ETAP parser: state of the art // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 30 мая-3 июня 2012 г.). Вып. 11 (18): В 2 т. Т. 2: Доклады специальных секций - М.: Изд-во РГГУ, 2012. - С. 119-131.

4. Толдова С. Ю., Соколова Е. Г., Астафьева И., Гарейшина А., Королева А., Привознов Д., Сидорова Е., Тупикина Л., Ляшевская О. Н. Оценка методов автоматического анализа текста 2011-2012: синтаксические парсеры русского языка // Компьютерная лингвистика и интеллектуальные технологии: По материалам ежегодной Международной конференции «Диалог» (Бекасово, 30 мая-3 июня 2012 г.). Вып. 11 (18): В 2 т. Т. 2: Доклады специальных секций - М.: Изд-во РГГУ, 2012. - С. 77-90.

5. Дорохина Г.В., Павлюкова А.П. Модуль морфологического анализа слов русского языка // Искусственный интеллект. - 2004. - № 3. - С. 636-642.

6. Дорохина Г.В. Исследование алгоритма морфологического анализа слов с дефисным написанием / Г.В. Дорохина, А.О. Журавлёв, Е.А. Бондаренко // Системы и средства искусственного интеллекта. ССИИ-2012 : материалы международной научной молодёжной школы (пос. Кацивели, АР Крым, Украина, 1-5 октября 2012). - Донецк : ИПИИ «Наука і освіта», 2012. - С.17-24.

7. Дорохина Г. В. Модуль морфологического анализа без словаря слов русского языка / Г. В. Дорохина, В. Ю. Трунов, Е. В. Шилова // Искусственный интеллект. - №2. - 2010. - С.32-36.

8. Ляшевская О. Н., Астафьева И., Бонч-Осмоловская А. А., Гарейшина А., Гришина Ю., Дьячков В., Ионов М., Королева А., Кудринский М., Литягина А., Лучина Е., Сидорова Е., Толдова С. Ю., Савчук С. О., Коваль С. А. Оценка методов автоматического анализа текста: морфологические парсеры русского языка//Компьютерная лингвистика и интеллектуальные технологии. По материалам ежегодной Международной конференции "Диалог" (2010) Т. 9. Вып. 16. М.: РГГУ, 2010, С. 318-326.

9. Лущай В.В. Заполнение позиционного состава предложения по принципу функциональной эквивалентности: интроспективный анализ в русле экспликационной грамматики / В.В. Лущай - Донецк: ДонНУ. - 2010. - 255с.

10. Дорохина Г. В. Автоматическое выделение синтаксически связанных слов простого распространенного неосложненного предложения / Г.В. Дорохина, Д. С. Гнитько // «Сучасна інформаційна Україна: інформатика, економіка, філософія»: матеріали доповідей конференції, 12 _ 13 травня 2011 року, Донецьк, 2011. Т. 1. - с. 34-38.

11. Современный русский язык: Учеб. Для филол. спец. высших учебных заведений. Под ред. В.А. Белошапковой. - 3-е изд. - М.: Азбуковник, 1997. - 928 с.

12. Бондаренко Е. А. Принципы автоматической обработки естественно-языковых текстов: валентностный подход / Е. А. Бондаренко, О. А. Каплина // Искусственный интеллект. -- 2013. -- N1. -- С. 80-90.

13. Дорохина Г.В. Ограничение количества гипотез фразы при распознавании слитной речи // Известия ТРТУ - 2005. - № 10. - C. 54-60.

14. Харламов А.А. Метод выделения главных членов предложения в виде предикативных структур, использующих минимальные структурные схемы / А.А Харламов, Т.В. Ермоленко, Г.В. Дорохина, Д.С. Гнитько // Речевые технологии. -- 2012. -- №2. -- С.75-84.

Размещено на Allbest.ru