Интеграция меры близости в логико-марковской сети в задаче извлечения временной информации с текста

Размещено на http://www.allbest.ru/

Интеграция меры близости в логико-марковской сети в задаче извлечения временной информации с текста

Введение

В связи с увеличением количества доступных электронных текстов, требование к системам автоматической обработки и извлечения информации из документов на естественном языке для различных целей, таких, как добыча данных, значительно возросло. Например, мы, возможно, будем интересоваться, когда и за сколько время одно событие, описано в новости случилось. Эта задача связана с проблемой определения описания временных выражений в тексте, а также определения самого события. Например, дано следующее предложение:

«С 1-ого января в Москве подорожает проезд в общественном транспорте»

Исходя из этого предложения, мы можем извлекать что «подорожание» - это событие, и что оно случится с«1-ого января». После того как эта информация уже была извлечена, она может использована для создания более структурированной базы знания, которую можно легко использовать в других системах обработки естественного языка (ОЕЯ), таких как, система поиска, система реферирования документов и вопросно-ответная система,…

Задача извлечения временной информации из текста на естественном языке интенсивно исследуется в последние годы. Она можно разделиться на четыре подзадачи:

· Идентификация временных выражений;

· Идентификация событий в тексте;

· Поиск описания времени для события;

· Определение временных отношений между событиями в тексте.

Различные подходы были проанализированы и применяются для решения этой задачи. Три основные подходы включают: традиционный подход,основанный на использование правил, полученных от экспертов лингвистических знаний, подход, основанный на статистические методы, использованы одно из нескольких алгоритмов машинного обучения, и гибридный подход. В работе [1] авторы объяснили преимущества и недостатки каждого из этих подходов. По сути, задача обработки естественного языка сложна из-за двусмысленности и неполноты знания. Это вызывает трудность и неэффективность при применении статистических методов, так как большинство из них требует представить объект обучения в виде признаковых векторов. Аппараты логики, например логика первого порядка и нечеткая логика, имеют широкие возможности для представления различных связей между явлениями в естественном языке, но они ограничены в способности обучении. Самые эффективные системы индуктивного обучения и вывода, такие как ALEPH [3], FOIL [4], Claudien достигли не очень высокой адекватности.

В данной работе, мы предлагаем новый метод для решения задачи извлечения временной информации с помощью аппарата логико-марковской сети (Markovlogicnetworks), которая разработана в 2006г. (ряд работы Домингоса и др. с 2006г. по 2008). Этот аппарат является вероятностным обобщением логики первого порядка, статистического обучения, позволяющего автоматически оценивать обоснованность выбранной модели явления и индуктивных правил, описывающих нестрогие зависимости между данными. Аппарат логико-марковской сети является самым удачным механизмом объединения мощности представления знания в традиционной двоичной логике и эффективности статистического обучения. Мы также разработали алгоритм, обеспечивающий числовые термы в логико-марковской сети и регулирование целевой функции с введением темпоральной семантико-синтаксической меры.

Структура статьи состоит из четырех частей. Мы начинаем с описанием основных понятий марковской сети, логики первого порядка и логико-марковской сети. Потом мы будем подробно описывать ее применение в решении нашей задачи. В конце мы представляем меру близости для временных отношений и их интеграцию в Марковской сети.

1. Логико-марковская сеть

сеть синтаксический числовой

Логико-марковская сеть (Markov logic networks) комбинирует логику первого порядка и марковскую сеть. В обычной базе знания на основе правилах продукции (логике первого порядка) типа «IfXisEthenYisA», если хотя одно утверждение не выполняется, то полнота БЗ (мира) нарушается. MLNs можно рассмотреть как обобщение логики первого порядка, при которой, когда одна формула не выполняется, то БЗ (мира) имеет меньшую возможности существования.

Логико-марковская сеть представляет собой множество пар {(F_i,w_i)}, где:

F_i - Формула в логике первого порядка

w_i - Действительное число

{(F_i,w_i)} вместе с набором констант C = (c₁,c₂,…,c_|C|) используются как шаблон для создания марковской сети M_L,C , содержащей:

· одну вершину для каждой возможной интерпретации (grounding) любого предиката в L. Данной вершине присваивается значение 1 если ее интерпретация верна, и 0 в обратном случае;

· один фактор для каждой интерпретации любой формулы F_i в L с соответствующим весом w_i.

Распределение вероятностей возможного мира (БЗ) марковской сети M_L,Cопределяется:

,

где n_i(x) является количеством верных интерпретаций (truegrounding) формулы F_iв x, x_{i} есть состояние (state) атомов, появляющихся в F_i и .

Вывод в нее часто требует и вероятных, и детерминированных методов. Даны некоторые факты (evidences), требуется найти значения запрошенных предикатов для максимизации их частного распределения. Структура сети обычно бывает сложным, и в этом случае точный вывод является трудноразрешимой проблемой. Поэтому метод приблизительного рассуждения как MCMC сэмплинг (Markovcha in Monte Carlo sampling) станет хорошим выбором. В связи с тем, что для решения нашей задачи мы используем и вероятностные правила, и строгие правила (deterministic dependencies), семплирование по Гиббсу([2])не эффективно обращается с детерминированными зависимостями, поэтому мы используем моделирование темперирования ([2]) для вывода.

2. Модель извлечения временной информации в логико-марковских сетях

В данной работе мы рассмотрим проблему определения временных отношений между событиями, описанных в документе. Извлечение временных отношений заключается в определении взаимосвязей между событиями или между событиями и моментами времени [1]. В процессе вывода временных отношений возникает проблема, связанная с тем, что временная информация выражается в тексте на естественном языке явным или неявным образом. В любом случае остается неоспоримым тот факт, что события всегда связаны друг с другом или с моментами времени. Как было написано в работе [1], на построение временного порядка влияет множество различных грамматических категорий, например видо-временные формы глаголов, наречия времени, грамматические единицы (краткое прилагательное, отглагольное имя существительное). Кроме того событиячасто связываются временными союзами. Это временные предлоги, наречия, местоимения и частицы.

3.1 Предикаты

В нашей модели, мы определяем различные предикаты для охвата этих появления.

Для каждого события, определены предикаты, описывающие разные его грамматические характеристики: Tense(e,!t), Perfect(e,!p), Aspect(e,!a), Class(e,!c), Modal (e,!m), Polarity(e,!p), Verb Class(e,!v), где e - событие, знак «!» означает, что каждое событие е принадлежит только одному классу

Таблица 2. Предикаты для описания события

Мы так же используем предикат HasVerb(e,+w) для указания, что событие е имеет слово w.

Для описания случая, когда специальные слова (союзы) присутствуют между событиями (мы, предложено, считаем момент времени как специальное событие), мы приводим предикат Have Connected Word (e₁,e₂,+c), где е₁, е₂ - события, с есть союзное слово, например, перед тем как, после, во время, с тех пор, когда, пока, как, в то время как,…

Два события, имеющие одинаковый объект, выражаются предикатом Have Same Object (e₁,e₂).

Для события, которые описываются в одном предложении, мы выражаем их предикатом In Same Sentence (e₁,e₂).

Главным предикатом запроса является In Group (e₁,e₂,g), означающий, что временное отношение между e₁,e₂ принадлежит группе g. Приняв классификацию временных отношений в работе [1], мы определяем девять групп временных отношений: {AFTER, BEFORE, DURING, INCLUDES, OVERLAPS, IS_OVERLAPPED, EQUALS, BEGIN, END}

В нашей работе, мы рассмотрели два варианта задания предиката запроса: In Group (e₁,e₂,!g) и In Group (e₁,e₂,+g). Первый вариант строго означает, что временное отношение между e₁,e₂ принадлежит только одной из девяти возможных групп, в то время второй разрешает мультигрупового случая.

3.2 Формула

Мы построили правила, чтобы описать нашу гипотезу о влиянии различных грамматических аспектов на временные отношения.

Для представления связи между видо-временной формой глаголов и временным отношением двух событий, мы предлагаем следующее правило:

Tense(e₁,+t₁) ^ Tense(e₂,+t₂) ^ Perfect(e₁,+p₁) ^ Perfect(e₂,+p₂) => InGroup(e₁,e₂,g)

Для описания влияния аспектуального класса, модальности и полярности на временное отношение двух событий, мы определяем следующее правило:

Aspect (e₁,+a₁) ^ Aspect (e₂,+a₂) ^ Modal(e₁,+m₁) ^ Modal(e₂,+m₂) ^ Polarity(e₁,+p₁) ^ Polarity (e₂,+p₂) => In Group (e₁,e₂,g)

Когда между событиями существуют союзные слова, тогда с большой вероятностью эти слова играют важную роль в построении временного порядка. Для этого случая мы используем простое правило:

Have Connected Word (e1,e2,+c) =>InGroup (e₁,e₂,g)

Иногда сами имени события, т.е. слова, описывающие события, сильно влияют на их временной порядок. Посмотрим пример:

«Я упал на полу. Кто-то меня толкнул»

В этом примере, между событиями нет ни какого связного слова. Но, исходя из знания о познавательном мире, мы знаем, что падение всегда происходит после толкования, и сможем сделать правильное заключение об их временном отношении. Для описания этого появления мы определяем правило:

HasVerb(e₁,+w₁) ^ HasVerb(e₂,+w₂) =>InGroup(e₁,e₂,g)

Детерминированные правила

MLNs допускает написать строгие правила, и этим правилам будут присваиваться весы с бесконечным значением. Это можно рассмотреть как обычные продукционные правила, и они всегда выполняются. Мы построили 5 групп экспертных правил для разных случаев появления событий.

Транзитные правила

В других работах до нашей работы, транзитные правила используются для повышения количества найденных временных отношений. Но во всех этих работах, это происходит как пост-процесс только после процесса классификации [6]. Это приводит к не согласованности в базе знания. В работе [7] авторы предлагали метод, гарантирующий глобальную согласованность в базе знания с помощью линейного целочисленного программирования, но ограничены только два возможных отношений. С помощью MLNs мы интегрируем эти правила в процессе вывода, следовательно, гарантируются согласованность и эффективность при выводе.

Некоторые транзитные правила являются строгими, некоторые выполняются с большой вероятностью, поэтому имеет вес с большим значением, а другие являются «мягкими» правилами, например:

InGroup(e₁,e₂, BEFORE) ^ InGroup(e₂,e₃, BEFORE) => InGroup(e₁,e₃, BEFORE)

InGroup(e₁,e₂, BEFORE) ^ InGroup(e₂,e₃, OVERLAPS) => InGroup(e₁,e₃, BEFORE)

InGroup(e₁,e₂, BEFORE) ^ InGroup(e₂,e₃, DURING) => InGroup(e₁,e₃, OVERLAPS)

4. Интеграция меры близости в логико-марковских сетях

Хотя MLNs является очень мощным аппаратом для обучения и вывода, но она ограничена тем, что все означенные формулы (ground formula) одной формулы имеют одинаковый вес. Тем более в стандартнойMLNs не рассматривается возможность использования числовых термов. Числовые термы пригодны в случае, когда мы хотим добавить некоторые числовые оценки для объектов обучения. В решении нашей задачи, мы вводим темпоральную меру близости для двух пар событий и используем ее для повышения адекватности модели и избегаем от проблемы переобучения.

Темпоральная семантико-синтаксическая мера близости

В основе семантико-синтаксическая меры сходства лежит использование следующих двух техник: синтаксическая структура предложения и мера семантической близости слов на основе тезауруса Russian Word Net [5].

С помощью синтаксического анализа мы построим дерево синтаксического разбора. На основе полученных деревьев, мы вычисляем меру семантической близости для соответственных пар слов на 2-х деревьях. Полученная семантико-синтаксическая мера нормируется в интервале [0,1].

Интеграция меры близости в MLNs

Интеграция обоснована на такой идее, что два объекта близко друг к другу высоковероятно находятся в одной группе. Для введения меры близости мы будем расширять стандартнуюMLNs для поддержки числовых термов и определим новый предикат Similar(e₁,e₂,e₃,e₄).

Similar(e₁,e₂,e₃,e₄) вычисляет меру близости между 2-мя парами событий (e₁,e₂) и (e₃,e₄).

Формула: Similar(e₁,e₂,e₃,e₄)^InGroup(e₁,e₂,+g)^InGroup(e₃,e₄,+g) (1)

Обучение и вывод в MLNs реализуются посредством максимизации логарифмической функции правдоподобия, являющейся маргинальной вероятностью запрошенных предикатов при некоторых заданных свидетельствах.

Для стандартной MLNs, при постановке дискриминационного обучения условная функция правдоподобия вычисляется по формуле:

где F_y есть множество формул, содержащих, по крайней мере, один атом запроса (queryatoms)

n_i(x,y) является количеством верных означений (truegrounding) формулы F_iв (x,y) и Z_x является коэффициентом нормализации.

Для обеспечения ограничения о соседних объектах мы составим целевую функцию:

где wявляется весом формулы (1)

s_ijявляется весом близости между 2-мя объектами

Эта модель позволяет включить глобальную согласованности объектов на определенной мере близости.

Сумма S вычисляется во время вывода на модели с помощью метода MCMC [2].

Заключение

В работе предложен новый подход решения задаче извлечения временной информации с помощью аппарата логико-марковской сети. Интеграция приорных знаний всегда является большой проблемой в обработке естественного языка. Логико-марковской сеть дает естественный способ решения с поддержкой строгих правил и «мягких» правил, за счет которых смягчит условие согласованности базы знания. Однако в логико-марковской сети никак нельзя влиять на процессе выбора обучаемой выборки, потому что вес для всех означенных формул (groundingformula) одной формулы зафиксирован. Предложенный в данной работе метод использования меры близости дает возможность регулировать целевую функцию и поэтому влиять на определение значимости обучаемой выборки.

Литература

1. Заболеева-Зотова А.В., Фамхынг Д.К., Захаров С.С. Гибридный подход к обработке временной информации в тексте на русском языке//Труды 11-ой национальной конференции по искусственному интеллекту с международным участием (Дубна, 28 сентября - 3 октября 2008 г.). - М.: URSS, 2008. - С.228-235.

2. Richardson M., Domingos P. Markov Logic Networks// Machine Learning. - 2006. - Vol.62. - P.107-136.

3. Srinivasan A. The Aleph manual.

4. http://web.comlab.ox.ac.uk/oucl/research/areas/machlearn/Aleph/.

5. Landwehr N., Kersting K., Raedt L. D. Integrating Naive Bayes and FOIL// Journal of Machine Learning Research. - 2007. - Vol.8. - P.481-507.

6. Русский Wordnet-http://wordnet.ru/

7. Temporal Awareness and Reasoning Systems for Question Interpretation - http://timeml.org/site/tarsqi/index.html

8. Philip B., Pawan D., Yoong K.L., Regina B. Inducing Temporal Graphs// In Proceedings of the Empirical Methods in Natural Language Processing, 2006.

Размещено на Allbest.ru