Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

Актуальность темы. В настоящее время в связи с тем, что возрастают в геометрической прогрессии объемы электронных документов, то возникает необходимость в обработке неструктурированной текстовой информации, а также в повышении качества и эффективности уже имеющихся методов обработки текстов.

К основным проблемам компьютерной лингвистики относится семантический анализ корпусов. С целью определения тематической структуры каждого документа применяют тематическое моделирование. На основе данного метода можно определить темы, к которым относится каждый из документов. Базируется этот метод на переходе от терминов к найденным тематикам, что выполняется за счет параллельных или распределенных алгоритмов, которые предназначены для решения проблем синонимии и полисемии у терминов, а также эффективно решают следующие задачи:

· тематический поиск;

· классификация;

· суммаризация и аннотация корпуса.

Научная и практическая значимость исследования. В работе разрабатывается система моделей и алгоритмов, направленных на комплексное решение задачи применения знаний о языке и о мире для улучшения качества автоматической обработки текстов в приложениях информационного поиска.

В трудах многих российских и зарубежных исследователей поднимались вопросы применения онтологий. К таким авторам относятся: П. Воссен, Н.Г. Загоруйко, Д.Г. Лахути, О.А. Невзорова, С. Ниренбург, В. Раскин, В.Ш. Рубашкин, В.Д. Соловьев, С.Ю. Соловьев, М.Г. Мальковский, В.Ф. Хорошевский, Н.В.Лукашевич и др.

Цель работы. Создание компонентов лингвистического обеспечения интеллектуальных информационных систем для аналитического мониторинга.

Задачи исследования:

· отбор ключевых терминов, задающих предметную область (ПО);

· семантический поиск по заданным ключевым словам;

· загрузка больших объемов данных из Интернета;

· формирование списка наиболее значимых понятий ПО из ключевых терминов и значимых словосочетаний;

· формирование лингвистической онтологии ПО.

Объект и предмет исследования. В рамках выпускной квалификационной работы объектом исследования выступает предметная область «Компьютерная графика, визуализация и виртуальная реальность». Предметом исследования является построение онтологической модели при помощи дистрибутивной семантики.

1. Описание онтологий и их применение в автоматической обработке текстов

1.1 Понятие онтологий и особенности различных видов онтологических ресурсов

Онтологии представляют собой компьютерные ресурсы, содержащие формализованное описание фрагмента знаний о мире. При имеющихся различиях к определению онтологии большинство авторов соглашаются в наборе основных компонентов онтологии: классы или понятия; атрибуты (свойства); экземпляры (отдельные индивиды), отношения между классами или экземплярами; аксиомы. Таким образом, формальным определением онтологий может служить следующее:

где С - понятия (классы) онтологии, E - экземпляры онтологии,

At - атрибуты понятий и экземпляров онтологии, R - отношения между понятиями (экземплярами), А - аксиомы онтологии.

В настоящее время разработка онтологий приняло вид, как явное формальное описание терминов определенной предметной области, а также состоит из отношений между ними. В сети интернет, онтологии стали обычным явлением: они варьируются от больших таксономий, представляющих собой структуру веб-сайтов, до категоризаций продаваемых товаров и их характеристик в интернет-магазинах. В рамках многих дисциплин разрабатываются стандартные онтологии, благодаря которым могут совместно использоваться экспертами по предметным областям и для аннотирования информации в своей области. Например, уже существуют в области медицины большие стандартные, структурированные словари, представленные SNOMED и семантической сетью UMLS. В дополнение, разрабатываются обширные общецелевые онтологии, такие как UNSPSC, представляющую собой терминологию товаров и услуг, которая создана в рамках совместной программы ООН по развитию (the United Nations Development Program) и компания Dun & Bradstreet.

Понятие онтологии можно выразить как общий словарь для совместного использования информацией о предметной области учеными, выраженный машинно-интерпретируемыми формулировками основных понятий о предметной области, а также отношениями между ними.

Почему возникает потребность в разработке онтологии? Вот некоторые причины:

• Для совместного использования людьми или программными агентами общего понимания структуры информации.

• Для возможности повторного использования знаний в предметной области.

• Для того чтобы сделать допущения в предметной области явными.

• Для отделения знаний в предметной области от оперативных знаний.

• Для анализа знаний в предметной области.

Совместное использование людьми или программными агентами общего понимания структуры информации является одной из наиболее общих целей разработки онтологий. К примеру, пусть несколько различных веб-сайтов содержат информацию по медицине или предоставляют информацию о платных медицинских услугах, оплачиваемых через Интернет. Если эти веб- сайты совместно используют и публикуют одну и ту же базовую онтологию терминов, которыми они все пользуются, то компьютерные агенты могут извлекать информацию из этих различных сайтов и накапливать ее. Агенты могут использовать накопленную информацию для ответов на запросы пользователей или как входные данные для других приложений.

Обеспечение возможности использования знаний предметной области стало одной из движущих сил недавнего всплеска в изучении онтологий. Например, для моделей многих различных предметных областей необходимо сформулировать понятие времени. Это представление включает понятие временных интервалов, моментов времени, относительных мер времени и т.д. Если одна группа ученых детально разработает такую онтологию, то другие могут просто повторно использовать ее в своих предметных областях. Кроме того, если нам нужно создать большую онтологию, мы можем интегрировать несколько существующих онтологий, описывающих части большой предметной области. Мы также можем повторно использовать основную онтологию, такую как UNSPSC, и расширить ее для описания интересующей нас предметной области.

Создание явных допущений в предметной области, лежащих в основе реализации, дает возможность легко изменить эти допущения при изменении наших знаний о предметной области. Жесткое кодирование предположений о мире на языке программирования приводит к тому, что эти предположения не только сложно найти и понять, но и также сложно изменить, особенно непрограммисту. Кроме того, явные спецификации знаний в предметной области полезны для новых пользователей, которые должны узнать значения терминов предметной области.

Отделение знаний предметной области от оперативных знаний - это еще один вариант общего применения онтологий. Мы можем описать задачу конфигурирования продукта из его компонентов в соответствии с требуемой спецификацией и внедрить программу, которая делает эту конфигурацию независимой от продукта и самих компонентов. После этого мы можем разработать онтологию компонентов и характеристик ЭВМ и применить этот алгоритм для конфигурирования нестандартных ЭВМ. Мы также можем использовать тот же алгоритм для конфигурирования лифтов, если мы предоставим ему онтологию компонентов лифта.

Анализ знаний в предметной области возможен, когда имеется декларативная спецификация терминов. Формальный анализ терминов чрезвычайно ценен как при попытке повторного использования существующих онтологий, так и при их расширении.

Термину «онтология» удовлетворяет широкий спектр структур, представляющих знания о той или иной предметной области. В качестве в разной степени формализованных онтологий разными авторами рассматривается множество различных компьютерных ресурсов, в том числе и известных задолго до начала исследований по онтологиям таких, как рубрикаторы или тезаурусы. При этом в некоторых типах онтологий некоторые из вышеперечисленных компонентов онтологий могут быть неопределенны. Так, рубрикаторы обычно не включают экземпляры и атрибуты, т.е. распространенной формальной моделью рубрикаторов является модель вида:

Самые формальные онтологии - логические теории, основанные на произвольных логических утверждениях аксиом. Для описания этой формальной онтологии используются различные логики (такие как описательная логика, модальная логика и логика предикатов первого порядка) и языки описания онтологии: DAML+OIL, OWL, CycL, Ontolingua. Онтологии, например тезаурусы, рубрикаторы, чьи концепции не полностью определены с точки зрения формальных свойств и аксиом, также называются «легкими онтологиями» (lightweight ontologies).

У разработчиков онтологии есть разные толкования отношений между онтологией и естественным языком. Часть исследователей видят онтологию в качестве независимой структуры естественного языка, другие - в качестве независимой структуры конкретного природного языка, а остальные в формальном определении онтологии. Общепринятая модель, известная как онтология с включением в нее естественных языковых единиц, выглядит в следующем виде:

где словарь онтологии содержит набор лексических единиц (символов) для концепций LC и набор символов для связи LR;

C - набор концепций онтологий;

F и G сочетают наборы единиц с коллекциями концепциями и отношениями данной онтологии;

H - имеет таксономический характер отношений (связей), где понятия онтологии связаны нерефлексивными, ациклическими, транзитивными отношениями ;

R - означает, что содержатся нетаксономическая взаимосвязь между концепциями онтологии,

A - совокупность аксиом онтологии.

Известно, что существует много проблем, связанных с установлением взаимосвязи между понятиями и словами (выражениями) природного языка. Стремление к четкому оформлению взаимосвязи между концепциями онтологии чрезвычайно затрудняется в условиях, когда необходимо создать большие корпуса. Таким образом, «легкие», упомянутые выше онтологии, такие как тезаурус, были значительно более широко распространены в автоматизированных текстопроцессорных приложениях, т. н. лингвистических онтологиях, основанных на значении выражений естественного языка. Наиболее известными типами тезауруса, которые называются источниками знаний для неструктурированных информационных приложений, являются информационно-поисковые тезаурус (ИПТ) и тезаурус «WordNet».

ИПТ, в соответствии с определениями стандартов, представляет собой нормативный словарь терминов естественного языка, который четко указывает на связь между терминами и служит для описания содержания у документов и поисковых запросов. В соответствии с международными и национальными стандартами, формальную модель ИПТ выглядит следующим образом:

где Dth - совокупность дескрипторов тематических областей, которые соответствуют понятию этой ПО, индекс "th" означает, в данном случае, что разработчики информации и тезауруса включают в дескрипторы термины предметной области, которые необходимы для выражения основных тем;

T - набор терминов ПО:

RH - иерархические отношения ИПТ; RA - ассоциативные отношения ИПТ;

AT - аксиомы транзитивности иерархических отношений.

ИПТ, созданный в соответствии с международными и национальными стандартами, предназначен для использования в режиме индексирования вручную. По сути, такой тезаурус представляет собой искусственный язык описания, построенный на основе естественного языка. В этой области существует значительное расстояние между лексическим составом тематических документов ПО и словарем ИПТ. Поэтому традиционные словари для извлечения информации, предназначенные для индексирования вручную, трудно использовать в автоматическом индексировании документов и используются в других приложениях для извлечения информации, хотя эти тезаурусы содержат много полезных сведений о затрагиваемой области.

Не случайно, что изучение тезауруса в различных приложениях для обработки текстов имеет другой тип тезауруса, такой как WordNet, чей словарь гораздо более подробный, намного ближе к словарю документов. Однако описание в WordNet было также подвергнуто критике за отдельное описание частей речи, чрезмерно большого набора несвязанных ценностей, неформального описания синсетов и отношений между ними. Формальный шаблон для типа ресурса WordNet может быть представлен следующим образом:

где - совокупность синсетов, сгруппированных по частям речи (существительные, прилагательные, глаголы и наречия);

- наборы отношений между синсетами, различающиеся для разных частей речи,

T - слова и словосочетания, описанные в ресурсе,

S - связи между текстовыми выражениями и синсетами, M - набор неоднозначных текстовых выражений: MT,

An - аксиомы транзитивности и наследования, где индекс "n" отражает тот факт, что аксиомы обсуждаются и используются в подавляющем большинстве случаев только для синсетов существительных.

Часто тема онтологической модели не является самоцелью. Создание онтологии сходна с определением набора данных и его структурой, используемой другими программами. Методы разрешения задач, независимые от домена приложения и программные агенты используют данные онтологической модели и базу знаний, основываясь на этих онтологиях.

1.2 Методы построений онтологий

К числу методологий и методов построения онтологических моделей "с нуля" относятся следующие:

1. Cyc подход;

2. метод Усколда и Кинга;

3. методология Грюнингера и Фокса;

4. методология METHONTOLOGY.

1. Cyc подход.

Известно [Lenat и et al., 1989], что Cyc подход был сформирован в процессе осуществления амбициозного проекта по созданию общеизвестной базы знаний «здравого смысла» в 80-е годы под руководством Д. Лената, одного из наиболее известных ученых в Соединенных Штатах в области баз знаний и экспертных систем. Оценивая этот проект с точки зрения сегодняшнего дня, можно сказать, что он не смог, а также еще более амбициозные проекты, такие, как проект "Компьютерные системы v- поколения" в Японии и аналогичные проекты в других странах. Однако в рамках проекта Cyc были разработаны первые инструменты разработки знаний и, в частности, язык представления CycL знаний, основанный на расчете предикатов наивысших порядков, и, с другой стороны, основной язык систем искусственного интеллекта Лисп.

Именно в этом проекте впервые и, безусловно, ограничена задача создания big data, валидации и проверки этих баз, а также выполнения задачи по изысканию знаний. В рамках проекта Cyc была предложена и опробована концепция Cyc агентов с общим ядром знаний, накопленных в базе знаний Cyc, и знаниями о своей конкретной области специализации. В рамках проекта Cyc была предложена идея о структурировании базы знаний в форме микротеорий, включая знания ПО с различных точек зрения. Создание базы знаний (и теперь мы говорим о профессиональной этике) в Cyc проекте предполагает следующие этапы:

· ручное кодирование явных и неявных знаний, которые содержатся в источниках знаний.

· ручное кодирование знаний с помощью программных средств с использованием знаний, уже существующих в базе знаний Cyc.

· полуавтоматическая фаза, когда разработчик "рекомендует" программным средствам источники знаний для обработки и "поясняет" им наиболее сложные места в тексте для обработки.

В то же время две главные задачи, как правило, рассматриваются на каждом этапе:

1. Разработка системы представления знаний и онтологии более высокого уровня, содержащей наиболее абстрактные концепции.

2. Представление знаний, оставшихся от формализации после выполнения первой задачи, с использованием примитивов, разработанных и реализованных в первой задаче.

После завершения проекта в конце XX века Ленат создал частную некоммерческую компанию Cycоrp, Inc. [Cycоrp, 2010], основную задачу которой она видит в разработке базы знаний Cyc и приложений, для использования этой базы знаний.

В настоящее время в базе знаний Cyc содержатся сотни тысяч основных терминов и утверждений, «вытекающих» из них. Часть базы знаний Cyc была недавно опубликована для публичного использовании под названием OpenCyc, которая доступна исследователям в области искусственного интеллекта под ResearchCyc лицензией.

В качестве приложений к Cyc подходу можно отметить:

- разнородная система интеграции баз данных, в котором словарь Cyc отображается в схеме базы данных, поэтому данные интерпретируются в соответствии с Cyc-онтологией;

- интеллектуальный «алгоритм» для поиска изображений информации, содержащейся в их подписях;

- структурированный модуль терминологической интеграции, который предусматривает импорт сложных тезаурусов, их интеграцию и поддержку в соответствующих управленческих процессах;

- поисковая система в Интернете для расширения базы знаний Cyc.

2. Метод Усколда и Кинга.

Был предложен после разработки одной из самых знаменитых имитационных моделей онтологий «Enterprise Ontology» бизнес-процессов [Uschold, et al., 1998].

В действительности была предложена методология разработки онтологической модели, и были записаны следующие этапы:

· определение цели. Определение того, почему будет построена онтологическая модель и как она будет использована;

· разработка онтологической модели. Этап, который будет осуществляться в рамках следующих стадий:

o создание профессиональной онтологической модели, где она происходит:

o идентификация концепций и ключевых взаимоотношений

o разработка конкретных текстовых определений для каждой концепции и взаимосвязи;

o определение терминов, касающихся каждой концепции и взаимоотношений;

o согласование всех знаний, приобретенных в процессе разработки норм онтологической модели во время создания.

o кодирование онтологической модели, в ходе которой она официально представлена на выбранном языке;

o интеграции. На этом этапе изучаются возможности использования ранее существовавшей онтологической модели и ее интеграции в недавно созданную онтологию;

· оценка установленной онтологической модели. Этап, на котором оценивается установленная онтология на основе ее соответствия первоначальным целям и задачам, а также эффективности используемого программного обеспечения.

· документирование.

Наиболее важным проектом, использующим метод и методологию, разработанные Усколдом и Кингом, был корпоративный проект Artificial Intelligence Applications Institute университета Эдинбурга с такими партнерами, как IBM, Lloyd's Register, Logica UK Limited и Unilever и наиболее важным применением этого метода является разработка профессиональной онтологической модели компании, которая представляет собой набор терминов и определений, связанных с предприятиями (предприятия-отрасли). Также интересно отметить, что использование корпоративной онтологической модели было создано с помощью набора средств Enterprise Tools, использующего архитектуру агента для интеграции стандартов, программных продуктов, используемых в стиле подключаемых модулей.

3. Методология Грюнингера и Фокса.

Данная методология, как и многие другие методологии и методы первого поколения онтологического инжиниринга, была сформирована на основе опыта разработки конкретной профессиональной онтологии, в данном случае TOVE [TOVE, 2010], ориентированной на моделирование бизнес-процессов. По сути, эта методология включает в себя создание профессиональной онтологии в качестве логической модели знаний и включает следующие этапы:

· определение сценария мотивации. В рамках этой методологии предусматривается, что создание любой профессиональной онтологии мотивируется некоторыми сценариями, возникающими в конкретной области, которые определяют множество интуитивно понятных решений проблем, выявленных в сценарии.

· разработка неформальных вопросов, связанных с проверкой квалификации. Вопросы оценки компетенции, создаваемые профессиональными качествами, основываются на мотивационных сценариях и рассматриваются в качестве требований, предъявляемых к визуальной способности профессиональной онтологии и ее способности решать задачи, определенные в сценариях мотивации.

· определение терминологии профессиональной онтологии на формальном языке, основанном на выполнении этапов:

§ получить неформальную онтологическую модель. Среди многих неофициальных вопросов, связанных с проверкой компетентности, в профессиональной онтологической модели определяются различные термины, которые должны служить основой для спецификации на формальном языке;

§ уточнение формальной терминологии. Число терминов, указанных в предыдущем этапе на формальном языке (используется ЯПЗ KIF [KIF, 2010]).

· разработка вопросов оценки компетентности с использованием терминологии онтологии. В действительности, на данном этапе задается спецификация заявлений на официальном языке для оценки компетенции профессиональной онтологии;

· определение аксиом для онтологии терминов на формальном языке: семантика онтологии терминов и ограничений их интерпретации как утверждения предикатов первого порядка;

· определение условий полноты онтологии. На данном этапе устанавливаются условия, в которых будет завершено решение вопросов, касающихся компетенции профессиональной онтологии.

Наиболее значительными применениями данной методологии были следующие:

· Enterprise Design Workbench (APM для корпоративного дизайна), среда проектирования, позволяющая пользователю анализировать бизнес- проекты. Важной отличительной чертой Design Workbench компании является поддержка сравнительного анализа альтернативных бизнес-проектов и управления конструктором.

Integrated Supply Chain Management Project -организует цепочку поставок в качестве сети взаимодействующих интеллектуальных агентов, каждый из которых выполняет одну или несколько функций в цепочке поставок и координирует свои действия с другими агентами.

4. Методология METHONTOLOGY.

Методология разработана в лаборатории искусственного интеллекта Мадридского политехнического университета. Особенность этой методологии заключается в том, что она основывается на анализе и переосмыслении основных видов деятельности, связанных с разработкой программного обеспечения и процессом разработки знаний. Таким образом, METHONTOLOGY объединяет опыт разработки сложных объектов двух областей. На рисунке 1 представлены основные процессы разработки онтологической модели и жизненных циклов в METHONTOLOGY.

Рис. 1. Процессы разработки и жизненный цикл METHONTOLOGY

Как видно на рисунке, эта методология включает в себя определение процесса развития профессиональной онтологической модели, жизненного цикла, основанного на эволюции прототипов и индивидуальных методов осуществления каждого вида деятельности. В свою очередь жизненный цикл включает такие этапы, как спецификация, концептуальная разработка, формализация, внедрение и обслуживание, а также основные процессы, такие, как управление, контроль качества, приобретение знаний, интеграция, оценка, управление документацией и настройка.

Подход, используемый для создания данной методологии, хорошо связан со спиральной моделью Боэма [Larman, et al., 2003], обычно используемой в технологиях разработки программного обеспечения. Методология была активно использована в Foundation for Intelligent Physical Agents [FIPA, 2010], чьи проекты и проекты были сосредоточены на создании многоагентских систем и интеллектуальных прикладных приложений. Ниже приводятся примеры онтологической модели, разработанные с использованием данной методологией:

· CHEMICALS. Речь идет о химических веществах и кристаллических конструкциях;

· Monatomic Ions. Собирает информацию об одноатомных ионах;

· Онтологическая модель загрязнителей окружающей среды (современные методы обнаружения различных загрязняющих веществ в воде, воздуха, земли и максимально допустимой концентрации этих веществ с учетом действующих законов);

· The Reference-Ontology (базовая онтологическая модель для описания справочников);

· Silicate ontology (моделирует свойства полезных ископаемых, включая силикаты);

· Онтологическая модель, разработанная в рамках проекта IST-1999- 10589 MKBEEM (путевые расходы, каталоги тканей, жилья; используется в многоязычной платформе для электронной торговли);

· OntoRoadMap (онтологическая модель, методика разработки онтологической модели, инструменты для разработки онтологических стандартов, мероприятия, связанные с онтологиями (конференции, семинары и т. д.)).

Примеры приложений, использующих некоторые из приведенных выше онтологических моделей:

· (Onto)2 Agent (онтологическая модель, которая использует ReferenceOntology в качестве источника знаний, а также находит описания онтологической модели, которые соответствуют набору ограничений);

· приложение OntoRoadMap (разработанное как продолжение (Onto)2 Agent, основано на веб-приложении онтологической модели, которое позволяет сообществу регистрировать, отображать и находить онтологические положения, методологии, инструменты и языки для создания профессиональной онтологической модели, приложения в таких областях:

semantic web, e-commerce, KM, NLP и т. д., а также крупные конференции, семинары и мероприятия в этой области;

Ontogeneration (система, применяющая CHEMICALS и онтологическую модель GUM для подготовки испанских текстов в ответ на запрос в области химии).

1.3 Предметная область и ее формальное описание при помощи онтологий

Создание лингвистической и предметной области, разработка эффективной методологии для размещения текста "больших данных", свободно распространяемого через Интернет, представляют собой современные проблемы.

Семантическая структуризация - это выстраивание когнитивного моста (Cognitive Bridging) от способа описания мира человеком (естественно- языковая структуризация) к способу представления информации в памяти компьютера, основанному на двоичной логике. Приведение информации из неструктурированного вида к четкой структурированной модели некоторой базы данных является как фундаментальной задачей, совершенно очевидно связанной с проблемой моделирования взаимодействия языка и мышления, так и прикладной задачей извлечения знаний из текстов на естественных языках и организации базы данных и знаний в соответствии с заданной предметной областью и целями ее использования.

Структура базы данных определяется общей когнитивной моделью (ОКМ, т.е. моделью работы когнитивных механизмов человека в процессе познания и усвоения информации) и концептуальной схемой предметной области. Точность, полнота и своевременность обработки больших объемов данных могут достигаться посредством их структуризации и размещения в базах данных на специальных кластерах, которые архитектурно приспособлены для параллельной и распределенной обработки больших объемов информации, при этом источником информации являются неструктурированные тексты на естественном языке из СМИ, Интернет, в том числе различных социальных сетей и блогов. Целью исследований и разработки является создание интеллектуальных информационных систем для аналитического мониторинга в социальной сфере, что предполагает выявление, отбор, переработку данных и получение аналитического продукта, обеспечивающего доведение информации до пользователя в нужном представлении. Для достижения поставленной цели необходимо разработать методы семантической структуризации текстовых знаний, обеспечивающие полноту и точность отображения семантической информации из естественно-языковых структур в структуры баз данных.

Содержанием когнитивной деятельности человека является процесс познания нового и его усвоение, т.е. адаптация нового знания к уже имеющейся картине мира, или системе знаний в сознании человека. Для фиксирования и передачи знаний человек использует универсальный моделирующий механизм, каковым является естественный язык. Основными свойствами языка как инструмента семантической структуризации являются иерархичность, ассоциативность, синонимичность и многозначность.

Иерархичность позволяет строить таксономии, классификации, в которых сущности упорядочиваются от более общих, широких классов - к более частным, узким, и так до атомарных элементов класса. Иерархичностью обладает, как концептуальная схема некоторого фрагмента реальной действительности, создаваемая человеком в его ментальном пространстве, так и система наименований компонентов этого фрагмента (например, науки - естественные науки - физика).

Ассоциативность - это свойство устанавливать смысловые связи между сущностями, участвующими совместно в рамках некоторой ситуации (например, море - рыба, музыка - фортепиано, федеральный автономный округ - губернатор, и т.д.).

Синонимичность является свойством использовать более чем одно наименование для одной и той же сущности, действия, свойства, (например, путник - странник, идти - шагать, смелый - храбрый - отважный, и т.д.).

Многозначность (наличие у языкового знака более, чем одного значения, которые могут быть связаны отношением «и») / неоднозначность (наличие у языкового знака более, чем одного значения, которые могут быть связаны отношением «или»), например, слово поле может означать как алгебраическую структуру с определенными свойствами, так и участок земли, на котором что-то выращивается, теплое (может быть течение) - теплое (и может быть участие), и т.д.

Именно эти свойства естественного языка как моделирующего инструмента должны быть существенно сохранены при семантической структуризации данных и построении информационных систем высокой доступности. Основными целями проводимых исследований и разработок являются:

? извлечение знаний из текстов на естественных языках,

? отображение извлеченных сущностей и связей в структуры базы знаний,

? использование знаний для поддержки экспертных аналитических решений в различных сферах приложения,

? преобразование знаний,

? общение с интеллектуальной информационной системой на естественном языке.

Важно существенно сократить объем работы, повысить скорость автоматизированной обработки с минимальным участием людей и повысить точность семантических исследований и качества работы системы.

Один из традиционных методов состоит в том, чтобы вручную нарисовать универсально калиброванные тезаурусы, требующие значительных трудозатрат и временных ресурсов, в связи с этим в последние годы были предприняты попытки разработать новые методы семантического моделирования для создания лингвистической базы знаний ПО. Одной из этих областей является "Ассоциативный портрет предметной области", который позволяет надежно решать большинство важнейших вопросов, связанных с извлечением информации и классификациями [1-10].

Разработка этого инструмента основана на гипотезе вовлечении ассоциативных связей в определения значения, полное обозначение которого является производным от контекстных сред, которые автоматизируют процесс делимитации значений и извлечения знаний из текста. Ассоциативный портрет это набор наиболее отличительных фундаментальных и лингвистических знаний, присущих конкретной теме. Предметные знания относятся к терминам, присущим данному вопросу, понятиям, связанным с различными типами ассоциативных связей.

Лингвистические знания -- это словарь терминов . Суть предлагаемой методологии состоит в том, чтобы проанализировать тексты, касающиеся конкретной предметной области, для определения ассоциативных связей и создания на этой основе ассоциативных портретов, характеризующих ПО. Эти портреты предлагают контекстное пространство, представляющее как лингвистические, так и материальные знания. Основными компонентами онтологической модели могут быть: классы (или концепции), связи (или свойства, атрибуты), аксиомы, копии (или отдельные лица).

Классы или концепции используются в широком смысле. Термином может быть любой объект, которому может быть предоставлена любая информация. Классы являются абстрактными группами, коллекциями или коллекциями объектов. Они могут включать экземпляры, другие классы или комбинации обоих. Классы онтологической модели обычно организуются в таксономии - иерархические классификации по отношению включения. Например, классы мужского и женского пола являются подклассами человеческого класса, который, в свою очередь, включается в класс млекопитающих.

Отношения представляют собой тип взаимодействия между понятиями ПО. Формально n-арные отношения определяются как подмножество произведения n множеств: R ? C1 x C2 x … x Cn. Примером бинарной связи является отношение "часть-целое". Отношения также могут быть организованы в таксономию для включения. Например, чтобы быть отцом и быть матерью для большого числа людей, он должен быть родителем, который, в свою очередь, считается предком. В определении функции говорится: «особый случай отношений, в котором n-элемент отношения однозначно определяется предшествующими элементами n-1». Официальное определение выглядит следующим образом: F: C1 x C2 x … x Cn-1 -> Cn. Примером функциональной связи является цена подержанной машины, рассчитанная в соответствии с моделью автомобиля, датой изготовления и пробегом.

Аксиомы используются для записи операторов, которые всегда верны. Они могут быть включены в онтологическую модель для различных целей, таких как определение сложных ограничений значения атрибута, аргументы связи, для проверки точности информации, описанной в профессиональной онтологической модели, или для отображения новой информации. В качестве примера того, что является нормой онтологической модели в аксиомах, можно привести следующее положение и его формальную нотацию на языке предикатов первого порядка: «Работник, являющийся руководителем проекта, работает в проекте». Вводятся переменные Е (работник) и P (руководитель проекта).

Тогда аксиома записывается следующим образом:

«Forall (E,P) Employee(E) and Head-Of-Project(E,P) => Works-At- Project(E,P)».

Для логического вывода при обработке текстов в широкой предметной области необходимо, прежде всего, описывать наиболее существенные отношения между понятиями, сохраняющие свою значимость, надежность в различных контекстах упоминания понятий.

Для логического завершения обработки текстов в большой предметной области важно, прежде всего, описать наиболее существенную взаимосвязь между концепциями, которые сохраняют свою актуальность, надежностью в различных контекстах этого термина. Было внесено предложение, которое было подтверждено в контексте экспериментов в различных областях, что наиболее значительная взаимосвязь между концепциями связана с сосуществованием этих концепций или их органов. В результате в профессиональной онтологической модели используются четыре основных отношения.

ГОНОЧНЫЙ БОЛИД - ГОНОЧНЫЙ АВТОМОБИЛЬ - АВТОМОБИЛЬНЫЕ ГОНКИ - АВТОСПОРТ

ГОНОЧНЫЙ БОЛИД - ГОНОЧНЫЙ АВТОМОБИЛЬ - СПОРТИВНЫЙ АВТОМОБИЛЬ - АВТОМОБИЛЬ - АВТОМОТОТРАНСПОРТНОЕ СРЕДСТВО - ТРАНСПОРТНОЕ СРЕДСТВО - ТЕХНИЧЕСКОЕ УСТРОЙСТВО

John Sowa выделяет четыре способа группировки сущностей в концептуальной модели, соответствующие разным случаям практического применения и различным логическим теориям.

Каждый из этих способов может быть определенным образом отражен средствами OWL.

Перечислим эти способы и соответствующие им способы формализации в онтологиях в таблице 1.

онтология компьютерный семантический формализованный

Таблица 1. Отражение данных по способу группировки

Способ группировки в концептуальной модели	Суть способа	Варианты отражения в OWL
Коллекции	Коллекция - составной объект, включающий разнородные, не обязательно исчисляемые, не обязательно четко разделяемые части. Пример: куриный суп с клецками. Логическая операция: объект является частью коллекции.	Создание коллекции как самостоятельного объекта, указание его связи с каждой частью при помощи атрибутов.
Множества	Множество - совокупность однородных, исчисляемых объектов. Пример: собаки. Операции: объект является членом множества, множество имеет подмножество.	Классы и подклассы, принадлежность объектов к классам.
Типы	Тип - произвольная группа объектов, которую аналитик счел нужным выделить по какому-либо основанию. Пример: опасные объекты. Операции: объект имеет тип, тип имеет подтип.	Возможно использование как классов, так и связь при помощи атрибута с объектом, описывающим тип.
Категории	Типы, используемые с целью классификации. Пример: объект I категории опасности. Операции: объект относится к категории, категория имеет подкатегорию.	Возможно использование как принадлежности к классам, так и атрибутов-ссылок на категорию.

Заметим, что разница между типами и категориями оказывается достаточно условной, и отражает скорее наличие разных математических теорий в основании, нежели смысловое различие.

Типы могут быть абстрактными, то есть принципиально не иметь относящихся к ним индивидуальных объектов (пример: единорог). Хотя в любом случае полезно помнить, что мы объединяем в группы не сами объекты реального мира, а их образы в модели - таким образом, в каком-то смысле все содержание выделяемых в модели групп является абстрактным. Пустые множества также возможны, но их прагматика в онтологических моделях менее очевидна.

Поскольку тип подразумевает некую идею, лежащую в основе его выделения, каждый тип характеризуется интенсионалом и экстенсионалом, о которых мы уже упоминали в начале пособия. Интенсионал - это «идея», обеспечивающая смысл выделения типа, которую заложил в его определение аналитик. Экстенсионал - набор объектов, соответствующих данному типу. Экстенсионал разных типов может совпадать: например, типы «персоны, имеющие действующий трудовой договор с ООО «Альфа»» и «люди, работающие в офисе компании «Альфа»» могут совпасть по набору соответствующих объектов, хотя условие выделения группы (интенсионал) здесь различно.

С практической точки зрения, можно выделить две основных цели группировки объектов в онтологии:

I. Сообщение фактов об общих качествах, характеристиках объектов (но не обязательно - о значениях характеристик);

II. Описание характеристик группы объектов, как целого (характеристики группы зависят от ее состава).

Сравним эти цели в таблице 2.

Таблица 2. Группировка объектов в онтологии

	Сообщение фактов об общих качествах объектов	Описание характеристик группы объектов, как целого
Способ получения выводов	Получать выводы о свойствах каждого элемента свойств группы	Делать выводы о целом исходя из знания о его частях
Однородность группы	Объекты являются однородными в каком-то отношении	Объекты могут быть разнородными
Возможность указать все объекты группы	Обычно присутствует, так как нам интересны именно конкретные объекты	Может отсутствовать: достаточно знать тип элементов, которые включены в группу, но не обязательно знать каждый элемент (пример: лес состоит из деревьев)
Смысл группы	Группа - общность Объектов	Группа - самостоятельный объект, взаимодействующий с другими частями модели

Исходя из этого, в онтологической модели целесообразно применять следующие способы выражения групп объектов:

· Для выражения группировки однородных объектов - принадлежность к классу. Например, к классу «товар» относятся все товары, рассматриваемые в нашей модели. Мы знаем, что с товарами можно выполнять определенные операции, они имеют некоторые характеристики, и благодаря этому можем планировать практическую деятельность - закупку, хранение, перевозку, продажу товаров.

· Для выражения единого объекта, состоящего из других объектов - индивидуальный объект. Например, лес состоит из деревьев, но мы не знаем каждого дерева в отдельности; тем не менее, мы знаем общие свойства деревьев (как этого конкретного леса, так и вообще), и это дает нам возможность планировать, например, вырубку и переработку леса. «Дерево» в этом случае может стать классом объектов, а конкретные породы деревьев - «сосна», «береза» - индивидуальными объектами, которые обладают определенным свойствами. Индивидуальный объект «лес» (точнее, например, «квартал №123») будет связан с этими объектами некоторыми отношениями. Отношения сами по себе могут быть индивидуальными объектами класса «Состав», и нести информацию не просто о том, что лес состоит из сосен, но и о том, каков процентный состав сосен в нем.

Заметим, что оба подхода могут быть скомбинированы.

Нет принципиального отличия между ситуацией, когда целое состоит из однородных частей и неоднородных. Например, на каком-то уровне упрощения мы можем утверждать, что «общество состоит из людей». Детализируя модель, мы обнаружим, что общество состоит еще и из экземпляров социальных институтов - семей, местных общин, трудовых коллективов и др. На первом уровне детализации мы будем пытаться объяснить какие-то процессы или характеристики общества, опираясь на знания о том, каковы люди, его составляющие; на втором уровне - подключим к этому объяснению и характеристики институтов. Автомобиль - целое, состоящее из разнородных деталей, и поведение автомобиля может быть смоделировано исходя из знаний об этих деталях, и правилах их взаимодействия. Лес - целое, состоящее из однородных элементов, и мы точно также можем утверждать что-то о лесе, имея некоторую информацию о деревьях. И то, и другое - системы, и нет принципиальной разницы, однородны ли их элементы.

Перейдем к вопросу о том, как именно следует выражать отношение объекта к группе. Понятно, что если группа формализована в модели как класс, то объект должен стать членом этого класса (используется предикат rdf:type), а если группа является самостоятельным объектом - то объект связывается с ним значением некоторого атрибута-связи, который необходимо определить (например, «является частью»). Сразу заметим, что использование машины логического вывода позволяет автоматически создавать классы на основании наличия связей (например, автоматически выделить класс «детали автомобиля» на основании того, что некоторая деталь связана с некоторым автомобилем связью «является частью»).

2. Построение корпуса предметной области и методы анализа текстов на естественном языке

2.1 Применение дистрибутивной семантики при выделении значимых словосочетаний

Способность единиц связываться в речи осуществляется в определенных лингвистических условиях, называемых обычно контекстом или окружением. Появившееся в американской дескриптивной лингвистике понятие дистрибуции означало сумму всех окружений, в которых встречается данный элемент языка. Г. Глисон рассматривал дистрибуцию как реализованный линейный ряд, не предусматривающий парадигматического аспекта [6]. Позднее термин «дистрибуция» стал употребляться в структурном языкознании: его развитие прослеживалось также в трудах З. Харриса. Исследователь понимает дистрибуцию лингвистического элемента как сумму всех (различных) его позиций относительно других элементов [11, р. 15-16]. Особую распространённость данное понятие получило в 40-60-е годы XX в. в период интенсивного развития прикладного языкознания: автоматического анализа и машинного перевода текста. Тогда главный акцент в работах российских и зарубежных языковедов ставился на поиске точных и эффективных методик исследования языкового материала и описания языкового строя языка [7].

Понятие дистрибуции лежит в основе дистрибутивного анализа языковых фактов - метода лингвистического исследования, при котором классификация языковых единиц и изучение их свойств производится исключительно на основе распределения рассматриваемых единиц в потоке речи, т.е. на основе их сочетаемости с другими единицами, т.е. окружением, или контекстом, рассматриваемых единиц.

Принципы дистрибутивного анализа первоначально были сформулированы в начале XX в. Л. Блумфилдом и широко применялись в фонологии и морфологии. Однако некоторые экспериментальные приемы анализа применялись и ранее в исследованиях Ш. Балли, О. Есперсена, Л.В. Щербы и др.

Понятие дистрибуции использовали последователи американского дескриптивизма, пытаясь создать специальную методику формального анализа языкового материала без обращения к значениям языковых единиц. Впоследствии дистрибутивный анализ, безупречно работавший в фонологии, был признан несостоятельным в грамматике, тем не менее, при изучении языка применялись его конкретные методические приемы. В итоге в силу своей непродуктивности дистрибутивный метод был дополнен другими экспериментальными приемами анализа языкового материала [10, с. 138]. Весьма успешно, например, он использовался вместе с трансформационной методикой, вследствие чего дистрибутивный анализ стал эффективно применяться даже в исследова-ниях более высоких языковых уровней, всецело способствуя осознанию значимости лингвистических экспериментов и усовершенствованию методики лингвистического исследования.

В дистрибутивной методике для упорядочения описания единиц языка принято использовать условные буквенные обозначения классов слов, из которых образуются дистрибутивные формулы. При таком кодировании слова заменяются символами, указывающими на класс, к которому принадлежит данное слово. Вследствие кодирования всех слов, кроме исследуемого, получается дистрибутивная формула. Использование таких формул удобно для создания классификаций и позволяет продемонстрировать условия вариативности значения слова. Применение дистрибутивного метода при анализе семантики слова позволяет измерить степень родства между словами, построить на этой основе семантические классы, определить степень многозначности и терминологичности слова, а также установить степень устойчивости / фразеологичности сочетающихся слов. Всё это способствовало созданию новых семантических теорий.

Дистрибутивное моделирование широко используется в лексикографии для демонстрации функционирования слова и его сочетаемости [3, с. 40-41]. Его применяли многие представители прикладной лингвистики, например, Г. Палмер и А.С. Хорнби. Среди российских лексикографов можно назвать Э.М. Медникову, В.И. Перебейнос, С.С. Хидекель, М.Р. Кауль и др.

Во второй половине XX в. понятие дистрибуции стало означать реальные языковые связи, а не просто синтагматическое окружение языкового элемента. В данном значении дистрибуция выступает как синоним валентности и сочетаемости. Западноевропейские языковеды рассматривают понятие дистрибуции шире понятия валентности.

Дистрибуция - это сумма всех сочетаемостных связей слова (его окружение), валентность - только часть дистрибуции, или валентно- необходимые связи, актанты, описанные с помощью частей речи и членов предложения, а также с помощью семантических терминов (признаков, сем и т.п.) [8, с. 148].

Oxford concise dictionary of linguistics даёт следующую дефиницию дистрибуции: «The set of contexts within sentences in which a unit or class of units can appear», что означает «совокупность контекстов в пределах предложений, в которых может встречаться языковая единица или определённый класс единиц» [12, р. 103].

В отличие от западного понимания дистрибуции, в российском языкознании дистрибуция иногда используется в узком, специальном значении. Так Ю.Д. Апресян под дистрибуцией глагола понимает «предикативный минимум, распространяемый в своей несубъектной части за счёт ресурсов словосочетания». При исследовании дистрибуции финитного глагола все позиции являются обязательными [2, с. 48-49]. Под дистрибуцией слова в том или ином значении понимается структурная модель, в которой используется слово в данном значении, а также обобщенная формула сочетаемости слова в данном значении [1, с. 55].

Наиболее полное определение приводит в Словаре лингвистических терминов О.С. Ахманова: дистрибуция - совокупность (класс) всех окружений (контекстов), в которых может встречаться данная языковая единица, противопоставляемых всем тем окружениям, в которых она встречаться не может, т.е. место, порядок, сочетаемость и свойства ее употребления в плане расположения отдельных частей высказывания относительно друг друга [4, с. 137].

Понятие дистрибуции имеет различные оттенки у разных исследователей. Так, И.А. Стернин считает, что дистрибуцию необходимо рассматривать в неразрывной связи с лексико-семантическими вариантами слова, т.к. каждый из них имеет неповторимую дистрибутивную оформленность [9, с. 18]. В дистрибуции исследователь выделяет две стороны.

Синтаксическая дистрибуция представляет собой модель синтаксического построения, в которой реализуется данное значение слова и которая обычно описывается путём определённых формул синтаксических конструкций, требуемых тем или иным лексико-семантическим вариантом слова. Например, переносные значения лица у многих одушевлённых существительных реализуются в модели сущ. (им. п.) + сущ. (род. п.): звезда эстрады, царица бала, отец космонавтики, слуга народа и т.п.

Лексическая дистрибуция - это семантический разряд слов (группа определённой семантики), которые непосредственно сочетаются с семантически реализуемым словом, выделяя в нём данное значение. Лексическую дистрибуцию И.А. Стернин условно разделяет на следующие виды [9]:

1) семантический разряд сочетающихся слов, например: выиграть «получить дополнительно» в сочетаниях со словами, обозначающими время: выиграть время, минутку, секунду и т.п.; выбрать «найти» + слова, обозначающие единицы времени - выбрать время, час, минуту и т.п. тяжёлый «серьёзный, опасный» + названия болезней или состояний: тяжёлое воспаление, состояние; тяжелая болезнь, рана, операция и т.п.;

2) группа слов, обладающих определенным сходством, но не составляющих семантических групп в языке: дать «устроить, организовать ч.-л.» - дать концерт, обед, спектакль; вскочить «внезапно появиться» + слова, обозначающие небольшие патологические кожные изменения у человека - вскочил прыщ, фурункул, волдырь и т.п.;

3) группа слов, не образующих какой-либо общности и задаваемая списком: встать - «появиться» - встала заря, солнце (но не луна, радуга, зарница); издать - «испустить, произвести» - звук, запах (но не вкус) и т.п.

В большинстве случаев синтаксическая и лексическая дистрибуция выступают комплексно, что подтверждается приведенными примерами. Как представляется, понятия синтаксической и лексической дистрибуции у И.А. Стернина тесно соотносится с понятиями синтаксической и лексико-семантической сочетаемости в терминах традиционной лингвистики.

В настоящее время понятие дистрибуции является одним из основных терминов комбинаторной лингвистики, исследующей синтагматические отношения языковых единиц в языке и речи и их комбинаторные свойства. В рамках данной дисциплины дистрибуция стоит в одном ряду с такими понятиями, как синтагматика, сочетаемость, валентность и контекст [5].

Как показывает анализ, данные термины составляют единую систему, а следовательно, находятся в отношениях включения, связанности и взаимозависимости. Перечисленные понятия комбинаторной лингвистики находятся между собой в гиперо-гипонимических отношениях и представляют собой одно целое, состоящее из двух уровневых аспектов синтагматики: языковой, включающей валентность, и речевой, включающей сочетаемость (Рис. 3).



Рис. 3. Соотношение понятия дистрибуции с другими понятиями комбинаторной лингвистики

...