Семантический анализ текста

Размещено на http://www.allbest.ru/

Содержание

1. Семантика

2. Семантический анализ текста

3. Проблемы понимания текста

4. Онтологии

1. Семантика

Семантика - раздел лингвистики, изучающий смысловое значение единиц языка. Помимо знаний о структуре языка, семантика тесно связана с философией, психологией и другими науками, так как неизбежно затрагивает вопросы о происхождении значений слов, их отношении к бытию и мышлению. При семантическом анализе необходимо учитывать социальные и культурные особенности носителя языка. Процесс человеческого мышления, как и язык, который представляет собой инструмент выражения мыслей, является очень гибким и трудно поддается формализации. Поэтому семантический анализ по праву считается самым сложным этапом автоматической обработки текстов.

Создание новых методов семантического анализа текстов откроет новые возможности и позволит существенно продвинуться в решении многих задач компьютерной лингвистики, таких как машинный перевод, автореферирование, классификация текстов и других. Не менее актуальна разработка новых инструментов, позволяющих автоматизировать семантический анализ.

На данный момент существует несколько методов представления смысла высказываний, однако ни один из них не является универсальным. Над соотнесением смысла тексту работали многие исследователи. Так, И.А. Мельчук ввел понятие лексической функции, развил понятия синтаксических и семантических валентностей и рассмотрел их в контексте толково-комбинаторного словаря, который представляет собой языковую модель. Он показал, что значения слов соотносятся не непосредственно
с окружающей действительностью, а с представлениями носителя языка об этой действительности.

Большая часть исследователей склоняются к мысли, что семантический анализ должен выполняться после синтаксического. В.Ш. Рубашкин и Д.Г. Лахути ввели иерархию синтаксических связей для более эффективной работы семантического анализатора. Самыми важными являются обязательные ролевые связи, далее идут связи кореференции, потом факультативные ролевые связи и только потом предметно-ассоциативные.

Известный лингвист Е.В. Падучева предлагает рассматривать тематические классы слов, в частности глаголов, поскольку они несут основную смысловую нагрузку: глаголы восприятия, глаголы знания, глаголы эмоций, глаголы принятия решения, речевых действий, движения, глаголы звука, бытийные глаголы и др. Существенной в данном подходе является идея разделять понятия языка на некоторые семантические группы с учетом того, что эти понятия имеют некоторый нетривиальный общий смысловой компонент. Элементы таких групп склонны иметь один и тот же набор зависимых понятий. Однако главная проблема такого подхода заключается в том, что выделение тематических классов и составление семантических словарей чрезвычайно трудоемкий процесс, сильно зависящий от индивидуального восприятия и интерпретации понятий конкретным человеком.

Универсальный язык представления знаний должен быть удобным инструментом для вывода новых знаний из уже имеющихся, а значит, необходимо создать аппарат для проверки правильности высказываний. Здесь как раз полезны логические модели представления знаний. Например, семантический язык, предложенный В.А. Тузовым, содержит в себе формализмы логики предикатов, в нем присутствуют «атомарные» понятия, «функции» над этими понятиями и правила вывода, с помощью которых можно описывать новые понятия. Не исключено, что в направлении создания подобных семантических языков будет развиваться научная мысль в будущем.

2. Семантический анализ текста

Семантический (смысловой) анализ текста - одна из ключевых проблем как теории создания систем искусственного интеллекта, относящаяся к обработке естественного языка (Natural Language Processing, NLP), так и компьютерной лингвистики.

Результаты семантического анализа могут применяться для решения задач в таких областях как, например, психиатрия (для диагностирования больных), политология (предсказание результатов выборов), торговля (анализ “востребованности” тех или иных товаров на основе комментариев к данному товару), филология (анализ авторских текстов), поисковые системы, системы автоматического перевода и т.д. Несмотря на свою востребованность практически во всех областях жизни человека, семантический анализ является одной из сложнейших математических задач. Вся сложность заключается в том, чтобы “научить” компьютер правильно трактовать образы, которые автор текста пытается передать своим читателям/слушателям.

Способность “распознавать” образы считается основным свойством человеческих существ, как, впрочем, и других живых организмов. Образ представляет собой описание объекта. В каждое мгновение нашего бодрствования мы совершаем акты распознавания. Мы опознаем окружающие нас объекты и в соответствии с этим перемещаемся и совершаем определенные действия. Мы можем заметить в толпе друга и понять, что он говорит, можем узнать голос знакомого, прочесть рукопись и идентифицировать отпечатки пальцев, можем отличить улыбку от злобной гримасы. Человеческое существо представляет собой очень сложную информационную систему - в определенной степени это определяется чрезвычайно развитыми у человека способностями распознавать образы.

Естественный язык в отличие, например, от компьютерных (алгоритмических) языков формировался во многом стихийно, не формализовано. Это обуславливает целый ряд сложностей в понимании текста, вызванных, например, неоднозначным толкованием одних и тех же слов в зависимости от контекста, который может быть и неизвлекаем, в принципе, из самого текста. Следовательно, этот контекст или знание о предметной области в систему должны быть заранее внесены. К тому же зачастую практические задачи требуют точного определения времени, места того, что описано в тексте, точной идентификации людей и т.д., в то время как подобная информация находится за пределами данного текста. В этом случае система может или не обрабатывать эту информацию, или оставить ее до выяснения контекста и даже попытаться проявить инициативу в выяснении контекста, например, в диалоге с оператором, задающим ввод текста. То, как ведет себя система в подобной ситуации, определяется стилем и схемой работы системы.

Промышленные системы автоматической обработки текста, в основном, сейчас используют два этапа анализа текста: морфологический и синтаксический. Однако теоретические разработки многих исследователей предполагают существование следующего за синтаксическим этапа - семантического. В отличие от предыдущих шагов семантический этап использует формальное представление смысла составляющих входной текст слов и конструкций. Суть семантического анализа понимается разными исследователями по-разному.

Многие ученые сходятся во мнении, что в сферу семантического анализа входит: - Построение семантической интерпретации слов и конструкций; - Установление "содержательных" семантических отношений между элементами текста, которые уже принципиально не ограничены размером одного слова (могут быть больше или меньше одного слова). Некоторые ученые предлагают рассматривать не просто текст на основе его составляющих слов, предложений, абзацев, но и попытаться выявить тот смысловой образ, который автор хотел создать в сознании своих читателей, посредством этого текста. На современном этапе развития искусственного интеллекта эта задача является практически неразрешимой.

3. Проблемы понимания текста

Основные проблемы понимания текста в обработке естественных языков таковы:

1. Знание системой контекста и проблемной области и обучение этому системы. Например, из предложения «мужчина вошел в дом с красным портфелем» можно извлечь как представление о мужчине с красным портфелем, так и о доме с красным портфелем, если заранее не иметь в виду, что применительно к мужчинам употребление принадлежности портфеля гораздо вероятнее, чем применительно к дому.

2. Различная форма передачи синтаксиса (т.е. структуры) предложения в разных языках. Например, если синтаксическая роль слова (подлежащее, сказуемое, определение и т.д.) в английской речи во многом определяется положением слова в предложении относительно других слов, то в русском предложении существует свободный порядок слов и для выявления синтаксической роли слова служат его морфологические признаки (например, окончания слов), служебные слова и знаки препинания.

3. Проблема равнозначности. Предложения «длинноухий грызун бросился от меня наутек» и «заяц бросился от меня наутек» могут означать одно и то же, но могут иметь и разный смысл, например, если в первом случае имелся в виду длинноухий тушканчик.

4. Наличие в тексте новых для компьютера слов, например, неологизмов. Самообучаемая система должна уметь «интуитивно» определить (возможно, и неправильно, но с возможность в дальнейшем исправить себя) лексическую роль, морфологическую форму этого слова, попробовать вписать его в существующую структуру знаний, наделить его какими-то атрибутами или выяснить все это в диалоге с оператором. Система, не способная к самообучению просто потеряет какое-то количество информации. текст язык семантический сеть

5. Проблема совместимости новой информации с уже накопленными знаниями. Новая информация может каким-то образом противоречить уже накопленной информации. Необходимо реализовать механизм, определяющий, в каких случаях нужно отвергнуть старую информацию, а в каких - новую.

6. Проблема временных противоречий. Так в предложении «я думал, что сверну горы» глагол в прошедшей форме «думал» сочетается с глаголом будущего времени «сверну».

7. Проблема эллипсов, то есть предложений с пропущенными фактически, но существующими неявно благодаря контексту словами. Например, в предложении «я передам пакет тебе, а ты - Ивану Петровичу» во второй части опущен глагол «передашь» и существительное «пакет».

Системы, направленные на извлечение знаний из текстов на естественных языках (то есть на таких языках, на которых общаются люди в отличие, например, от алгоритмических языков), а также на синтез текста на основе знаний называются лингвистическими трансляторами или лингвистическими процессорами. Они могут интегрироваться с экспертными системами, то есть системами, служащими для того, чтобы заменять человека-эксперта в какой-либо области, например, медицинская диагностика, юридическое консультирование, бизнес-планирование, диагностика различных технических неисправностей и многих других. В этом случае экспертная система с одной стороны имеет возможность высокоэффективно обучаться, накапливать новые знания, а с другой стороны, способна выдавать информацию пользователю в максимально удобной форме. Кроме того, лингвистический процессор может быть интегрирован с системой распознавания и (или) синтеза речи, что может сделать процесс общения с компьютером максимально удобным, а, следовательно, и продуктивным. Одной из наиболее очевидных направлений применения лингвистических процессоров является машинный перевод с одного естественного языка (ЕЯ) на другой. Также подобные системы могут использоваться и используются для автоматического пополнения информационных баз и баз знаний (т.н. «data mining») в том числе путем сканирования Интернета.

В настоящее время под эгидой Института передовых исследований токийского университета Организации Объединенных Наций разрабатывается универсальный сетевой язык (The Universal Networking Language, UNL). По замыслу, UNL - это искусственный семантико-синтаксический язык, предназначенный для описания, хранения и распространения информации в WWW в не зависящем от какого-либо естественного языка виде, а также независимо от конкретной компьютерной платформы или операционной системы. В отличие от систем машинного перевода, призванных осуществлять перевод с одного естественного языка на другой, предполагается, что система UNL должна уметь автоматически (или полуавтоматически) преобразовывать исходный текст в его UNL-представление, а затем синтезировать из этого представления текст на нужном языке. Таким образом, о UNL можно говорить, как о своеобразном языке-посреднике, удобном для хранения информации и ее восстановления на любом естественном языке из числа поддерживаемых системой. Кроме того, огромную популярность получили так называемые онтологии (формальные явные описания терминов предметной области и отношений между ними), которые могут быть использованы как основа для семантического анализа. Во всемирной паутине онтологии стали обычным явлением. Онтологии варьируются от больших таксономий, категоризирующих веб-сайты (как на сайте Yahoo!), до категоризаций продаваемых товаров и их характеристик (как на сайте Amazon.com). Консорциум WWW (W3C) разрабатывает RDF (Resource Description Framework), язык кодирования знаний на веб-страницах, для того, чтобы сделать их понятными для электронных агентов, которые осуществляют поиск информации. Управление перспективных исследований и разработок министерства обороны США (The Defense Advanced Research Projects Agency, DARPA) в сотрудничестве с W3C разрабатывает Язык Разметки для Агентов DARPA (DARPA Agent Markup Language, DAML), расширяя RDF более выразительными конструкциями, предназначенными для облегчения взаимодействия агентов в сети.

4. Онтологии

Во многих дисциплинах сейчас разрабатываются стандартные онтологии, которые могут использоваться экспертами по предметным областям для совместного использования и аннотирования информации в своей области. Например, в области медицины созданы большие стандартные, структурированные словари, такие как snomed и семантическая сеть Системы Унифицированного Медицинского Языка (the Unified Medical Language System). Также появляются обширные общецелевые онтологии. Например, Программа ООН по развитию (the United Nations Development Program) и компания Dun & Bradstreet объединили усилия для разработки онтологии UNSPSC, которая предоставляет терминологию товаров и услуг. Подводя итоги всему вышесказанному, можно сделать выводы, что семантический анализ в настоящее время движется в сторону формальных грамматик (Мельчук И., Хомский Н. и др.), но пока значительных прорывов в данной области не наблюдается.

Развитие наукоемких областей человеческой деятельности в современном обществе сопровождается возрастанием роли компьютерных технологий. Резко возросший поток информации обусловил необходимость поиска новых способов ее хранения, представления, формализации, систематизации и автоматической обработки. Возрос интерес к всеобъемлющим базам знаний, которые можно использовать для различных практических целей. Большой интерес вызывают системы, способные без участия человека извлечь сведения из текста. Все это обусловило появление Semantic Web (SW), как расширения World Wide Web. В Semantic Web гипертекстовые страницы снабжены дополнительной разметкой, в которую включены сведения о семантике элементов страницы. Неотъемлемым компонентом Semantic Web является понятие онтологии, описывающее смысл семантической разметки.

Под онтологией (в наиболее общих чертах) понимают систему понятий некоторой предметной области, которая представляется как набор сущностей, соединенных различными отношениями. Онтологии используются для формальной спецификации понятий и отношений, которые характеризуют определенную область знаний. Основным преимуществом онтологий как способа представления знаний является их формальная структура, которая упрощает их компьютерную обработку. Онтологии используются как источники данных для многих компьютерных приложений (для информационного поиска, анализа текстов, извлечения знаний и т. д.), позволяя более эффективно обрабатывать сложную и разнообразную информацию. Этот способ представления знаний позволяет приложениям распознавать те семантические отличия, которые являются само собой разумеющимися для людей, но не известны компьютеру. Онтологии получили широкое распространение в решении проблем представления знаний и инженерии знаний, семантической интеграции информационных ресурсов, информационного поиска и т.д. Интеллектуальные системы на основе онтологий показали на практике свою эффективность, однако построение онтологии требует экспертных знаний в исследуемой предметной области и занимает существенный объем времени (возникает так называемая проблема «бутылочного горлышка»), поэтому актуальной задачей является автоматизация процесса построения онтологии.

Онтологии как основа создания семантической сети

Большинство электронных документов находится в сети Интернет. Современный взгляд на Интернет предполагает создание семантической паутины - это надстройка над существующей Всемирной паутиной, которая призвана сделать размещённую в ней информацию более понятной для компьютеров. Машинная обработка возможна в семантической паутине благодаря двум её важнейшим характеристикам:

1. Повсеместное использование унифицированных идентификаторов ресурсов (URI). Традиционно в Интернете эти идентификаторы используются для установки ссылок на адресуемый объект (например, вебстраницу, файл или ящик электронной почты). Поскольку URI глобально уникальны, они позволяют называть одни и те же предметы в разных местах в семантической паутине. При этом URI протокола HTTP можно одновременно использовать как адреса документов, содержащих машиночитаемые описания этих предметов.

2. Использование семантических сетей и онтологий. Современные методы автоматической обработки данных, доступных в Интернете, как правило, основаны на 3 частотном и лексическом анализе текстового содержимого, которое, прежде всего, предназначено для восприятия человеком. В семантической паутине вместо этого используется стандарт RDF, описывающий семантические сети (графы), в которых узлы и дуги имеют URI. Утверждения, кодируемые с помощью RDF, в дальнейшем можно интерпретировать с помощью онтологий, созданных по стандартам RDF Schema и OWL, чтобы получать из них логические заключения. В основе онтологий лежат математические формализмы, называемые дескрипционными логиками, которые представляют собой семейство языков, позволяющих формально и однозначно описывать понятия. Структура семантической паутины представлена на рис. 1.

Рис. 1. Составляющие семантической паутины

Онтологии широко используются во всех областях, занимающихся обработкой данных на естественном языке. В связи с использованием онтологий в различных приложениях возникла необходимость создания стандартизированных способов их представления. Началось развитие разнообразных языков, которые могли бы применяться повсеместно во всех системах (самыми известными являются RDF и OWL). Возникло также большое количество редакторов для создания, пополнения и изменения онтологий. Каждое из этих средств, обычно, направлено на работу с определенным форматом данных и обладает своими особенностями. Однако, несмотря на это, на сегодняшний день для решения практически любой задачи автоматической обработки естественного языка требуется онтология.

Семантическая сочетаемость слов

Основной лингвистической единицей, вокруг которой разрабатывается тот или иной прием определения смысла или содержания, является слово. Слова в предложении связаны друг с другом грамматически и по смыслу. Грамматические связи обеспечивают грамматическую правильность речи. Примеры грамматических связей: согласование прилагательного-определения с определяемым существительным в роде, числе и падеже, глагольное управление существительными.

Задача грамматической сочетаемости, благодаря морфологическому анализу и специфическим маркерам (например, изменение окончания), является практически идентифицируемой, особенно для часто использующихся конструкций словосочетаний. Смысловые связи обеспечивают правильность высказывания по смыслу и смысловые отношения слов редко выражаются при их написании. Тем не менее, употребляя слово, мы должны согласовывать его по смыслу с другими словами. Это смысловое согласование выражается в двух типах словесной сочетаемости - семантической и лексической. Семантическая сочетаемость слова - это его способность вступать в сочетания с целыми классами слов, объединяемых общностью смысла. Например, глаголы думать, полагать, радоваться, смеяться, грустить и другие описывают различные состояния человека; значит, и сочетаться они могут лишь с такими словами, которые обозначают человека (это и есть один из семантических классов): мальчик, старик, прохожий, врач, учительница и т.п. Только в сказке или в фантастической повести возможны выражения вроде коза задумалась или шкаф засмеялся. Лексическая сочетаемость слова - это его способность вступать в сочетания не с любым словом из какого-либо семантического класса, а только с некоторыми. Например, существует класс слов, объединяемых общим смыслом «множество, совокупность»: стадо, табун, стая, рой, косяк и т.п. При необходимости обозначить множество каких-нибудь животных мы не можем сочетать название любого животного с любым из этих слов. Говорят: стадо коров, табун лошадей, стая птиц, рой пчел, косяк рыбы (но не «стая рыбы или рыб», «стадо пчел», «рой лошадей» и т.п.).

Типы связей в онтологии

Считается, что связи между понятиями в реальном мире и его моделях бывают различного типа, например, таксономические связи, выражающие отношения «является видом» или отношение «общее/специфичное», композиционные связи, выражающие отношение «является частью», и «топологические» связи (Topological relationships) или проблемно-специфичные (Domain specific relations), показывающие «пути» физических взаимодействий (interactions) между понятиями или обеспечивающие информацией о пространственном их расположении . Каждая из таких типов связей представлена в конкретных онтологиях множеством вариантов. Таксономические связи. К наиболее типичным таксономическим отношениям относятся отношение, ставящее две сущности в зависимость «частное - общее» (является потомком), исчерпывающее разбиение на подклассы (Exhaustive-Subclass-Partition). К таксономическим может быть отнесено и отношение «является представителем» (Instance-of). Композиционные связи в «искусственном интеллекте» и концептуальном моделировании различают несколько типов отношений часть-целое (part-whole), среди которых наиболее популярны: компонент-объект (component-object) - физическая или концептуальная часть; ингредиент, вещество - для объекта (stuff-object) (например, мука в хлебе, пластик - материал для монитора); член из набора (member-collection) - сущность является членом множества (набора, коллекции) однородных сущностей). «Топологические» связи. Согласно анализу реальных онтологий, «топологическими» (или проблемно-специфичными) являются, например, такие связи: сущность имеет атрибутом что-то (отношение объект - его свойство); Следующая «группа» связей - связи сущностей с процессами и связи сущностей с сущностями посредством процессов: сущность поддерживает процесс, сущность является инструментом процесса, актор/сущность участвует в процессе, актор/сущность выполняет процесс, актор руководит/управляет процессом, и т.п.

Другая группа связей - причинно-следственные связи: процесс влияет на прохождение другого процесса (например, препятствует, оберегает от), процесс влияет на сущность, процесс вызывает другой процесс, абстракция является предпосылкой для абстракции и др. Временные связи (или связи сущностей, протекающих во времени): процесс связан по времени с другим процессом, временной интервал является частью другого, временной интервал связан с другим интервалом, процесс является частью другого процесса. Пространственные связи: сущность частично располагается в другой сущности, объект пространственно связан с чем-то (находится рядом, пересекается…), организм обитает в сущности, сущность наполняет другую сущность. Все рассматриваемые отношения являются бинарными отношениями. Для анализа структуры этого достаточно, поскольку к таковым можно свести любые парные отношения.

Описание онтологических отношений средствами алгебры конечных предикатов

Между словами в словосочетаниях существуют различные типы отношений (рис. 2). Отношения иерархии как разновидность сильных парадигматических отношений соответствуют отношениям подчинения или отношениям типа «выше-ниже». В пределах иерархических отношений различают отношения типа «род-вид» и «целое-часть». Отношение «род-вид» является одним из важнейших видов связей между понятиями. При этом родовым (подчиняющим) называется понятие, выражающее существенные признаки класса предметов, являющихся видами этого рода. Соответственно видовым (подчиненным) называется понятие, которое отображает существенные признаки класса предметов, являющегося видом какого-либо рода. В качестве математического аппарата для моделирования семантики свободных словосочетаний с родовидовыми отношениями предлагается использовать алгебру конечных предикатов (АКП). Это универсальный математический аппарат для описания детерминированных, дискретных и конечных информационных объектов. Этот аппарат позволяет описывать различные языковые закономерности в рамках единой математической модели.

Рис. 2. Виды логических связей между понятиями

Аппарат алгебры конечных предикатов (АКП) является обобщением аппарата булевых функций и аппарата многозначной логики. АКП дает возможность перехода от алгоритмического описания лингвистических закономерностей к описанию их в виде уравнений. Словоформы принимают свои сочетания в контексте. Контекстом в нашем случае служит словосочетание в определенной предметной области.

Размещено на Allbest.ru