Диалоговая интеллектуальная система с естественно-языковым интерфейсом

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Кубанский государственный технологический университет

Автореферат

диссертации на соискание ученой степени кандидата технических наук

Специальность: 05.13.01 - Системный анализ, управление и обработка информации

Диалоговая интеллектуальная система с естественно-языковым интерфейсом

Никонов Владимир Олегович

Краснодар 2007

Работа выполнена в Кубанском государственном технологическом университете.

Научный руководитель: кандидат технических наук, профессор Частиков Аркадий Петрович.

Официальные оппоненты:

доктор физико-математических наук, профессор Лежнев Виктор Григорьевич, Кубанский государственный университет,

кандидат технических наук, доцент Варламова Жанна Николаевна, Новороссийская государственная морская академия.

Ученый секретарь диссертационного совета, канд. техн. наук, доцент Власенко А.В.

1. Общая характеристика работы

Актуальность исследования. Количество информации и пользователей в сети Интернет неуклонно возрастает. К октябрю 2006 года количество сайтов, работающих в сети превысило 100 миллионов, а количество пользователей русскоязычного интернета к началу 2007 году составляло 28 миллионов человек.

В связи с быстрым развитием сети Интернет, знания в которой представляются, главным образом, в текстовом виде, их автоматизированное извлечение из текста приобретает особую актуальность и становится одной из центральных задач искусственного интеллекта. Поиск знаний, в отличии от простого поиска информации, при котором не учитывается семантика запросов, должен предоставлять пользователю только действительно актуальную информацию, наиболее точно соответствующую его потребностям и адекватную исходному запросу. Если при обычном поиске пользователь знает, что он может получить, то при поиске знаний он должен получить нечто до сих пор неизвестное и познать его.

О сложности получения знаний в сети Интернет говорит ряд исследований, согласно которым, люди тратят слишком много времени, пытаясь найти нужную информацию. Пользователи сети Интернет обращаются к поисковым системам и форумам в поисках ответов на свои вопросы. Интернет уже содержит ответы на большинство вопросов, проблема состоит в том, что доступ к ним связан с большими временными затратами. Для решения указанных проблем разработан и исследован новый тип систем, работающих в сети Интернет - диалоговые интеллектуальные системы с естественно-языковым интерфейсом.

Диссертационная работа посвящена разработке принципов функционирования, методике и технологии создания диалоговой интеллектуальной системы с естественно-языковым интерфейсом (диалоговая ИС с интерфейсом), способной распознавать запросы пользователей с учетом семантики и проводить консультации в диалоговом режиме в сети Интернет.

Цель работы. Целью диссертационной работы является теоретическое обоснование и разработка основных принципов и методики создания диалоговой интеллектуальной системы с естественно-языковым интерфейсом, экспериментальное исследование предложенных методов на практике.

Задачи исследования:

обобщить опыт создания систем автоматической обработки текста, выявить их недостатки и преимущества;

проанализировать системы получения знаний в сети Интернет, выявить их недостатки и предложить пути их устранения;

разработать естественно-языковой интерфейс для интеллектуального поиска по базе знаний диалоговой ИС;

разработать метод обработки запросов пользователя;

разработать метод построения диалоговой ИС на базе интеллект-карт;

осуществить на основе разработанного метода программную реализацию диалоговой ИС с ея-интерфесом;

провести экспериментальную проверку применимости предложенного метода для решения задачи поиска ответов на вопросы в сети Интернет, определить эффективность работы системы в реальных производственных условиях.

Методы исследования. Поставленные задачи решены с применением компьютерной лингвистики, системного анализа, теории графов, методов инженерии знаний.

Научная новизна. В соответствии с целью работы и задачами исследования в диссертационной работе были получены следующие научные результаты:

разработана структура диалоговой ИС с ея-интерфейсом, алгоритмы функционирования основных ее компонентов;

предложен новый подход к созданию диалоговых систем на базе интеллект-карт;

разработан метод консультирования в сети Интернет на базе диалоговой ИС с ея-интерфейсом;

создан алгоритм выделения ключевых слов в запросе пользователя;

решены практические вопросы разработки и создания диалоговой ИС с ея-интерфейсом;

спроектирована и реализована диалоговая ИС с ея-интерфейсом для торговых предприятий, занимающихся продажей алкогольной продукции.

Практическая значимость работы. Прикладная ценность полученных результатов заключается в создании диалоговой интеллектуальной системы с естественно-языковым интерфейсом, позволяющей повысить эффективность получения ответов на вопросы в сети Интернет.

Разработанная система прошла апробацию в ЗАО АФ «Мысхако» и ООО «Южный регион». Апробация работы продемонстрировала эффективность применения предложенной методики объединения диалоговой системы и естественно-языкового интерфейса. Система может быть интегрирована в структуру любого сайта предприятия, превратив его из обычного представительства в сети Интернет в инструмент торговли, снабдив Интернет-магазин предприятия мощным консультационным обеспечением, что в свою очередь позволит существенно увеличить и упростить продажи через Интернет. Система также может быть использована для обучения персонала предприятия и повышения квалификации сотрудников.

Основные положения, выносимые на защиту.

Сравнительный анализ существующих методов автоматизированного извлечения знаний из текста.

Принципы построения и архитектура диалоговой интеллектуальной системы с естественно-языковым интерфейсом.

Метод создания диалоговой ИС на базе интеллект-карт.

Алгоритм определения ключевых слова запроса.

Принципы построения и структура ея-интерфейса.

Критерии оценки эффективности работы системы.

Результаты оценки эффективности и работоспособности диалоговой ИС с ея-интерфейсом.

Апробация результатов исследования. Основные положения диссертационной работы докладывались и обсуждались на 2 Всероссийских научных конференциях:

II Всероссийской научной конференции молодых ученных и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах», г. Анапа, 2005 г.;

III Всероссийской научной конференции молодых ученных и студентов «Современное состояние и приоритеты развития фундаментальных наук в регионах», г. Анапа, 2006 г, по итогам которой работа: «Интеллектуальная поисковая система с ея-интерфейсом» заняла второе место.

Реализация и внедрение результатов работы. Основные методы и алгоритмы функционирования диалоговой интеллектуальной системы с естественно-языковым интерфейсом реализованы на базе программных продуктов свободно распространяемых в сети Интернет. Такой подход позволяет создать систему с минимальными финансовыми затратами и проверить ее эффективность на практике. Разработанная система внедрена в ЗАО АФ «Мысхако» и ООО «Южный регион».

Публикации по теме диссертации. Материалы диссертации опубликованы в 6 печатных работах. В том числе, 2 статьи и 4 тезиса доклада.

Структура и объем работы. Диссертационная работа состоит из введения, четырех глав, заключения и списка использованной литературы (78 наименований), изложенных на 136 страницах и 1 приложения.

2. Содержание работы

Во введении обосновывается актуальность темы диссертации - разработка диалоговой ИС с ея-интерфейсом. Формулируются цель работы и задачи, описываются применяемые методы исследования, научная новизна, практическая значимость работы и основные положения, выносимые на защиту. В первой главе диссертации проведен анализ интернет-источников, отечественной и зарубежной литературы, направленный на исследование подходов к обработке текстов и построения диалоговых интеллектуальных систем. Рассмотрены современные разработки в области создания систем консультации в сети Интернет. Выявлены и исследованы недостатки существующих подходов к получению знаний в сети Интернет, осуществлена постановка задачи и предложен новый метод создания диалоговых ИС с ея-интерфейсом. Результаты анализа, проведенного в первой главе, показали:

Современное состояние дел в области разработки диалоговых интеллектуальных систем в целом может быть охарактеризовано следующим образом:

уровень теоретических исследований и существующие модели языков не позволяют удовлетворительно реализовать двухсторонне активный диалог, предусматривающий смену ролей пользователя и системы в ходе общения;

наиболее изученным, и представленным в литературе является режим, когда вопросы задает пользователь, а система отвечает на них.

Анализ исследований и разработанных систем, ориентированных на запросно-ответный диалог, показал, что каждая из них реализует следующую общую схему: воспринимает сообщение пользователя как запрос и формирует соответствующий ответ на основе имеющихся знаний. Систем, учитывающих в совокупности морфологию, синтаксис и семантику запросов на естественном языке - нет. Несмотря на большой объем работ, проведенных в области обработки естественно-языковых текстов, к настоящему моменту не предложено механизмов практического их применения для поиска информации. Естественно-языковый интерфейс рассмотренных систем не предполагает использование сложных предложений естественного языка в запросе пользователя. Запрос пользователя к системе является простым предложением, но, тем не менее, для его распознавания необходимо использовать лингвистический анализатор, состоящий из трех уровней пофразного представления текста - морфологического, синтаксического и семантического.

Анализ лингвистических моделей показал, что они способны: извлекать знания из заданного текста и строить правильные предложения естественного языка по заданным значениям смысла; перефразировать эти предложения; оценивать их с точки зрения связности и выполнять ряд других задач. Анализ показал, что разработанные модели имеют достоинства, но и не лишены недостатков. Многие из них в основном ориентированы на анализ, в них слабо продуман процесс преобразования смысла входного высказывания на знания системы, что может привести к некорректным умозаключениям. Также выделяется класс моделей, в которых отсутствует или слабо реализован блок морфологического или синтаксического анализов, что оказывает существенное влияние на качество анализа текста.

Во второй главе диссертационной работы приводятся структурные и функциональные основы разработанной диалоговой ИС с ея-интерфейсом. На основе анализа литературных источников сделан вывод, что для достижения приемлемого качества обработки естественно-языковых запросов необходимо выделять наиболее информативные единицы текста - ключевые слова. Наиболее подходящей моделью лингвистического анализатора для реализации является модель контекстного фрагментирования, обеспечивающая возможность отображения естественно-языкового текста на формальный язык представления знаний. Основу модели контекстного фрагментирования составляет трехуровневая система: лингвистическая модель, базовые механизмы обработки предложений и ассоциированные процедуры. Систему общения с базой знаний можно представить в виде:

Z = <M, B, K>, (1)

Где, М - лингвистическая модель;

В - базовые механизмы обработки предложений;

К - ассоциированные процедуры.

Лингвистическая модель М содержит информацию о морфологии, синтаксисе и семантике естественного языка.

Базовые механизмы В реализуют четыре основных отображения:

ш₁: Т>Х (морфологический анализ);

ш₂: X>G (синтаксический анализ);

ш₃: G>S (семантический анализ);

ш₄: S>Q (трансляция), где T - текст естественного языка в виде множества лексем, X - множество лексем с морфологической информацией, G - дерево зависимостей, в вершинах которого располагаются лексемы, а дуги отображают связи, S - семантический граф, Q - SQL-запрос в виде цепочки ключевых слов.

Под ассоциированными процедурами К понимается разбиение предложения на лексемы, а также все процедуры, реализующие функции, необходимые для выполнения отображений. Архитектура диалоговой ИС с ея-интерфейсом представлена на рисунке 1.

Рисунок 1. Архитектура диалоговой ИС с ея-интерфейсом

Графемематический компонент выполняет начальный анализ естественного текста. На его вход подается исходный текст. На выходе анализатор строит таблицу, состоящую из двух столбцов. Например, из текста "Иван работал" будет построена таблица.

Таблица 1. Графематический анализ

В первом столбце стоит часть входного текста, во втором столбце графематические дескрипторы, характеризующие этот текст. Графематический анализ выполняет задачи: разделение входного текста на слова и разделители, сборка слов, написанных в разрядку, выделение устойчивых оборотов, ФИО, электронных адресов и имен файлов. После графематического анализа в работу вступает морфологический компонент, который приписывает лексемам морфологическую информацию и производит их лемматизацию.

Для каждого слова морфологический анализатор выдает множество морфологических интерпретаций следующего вида: лемма, морфологическая часть речи, множество наборов граммем.

Таблица 2. Морфологический анализ

Результаты морфологического анализа представлены в виде множества пар лексем <x_i,V_i> , где x_i - лексема естественно-языкового запроса, V_i - вектор морфологической информации x_i лексемы. Они являются исходными данными для проведения фрагментационного анализа текста. Цель фрагментационного анализа - деление предложения на неразрывные фрагменты и установление иерархии между ними. В результате фрагментационного анализа будут сформированы два множества: новое исходное множество лексем X и L - множество групп связанных лексем. Задачей синтаксического анализа является выявление синтаксической связи между двумя лексемами множества X и множества L, разбиение лексем на множество главных слов L₁ и множество зависимых слов L₂, причем и формирование множества сочетаемых пар лексем. Для нахождения корневой вершины необходимо:

1) объединить множества,

2) найти разности множеств L₃ и L₂: L₄ = L₃\ L₂, где L₄ - одноэлементное множество корневых вершин.

Таким образом, формируется граф зависимостей G=<X, D>, где Х - множество вершин графа G, которое составляет множество лексем X={x_i¦i=1,n}, a D -множество дуг.

В результате синтаксического анализа должны быть однозначно определены все синтаксические конструкции естественно-языкового предложения, в которых их элементы объединены синтаксическими связями. После синтаксического анализа проводится семантический анализ. В ходе анализа текста строится его семантическое представление, которое представляет собою связный ориентированный граф, состоящий из семантических узлов и отношений между ними. Семантический анализ основан на русском общесемантическом словаре (РОСС). В словаре для каждой лексемы указаны разные характеристики слова:

семантический класс лексемы;

грамматический класс лексемы;

валентная структура лексемы;

семантические и грамматические ограничения на выражение каждого актанта из валентной структуры.

Для записи семантики используется специальный информационный язык-посредник. Элементарное высказывание на этом языке фиксирует семантическое отношение между двумя семантическими узлами, и имеет вид формулы R, в которой R - имя отношения, а А и В - семантические узлы. Семантическое отношение - это универсальная связь, усматриваемая носителем языка в тексте. Эта связь бинарна, она идет от одного семантического узла к другому узлу. Семантическое отношение формирует и организует текст. Практически любые связи между частями текста, которые необходимо выявить при анализе текста, можно выразить семантическим отношением или их композицией.

После построения семантического представления запроса в работу вступает алгоритм определения ключевых слов, которые несут основную смысловую нагрузку в предложении. Ключевыми словам являются (в порядке убывания значимости):

- существительное, связанное с глаголом, связями OBJ (объект), SUB (субъект), CONTEN (содержание) - полученное слово является главным словом запроса;

- прилагательное или существительное, связанное с главным словом связями PROPERT (свойство) или BELNG (принадлежать);

- глагол - вершина графа;

- обстоятельства.

В результате работы в предложении будет выделена цепочка слов, по которой будет произведен поисковый запрос в базу знаний. База знаний построена на основе интеллект-карт. Интеллект-карты - техника представления процесса мышления или структурирования информации в визуальной форме. В работе рассмотрены два типа интеллект-карт (карта запроса и карта диалога), которые необходимо создать эксперту для успешного функционирования диалоговой ИС. Определена их структура и алгоритм их создания.

Карта первого типа - «карта запроса» представляет собой описание пути к сценариям диалогов, хранимым в системе. По картам запросов происходит поиск сценариев диалогов и их запуск. Целью создания карт первого типа является выделение ключевых слов запроса и порядка их поиска в системе. Карты запросов служат графическим представлением базы знаний системы. Карты запросов создаются экспертами после получения ими вопроса на форуме, проведения консультации с пользователем и создании сценария диалога. Карта строится с опорой на семантический граф предложения, построенный ея-интерфейсом при анализе запроса пользователя. Карта запроса представляет собой интеллект-карту в центре которой размещено слово-существительное (устойчивое словосочетание) - главное слово. От главного слова отходят ветви, соединяющие его с узлами-действиями, представленными глаголами. Данные узлы обозначают действия (вопросы), которые можно произвести с главным словом. От глаголов отходят ветви, соединяющие их с уточняющими членами предложения.

Преимущество создания диалогов с помощью интеллект-карт состоит в простоте их разработке. Эксперту не требуется знаний программирования, чтобы создать сценарий диалога. Он просто «рисует» диалог в визуальном редакторе. После создания карты диалога - она компилируются в программу, которая, впоследствии, осуществляет диалог с пользователем. Если в ходе работы с диалоговой ИС пользователь не получит ответ на заданный вопрос, то он отключается от режима диалога и инициирует запрос к эксперту на форуме. Эксперт на форуме выясняет у пользователя, в чем возникло затруднение при работе с системой, и почему она не дала ответ на его вопрос. Он самостоятельно отвечает на вопрос пользователя на форуме, а потом вносит уточнения в карту диалога, чтобы в следующий раз пользователь получил ответ от системы без его вмешательства. Использование ея-интерфейса для определения ключевых слов запроса и использования их для поиска позволяет точно находить и включать сценарии диалогов.

В третьей главе диссертационной работы представлена программная реализация всех составляющих компонентов диалоговой интеллектуальной системы с естественно-языковым интерфейсом:

блок естественно-языкового интерфейса, включающий процессоры (графематический, морфологический, синтаксический, семантический) и словари (русский морфологический, русский общесемантический);

форум;

среда разработки сценариев диалогов;

Обоснован выбор инструментальных средств для разработки системы.

Для реализации диалога экспертов с пользователями, в качестве среды общения, выбран форум «PhpBB». Достоинствами которого являются: легкость инсталляции, поддержка СУБД, безопасность, русскоязычный интерфейс. В качестве онлайн редактора диалогов выбран «KiberryScenario», обладающий следующими положительными качествами: платформенная независимость, открытость, надежность, доступность. Редактор диалогов написан на языке Java. Разработка сценария диалога не требует особых знаний и осуществляется посредством манипуляции абстрактными графическими объектами в среде редактора.

Для анализа естественно-языковых запросов выбран и доработан программный комплекс «Диалинг». Достоинствами, определившим его выбор, является его завершенность: программная реализация доведена до уровня промышленного использования. В состав системы «Диалинг» входят лингвистические процессоры: графематический, морфологический, фрагментационный, синтаксический, семантический. Графематический, синтаксический и семантический процессоры реализованы на языке С. Взаимодействие между модулями в программе организовано через стандартный СОМ интерфейс.

Таблица Lemmata содержит перечень всех лемм данного словаря, для каждой леммы даны ее свойства. Таблица FlexiaModels содержит перечень возможных окончаний всех лемм. Таблица AccentModels содержит перечень возможных номеров ударных гласных для словоформ. Таблица Ancodes содержит все возможные морфологические интерпретации. Словарь может хранить информацию о словах, возможных окончаниях, возможных приставках, которые могут присоединяться к словоформам. В третьей главе диссертации определены требования к аппаратному и программному обеспечению системы. Произведен выбор средств, на базе которых работает система. В четвертой главе приведены результаты экспериментальных исследований работоспособности и эффективности диалоговой интеллектуальной системы с естественно-языковым интерфейсом.

Осуществлен выбор и обоснование предметной области использования диалоговой интеллектуальной системы. Консультационная диалоговая система разработана для торговых предприятий, занимающихся оптовой и розничной продажей алкогольной продукции. Определены критерии качества работы естественно-языкового интерфейса: надежность, полнота, гибкость, дружественность. Рассмотрены результаты тестирования ея-интерфейса. Под надежностью понимается способность ея-интерфейса правильно понимать намерения пользователя по получению информации из источника, при условии, что пользователь корректно выразил потребности в виде ея-запроса. Надежность отражает правильность принципов, лежащих в методе ея-анализа, а также корректность построения ея-интерфейса.

Разработанный ея-интерфейс имеет некоторое пространство правильно понимаемых запросов. Чем больше это пространство, тем большей полнотой он обладает. Полнота - характеристика, тесно связанная с гибкостью интерфейса. Гибкость - показатель того, насколько разнообразные типы запросов может понимать ея-интерфейс. Другой важной характеристикой является дружественность интерфейса, которую можно определить как меру того, насколько ея-интерфейс удобен в работе, насколько корректно он может сообщать о проблемах понимания, может ли он помогать в переформулировке неберущихся запросов. В ходе тестирование ея-интерфейса специалистом были сформулированы вопросы для проверки работоспособности системы. В результате тестирования блоком ея-интерфейса были корректно распознаны 80 запросов из 100. Некорректно распознанные запросы были связаны, во-первых, с отсутствием специфических слов в словаре РОСС, во-вторых, со сложной формулировкой запроса, которые были представлены не в виде простого предложения. Для оценки гибкости ея-интерфейса - показателя того, насколько разнообразные типы запросов может понимать ея-интерфейс. Были выбраны несколько запросов и переформулированы.

Во всех результатах анализа запросов, несмотря на их различную формулировку, ея-интерфейс выделил одну и ту же цепочку ключевых слов: «вино - сухой - купить - Краснодар». Результаты тестирования показали правильность принципов, лежащих в работе ея-интерфейса, а также корректность его построения. Для увеличения гибкости системы предусмотрена настройка ее словарей, и установление дополнительных правил обработки семантического графа запроса. Проведен сравнительный анализ и показаны преимущества разработанной системы перед существующими средствами получения знаний в сети Интернет.

Тестирование проводилось среди поисковых систем, форумов и разработанной диалоговой ИС с ея-интерфейсом. Главным показателем эффективности является время затрачиваемое пользователем на поиск ответа с помощью вышеуказанных систем. Методика тестирования состояла в том, что предварительно экспертом было подготовлено 50 вопросов по предметной области работы. Было проверено, что на эти вопросы можно найти ответы с помощью тестируемых систем.

Измерялось время в секундах от момента нажатия на кнопку «Поиск» в исследуемой системе до получения испытуемым ответа на поставленный вопрос. Основные задержки в поиске с помощью поисковых систем и форумов были связаны:

с переформулировкой запроса, если поиск по заданному вопросу не давал результатов, то запрос приходилось корректировать;

анализом полученных результатов и выбора подходящей страницы для поиска ответа в ней;

нахождением ответа среди самого текста на релевантной странице, выведенной по результатам поиска.

Использование для поиска ея-интерфейса позволяет избежать указанных задержек и сократить время поиска ответа в 2-3 раза по сравнению с используемыми в настоящий момент поисковыми системами и форумами. Рассмотрены результаты тестирования диалоговой ИС с ея-интерфейсом на примере выбора вина по классификациям для агрофирмы «Мысхако». Полученные результаты подтвердили работоспособность системы и оптимальность выдаваемых ею рекомендаций. Приведено обоснование экономической эффективности разработки и внедрения системы. Ожидаемый минимальный экономический эффект от внедрения на торговом предприятии агрофирмы «Мысхако» составляет 50000 руб. в год. В заключении отражены основные выводы и результаты диссертации, подтверждена ее практическая значимость.

Выводы

В процессе исследования получены следующие результаты:

Обосновано создание диалоговой ИС с ея-интерфейсом для получения знаний в сети Интернет.

Проведен анализ лингвистических моделей и средств обработки текстов в диалоговых системах.

Исследована структура лингвистического анализатора.

Разработаны принципы построения и структура диалоговой ИС с ея-интерфейсом.

Предложен метод создания диалоговых систем на базе интеллект-карт.

Разработан метод анализа и преобразования запроса на естественном языке к форме, позволяющей достичь эффективных результатов поиска.

Предложен алгоритм выделения ключевых слов запроса пользователя.

Решены практические вопросы разработки и создания диалоговой ИС с ея-интерфейсом.

Создана и протестирована диалоговая ИС с ея-интерфейсом для торговых предприятий, занимающихся продажей алкогольной продукции.

Разработанная система внедрена на предприятиях ЗАО АФ «Мысхако» и ООО «Южный регион».

Основные публикации

языковой интерфейс диалоговый

1. Частиков А.П., Никонов В.О. Проблемы разработки ея-интерфейсов // Труды Кубанского государственного технологического университета. Серия «Информатика и управление». Том XXV, вып. 3. - Краснодар: 2005.

2. Никонов В.О. Использование естественно- языкового интерфейса для решения информационных задач. // Труды II Всероссийской научной конференция молодых ученых и студентов. Том 2. Краснодар: Просвещение-Юг, 2005. с. 129.

3. Никонов В.О. Критерии качества при построении естественно - языкового интерфейса. // Труды II Всероссийской научной конференция молодых ученых и студентов. Том 2. Краснодар: Просвещение-Юг, 2005. с. 130.

4. Никонов В.О. Интеллектуальная поисковая система с ЕЯ-интерфейсом. // Труды III Всероссийской научной конференции молодых ученых и студентов. Краснодар: Просвещение-Юг, 2006. с. 205-206.

5. Никонов В.О. Виртуальные компьютеры в учебном процессе // Труды III Всероссийской научной конференции молодых ученых и студентов. Краснодар: Просвещение-Юг, 2006. с. 207.

6. Никонов В.О. Динамические экспертные системы с естественно-языковым интерфейсом // Известия высших учебных заведений. Северо-Кавказский регион, 2006, Приложение № 10, с. 13-15.

Размещено на Allbest.ru