Разработка средств автоматизации расширения онтологии на основе данных интернет-источников

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Пермский филиал федерального государственного автономного образовательного учреждения высшего образования «Национальный исследовательский университет «Высшая школа экономики»

Факультет экономики, менеджмента и бизнес-информатики

РАЗРАБОТКА СРЕДСТВ АВТОМАТИЗАЦИИ РАСШИРЕНИЯ ОНТОЛОГИИ НА ОСНОВЕ ДАННЫХ ИНТЕРНЕТ-ИСТОЧНИКОВ

Выпускная квалификационная работа

по направлению подготовки 38.03.05 Бизнес-информатика

образовательная программа «Бизнес-информатика»

Абросимова Полина Сергеевна

Пермь, 2019 год

Аннотация

В данной работе совершенствуется система мониторинга глобальных процессов сети Интернет. Приводится обоснование необходимости пополнения существующей онтологии, а также ведётся анализ трёх основных методов пополнения онтологии: пополнение онтологии вручную, интеграция двух существующих онтологий и автоматическое пополнение онтологии. В ходе анализа был выбран метод автоматического пополнения онтологии, так как в данном случае отсутствует необходимость в эксперте предметной области и инженере онтологии, а также данный метод позволит своевременно обновлять онтологию на основе найденных данных в сети Интернет по запросу пользователя. Также был выбран формат представления онтологии turtle. Был спроектирован алгоритм автоматического пополнения онтологии с помощью диаграммы нотации «Процесс» и метаязыка, описывающего структуру для реализации алгоритма. Для разработки были использованы инструменты JavaScript, WebStorm IDE, библиотеки NightMare, SPARQL.js, retext-keywords. Был разработан алгоритм поиска часто встречаемых ключевых слов, а также проверка наличия этих слов в онтологии.

Работа изложена в трёх главах на 36 листах, включает в себя 8 рисунков, две таблицы, три приложения.

онтология пополнение автоматический



Оглавление

Введение

Глава 1. Анализ существующих алгоритмов расширения онтологии

1.1. Результаты работы за предыдущий год

1.2 Постановка задачи

1.3 Методы расширения онтологии

1.3.1 Пополнение онтологии вручную

1.3.2 Интеграция двух онтологий

1.3.3 Автоматическое пополнение онтологии

1.3.4 Сравнение методов расширения онтологии

1.4 Форматы представления онтологии

1.5 Выводы

Глава 2. Проектирование сервиса

2.1. Проектирование алгоритма

2.2. Источники данных

2.3 Выводы

Глава 3. Разработка автоматического пополнения онтологии

3.1 Обоснование выбора инструментов разработки

3.2 Изменение источника данных

3.3 Реализация алгоритма автоматического пополнения онтологии

Заключение

Библиографический список



Введение

С появлением сети Интернет количество доступной людям информации увеличивается стремительными темпами. Поисковые системы выдают тысячи результатов на запрос пользователя, однако информация предоставляется пользователю в необработанном виде.

В связи с этим возникает ряд проблем.

Для поиска необходимой информации пользователи тратят время, которое зачастую может быть ограничено различными факторами. Ещё больше времени может уйти на структурирование информации, в связи с чем какие-то данные могут быть искажены или потеряны.

Отдельные данные пользователь может пропустить по ряду причин, например, рассеянности внимания или большого количества информации. Также большое влияние на качество информации оказывает источник данных.

Важна корректная формулировка запроса: по различным запросам можно получить разные результаты поиска. Пользователь может не принимает этот факт во внимание или даже не знать о подобных возможностях поиска. Пользователь может некорректно сформировать запрос, из-за чего часть необходимых данных может быть потеряна.

Отдельная проблема заключается в том, что в связи с субъективным восприятием пользователя информация может быть искажена.

С целью решения указанных выше проблем возникла необходимость разработать систему, структурирующую информацию и предоставляющую результаты в виде, удобном для пользователя [2, 4, 5, 7].

На данный момент уже существуют системы, позволяющие решить поставленные проблемы. Однако, в подобных системах существуют свои недостатки [3, 6].

Существуют средства расширенного поиска, позволяющие задать синонимы, допустимые слова или фразы, которые не стоит включать в поиск и так далее, однако связи между словами в подобном случае не учитываются [1, 7, 10]. Данные средства могут расширить результаты поиска, предоставив больше необходимой информации, однако остаётся проблема неструктурированных данных.

Существуют отдельные решения для анализа данных, например, RapidMiner [24], однако программы перегружены функциональными возможностями и достаточно сложны для понимания непрофессионального пользователя. Более того, подобные решения платные, что затрудняет их использование.

Таким образом, создание системы автоматизированного поиска и структурирования данных весьма актуально, поскольку не существует прямых бесплатных аналогов разрабатываемой системы, которая могла бы решать все описанные выше проблемы.

Разработке подобной системы была посвящена курсовая работа предыдущего года. В работе описаны задачи, выполнение которых необходимо для решения поставленных проблем, а именно:

Расширение пользовательского запроса. На основе введённого пользователем запроса необходимо формулировать различные запросы, позволяющие охватить больше информации по заданной теме.

Получение результатов из различных поисковых источников по запросам, поскольку поисковые роботы разных поисковых систем работают по разным алгоритмам, в связи с чем результаты могут сильно отличаться.

Извлечение результатов поиска для работы с данными.

Структурирование данных.

Представление данных в виде модели глобального процесса для пользователя.

В разработанной системе были выполнены пункты 3 и 4. Извлечение данных ведётся при помощи парсинга по HTML-тегам страницы; сохраняются и отображаются только отобранные данные. Для структурирования данных было решено использовать онтологию предметной области. Структурирование данных представляет из себя создание элементарных запросов к онтологии по результатам поиска.

Ввиду коротких сроков работы над проектом созданная система имеет весьма ограниченные функциональные возможности, которые необходимо дорабатывать для достижения лучших результатов.

Данная работа является продолжением упомянутой выше.

Проблема, которая решается в данной работе, связана с расширением онтологии предметной области. Используемая онтология может оказаться неполной, в связи с чем данные, необходимые пользователю, могут быть утеряны на этапе структуризации данных. При анализе результатов, полученных по запросу, может появиться необходимость добавить какие-либо слова или фразы в онтологию. Расширение онтологии необходимо автоматизировать.

На данный момент уже существуют различные методы и средства расширения онтологии.

Объектом исследования являются методы проектирования средств автоматизации онтологии, внедрённой в систему мониторинга глобальных бизнес-процессов. Предметом исследования - средства автоматизации расширения онтологии.

Целью работы является разработка и внедрение в разрабатываемую систему оптимального алгоритма расширения онтологии выбранной предметной области.

Для достижения поставленной цели был выдвинут ряд задач:

Анализ существующих методов расширения онтологии.

Анализ форматов представления онтологии.

Разработка алгоритма расширения онтологии.

В предыдущей работе были использованы методы web-mining и text-mining для извлечения данных из сети Интернет. В данной работе для индексации текста изучаются дополнительные возможности данных методов. Для разработки алгоритма автоматического расширения онтологии предлагается использование диаграмм нотации «Процесс» и метаязыка. С помощью функционального программирования алгоритм был внедрён в систему. Тестирование корректной работы системы производилось с использованием тестирования чёрного ящика.

В первой главе рассматриваются существующие методы расширения онтологии. На основе проанализированных решений делается вывод о наиболее подходящем методе расширения онтологии выбранной предметной области.

Также в первой главе делается выбор о формате, в котором будет храниться онтология. Для этого ведётся подробный разбор трёх форматов представления онтологии.

Во второй главе представлены результаты разработки выбранного алгоритма расширения онтологии. Описаны результаты проектирования алгоритма для расширения онтологии, а также разобраны источники данных для анализа текстов.

В третьей главе приводится обоснование выбора инструментов разработки. Описаны этапы реализации алгоритма автоматизации в рамках разрабатываемой системы, а также приведены результаты тестирования алгоритма.



Глава 1. Анализ существующих алгоритмов расширения онтологии

Для проектирования алгоритма расширения онтологии необходимо выполнить исследование по следующим темам:

Рассмотрение методов расширения онтологии.

Рассмотрение форматов представления онтологии.

На основе анализа изученных методов формируется общее представление разрабатываемого алгоритма для расширения онтологии.

В данной главе описывается поставка задачи, а также рассматриваются методы расширения и представления онтологий.

В ходе исследования были изучены научные статьи на тему расширения онтологии.

1.1 Результаты работы за предыдущий год

В результате курсовой работы прошлого года была разработана система мониторинга глобальных процессов, целью которой было упрощение поиска важной информации и структурирование её для непрофессионального пользователя. Поиск проводился в поисковой системе Google.

На систему было наложено ограничение по использованию онтологии для хранения данных о предметной области. В связи с этим был проведён анализ возможных методов и средств для реализации требуемых функциональных возможностей на основе онтологии.

В результате анализа методов и средств извлечения данных был реализован парсер для извлечения данных по HTML-разметке web-страницы. Структуризация данных заключается в создании SPARQL-запросов к онтологии предметной области.

Для реализации системы на основании выбранных методов и средств извлечения и структуризации данных был выбран язык программирования JavaScript, а сама разработка велась в среде программирования WebStorm.

Был реализован web-клиент, позволяющий пользователю вводить запрос, с помощью которого парсер обращался к поисковой системе Google, имитировал нажатие клавиш для получения результатов, а после переходил в новостной раздел и извлекал по тегам необходимые данные. Далее заголовки и тексты новостей были разбиты по словам и проанализированы с помощью SPARQL-запросов к онтологии.

На данный момент результаты выводятся только при наличии слов в форме, в которой они находятся в онтологии.

Таким образом, для новости (см. рис. 1.1) со словом «Разлив», которое встречается в онтологии и имеет экземпляры «Разлив» и «произошла_утечка», были выведены результаты:

{"date":"27 февр. 2018 г.",

"source":"Ridus.ru","title":[],"text":[[{"entity":{"token":"uri","value":"http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Разлив"}},{"entity":{"token":"uri","value":"http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#произошла_утечка"}}]]}.

Рисунок 1.1 Новость по запросу «Разлив нефти в США»

На данный момент разработанная система мониторинга глобальных процессов работает следующим образом:

Пользователь вводит запрос и нажимает клавишу «Поиск».

Программа передаёт запрос поисковой системе и запускает поиск.

Извлекаются данные результатов поиска на первой странице.

Данные структурируются путём создания простых запросов к онтологии выбранной предметной области.

Отсортированные результаты выводятся пользователю.

1.2 Постановка задачи

В данной работе ведётся совершенствование разрабатываемой системы.

Как уже было описано выше, созданная система структурирует данные путём создания SPARQL-запросов к онтологии. Недостаток такого подхода заключается в том, что подходящее слово может не оказаться в онтологии, в результате чего отдельные данные по предметной области могут быть упущены программой и не выведены пользователю.

Подобное может произойти по причине того, что при построении онтологии не была учтена возможность использования данного слова в контексте выбранной предметной области или же это новое слово или фраза, которые появились относительно недавно и не были занесены в онтологию.

Одним из решений данной проблемы является оценка результатов поиска и расширение онтологии новыми понятиями.

Под расширением онтологии подразумевается пополнение онтологии новыми понятиями, полученными на основе результатов поиска.

Целью работы является разработка и внедрение в существующую систему оптимального алгоритма расширения онтологии выбранной предметной области на основе результатов поиска в Интернет-источниках.

К алгоритму предъявляются следующие требования:

Необходимо проанализировать результаты поиска. В случае, если какое-либо слово или фраза встречается с определённой периодичностью и отсутствует в онтологии, необходимо предусмотреть возможность добавления этого слова или фразы в онтологию.

Если найдено слово или фраза, которые было решено добавить в онтологию, необходимо оценить существующие связи в онтологии, чтобы определить возможную взаимосвязь найденного слова или фразы с остальными понятиями в онтологии.

Предложить пользователю возможность добавить определённое слово в онтологию и в случае положительного ответа пополнить онтологию.

Ограничений у данной работы несколько.

Во-первых, важно учитывать, что алгоритм необходимо будет интегрировать в уже существующую систему. Реализация должна быть выполнена с учётом выбранных для разработки системы технологий.

Во-вторых, выбранная библиотека SPARQL.js допускает работу с онтологией в формате .ttl. Необходимо учесть формат онтологии при проектировании алгоритма.

1.3 Методы расширения онтологии

Расширение онтологии подразумевает дополнение онтологии сущностями и связями.

Различные методы расширения онтологий изучались и совершенствовались со временем. В данном разделе будут рассмотрены некоторые из них. По теме расширения онтологии был проведён обзор существующих статей.

1.3.1 Пополнение онтологии вручную

Один из самых технически простых способов расширения онтологии - пополнить её вручную. Этот метод подходит для случаев, когда инженер предметной области заинтересован в поддержании актуальности онтологии и имеет прямой доступ к ней. Обычно этот метод используется, когда не нужно вносить большие изменения или при анализе других методов было решено, что эффективнее и выгоднее пополнять онтологию вручную.

На тему ручного расширения онтологии была изучена статья Габриэллы Симон-Надь и Риты Флейнер [8]. Авторы статьи использовали онтологию для хранения плана зданий, навигации между ними и хранение атрибутов специальной техники людей с ограниченными возможностями.

Разработанная онтология под названием iLOC должна послужить для составления возможных оптимальных путей перемещения людей с ограниченными возможностями. Подобные онтологии уже были созданы, однако перед авторами данной статьи стояла цель как можно более точно определить маршрут для людей с конкретными возможностями.

Авторы статьи предлагают использовать более детальные характеристики оборудования для людей с ограниченными возможностями для поиска более точных и безопасных маршрутов. В пример авторы статьи приводят инвалидные коляски, которые могут иметь разную структуру, разный диаметр колеса, разные механизмы, используемые для движения. Авторы сосредоточились на том, чтобы в поиске наиболее подходящего маршрута учитывать всевозможные параметры, которые могут либо расширить результаты поиска, либо сократить, но указать наиболее точные возможные маршруты для конкретных параметров.

Авторы статьи выбирают ручное пополнение онтологии по нескольким причинам.

Во-первых, указание корректных атрибутов напрямую связано с безопасностью человека, допущение ошибок в данном случае недопустимо. Чтобы снизить вероятность указания не тех параметров, авторы выбирают ручное пополнение онтологии.

Во-вторых, пополнение онтологии в конкретном случае необходимо совершить единожды для демонстрации того, как может улучшиться поиск возможного пути, если учитывать критерии оборудования для людей с ограниченными возможностями.

Таким образом, авторы статьи создали расширение под названием iACC для выбранной онтологии. Добавление сущностей вручную позволило авторам расширить онтологию в короткие сроки. Ручное пополнение онтологии не являлось проблемой, поскольку сделать это нужно было единожды.

Недостатком такого метода является необходимость привлечения эксперта предметной области, который сформирует необходимые сущности и связи, исходя из существующей онтологии. Также важно привлечение инженера онтологии, который вносит информацию в онтологию.

Однократное пополнение онтологии может быть выгодно совершить вручную, однако использование этого метода периодически может привести к высоким трудозатратам. В отдельных случаях способ ручного пополнения онтологии весьма эффективен.

Учитывая поставленную в данной работе задачу, пополнение онтологии вручную может привести к ряду проблем.

Во-первых, в данной работе одна онтология предметной области приведена для демонстрации возможностей системы. В перспективе пользователь сам выбирает онтологию необходимой ему предметной области или же система сама учитывает, какую онтологию нужно выбрать, исходя из формулировки запроса к поисковой системе. Следить за каждой онтологией будет весьма тяжело, если их будет несколько десятков, а то и больше.

Во-вторых, в случае существования нескольких онтологий, сложно поддерживать актуальное состояние каждой онтологии. Возможно периодическое привлечение экспертов предметной области для оценки актуальности онтологии за отдельную плату. Однако в таком случае появятся расходы, которые не предусмотрены в разработке данной системы.

В-третьих, если учитывать привлечение экспертов предметной области, между оценками актуальности онтологии будет проходить какое-то время, например, месяц. При появлении какого-то важного понятия в этот промежуток существует вероятность, что пользователь не получит важной информации, поскольку онтология не учтёт указанное слово и не выдаст необходимый результат.

Таким образом, метод ручного пополнения онтологии в отдельных случаях может быть весьма надёжным и точным. Преимуществом данного метода является то, что пополнение онтологии вручную может произойти в относительно короткие сроки.

Однако в рамках данной задачи этот метод не подходит, поскольку онтологий может быть несколько и поддержка вручную влечёт за собой денежные затраты на экспертов предметной области и инженеров онтологии. Отдельным недостатком является то, что в данном случае пополнение вручную может занять много времени.

1.3.2 Интеграция двух онтологий

К более сложным методам расширения онтологии можно отнести интеграцию двух онтологий.

Для одной и той же предметной области существует множество различных онтологий. Созданные разными командами инженеров одной предметной области с разными целями данные онтологии могут иметь схожие сущности и связи и, в то же время, могут сильно отличаться друг от друга отдельными понятиями или синонимами.

Это связано с тем, что при создании онтологии во внимание могли приниматься различные факторы, экспертами предметной области могли быть вынесены различные решения о связях между словами, о глубине и ширине онтологии, о необходимости использования определённых синонимов в зависимости от контекста и т.д.

Интеграция двух онтологий друг с другом может значительно улучшить качество онтологии, но при интеграции возможны конфликты понятий и связей. Данные конфликты решает эксперт предметной области.

В одной из статей [12], посвящённой методу интеграции онтологий, первым этапом идёт построение базовой онтологии, которая должна быть выполнена качественно, чтобы остальные этапы интеграции прошли корректно.

Дальше идёт этап разрешения отдельных лексических конфликтов онтологий. Конфликты могут содержаться в наименовании объектов и атрибутов. Для этого применяют один из множества уже существующих алгоритмов нахождения орфографических сходств.

Следующим этапом является нахождение семантической схожести объектов. Авторы статьи применяют единую онтологическую модель [12], которая подразумевает изучение связей объекта в онтологии и изучение связей объекта в ресурсе. Существует формула, высчитывающая семантическую близость понятий на основе семантической близости онтологий, контекстных метаданных объектов онтологии, а также функции учёта коэффициентов важности утверждений. Для точности авторы добавляют в формулу меру близости.

Вычислив взвешенную сумму семантических связей понятий интегрируемой и базовой онтологий, можно судить о близости двух концептов.

Полученные результаты предоставляются эксперту предметной области, который выносит решение о близости понятий и о возможном их слиянии друг с другом.

Следующий этап - интеграция близких понятий онтологии, которые подтвердил или указал эксперт предметной области. Интеграцию можно произвести, используя функцию дополнения [12]. В результате будет получена расширенная базовая модель предметной области.

Эффективность данного метода была подтверждена автором статьи на основе реальных данных Вологодского комбината хлебопродуктов. Использование указанного метода позволило в более короткие сроки сформировать сводную отчётность предприятия.

Преимуществом данного метода является автоматическое вычисление семантической близости двух понятий, позволяющее заметно сократить время анализа интегрируемой и базовой онтологии. Также автоматизирована сама интеграция двух онтологий. Однако функция оценки корректности вычисленных семантических связей требует участия эксперта предметной области.

Недостатком такого метода расширения онтологии является необходимость привлечения эксперта предметной области, поскольку велика вероятность возникновения конфликтов в ходе вычисления семантической близости понятий, а также велика вероятность возникновения ошибки. К сожалению, если предоставить непрофессиональному пользователю возникшие конфликты, ему может не хватить квалификации в разрешении данных конфликтов, появившихся при использовании данного метода.

Важно рассмотреть этот метод в отношении к поставленной в данной работе проблеме.

Как уже было указано в предыдущем разделе, в данной системе планируется использование онтологий различных предметных областей. Пользователю будет несподручно искать онтологии необходимых ему предметных областей.

Как вариант, в данном случае можно привлечь эксперта предметной области, для чего необходимы финансовые затраты. Также возникает проблема перерывов между работой эксперта предметной области, что может привести к неактуальному состоянию онтологии.

Отдельной проблемой является поиск актуальной интегрируемой онтологии. Весьма велика вероятность, что интегрируемая онтология не будет содержать в себе необходимых сущностей для поддержания актуальности текущей онтологии в системе, в результате чего интеграция двух онтологий будет бессмысленна.

Таким образом, метод интеграции двух онтологий может обеспечить хорошее расширение выбранной онтологии предметной области, если интегрируемая онтология является качественной и актуальной.

Проблема заключается в поиске качественной онтологии. Более того, сложно найти онтологию, которая будет своевременно обновляться в соответствии с обновлением данных о предметной области в сети Интернет. Также необходимо привлечение эксперта предметной области. Именно по этим причинам данный метод не вполне подходит для решения поставленной в данной работе задачи.

1.3.3 Автоматическое пополнение онтологии

Наиболее интересный и технически непростой метод расширения онтологии - автоматическое расширение онтологии.

Онтология обновляется алгоритмом на основе текстового корпуса. Слова в текстах индексируются, в результате каждое слово имеет свой вес. Если слово с большим весом не найдено в онтологии, алгоритм вычисляет, с каким понятием в онтологии можно связать данное слово и какую связь установить.

В настоящее время существует множество различных алгоритмов автоматического расширения онтологии. Один из наиболее популярных методов заключается в использовании ассоциативных правил [11].

Ассоциативные правила нужны для обнаружения закономерности между двумя событиями. Например, «если произошло событие X, то произойдёт событие Y». В алгоритме пополнения онтологии ассоциативные правила позволяют выставить связи найденных в тексте слов, а также связать их, в свою очередь, с понятиями в онтологии.

Данный метод также требует привлечения эксперта предметной области. В случае нахождения слова, которое необходимо добавить в онтологию, потребуется оценка корректного добавления слова и связи в онтологию. Сам алгоритм может указать неточную связь или неправильно посчитать вес слова. По ошибке, в онтологию может быть добавлено лишнее понятие или некорректная связь, в результате чего может быть понижено качество онтологии.

Поэтому необходима оценка добавляемого слова и связи в онтологию. Эксперт предметной области однозначно может вынести решение о корректности алгоритма. Однако, в данной работе отсутствует финансирование, из-за чего привлечение эксперта предметной области исключено.

Решением данной проблемы может послужить некий интерфейс для конечного пользователя, в котором сам пользователь может оценить добавление слова и его связи в онтологию предметной области.

Возможно, качество онтологии будет понижено, но не так сильно, как если бы алгоритм сам же добавлял новые сущности в онтологию. Пользователь может исключить появление очевидных ошибок алгоритма.

Таким образом, метод полностью автоматизирует пополнение онтологии. При определённых условиях метод не требует привлечение эксперта предметной области и точно не требует инженера онтологии, что исключено в данной работе, поскольку отсутствует финансирование.

Также данный метод обеспечивает пополнение онтологии за счёт найденных в сети Интернет текстов, в которых зачастую поддерживается актуальность информации. Индексация данных текстов позволит принимать во внимание слова или фразы, которые отсутствуют в онтологии, однако имеют достаточно высокий вес.

1.3.4 Сравнение методов расширения онтологии

В ходе изучения статей по методам расширения онтологии были проанализированы преимущества и недостатки трёх основных методов расширения онтологии.

Ниже представлена таблица сравнения выбранных методов пополнения онтологии в контексте поставленной проблемы в данной работе.

Таблица 1.1. Сравнение методов расширения онтологии

	Ручное расширение онтологии	Интеграция онтологий	Автоматическое пополнение онтологии
Необходимость эксперта предметной области	Высокая необходимость	Высокая необходимость	Низкая необходимость
Необходимость инженера онтологии	Высокая необходимость	Низкая необходимость	Нет необходимости
Время обновления онтологии	Зависит от времени работы эксперта предметной области и инженера онтологии	Зависит от времени работы эксперта предметной области и инженера онтологии	После каждой индексации текста
Трудоёмкость при наличии нескольких онтологий разных предметных областей	Очень высокая трудоёмкость	Очень высокая трудоёмкость	Очень низкая трудоёмкость
Возможность реализации метода для разработанной системы	Возможно, но необходимо финансирование	Возможно, но необходимо финансирование	Возможно
Трудоёмкость реализации в рамках разработанной системы	Низкая трудоёмкость	Средняя трудоёмкость	Высокая трудоёмкость

Как можно видеть из таблицы выше, для поставленной в работе проблемы с имеющимися ограничениями наиболее подходит метод автоматического расширения онтологии.

Главным преимуществом данного метода является то, что он обеспечивает пополнение онтологии без привлечения эксперта предметной области и инженера онтологии. Также у данного метода время обновления онтологии происходит каждый раз при запуске парсинга данных, что обеспечивает поддержание актуальности онтологии. Однако наибольшая сложность заключается в разработке алгоритма: это весьма трудоёмкий процесс, требующий знаний в индексации текста, разработке сложных алгоритмов и работе с онтологией.

Таким образом, в данной работе для пополнения онтологии наиболее подходит алгоритм автоматического пополнения онтологии.

1.4 Форматы представления онтологии

В настоящее время для работы с онтологиями существуют различные онтологические редакторы, которые позволяют наглядно создавать, расширять онтологии, создавать SPARQL-запросы и прочее. В предыдущей работе использовался один из наиболее популярных редакторов - Protйgй. Онтология была экспортирована из онтологического редактора в формате turtle, поскольку используемая библиотека SPARQL.js [23] для создания запросов к онтологии обеспечивала корректную работу именно с этим форматом представления онтологии. Ниже в данном разделе будут подробно рассмотрены различные форматы представления онтологии и обоснован выбор формата turtle.

Для начала необходимо понимать, что такое RDF-граф. RDF-граф описывает семантику через субъект, объект и предикат. Предикат отражает отношение субъекта и объекта. Через предикаты также обозначаются атрибуты субъекта.

Различные форматы онтологии описывают предметную область через RDF-графы. По синтаксису формата визуализаторы онтологии отражают онтологию и обеспечивают работу с ней.

Ниже рассмотрены следующие форматы представления онтологии: RDF, OWL, turtle. Данные форматы выбраны как наиболее популярные форматы представления. Онтологию в программе Protйgй можно экспортировать во все три описанные формата и ещё ряд других. В данной работе разобраны только три формата.

Примеры взяты из онтологии предметной области «Разлив нефти», которая интегрирована в разрабатываемую систему для структуризации данных.

RDF - стандартный формат представления RDF-графа. В RDF для связи субъекта и объекта используются ссылки. Первая версия данного формата была опубликована W3C в 1998 году [26].

Пример триплета представлен ниже:

<owl:Class rdf:about="http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Разлив">

<rdfs:subClassOf rdf:resource="http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Техногенная_угроза"/>

</owl:Class>

В данном примере субъект «Разлив» имеет свою ссылку, как и объект «Техногенная_угроза». Связаны они предикатом «subClassOf».

Формат представления OWL также базируется на ссылках. Первая версия данного формата была опубликована W3C в 2004 году [26].

Ниже представлен субъект «Разлив» и его связи с другими объектами, например, предикат «содержит_вещество» с объектом «Нефтепродукт».

<owl:NamedIndividual rdf:about="http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Разлив">

<rdf:type rdf:resource="http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Разлив"/>

<rdf:type rdf:resource="http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Экология"/>

<содержит_вещество rdf:resource="http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Нефтепродукт"/>

<содержит_вещество rdf:resource="http://www.semanticweb.org/3453453567/ontologies/2017/4/untitled-ontology-73#Нефть"/>

</owl:NamedIndividual>

Описания RDF и OWL весьма схожи между собой и достаточно громоздкие из-за ссылок. Это вредит наглядности представления онтологии, хотя это и не является большой необходимостью, поскольку редки случаи, когда работа с онтологией ведётся в каком-либо формате без использования программ визуализации онтологии.

Формат представления turtle рекомендован для представления RDF-графа консорциумом всемирной паутины. Первая версия данного формата была опубликована W3C в 2008 году [26].

Триплет в формате turtle выглядит следующим образом:

:Разлив rdf:type owl:Class ;

rdfs:subClassOf :Техногенная_угроза .

В формате turtle все субъекты наследуются от общего класса Class. В примере выше субъект «Разлив» является также подклассом объекта «Тенхногенная_угроза». Если у одного субъекта несколько пар «предикат - объект», эти данные указываются через символ «;», а конец описания субъекта - через символ «.».

В примере ниже указывается, что у субъекта «Разлив» присутствует «Нефть», «Нефтепродукт»:

:Разлив :произошло_по_вине :Energy_Transfer_Partners ;

:содержит_вещество :Нефтепродукт ,

:Нефть .

Формат представления turtle достаточно прост в понимании и позволяет наглядно отразить сущности онтологии и их отношения.

Все три формата представления онтологии имеют чёткую, понятную структуру. Не так уж важна наглядность формата представления онтологии, поскольку нет необходимости работать с онтологией вручную.

Однако в данной работе существует ограничение. Для создания SPARQL-запросов к онтологии в разработанной системе используется библиотека SPARQL.js, которая поддерживает работу с онтологией в формате .ttl. Есть возможность выбора новой библиотеки, которая позволит создавать SPARQL-запросы к онтологии в любом из указанных выше форматах, однако необходимости в этом нет. Также необязательно для реализации алгоритма использовать какой-либо конкретный формат представления онтологии.

Таким образом, было решено оставить формат представления turtle для дальнейшей работы с онтологией.

1.5 Выводы

В анализе статей, посвящённых различным методам расширения онтологии, были разобраны метод ручного пополнения онтологии, интеграция двух онтологий и автоматическое пополнение онтологии. В результате были выделены основные преимущества и недостатки методов по отношению к поставленной проблеме. Только автоматическое пополнение онтологии позволит поддерживать актуальное состояние онтологии без привлечения эксперта предметной области и инженера онтологии.

Также в данной главе были разобраны различные форматы представления онтологии. Формат turtle был выбран для работы с онтологией, поскольку представляет подробное и удобное для понимания описание онтологии, а также используемая для SPARQL-запросов библиотека обеспечивает корректную работу с онтологией в данном формате.

Таким образом, было решено реализовывать алгоритм автоматического расширения онтологии. Онтология будет представлена в формате turtle, как это было в предыдущей работе.

В следующей главе подробно описано проектирование выбранного алгоритма пополнения онтологии.



Глава 2. Проектирование сервиса

Для разработки алгоритма расширения онтологии необходимо детально разобрать выбранный алгоритм для реализации в разработанной системе мониторинга глобальных процессов.

В данной главе описано проектирование сервиса с использованием диаграммы нотации «Процесс» и метаязыка для описания работы алгоритма.

Также подробно разобраны источники данных для извлечения и анализа текстов.

2.1 Проектирование алгоритма

В предыдущей главе был обоснован выбор автоматического пополнения онтологии для системы мониторинга глобальных процессов.

Для описания работы алгоритма в контексте разработанной системы была составлена диаграмма нотации «Процесс» (см. рис. 2.1.).

Рисунок 2.1 Диаграмма нотации «Процесс»

В разработанной программе система ведёт поиск новостей по заданному пользователем запросу. Найденные тексты индексируются. Предполагается, что будет выбрано значение веса для извлечения наиболее значимых понятий. По заданному значению веса отбираются наиболее значимые понятия. Поиск этих понятий ведётся в онтологии. При отсутствии значимого понятия в онтологии это понятие добавляется в онтологию.

Необходимо разобрать инструменты, позволяющие производить указанные операции индексации текста и поиска понятий в онтологии. Результаты анализа существующих инструментов представлено в данной работе в третьей главе.

Для непосредственной реализации был составлен также псевдокод, описывающий алгоритм.

public valuableIndex: Number

func index(texts: Array)

indexes: Dictionary

valuableTexts: Array

for text in texts

indexes = getIndexes(for: text)

indexedTexts = indexes.allKeys

for indexedText in indexedTexts

index = indexedTexts[indexedText]

if index >= valuableIndex

valuableTexts.add(indexedText)

news: Array

news = searchNews(by query:userQuery)

mostValuable: Array

mostValuable = index(texts: news)

for valuableText in mostValuable

if Ontology.exist(valuableText) == false

Ontology.add(valuableText)

В данном псевдокоде указана переменная valuableIndex, которая будет хранить в себе вес слова, который решено будет принять за вес значимого слова. Функция index(texts:) индексирует тексты и выбирает слова с наибольшим весом. После этого программа перебирает каждое проиндексированное слово с большим весом и проверяет его наличие в онтологии. В случае, если в онтологии отсутствует значимое понятие, оно добавляется в онтологию.

2.2 Источники данных

В работе предыдущего года извлечение данных велось из поискового источника Google для презентации работы системы.

Предполагается, что в будущем система позволит извлекать новости также из новостных источников Яндекс и Mail. Поскольку разные поисковые источники используют разные поисковые алгоритмы для выборки новостей, извлечение данных из источников Яндекс и Mail обеспечит разнообразие результатов.

На момент написания данной работы разработанная система обеспечивает извлечение данных с первой страницы новостного раздела поискового источника Google. Для реализации алгоритма предполагается использование тех же данных, что извлекались из алгоритма при парсинге новостей в работе прошлого года.

Однако на момент разработки системы основным преимуществом новостной страницы Google являлась наиболее полная аннотация, которая предоставляла больше информации для извлечения и структуризации данных. К сожалению, с тех пор Google пересмотрели допустимый объём аннотации и сократили его. В результате количество информации по одной новости значительно уменьшилось (см. рис.2.2).

Рисунок 2.2 Результат поиска новостной страницы Google

Из-за малого количества информации может возникнуть риск нехватки данных для индексации текста и поиска семантических связей. В связи с этим необходимо пересмотреть возможные варианты извлечения данных.

Был проведён повторный анализ ресурсов Яндекс и Mail. Содержание аннотации в обеих системах весьма краткий и не подходит для анализа текста. Пример новостной страницы Яндекса приведён на рисунке 2.3.

Рисунок 2.3 Результат поиска новостной страницы Яндекс

Поскольку новостные источники популярных поисковых систем не предоставляют достаточной информации для индексации текста, был проведён анализ новостных источников, не привязанных к поисковым системам.

Новостные разделы поисковых систем были выбраны для разрабатываемой системы, поскольку позволяли вести поиск новостей различных источников по пользовательскому запросу. Поскольку новостные разделы не подходят для анализа текста, было решено искать прочие новостные ресурсы, не привязанные к поисковым системам. Однако в таком случае главным критерием выбора новостного ресурса является наличие поисковой строки для ввода пользовательского запроса.

Были проанализированы различные новостные ресурсы, такие как Forbes [15], REGNUM [21] и другие. Во многих случаях в новостных ресурсах по запросу поиска возвращались аннотации либо с одним заголовком, либо с очень короткой аннотацией (см. рис.2.4). Предоставленные новостным ресурсом данные не подходили для анализа текста.

Рисунок 2.4 Результаты новостного ресурса Forbes по запросу «разлив нефти»

Однако были найдены два источника: РБК [13] и Техноблог [14], которые предоставляли расширенную аннотацию найденной статьи. В обоих источниках присутствует поисковая строка для ввода запроса пользователя.

В ходе анализа данных источников выяснилось, что РБК предоставляет информацию на различные темы, в то время как Техноблог акцентирует внимание на природных ресурсах и технологиях. Также было выяснено преимущество новостного ресурса РБК. Поиск в данном ресурсе ведётся не только со словами в той форме, в которой они упомянуты в запросе, но и по словам в разных падежах, что позволит предоставить пользователю более полные результаты.

Поскольку в разрабатываемой системе в будущем планируется использование онтологий различных предметных областей, было решено использовать новостной ресурс РБК для большей оптимальности (см. рис.2.5).

Рисунок 2.5 Результаты новостного ресурса РБК по запросу «разлив нефти»

Таким образом, было решено использовать информацию с новостного ресурса РБК для получения данных для анализа. Чтобы начать работать с данным ресурсом, необходимо внести незначительные правки в разрабатываемую систему.



2.3 Выводы

В данной главе рассматривается построение алгоритма автоматического пополнения онтологии в контексте разрабатываемой системы. Подробно разобраны функции алгоритма, необходимые для реализации. Построенная диаграмма нотации «Процесс» описывает логику работы алгоритма. Структура алгоритма, необходимая для реализации, описана псевдокодом.

Отдельно разобраны различные источники данных. Выяснилось, что новостной источник поисковой системы Google уже более не подходит для задач, указанных в данной работе. В результате был проведён повторный анализ новостных источников. Наиболее подробную информацию предоставляет сайт РБК, который решено было выбрать как новый источник информации.

В результате был спроектирован алгоритм автоматического расширения онтологии, который необходимо реализовать в разрабатываемой системе. Также появилась необходимость изменить новостной источник с новостного раздела Google на сайт РБК для более расширенной информации по запросу пользователя.

В следующей главе приводится описание разработки и внедрения данного алгоритма в существующую систему мониторинга глобальных процессов.



Глава 3. Разработка автоматического пополнения онтологии

В данной главе приводится подробный разбор инструментов, которые были использованы в ходе разработки алгоритма автоматического пополнения онтологии. Также описана разработка алгоритма с использованием выбранных инструментов разработки и проведено тестирование алгоритма.

3.1 Обоснование выбора инструментов разработки

Для реализации системы мониторинга глобальных процессов в работе прошлого года были использованы следующие инструменты разработки:

Язык программирования JavaScript, который является одним из самых популярных языков программирования [9], что обеспечивает большое количество библиотек с готовыми решениями.

WebStorm IDE [25], поскольку данная среда разработки поддерживает работу с JavaScript и Node.js [17, 19].

Библиотека NightMare [16], предоставляющая удобные функции для парсинга данных в сети Интернет.

Библиотека SPARQL.js [23], которая обеспечивает создание SPARQL-запросов к онтологии.

Все указанные инструменты обеспечили реализацию функциональных возможностей по извлечению и анализу данных в Интернете.

Поскольку алгоритм автоматического пополнения данных необходимо интегрировать в разрабатываемую систему, важно, чтобы инструменты не конфликтовали друг с другом. Для этого необходима реализация алгоритма на языке JavaScript в среде разработки WebStorm.

Для реализации алгоритма необходимо решить две основные задачи: индексация текста и добавление понятия в онтологию, поскольку задача поиска понятия в онтологии была реализована ранее.

Для получения ключевых слов из текста необходима библиотека, позволяющая работать со словами на русском языке. В ходе анализа существующих библиотек было найдено множество, написанных на языке Python. Однако, для использования библиотеки в существующем проекте, важным условием является возможность её использования на JavaScript.

По данным критериям было найдено две библиотеки, позволяющие извлечь ключевые слова: retext-keywords [22] и node-rake [18]. Для выбора библиотеки была составлена таблица сравнения (см. табл. 3.1.).

Таблица 3.1 Сравнение библиотек для извлечения ключевых слов

	retext-keywords	node-rake
Извлечение ключевых слов	Извлечение ключевого слова, фразы	Извлечение ключевых фраз
Рейтинг на сайте github.com	167	69
Работа на языке JavaScript	Да	Да
Поддержка русского языка	Да	Да

Как видно из таблицы, библиотека retext-keywords имеет рейтинг выше, чем у библиотеки node-rake, а также у неё есть возможность извлекать ключевое слово, что является значительным преимуществом. Поэтому было решено использовать данную библиотеку для выделения ключевых слов в тексте.

3.2 Изменение источника данных

В разрабатываемой системе для поиска новостей был использован новостной источник Google. В ходе исследования из-за изменения структуры новостного источника было решено сделать выбор в пользу новостного ресурса РБК.

Поскольку Google не одобряли парсинг поисковой системы, что выяснилось в ходе разработки прошлого года, были использованы различные функции библиотеки Nightmare для имитации нажатия клавиш, для выбора новостного раздела и прочее. В данном случае нет необходимости вводить запрос в поисковую строку ресурса, можно осуществить поиск путём url-запроса, поскольку его структура проста: в запросе передаётся текст, указанный в поиске, с заменой пробелов знаком «+».

Также необходимо учесть регион запроса: для поиска новостей по всему миру необходимо указывать домен rbc без привязки к региону. Таким образом, поисковый запрос будет выглядеть следующим образом:

https://www.rbc.ru/search/?project=rbcnews&query=

Для поиска новостей по запросу необходимо в конце этой строки приписать сам запрос с заменой пробелов знаком «+».

Отдельно необходимо учесть используемую в системе структуру новости и выяснить, возможно ли придерживаться данной структуры с новостным источником РБК.

В разрабатываемой системе прошлого года структура новости была следующей:

Заголовок новости.

Текст новости.

Дата новости.

Источник новости.

Для изменения используемого источника данных была исследована структура новости в новом ресурсе.

Ресурс РБК предоставляет заголовок статьи под тегом «search-item__title», текст статьи - «search-item__text». Три объекта данных: категория, дата и время публикации новости представлены в общем теге - «search-item__category». Как оказалось, в поисковой выдаче не предоставляется возможность получить источник новости, который использовался ранее в структуре новости. Поскольку источник новости не несёт в себе критически важной информации на данном этапе работы, было решено вести разработку без этих данных. Вместо этого было решено выделять категорию новости.

Извлечь дату и категорию новости по отдельности нет возможности, однако формат представления данных в теге один и тот же: все три объекта приведены через запятую. Извлечение этих данных ведётся через разделение текста по запятой. Первый элемент - источник новости, второй - дата новости. Нет необходимости извлекать отдельно время публикации.

Однако в ходе разработки стало известно, что в некоторых элементах поиска предоставляется информация без категории (см. рис.3.1.).

Рисунок 3.1 Элемент поиска без указания категории новости

Поскольку дата и время публикации статьи обязательно будут присутствовать, при разработке был учтён случай отсутствия категории статьи: если в данном теге через запятую представлено только два элемента, категория отсутствует.

Таким образом, в разрабатываемой системе было реализовано извлечение данных из нового новостного ресурса - РБК.

3.3. Реализация алгоритма автоматического пополнения онтологии

После реализации извлечения данных из нового новостного ресурса необходимо реализовать также извлечение ключевых слов из текстов найденных новостей.

В первом разделе данной главы было обосновано решение использования библиотеки retext-keywords для извлечения ключевых слов. Данная библиотека была установлена в проекте. Отдельно был создан класс KeywordsExtraction, принимающий на вход массив новостей и возвращающий массив ключевых слов.

Алгоритм нахождения ключевых слов реализован следующим образом (см. рис.3.2).

Рисунок 3.2 Алгоритм нахождения ключевых слов

Было решено считать часто встречающимися ключевыми словами те, которые встречались три раза и больше, так как в тексте большое количество слов встречались хотя бы два раза.

В результате поиска были выделены ключевые слова. Однако также в выборку вошло большое количество незначимых слов, например, «в», «около», «или» и пр. Данные слова необходимо отнести к стоп-словам. Это было реализовано отдельно и при сортировке слов была добавлена также функция проверки на стоп-слово.

Таким образом, по запросу «разлив нефти» данный алгоритм возвращал следующие ключевые слова:

['результате', 'произошел', 'разлив', 'нефти', 'месте', 'тихорецк', 'саратовской', 'области', 'нефтепроводе', 'транснефти']

Исходный код алгоритма извлечения ключевых слов представлен в приложении Б.

Далее необходимо выбрать только те ключевые слова, которые отсутствуют в онтологии. Алгоритм нахождения понятий в онтологии был реализован в работе прошлого года.

Отдельно в классе Ontology был реализован метод нахождения слов, которые отсутствуют в онтологии.

Для этого была использована библиотека для создания SPARQL-запросов, ранее добавленная в проект. Для каждого ключевого слова, найденного в текстах, был создан запрос на существование данного слова в онтологии. Если вернулся пустой результат, слово не найдено в онтологии.

Таким образом, для указанных выше ключевых слов алгоритм нахождения слов, отсутствующих в онтологии, вернул следующие результаты:

['Результате', 'Произошел', 'Нефти', 'Месте', 'Тихорецк', 'Саратовской', 'Области', 'Нефтепроводе', 'Транснефти']

Как можно видеть из результатов, ключевое слово «Разлив» было исключено из набора ключевых слов, поскольку оно уже добавлено в онтологию.

Однако, данный результат нельзя считать окончательным, поскольку ключевые слова указаны не в начальной форме.

Заключение

В работе была обоснована необходимость создания системы мониторинга глобальных процессов, были описаны предыдущие результаты разработки системы, на основе которых базируется данная работа. Отдельно была обоснована необходимость проектирования алгоритма расширения онтологии для разработанной системы.

Были исследованы три метода расширения онтологии: пополнение онтологии вручную, интеграция онтологий, автоматическое расширение онтологии. В ходе анализа различных методов расширения онтологии был выбран метод автоматического расширения онтологии, позволяющий эффективно дополнять онтологию на основе данных из Интернет-источников.

Отдельно были рассмотрены три основные формата представления онтологии: RDF, OWL и turtle. В результате анализа выяснилось, что все три формата представляют полную и наглядную информацию об онтологии. Однако, для разработки системы использовалась онтология в формате turtle, поскольку именно с таким форматом работает используемая библиотека для создания SPARQL-запросов в онтологии. Поэтому было решено оставить формат turtle для дальнейшей разработки системы.

...