Разработка подхода к индексации смыслового содержания графической информации на принципах онтологического инжиниринга

Размещено на http://www.allbest.ru/

УДК 004.89:004.4

Разработка подхода к индексации смыслового содержания графической информации на принципах онтологического инжиниринга

С.И. Чуприна, В.А. Никифоров

Пермский государственный национальный исследовательский университет

Россия, 614990, Пермь, ул. Букирева, 15

chuprinas@inbox.ru; (342) 239-65-94, 239-67-72

nikiforov3109@mail.ru

Описано применение методов онтологического инжиниринга для построения семантического индекса графической информации. Онтологии используются в процессе построения семантического индекса изображений для учета смыслового содержания графической информации в терминах естественного языка в виде, пригодном для автоматической обработки. Описанный подход в перспективе может стать основой для разработки полноценной системы семантического поиска изображений.

Ключевые слова: семантический поиск изображений; поиск по смыслу; индексация графической информации; онтологический инжиниринг.

онтологический инжиниринг графический информация

Using Ontological Engineering Methods to Improve Graphical Resources Indexing for Sensible Searching

S. I. Chuprina, V. A. Nikiforov

Perm State University, Russia, 614990, Perm, Bukireva st., 15

chuprinas@inbox.ru, (342) 239-65-94, 239-67-72

nikiforov3109@mail.ru

This paper describes the ontological engineering methods to develop graphical resources' index for sensible searching. Ontologies are used to the designing of the semantic index of images to account for the semantic content of the graphics information in a natural language terms in a form suitable for automatic processing. Our approach is a candidate to become the basis for the development of a practically useful system of semantic image retrieval.

Key words: semantic image retrieval; sensible search engines; graphical resources indexing; ontological engineering.

Разработка семантического индекса графической информации является важнейшим этапом организации семантического поиска изображений. Здесь под семантическим поиском понимается поиск изображений по их смысловому содержанию, при котором учитываются не только подписи к изображениям, заголовки разделов, обрамляющий рисунки текст и соответствующие метаданные, но и наличие/отсутствие упоминавшихся в запросе определенных изображений или их частей, а также их цвет, размер, относительное взаиморасположение и др. Так как запрос на поиск графической информации, как и в случае традиционных запросов, формулируется на естественном языке (ЕЯ), то упоминание некоторых фрагментов изображений или графических образов в целом могут содержать неточности, синонимы и др. особенности, свойственные текстам на ЕЯ. Поэтому здесь имеют место практически все широко известные проблемы, связанные с обработкой текстов на ЕЯ, но, помимо этого, имеются и дополнительные сложности, связанные со спецификой поиска графической информации.

Отличие семантического поиска от традиционного можно наглядно продемонстрировать на следующем примере. Семантическая поисковая система по запросу "круг не желтый" выдаст документы с изображениями кругов, цвет которых отличен от желтого, тогда как выдача традиционной поисковой системы в большинстве случаев будет состоять из документов, содержащих практически одни желтые круги. Еще одно преимущество семантического поиска в том, что в процессе поиска изображения может учитываться представленное в определенном виде (например, в виде онтологии) дополнительное словесное описание искомого содержимого, что недоступно при применении обычных методов поиска [1].

При традиционном поиске ключевые слова, описывающие изображение, извлекаются главным образом из заголовков, подписей и обрамляющего текста, что не гарантирует достаточно полного и точного отражения смысла изображения и, как следствие, приводит к низкому уровню релевантности поиска.

Кроме того, смысловое содержание текстовой информации может противоречить невербальному графическому. Например, если в подписи к рисунку или фотографии значится "желтый Peugeot", а на самом деле изображен синий автомобиль, причем другой марки, то традиционная поисковая система "поверит" надписи и посчитает этот ответ релевантным, хотя человек без проблем обнаружит это несоответствие. На рис. 1 приведены результаты поиска в Google картинок по запросу "росистая трава". Рис. 2 иллюстрирует нерелевантную информацию в ответ на запрос "не змея". Проблемы низкой релевантности поиска в случае неверной аннотации к изображению хорошо освещены, например, в работе [2].

Рис. 1. Выдача поисковой системы Google по запросу "росистая трава"

Рис. 2. Выдача поисковой системы Google по запросу "не змея"

Вышеописанные проблемы традиционного поиска, а также стремительный рост объемов требующей автоматизированной семантической обработки графической информации, как в Интернет, так и в корпоративных сетях и хранилищах данных, наглядно свидетельствуют об актуальности проводимых нами исследований с целью повышениям семантической мощности соответствующих поисковых механизмов. Основные требования, предъявляемые к семантической индексации изображений, связаны с построением такого индекса, который бы, с одной стороны, максимально учитывал точность, полноту смыслового содержания изображения, а, с другой, - был бы максимально компактным для обеспечения эффективного поиска.

Концепция предлагаемого подхода

Сложности организации смысловой индексации графической информации во многом связаны с тем, что поисковый механизм должен каким-то образом учитывать тот факт, что человек при поиске графической информации способен оперировать сложными высокоуровневыми понятиями и образами. Это плохо поддается вербализации и, как следствие, - формализации с целью эффективной обработки программными средствами. Соответствующая проблема в иностранной литературе получила название "semantic gap" (семантический разрыв).

Кроме того, в любом случае, при поиске графической информации необходимо некоторым образом разрешать многозначность интерпретации элементов изображения. Один и тот же образ может быть проинтерпретирован и как имеющее самостоятельное значение уникально идентифицируемое единое целое, и как композиция из некоторого числа составляющих, каждое из которых имеет самостоятельное значение. Необходимо разрешать также и неоднозначность в интерпретации самих образов как таковых.

Для решения перечисленных выше проблем в данной работе предлагается описание подхода к индексации смыслового содержания графической информации на базе методов и средств онтологического инжиниринга, хорошо зарекомендовавших себя при решении практических задач Text Mining. Разрабатываемый подход может применяться не только для решения задач поиска изображений по смыслу, но и в задачах их автоматического аннотирования и др.

Методы онтологического инжиниринга имеют целый ряд преимуществ при обработке неструктурированной (а зачастую и неполной, неточной) информации [3], которые играют важное значение и при решении задач семантической индексации графической информации. В частности, методы онтологического инжиниринга позволяют разрабатывать программные системы с расширяемыми базами знаний, при пополнении или изменении которых не требуется внесения изменений в исходный программный код. В то же время онтологии применяются не только для представления знаний о предметной области, но также для организации логического вывода на знаниях с использованием соответствующих языков запросов, проверки базы знаний на полноту и непротиворечивость и т.д. [4].

Благодаря тому, что формальную основу OWL DL (стандарта языков для представления онтологий в Web) составляют дескрипционные логики, имеется возможность сочетать максимальную выразительность представления знаний с сохранением полноты вычислений (все логические заключения на соответствующей онтологии, представленной в стандарте OWL DL, будут гарантированно вычислимыми) и разрешаемости (все вычисления завершатся гарантированно за определенное время).

Наш подход предполагает, что в качестве основы индексной базы графической информации выступает онтология, которая включает в себя онтологии различных предметных областей, системную онтологию базовых геометрических фигур, а также онтологию, связывающую все предметные онтологии в общую распределенную базу знаний поисковой машины. На рис. 3 демонстрируется фрагмент предметной онтологии "животные".

Рис. 3. Фрагмент предметной онтологии по теме "животные" (отдельно выделены таксономии понятий и связей)

Для представления связи элементов онтологии с изображениями используется технология Topic Maps, которая изначально создавалась с целью обеспечения наиболее качественного поиска по содержимому Web (и в частности, индексации). В общем виде Topic Maps могут быть представлены в виде ориентированного графа, состоящего из вершин типа "тема" (topic), соединённых рёбрами типа "ассоциация" (association). Также имеется множество вершин типа "информационные ресурсы" и некоторые "темы" ссылаются на нужные им "информационные ресурсы". Таким образом, "информационные ресурсы" отделяются от графа "тем" и "ассоциаций", который представляет собой только каталог информации [5]. В нашем случае вершины онтологии представляют тематическое содержание изображений, а в качестве ресурсов выступают файлы изображений (см. рис. 4).

Рис. 4. Представление знаний с помощью технологии Topic Map

С каждым изображением соотносится некоторое понятие. Однако если понятие приписывается только всему изображению в целом, то это не позволяет аннотировать изображение с учетом смыслового содержания его фрагментов.

Для повышения семантической мощности разрабатываемых поисковых механизмов в изображении выделяются его составляющие (образы), имеющие самостоятельное смысловое значение, с которыми и соотносятся понятия в онтологии (см. рис. 5).

Рис. 5. Фрагмент онтологического описания изображения "медведь"

Онтологическое описание учитывает также такие характеристики фрагментов изображений, как цвет, размер, относительное взаиморасположение и т.п., что позволяет производить поиск изображения по его словесному описанию, даже в том случае, если сопровождающий изображение текст (надписи, заголовки и т.п.) не соответствует его смысловому содержанию.

Для хранения ссылки на элемент изображения в онтологии достаточно использовать 2 атрибута, один из которых задает связь с изображением посредством хранения его URI, а другой идентифицирует образ изображения, храня уникальный (в пределах коллекции изображений) идентификатор образа (см. рис. 6).

Рис. 6. Связь элементов изображения с понятиями из предметной онтологии изображений

При такой организации индексной базы информация о картинке не будет ограничиваться сведениями об изображении в целом, но максимально полно описывать составляющие это изображение графические образы, а также их взаиморасположение и взаимосвязи. Это позволяет в процессе поиска находить не только требуемые изображения, а, в случае необходимости, находить также и те изображения, в которых присутствуют искомые фрагменты. Кроме того, становится возможным учет семантических взаимосвязей объектов, представляющих собой фрагменты некоторого изображения, т.е. учет смыслового контекста изображения, описывающего некоторую ситуацию. Например, "кот, сидящий справа от окна" или "пес гоняет кота" (см. рис. 7).

Рис. 7. Поиск по запросу "пес гоняет кота"

Организация поиска

При семантическом поиске, как и в случае традиционного поиска, из текста запроса пользователя предварительно удаляются "стоп-слова" и выделяются "ключевые" слова, несущие, с точки зрения поисковой машины, основную смысловую нагрузку запроса. Наш подход предполагает, что, в отличие от традиционных поисковых систем, эти ключевые понятия обязательно в том или ином (с учетом, например, синонимов) виде присутствуют в онтологии соответствующей предметной области.

В процессе поиска, который, по сути, является выводом на онтологической базе знаний, автоматически учитывается наличие в предметной онтологии обобщений и конкретизаций ключевых понятий из запроса, описаний их взаимосвязей, а также правил, задающих разного рода ограничения. Это позволяет семантической поисковой машине повышать релевантность ответов за счет автоматического обогащения текста запроса соответствующими понятиями из онтологии. В результате, в выдачу, с одной стороны, попадают изображения, к которым не было явного обращения, исходя из первоначального текста запроса, но которое является логическим следствием его смыслового содержания (соответствующая информация неявно присутствует в запросе на ЕЯ), а, с другой стороны, учет правил онтологической базы знаний позволяет выполнить фильтрацию результатов поиска, удалив из выдачи те документы, которые не соответствуют знаниям из онтологии.

Сопоставление полученных с использованием онтологий поисковых предписаний и поисковых образов документов, содержащих графическую информацию (см. рис. 8), выполняется с помощью метода наложений с учетом выбранной метрики, определяющей степень смысловой близости изображений.

Рис. 8. Место онтологии в процессе поиска изображений

Промежуточное представление графической информации

Предложенный выше подход к семантической индексации графической информации предполагает наличие возможности выделения необходимых фрагментов изображения и соотнесения их с понятиями онтологии. Для автоматизации указанных процессов предлагается использовать промежуточное представление изображений, которое служит связующим звеном между онтологией и графическими файлами.

В качестве формата такого промежуточного представления мы предлагаем использовать формат SVG (создан Консорциумом Всемирной паутины), который предназначен для описания двумерной векторной и смешанной векторно/растровой графики, представляет собой язык разметки масштабируемой векторной графики и входит в подмножество расширяемого языка разметки XML.

Этот формат весьма популярен в Интернете, поддерживается практически всеми браузерами и векторными редакторами. Важно также то, что конвертация в SVG доступна для большинства популярных графических форматов. SVG позволяет объединить в одном файле и текст, и графику, и анимацию, и интерактивные компоненты. Формат SVG поддерживает различные виды анимации. SVG-рисунки могут содержать метаданные (данные о данных) в самых разных форматах, таких как Resource Description Framework (RDF), Meta Content Framework (MCF) и других.

Для задания связи между онтологией и SVG-файлом необходимо иметь возможность уникальным образом идентифицировать элементы внутри документа. С этой целью каждому элементу, участвующему в поиске изображения, добавляется атрибут docId (уникальный идентификатор внутри документа). Корневой элемент в svg всегда имеет docId=0 и понятие, представляющее изображение целиком, связывается именно с ним (см. рис. 9).

Для задания соответствующих связей в онтологии используются два атрибута - svgDocumentId и svgElementId, которые хранят id файла и id элемента в нем, соответственно (см. рис. 10).

Рис. 9. Пример расширения формата SVG 

Рис. 10. Атрибуты онтологии для связи с изображением

Заключение

В данной статье представлен подход для решения задач смысловой индексации графической информации, который опирается на методы и средства онтологического инжиниринга, технологию Topic Maps и промежуточное представление изображений файлами в формате SVG.

Апробация предложенного подхода в задачах семантического поиска графической информации была выполнена в среде разработанного на его основе программного комплекса "Исида". Результаты экспериментов показали, что поисковый механизм этой системы позволяет выполнять в автоматизированном режиме смысловую индексацию изображений на базе онтологий, демонстрируя более высокий уровень релевантности, чем традиционные поисковые машины, что подтверждает жизнеспособность предложенного подхода. В дальнейшем требуется выполнить большой объем научно-исследовательских и практических работ по совершенствованию эффективности созданных поисковых механизмов.

Список литературы

1. Squiggle: a semantic search engine for indexing and retrieval of multimedia content / I. Celino, E.D. Valle, D. Cerzza, A. Turati // Proceedings of SAMT. 2006. P. 20-34.

2. Michael W. Berry and Murray Browne. Understanding search engines. Mathematical Modeling and text retrieval. (University of Tennessee, 1999). Р. 30-40.

3. Добров Б.В., Иванов В.В., Лукашевич Н.В., Соловьев В.Д. Онтологии и тезаурусы: модели, инструменты, приложения: учеб. пособие. М.: БИНОМ. Лаборатория знаний, 2009.

4. Гаврилова Т.А., Хорошевский В.Ф. Базы знаний интеллектуальных систем. Учебник. СПб: Питер. 2001.

5. Kiryakov A. Semantic Annotation, Indexing, and Retrieval / Popov B., Ognyanoff D., Manov D., Kirilov A., Goranov M. // Ontotext Lab. 2004.

Размещено на Allbest.ru