Исследование методов оценки качества онтологии предметной области

Размещено на http://www.allbest.ru/

Исследование методов оценки качества онтологии предметной области

Паращук Анна Владимировна,

Рыбанов Александр Александрович



Аннотация

Исследование методов оценки качества онтологии предметной области

Паращук Анна Владимировна, студент,

Волгоградский государственный технический университет,

Рыбанов Александр Александрович, кандидат наук, доцент, заведующий кафедрой,

Волжский политехнический институт (филиал) Волгоградский государственный технический университет.

Онтологические модели обретают все большую актуальность для формализованного представления знаний в различных сферах деятельности. С их помощью можно описать некоторую предметную область для ее дальнейшей оценки и улучшения. В данной работе рассматривается методы оценки онтологии и сфера их применения. На основе этого будет спроектирована информационная система, позволяющая оценивать онтологию предметной области.

Ключевые слова: область применения методов оценки онтологии, онтологическая модель, методы оценки качества онтологии.



Содержание

Целью исследования будет рассмотрение методов для оценки онтологии и исследование области применения программно-информационной системы оценки качества дистанционного курса обучения на основе онтологической модели.

Для осуществления данной цели будут рассмотрены различные подходы к оценке онтологии, изучены метрические характеристики, позволяющие говорить о качестве онтологии, исследованы существующие системы для создания и оценки онтологии и рассмотрена область применения разрабатываемой системы.

Методы и алгоритмы оценки онтологии. Известно немалое количество методов оценки онтологии, но нет комплексного подхода к этому вопросу. Эти методы рассматривают некоторые конкретные аспекты, но большинство делают это неполноценно. Немаловажным фактором для оценки онтологии является то, с какой точки зрения она рассматривается. Это зависит от того, в какой предметной области она применяется и что стоит в приоритете для пользователя. Будет ли онтологическая модель использоваться для работы с людьми или с вычислительными системами. Необходимо определиться, какой из методов является наиболее подходящим для данного случая.

Основными подходами для оценки онтологии являются: структурный, функциональный и пользовательский.

Структурный подход представляет онтологию в виде графа, описанного набором значений:

Q = (C, M, R),

где С - множество понятий, формирующих онтологию,

М - набор атрибутов понятия,

R - отношения наследования.

Данной граф содержит:

· набор узлов, среди них выделяют коревые - узлы, не имеющие входных дуг, листовые - не имеющие выходных дуг, родственные - узлы соединенные дугой,

· множество путей, где путем называют некоторую последовательность узлов, соединенных дугами, начиная с корневого, заканчивая листовым.

· набор уровней, где уровнем является множество узлов, удаленных от коревого узла на одинаковое расстояние.

Функциональный подход описывает концептуализацию онтологической модели или набор контекстных предположений о данной предметной области, что соответствует главной цели онтологии.

Пользовательский подход делится на три уровня:

· распознавательный, сюда входит разработка полной документации на онтологию и обеспечение легкого доступа к ней,

· уровень эффективности, означающий, что онтология должна способствовать качественному развитию организации, не снижая работоспособность ее отделов,

· интерфейсный уровень относится к случаям, когда пользовательский интерфейс опирается на использование онтологии.

В данной работе будет использован структурный подход к рассмотрению онтологии, поскольку, представляя онтологическую модель в виде графа, ее свойства можно измерить с помощью контекстно - свободной метрики, по которой можно будет судить об ее качестве и сформировать рекомендации по ее улучшению.

Существуют когнитивные и субъективные метрики оценки онтологии. Их классификация представлены на рисунке 1.



Рисунок 1. Классификация метрических характеристик

Все перечисленные метрики можно вычислять автоматически с помощью анализа онтологической модели, представленной графом.

Этапы применения данных метрик:

1. Эксперт выбирает метрики, необходимые для определения качества онтологии.

2. Расчет выбранных метрик.

3. Для некоторых метрик срабатывают триггеры, выявляющие недостатки онтологии.

4. Остальные метрики анализируются экспертом, который делает заключительные выводы о качестве онтологической модели.

Анализ существующих систем для построения и оценки онтологий

Для автоматизированного представления дистанционного курса обучения в виде онтологии можно использовать специализированные программные системы. Рассмотрим некоторые из них.

1. DOE - программное средство, выполняющее конструирование онтологии в три этапа:

o построение таксономии понятий и отношений,

o добавление расширений и ограничений на таксономии,

o перевод онтологии на язык представления знаний.

Protege - программное средство для создания просмотра и редактирования онтологии, основанная на таких редакторах, как Protege-Frames и Protege-OWL. Построение онтологии включает следующие этапы:

· создание классов онтологии,

· определение иерархии из созданных классов,

· создание слотов и определение их значений,

· создание экземпляров, заполняющих слоты.

Сравнивая эти системы можно сделать вывод, что DOE проще для применения пользователем, а в Protege включено больше возможностей для представления конкретной задачи. Для построения онтологии будет выбрано программное средство, поскольку оно более полно отображает связь узлов онтологии.

Рассмотрим методы, которые используются в программных средствах для оценки онтологий:

1. OntoMetric сравнивает значимость целей проекта и исследует свойства онтологии для того, чтобы выбрать пригодную онтологию. Результатом оценки является количественное значение ее пригодности.

Этапы оценки онтологической модели:

· постановка целей для данного проекта,

· формирование дерева решений,

· формирование матрицы парных сравнений с критериями целей для каждой пары узлов дерева решений,

· оценка характеристик для каждой альтернативной онтологии,

· интеграция характеристик альтернатив, рассчитанных на четвертой стадии с векторами весов, полученных на третьей стадии.

Недостатком метода является его запутанность и сложность, что требует много времени для оценки онтологии, а сравниваемые качества имеют субъективную оценку.

2. OntoClean базируется на философских положениях, оценивая структуру онтологии с формальной точки зрения. Целью метода является очистка таксономии онтологий. В основе лежат такие понятия как:

· жесткость - обязательность свойства для всех экземпляров,

· идентичность - возможность определения экземпляров с помощью одного и того же отношения,

· зависимость - невозможность существования элемента без какого-либо другого элемента,

· единство - наличие общего объединяющего отношения для свойства.

Метод сложен для применения и не является полезным для промышленности.

3. EvaLexon сравнивает термины из словаря онтологии с текстами на естественном языке, на основе которых она была сформирована, и дает оценку, показывающую, включена ли основная часть понятий входного текста в онтологию. Так формируется перечень наиболее важных понятий, относящихся к техническому тексту.

Данный метод достаточно прост. С помощью него можно автоматически оценить онтологию, построенную из набора входных текстов.

4. Natural Language Application metrics - дает оценку онтологической модели на основе расчета метрических характеристик. Метод сопоставляет онтологии друг другу, указывая, какие элементы определены верно и вычисляя эффективность онтологии с позиции стоимости ошибок.

В простейшем случае онтология оценивается с помощью расчета таких метрик как точность и полнота, которые показывает количество правильно определенных элементов или с помощью F - меры, которая объединяет в себе вышеперечисленные метрики.

Этот метод достаточно распространен, но могут возникнуть проблемы с определением весов и расчетом метрик.

5. OntoManager оценивает адекватность отображения онтологией предметной области, которую она описывает, и непротиворечивость требованиям пользователей интернет ресурсов, базирующихся на онтологиях.

Оценка онтологии осуществляется в несколько этапов:

· сбор данных о результатах взаимодействия пользователя с системой,

· анализ данных,

· создание плана действий по преобразованию онтологии,

· выполнение заданного плана.

Недостатком метода является то, что выявленные недостатки онтологических моделей не столь существенны, а ее улучшение не несет особой значимости.

Можно сделать вывод, что почти каждый из рассмотренных методов полезен в той или иной области.

Исследование области применения. Чтобы разработать систему для оценки онтологии необходимо исследовать предметную область, в которой она будет применяться. Рассмотрим работу Министерства образования по оценки учебной литературы. алгоритм качество обучение онтология

Данный орган занимается формированием федерального перечня учебников, которые используются в общеобразовательных учреждениях. Он определяет:

· состав перечня учебников,

· план внесение учебников в данный перечень,

· порядок осуществления экспертизы,

· форму заключения экспертизы,

· порядок исключения учебников из перечня.

В состав экспертной комиссии, который также определяется Министерством образования входят:

· Российская академия наук, а именно Экспертная комиссия по анализу и оценке научного содержания федеральных государственных образовательных стандартов и учебной литературы для начальной, средней и высшей школы, и др.,

· Российская академия образования, а именно его Президиумом в лице президента, вице-президентов, заместителя президента и т. д.,

· иные организации, имеющих специалистов в данной области.

РАН определяет степень соответствия учебника научным положениям, РАО проверяет на сколько учитывается образовательные стандарты. Если оценивается электронный ресурс, в комиссию может быть включен Федеральный экспертный совет по учебным электронным изданиям, который контролирует соответствие эргономическим и техническим требованиям.

Диаграмма основных процессов деятельности, связанной с оценкой учебного издания представлена на рисунке 2.

Рисунок 2. Диаграмма основных процессов

Весь процесс можно разделить на три этапа:

1. Предварительные работы.

2. Проведение экспертизы.

3. Присвоение грифа.

Диаграмма деятельности, описывающая предварительные работы к проведению экспертизы представлена на рисунке 3.

Рисунок 3. Диаграмма деятельности проведения предварительных работ

На вход поступают данные клиента, где содержится информация об учебном издании: наименование учебника, автор, наименование издания и т. д. Если заявление клиента соответствует требованиям, клиент подписывает документ о проведении экспертизы и производит оплату заказа. После отправки клиентом подписанного договора и квитанций об оплате, данное учебное издание заносится в план проведения экспертизы.

Подробное описание процесса проведение экспертизы представлено на рисунке 4.

Рисунок 4. Процесс проведения экспертизы учебников

На вход поступают план работ и данные подписанного клиентом договора. Далее осуществляется проведение экспертизы. Сначала проводится научная - сотрудниками РАН и педагогическая экспертиза, тогда комиссия будет состоять из сотрудников РАО. Если члены комиссий не смогли прийти к единому мнению по данному учебнику, то решение выносит НСЭУ (Научный совет по экспертизе учебников). Если экспертные заключения положительные, то учебное издание проходит общественную, этнокультурную и региональную экспертизы. По окончанию формируется экспертное заключение. Оно может быть положительным, тогда учебник признается рекомендованным к включению в федеральный перечень, или отрицательным, - учебник не рекомендован к включению в федеральный перечень.

При проведении научной экспертизы эксперты выносят отрицательное решение, если хотя бы на один из нижеперечисленных пунктов дан отрицательный ответ:

· издание является учебником,

· наименование учебника не противоречит предметной области, к которой он относится,

· в учебнике присутствуют основные понятия, соответствующие предметной области, к которой он относится, и отсутствует недостоверная информация,

· учебник содержит актуальную информацию,

· в учебнике отсутствуют ошибки и опечатки.

При проведении педагогической экспертизы эксперты выносят отрицательное решение, если хотя бы на один из нижеперечисленных пунктов дан отрицательный ответ:

· издание является учебником,

· наименование учебника не противоречит предметной области, к которой он относится,

· издание относится к завершенной предметной линии,

· не присутствует ли в учебном издании информация, противоречащая конституции,

· в учебнике соблюдены требования ФГОС,

· учебник развивает моральные и патриотические ценности,

· в учебнике отсутствуют ошибки и опечатки.

При проведении общественной экспертизы экспертные заключения должны содержать выводы о том, что:

· учебное издание способствует развитию личности, воспитанию обучающегося, несет нравственные и моральные ценности,

· не содержит заданий, выполнение которых обязательно непосредственно в учебнике,

· учебник приемлемого качества, учитывается художественное оформление, цветовое решение, качество бумаги, внешний вид обложки и т.д.

При этнокультурной и региональной экспертизе:

· учебник несет поликультурный характер, в нем соблюдены национальные ценности, этнокультурные особенности,

· имеется материал из истории и культурного наследия субъекта,

· языковая составляющая учебника соответствует современному литературному языку народов Российской Федерации.

Если речь идет об электронной форме учебника, то эксперты выносят отрицательное решение, если хотя бы на один из нижеперечисленных пунктов дан отрицательный ответ:

· информация, представленная в электронной форме учебника, соответствует информации печатной форме этого учебника,

· эффективны ли для обучения представленные мультимедийные или интерактивные элементы,

· присутствуют ли задания для контроля и самоконтроля.

После того как заключение сформировано, оно направляется заказчику и, в том случае, если оно положительно, в Федеральный экспертный совет Минобразования России для получения грифа.

В Министерстве образования также производится экспертная оценка в форме написания рецензии экспертом и формируется заключение. Если оно положительно, то учебнику может быть присвоен гриф "Допущено Министерством образования Российской Федерации в качестве учебника..." или "Рекомендовано Министерством образования Российской Федерации в качестве учебника...", в том случае, если учебнику уже был присвоен гриф "Допущено".



Заключение

Таким образом, необходимо разработать систему эффективную для той области, где она будет применяться, а именно для дистанционного курса обучения. Она должна считывать данные онтологии из xml файла, сгенерированным программой Protege, и рассчитывать метрики, по которым будут формироваться рекомендации по улучшению онтологии.

Рассмотрев работу экспертной комиссии по оценке учебных изданий, можно сказать, что это довольно долгий и трудоемкий процесс, состоящий из множества нюансов. Разрабатываемая мною система предназначена для ее упрощения и достижения наиболее эффективных результатов, решения разногласий между экспертами в оценке электронных ресурсов. С помощью нее можно значительно снизить время, затачиваемое на проведение экспертизы и уменьшить численность трудовых ресурсов в лице членов комиссии. Система может использоваться не только экспертами в случаях проведения экспертизы учебных изданий, но и преподавателями, организующими свои дистанционные курсы и желающими сделать учебный процесс наиболее эффективным для участников такого курса.



Список литературы

1. Андрич О.Ф., Макушкина Л.А. Исследование методов оценки качества готовых онтологических моделей// Андрич О.Ф., Макушкина Л.А. Современные научные исследования и инновации. 2014. № 3 (35). С. 11.

2. Паращук А.В., Рыбанов А.А. Анализ методов и алгоритмов оценки качества онтологии предметной области. // Материалы VIII Международной студенческой электронной научной конференции "Студенческий научный форум" URL: www.scienceforum.ru/2016/1378/16984

3. Попов Д.В., Макушкина Л.А. Исследование методов построения конвертера онтологических моделей курса// Попов Д.В., Макушкина Л.А. Современные научные исследования и инновации. 2014. № 1 (33). С. 3.

4. Макушкина Л.А., Рыбанов А.А. Оценка качества структурирования учебного материала на основе метрик онтологических моделей. Известия Волгоградского государственного технического университета. 2014 г. Т. 11. № 14 (141). с. 86-89.

5. Hartmann J., Spyns P., Giboin A. D1.2.3 Methods for ontology evaluation. KWEB, 2005 г. - 49с.

6. Rybanov A.A. Educatees thesaurus as an object of measuring learned material of the distance learning course. Turkish Online Journal of Distance Education, 2013г. - 12-25 c.

Размещено на Allbest.ru

...