Разработка системы для расчета рейтинга преподавателей на основе квалиметриечского подхода и онтологии

Размещено на http://www.allbest.ru/

Иркутский национальный исследовательский технический университет

РАЗРАБОТКА СИСТЕМЫ ДЛЯ РАСЧЁТА РЕЙТИНГА ПРЕПОДАВАТЕЛЕЙ НА ОСНОВЕ КВАЛИМЕТРИЧЕСКОГО ПОДХОДА И ОНТОЛОГИИ

С.С. Сосинская, Р.С. Дорофеев, А.С. Дорофеев

Иркутск

Аннотация

Реформа образования, происходящая в России, затронула не только его ступени и набор изучаемых предметов, но и потребовала от преподавателей большей актуализации и интенсификации собственной деятельности. Оценка деятельности сотрудников помогает определить эффективность выполнения той или иной работы, позволяет установить соответствие показателей необходимым требованиям. В статье предлагается совместное применение квалиметрического подхода и онтологии для определения рейтинга преподавателей. С этой целью было разработано клиентское приложение с базой данных на сервере MSSQL, предназначенное для накопления информации, необходимой для расчёта рейтинга, и расчёта интегральной оценки качества работы преподавателя на основе значений показателей и весов. База данных преобразуется в онтологию в редакторе FLUENT с помощью программного средства ANTLR. Онтология, содержащая классы (институты, кафедры, преподаватели, группы показателей, интегральные характеристики преподавателей и др.), их атрибуты и отношения, позволяет выполнять различные запросы к базе данных. Предлагаемый подход, впервые сочетающий использование упомянутых программных продуктов, позволит более объективно оценивать деятельность преподавателя, стимулировать его к повышению эффективность работы.

Ключевые слова: квалиметрический подход, онтология, оценка качества, база данных, преподаватель, рейтинг, редактор FLUENT, ANTLR.

Abstract

DEVELOPING A SYSTEM FOR ESTIMATION RATING OF TEACHERS BASED ON QUALIMETRIC APPROACH AND ONTOLOGY

S.S. Sosinskaya, R.S. Dorofeev, A.S. Dorofeev

Irkutsk National Research Technical University, Irkutsk, Russia

Education reform taking place in Russia affected not only its educational levels and the studied subjects, but also teachers are required to be more relevant and intensify their activities. Evaluation of employees' performance helps to determine the effectiveness of a particular work realization, allows establishing compliance of indicators to the necessary requirements. The article proposes the combined use of the qualimetric approach and ontology for rating teachers. With this purpose we developed a Web application with a database on the MSSQL server used for collecting the information needed to figure out the rating and the integral evaluation of the quality of the teacher performance based on the values of indicators and weights. Then the database is converted into an ontology using FLUENT editor by means of the ANTLR software tool. Ontology, containing classes, attributes, and relations, allows one to perform various database queries. The proposed approach first combines the use of all mentioned software products, will allow more objective evaluation of the performance of the teacher in various aspects, encouraging to improve the productivity and increase the efficiency.

Key words: qualimetric approach, ontology, quality evaluation, database, FLUENT editor, ANTLR

Введение

В настоящее время в связи с реформированием образования в России происходит не только перестройка учебных планов в соответствии с различными его ступенями и компетенциями, но и изменение требований к профессорско-преподавательскому составу (ППС) в части оценки их деятельности. Предлагается и применяется методика оценки качества деятельности ППС, в которой за каждый показатель выполненных работ преподаватель получает баллы. Стоимость каждого такого балла исчисляется в рублёвом эквиваленте и непосредственно влияет на заработную плату преподавателя. Данная методика содержит такой элемент, как вес каждого показателя. Так, например, проведение межвузовских олимпиад регионального уровня, требующее больших временных, психологических затрат (составление заданий различной сложности, развёртывание системы автоматической проверки исходного кода на различных языках и мониторинга рейтинга, общение с представителями других ВУЗов) в балльном эквиваленте ниже, чем, например, написание небольшой статьи. В связи с этим можно утверждать о наличии трудностей в оценке работы, поскольку должным образом не учитываются важные атрибуты (трудоёмкость, потребные ресурсы и пр.). Использование квалиметрического подхода позволяет избавиться от этого недостатка, а совместное использование базы данных (БД) и онтологии позволит функционально отделить накопление информации и расчёт различных характеристик от выполнения запросов. Так как процесс преобразования БД в онтологию должен повторяться неоднократно при появлении новой информации в БД, целесообразно автоматизировать этот процесс, например, с помощью программного средства для создания компиляторов ANTLR [ 1].

Основы расчёта рейтинга преподавателя в университете

Советом университета выделяются группы показателей образовательной, научной, иных видов деятельности (такие как издательская и методическая деятельность, учебная деятельность, публикационная активность, цитируемость публикаций), в каждой группе определены показатели и их весомость в баллах [2].

В настоящее время в университете ежемесячно в течение учебного года собираются показатели результативности для преподавателей кафедр. Эта информация загружается в БД университета и отображается на сайте. При выполнении показателя коллективом авторов баллы делятся пропорционально числу авторов от университета независимо от вклада каждого автора. Для подсчёта суммарного балла применяется формула, закреплённая в положении о рейтинге:

где n - число показателей преподавателя;

Pi - число баллов за данный показатель;

Ci - количество экземпляров показателя (число статей и т.д.).

Для каждой должности советом университета назначается плановое значение (PZ) суммы баллов. Преподаватели, набравшие менее 50% PZ не получают стимулирующей выплаты. При значениях PZ в диапазоне от 50% до 100% включительно преподаватели получают стимулирующую выплату. Преподавателям, перевыполнившим установленное PZ, назначается премиальная выплата [2].

Механизм денежного стимулирования деятельности преподавателя, базирующийся на оценке его личного вклада, служит для установления непосредственной зависимости между размером денежного поощрения и результатами труда преподавателя. Системный подход к мотивации деятельности преподавателя ВУЗа позволяет декомпозировать алгоритм расчёта выплат, установить взаимосвязь между размером вознаграждения и реальными трудовыми затратами, определить личный вклад каждого преподавателя и применить соответствующие денежные поощрения за результаты работы.

Квалиметрия является наукой о количественной оценке качества объекта, подлежащего оцениванию и описываемого набором признаков, в виде расчётной модели. Эта модель представляет собой описание признаков объекта, имеющих определённые оценки их важности (веса). Введённые показатели пересчитываются к квалиметрической шкале в [0,1]:

Где k_s - пересчитанное к квалиметрической шкале значение показателя, s=1...n; n - количество признаков, val - значение показателя, vg - верхняя граница показателя, ng - нижняя граница показателя.

По значениям показателей при имеющихся весах рассчитываются интегральные характеристики Q и DeltaQ, где Q - количественное значение соответствия качества объекта предъявляемым требованиям, DeltaQ - количественное значение отклонения объекта от требований [3-7]. В результате рассчитывается итоговый интегральный показатель в диапазоне от 0 до 1.

Структура БД

Для решения задачи оценки рейтинга преподавателя выделены основные сущности и их атрибуты (см. таблицу 1).

Таблица 1

Сущности БД и их атрибуты

Основные группы показателей приведены в таблице 2.

Таблица 2

Основные группы показателей и входящие в них показатели

Веса показателей назначаются пользователями системы по разработанным ими критериям и могут быть изменены в ходе её эксплуатации.

После выделения сущностей производится нормализация БД, то есть выполнение ряда действий над сущностями, которые обеспечивают устранение избыточности за счёт их декомпозиции таким образом, чтобы в каждой сущности хранились только первичные факты. Структура БД описана с помощью средства визуального проектирования DbDesigner [8] и представлена на рисунке 1.

Рисунок 1 Структура БД

Структура системы

Структура разработанной системы расчёта рейтинга преподавателей представлена на рисунке 2. С помощью DbDesigner создан скрипт, содержащий операторы CREATE TABLE языка SQL. При запуске этого скрипта на сервере MSSQL создана БД kval, перечень таблиц которой показан на рисунке 3, где их имена совпадают с именами сущностей, приведённых в таблице 1.

После создания БД разработано клиентское приложение для корректировки таблиц и вычисления интегральных характеристик. В результате работы приложения БД наполнена записями и сформирован скрипт, содержащий операторы языка SQL CREATE TABLE (для добавления таблиц) и INSERT INTO (для добавления записей в таблицы).

С использованием этого скрипта формируется (или корректируется) онтология, классы которой соответствуют таблицам БД, а атрибуты и отношения - атрибутам таблиц. Таким образом БД трансформируется в базу знаний (БЗ). Переход от описания на языке SQL к описанию на контролируемом языке CNL (от англ. Controlled Natural Language), используемом в редакторе онтологий FLUENT, можно выполнять вручную. Так как корректировка БД и онтологии, которые должны быть синхронизированы, может происходить многократно, выполнение этой процедуры осуществляется автоматизированно с помощью ANTLR [9].

Рисунок 2 Структура разработанной системы

Рисунок 3 Перечень таблиц БД на сервере

Приложение для наполнения БД

На рисунке 4 показана главная форма приложения БД для пользователя из отдела, отвечающего за поддержку БД в актуальном состоянии. Просмотр и корректировка данных осуществляется через пункт меню «Просмотр». На рисунках 5 и 6 показаны формы просмотра институтов и сотрудников с возможностью выполнения всех видов корректировки.

Рисунок 4 Главное окно приложения БД

Рисунок 5 Окно просмотра и корректировки институтов

Рисунок 6 Окно просмотра и корректировки сотрудников

С помощью пункта меню Запросы производится вычисление интегральных квалиметри- ческих характеристик.

В процессе эксплуатации приложения БД были выявлены следующие недостатки:

¦ результатом запроса к БД является информация, хранимая в самой БД, нет возможности найти данные, которые можно получить как результат логического вывода, что можно сделать, используя онтологию;

¦ при использовании БД трудно моделировать сложные связи в отличие от онтологического подхода.

Преодолеть названные недостатки приложения позволяет онтология, являющаяся современной формой представления знаний и позволяющая производить автоматизированную обработку семантики информации [10, 11].

Использование инструмента ANTLR для трансформации БД в БЗ в онтологическом редакторе FLUENT

ANTLR (от ANother Tool for Language Recognition - Инструмент для Распознавания Языков) - это инструментарий для создания компиляторов или интерпретаторов языков программирования [12, 13]. ANTLR используется для трансформации БД MSSQL в БЗ. ANTLR позволяет при наличии описания по определенным правилам грамматики входного языка (в данном случае - подмножества SQL) автоматически создать основные блоки компилятора с этого языка, а также генерацию кода программы на выходном языке (в данном случае CNL). С этой целью генерируются классы Lexer, Parser и Emitter, которые включаются в состав программы на языке C#. С помощью этой программы могут многократно обрабатываться скрипты на языке SQL. В грамматику для ANTLR включаются лексические, синтаксические правила и семантические атрибуты (attributes), а также семантические действия (actions), позволяющие сгенерировать код программы на языке C#.

Фрагмент описания грамматики языка - подмножества MSSQL средствами ANTLR - показан на рисунке 7. В правом окне перечисляются правила для лексических и синтаксических конструкций языка, в левом окне формируются имена конструкций.

Рисунок 7 Фрагмент грамматики подмножества языка MSSQL в ANTLR

Онтология в редакторе FLUENT и запросы к ней

Онтология -- целостная структурная спецификация некоторой предметной области (ПрО), её формализованное представление, которое включает словарь терминов ПрО и множество логических связей (типа «элемент-класс», «часть-целое»), которые описывают, как эти термины соотносятся между собой. Основные элементы онтологии:

¦ классы, которые описывают понятия ПрО;

¦ атрибуты описывают свойства классов и их экземпляров;

¦ экземпляры (объекты) содержат конкретные значения атрибутов;

¦ отношение - это вид атрибута, определяющий зависимости между классами.

FLUENT Editor [14, 15] - это многофункциональное и интуитивно понятное приложение, которое позволяет редактировать онтологии, визуализировать связи между понятиями и их экземплярами и выполнять запросы к БЗ на основе логического вывода. Используется язык представления знаний, что позволяет писать точные, формализованные описания различных ПрО. Естественно-языковое описание является главным отличием FLUENT Editor от других онтологических редакторов и позволяет освоить создание онтологий гораздо более широкой группе пользователей.

Для рассматриваемой ПрО онтология содержит классы, соответствующие таблицам БД (институты, кафедры, преподаватели и т.д.), а их атрибуты и отношения - это атрибуты таблиц. Фрагмент онтологии, сгенерированной с помощью ANTLR, приведён на рисунке 8

Рисунок 8 Фрагмент онтологии в редакторе FLUENT

Предложения вида Every institute is a thing определяет классы, находящиеся на верхнем уровне иерархии (имена классов начинаются с малой латинской буквы). Атрибуты классов определяются предложениями вида Every institute has-name nothing-but (some string value). Отношения между классами определяются предложениями вида Every employee works-on a subdivision. Экземпляры классов определяются предложениями вида Insta is an institute and has-name equal-to 'КИБЕРНЕТИКИ', а имена объектов начинаются с заглавной латинской буквы. В созданной онтологии есть несколько правил вида X has-integral-employee Y if-and- only-if Y belong-to X. Каждое из них показывает какое отношение в прямом направлении связано с другим отношением в обратном направлении [15]. Имена таблиц БД, соответствующих им классов, атрибутов, объектов и отношений представлены в таблице 3.

Таблица 3

Имена таблиц, классов, объектов, атрибутов и отношений

На основании описания онтологии редактор FLUENT формирует иерархию классов, их экземпляров, атрибутов и отношений, показанную на рисунке 9.

Рисунок 9 Дерево иерархии в редакторе FLUENT

Построенный граф связей между классами, их экземплярами и отношениями представлен на рисунке 10.

Рисунок 10 Граф связей между классами в редакторе FLUENT

Запросы к онтологии набираются в окне Reasoner вручную пользователем. При создании запросов используется CNL [15]. Результат запроса можно увидеть на экране и скопировать в таблицу Excel. Примеры запросов.

Запрос 1. Какие преподаватели имеют интегральную ква- лиметрическую характеристику, равную 10?

Who-Or-What is employee that has-integral-employee that has-integralkv equal-to 10.0?

Запрос 2 Какие подразделения относятся к институту кибернетики?

Who-Or-What is subdivision that belong-to institute that hasname equal-to КИБЕРНЕТИКИ'?

Запрос 3 Каковы интегральные характеристики преподавателя Солер? Who-Or-What is employee that has-name equal-to 'Солер' and has-integral-employee ?

Заключение

Предложенный в статье подход позволит оценивать качество работы преподавателей путём расчёта итоговых интегральных характеристик по всем показателям с учётом весов каждого в зависимости от реальных трудозатрат. Применение ANTLR даёт возможность автоматизировано трансформировать БД в онтологию. Используемый онтологический подход помогает детально и наглядно представить все элементы, применяемые при оценке качества, а FLUENT, используемый в качестве инструмента для выполнения запросов, позволяет выполнить необходимые запросы.

Список источников

1. Tomassetti, G. The ANTLR Mega Tutorial / G. Tomassetti // in ANTLR, Language Engineering, Parsing. https://tomassetti.me/antlr-mega-tutorial/.

2. СИСТЕМА МЕНЕДЖМЕНТА КАЧЕСТВА. Регламент управления системой эффективного контракта научно-педагогических работников. Иркутск: Иркутский национальный исследовательский технический университет, 2018. 21 с. http://www.istu.edu/local/modules/doc/download/45756.

3. Азгальдов, Г.Г. Квалиметрическая экспертиза. Руководство по организации экспертизы и выполнению ква- лиметрических расчетов. Книга первая. Организация экспертизы / Г.Г. Азгальдов, В.М. Маругин // СПб., М.: Русский Регистр, 2002. 517 с.

4. Азгальдов, Г.Г. Квалиметрия для инженеров-механиков / Г.Г. Азгальдов, В.А. Зорин, А.П. Павлов // М.: МАДИ, 2006. 220 c.

5. Азгальдов, Г.Г. Квалиметрия: первоначальные сведения. Справочное пособие с примером для АНО «Агентство стратегических инициатив по продвижению новых проектов» / Г.Г. Азгальдов, А.В. Костин, В.В. Садовов // М.: Высш. шк., 2011. -- 143 с.

6. Азгальдов, Г.Г. Квалиметрическая экспертиза. Руководство по организации экспертизы и выполнению ква- лиметрических расчетов. Книга вторая. Расчётные модели качества / Г.Г. Азгальдов, В.М. Маругин // СПб., М.: Русский Регистр, 2002. 517 с.

7. Дорофеев, Р.С. Оценка качества работы преподавателей с применением квалиметрической экспертизы и онтологического подхода / Р.С. Дорофеев, А.С. Дорофеев // Материалы IV международной научнопрактической конференции «Инновационные технологии в науке и образования (Улан-Удэ, 28-30 августа 2015 г.)», г. Улан-Удэ: Изд-во Бурятского госуниверситета, 2015. С.210-215.

8. DbDesigner. http://fabforce.eu/dbdesigner4/.

9. Сосинская, С.С. Сравнение возможностей программных продуктов OntoStudio и Protege для анализа станочных систем машиностроительного производства / В.А. Игруша, С.С. Сосинская, С.А. Орсоева // Вестник ИрГТУ. 2015. № 3. С.17-23.

10. Gruber, T. Towards Principles for the Design of Ontologies Used for Knowledge Sharing / T. Gruber // International Workshop on Formal Ontology. Padova, Italy, 1993. P.907-928.

11. Горшков, С. Введение в онтологическое моделирование / С. Горшков // ТриниДата, 2016. 165 с. https://trinidata.ru/fi les/SemanticIntro.pdf.

12. Terence, P. The Definitive ANTLR Reference: Building Domain-Specific Languages / P. Terence // The Pragmatic Bookshelf, 2007. 376 p.

13. Terence, P. The Definitive ANTLR 4 Reference. Published: 2013-01-15, Release: P2.0 (2014-09-16). 328 p. https://pragprog.com/book/tpantlr2/the-definitive-antlr-4-reference.

14. Боргест, Н.М. Онтологический редактор Fluent Editor / Н.М. Боргест, А.А. Орлова. Самара: Изд-во Самарского университета, 2017. 44 с.

15. Description of the Fluent editor at Cognitum. https://www.cognitum.eu/download/download.aspx?id=1001.

References

1. Tomassetti G. The ANTLR Mega Tutorial / G. Tomassetti // in ANTLR, Language Engineering, Parsing [Electronic resource] - https://tomassetti.me/antlr-mega-tutorial/.

2. QUALITY MANAGEMENT SYSTEM. Management regulations for effective contract system of research and teaching staff [In Russian]. Irkutsk: Irkutsk National Research Technical University, 2018. P.21. http://www.istu.edu/local/modules/doc/download/45756.

3. Azgaldov GG, Marugin VM. Qualimetric expertise. Guide on organization of examination and implementation of qualitative evaluation. Organization of an expertise [In Russian]. Moscow: Russian Register, 2002. 517 p.

4. Azgaldov GG, Zorin VA, Pavlov AP. Qualimetry for mechanical engineers [In Russian]. M.: MADI, 2006. 220 p.

5. Azgaldov GG, Kostin AV, Sadovov VV. Qualimetry: an introduction. Casebook with example for ANO "Agency for strategic initiatives to promote new projects" [In Russian]. M.: High school, 2011. -- 143 p.

6. Azgaldov GG, Marugin VM. Qualimetric expertise. Guide on organization of examination and implementation of qualitative evaluation. Book two. The estimation models of quality [In Russian]. SPb., Moscow: Russian Register, 2002. 517 p.

7. Dorofeev SR, Dorofeev AS. Evaluation of the quality of work of teachers with the use of qualimetric examination and ontological approach [In Russian]. Materials of IV international scientific-practical conference "Innovative technologies in science and education (Ulan-Ude, August 28-30, 2015)", Ulan-Ude: publishing house of Buryat state University, 2015. P.210-215.

8. DbDesigner - http://fabforce.eu/dbdesigner4/.

9. Irgusha VA, Sosinskaya SS, Orsoeva SA. Comparison of software OntoStudio and Protege for the analysis of mechanical engineering production [In Russian]. Vestnik IrGTU. 2015; 3: 17-23.

10. Gruber, T. Towards Principles for the Design of Ontologies Used for Knowledge Sharing / International Workshop on Formal Ontology. Padova, Italy, 1993. P.907-928.

11. Gorshkov S. Introduction to ontology modeling [In Russian]. TriniData, 2016. 165 p. https://trinidata.ru/files/SemanticIntro.pdf.

12. Terence P. The Definitive ANTLR Reference: Building Domain-Specific Languages. The Pragmatic Bookshelf, 2007. 376 p.

13. Terence Parr. The Definitive ANTLR 4 Reference. Published: 2013-01-15, Release: P2.0 (2014-09-16). 328 p. ISBN: 978-1-93435-699-9 - https://pragprog.com/book/tpantlr2/the-definitive-antlr-4-reference.

14. BorgestNM, Orlova AA. Ontology editor - Fluent Editor [In Russian]. Samara: Samara University, 2017. 44 p.

15. Description of the Fluent editor at Cognitum - https://www.cognitum.eu/download/download.aspx?id=1001.

Размещено на Allbest.ru