Основными задачами выпускной квалификационной работы, необходимыми для достижения поставленной цели автоматизации формирования тестовых заданий в процессе оценки знаний обучаемых, являются:

- сравнительный анализ системы и ее аналогов;

- сопровождение функционального тестирования системы;

- сопровождение разработки пользовательской документации системы;

- выявление требований к функциям системы;

- формализация и документирование требований к функциям системы;

- разработка разделов проектной документации, описывающих работу функций системы;

- анализ требований к системе и подсистеме;

- сопровождение предварительного тестирования системы и подсистемы;

- разработка концепции системы;

- разработка технико-коммерческого предложения и участие в его защите;

- разработка методик выполнения аналитических работ.

- основные функции, реализуемые в ходе выполнения ВКР:

- автоматизированное формирование тестовых вопросов (исходя из онтологии предметной области тестирования);

- применение фреймов для построения и хранения онтологий знаний.

1.6 Актуальность, новизна, практическая значимость выпускной квалификационной работы

Анализ области ИС оценки знаний показал, что в настоящее время недостаточно полно решены проблемы оценки знаний обучаемых. При повсеместном распространении тестирования как средства оценки знаний обучаемых, а соответственно все больших масштабах проводимых тестирований и большем количестве участников тестирования, процесс формирования тестовых заданий почти не претерпел значительных изменений. Разве что добавлялись и совершенствовались способы хранения и распространения тестовых заданий, для поддержания их актуальности и недопущении утечек. Основные процессы, подвергающиеся автоматизации это проведение тестирований и анализ результатов. Таким образом, актуальной задачей становится создания средств автоматизированной оценки знаний, уже со стороны процесса формирования тестовых заданий.

Если рассматривать существующие системы, реализующие подобный функционал, то в настоящее время мы видим все больше и больше информационных систем работающих в формате вопрос-ответ между человеком и вычислительной машиной, но акцент во всех этих системах ставится на получении ответов от машины. Для задач оценки знаний обучаемых нужно посмотреть под полностью противоположным углом и научить машину задать вопросы для оценки знаний человека. Современные аналоги позволяют выполнять подобные задачи с помощью банка готовых вопросов. Информационные системы знают, что спросить и автоматизации подвергается только процесс задания вопроса, но не его подготовки, которая ложится на плечи человека. Современные потребности в предоставлении большого числа разнообразных тестовых заданий требуют иного подхода к проведению оценки знаний обучаемых и подразумевают автоматизацию процесса подготовки вопросов в комплексе с автоматизацией процессов последующих проведения тестирования и анализа полученных результатов. Как уже было рассмотрено при сравнении существующих подходов к решению поставленной задачи, еще не было сформировано ни одной системы, являющейся полностью пригодной и удобной для решения поставленных проблем и выполнению целей и задач, указанных в рамках этой выпускной квалификационной работы.

Соответственно разработка методики и информационной системы, решающей эти задачи, является актуальной и целесообразной.

1.7 Используемые методы и подходы

В данном разделе рассмотрены основные методы и подходы, используемые в выпускной квалификационной работе для решения указанных проблем, достижения поставленных целей и выполнения перечисленных задач.

Основные методы по работе с данными, используемые в ВКР:

- проблема автоматизации процесса генерации тестового материала решается на основе метода представления данных через онтологии исходных знаний предметной области [20];

- представление исходной онтологии знаний предметной области происходит в форме унифицированной фреймовой структуры данных;

- логика предикатов и операции с ними используются для формирования тестовых вопросов различных форм и типов[21];

- используется теория графов для работы с иерархиями и связями понятий в унифицированной фреймовой структуре данных [22].

Подробнее стоит рассмотреть уже упомянутую много раз, но нигде подробно не описанную унифицированную фреймовую структуру данных.

Понятие (класс объектов) онтологии представлено фреймом-прототипом, имеющим уникальный идентификатор, и следующие слоты:

- имя фрейма;

- адрес хранения;

- синонимы;

- суперкласс обобщения;

- подклассы обобщения;

- состав (агрегация):

- агрегат верхнего уровня;

- мультимедийная информация;

- характеристики (свойства);

- ассоциации (логические связи горизонтального уровня);

- соединения (физические связи);

- комментарий.

Фреймы-экземпляры (объекты) создаются путём заполнения части или всех слотов конкретными значениями определённого типа.

УФС поддерживает все основные свойства и понятия распространённых языков онтологий (UML, OWL), но, в отличие от них, реализуется непосредственно в любой объектно-ориентированной среде программирования с использованием небольшой библиотеки дополнительных классов, не требуя каких-либо особых промежуточных программных средств и преобразований. В то же время переход от онтологий в форматах UML , OWL и других к УФС при необходимости может быть автоматизирован, но эта задача выходит за рамки данной работы. Ниже в таблице 3 представлено сравнение различных форматов представления онтологий.

Таблица 3 - Сравнение форматов представления онтологий

- генерация тестовых заданий для каждого тестирования, по сравнению с хранением готовых тестовых заданий дает разнообразие вариантов тестов, а применение метрик для оценки качества сгенерированных заданий позволяет раз от раза генерировать все более качественный тестовый материал.

Рассмотрим каждую идею подробнее.

Использование унифицированной фреймовой структуры данных для формирования онтологии знаний предметной области, кроме универсальности по отношению к предметной области исходных знаний, также предоставляет универсальность в отношении к хранению информации (реляционные или документно-ориентированные базы данных), представлению данных (текстовая, графическая или иерархическая форма отображения), а также обработки данных - как в форме фреймов, так и в представлении XML, JSON, так и в конкретной реализации в зависимости от потребностей и предметной области. УФС также дает потенциал в возможностях автоматизации перевода исходных знаний из необработанного вида (лекций, методических указаний, учебников) в формат онтологий понятный машине.

Отказ от хранения тестовых вопросов и их повторного использования помимо большей вариативности при составлении тестов, дает преимущество при внесении изменений в онтологию исходных знаний. Поскольку вопросы формируются на основании онтологий при каждом тестировании, то они всегда содержат актуальные на текущий момент данные и знания. Обновление и поддержание актуальности тестовых заданий отдельно от исходных знаний не требуется. Также это исключает возможность нечестного использования информационной системы, для заблаговременного получения списка возможных вопросов и подготовки по этому списку, а не по исходным знаниям из лекций и других материалов.

На основании всего перечисленного можно смело утверждать что предлагаемые идеи имеют веское обоснование и являются конкурентоспособными, а значит делают и всю работу актуальной и готовой к конкуренции в области систем оценки знаний обучаемых.

2.2 Технология формализованного описания предлагаемых новшеств

Для формализованного описания методики формирования тестовых заданий используется UML стандарт версии 2.5[23].

Описание методика приводится в виде диаграммы деятельности, на которой показано разложение некоторой деятельности на её составные части. Под деятельностью понимается спецификация исполняемого поведения в виде координированного последовательного и параллельного выполнения подчинённых элементов -- вложенных видов деятельности и отдельных действий, соединённых между собой потоками, которые идут от выходов одного узла ко входам другого. Диаграммы деятельности используются при моделировании бизнес-процессов, технологических процессов, последовательных и параллельных вычислений.

Диаграмма деятельности (activitydiagram)-диаграмма, на которой показывается поведение системы в виде последовательности действий (action), деятельностей (activity) и условий их выполнения.

По своей семантике эта диаграмма соответствует схеме алгоритма или схеме программы по ГОСТ 19.701 [24], если сопоставить символу действия (деятельности) символ процесса. Однако, в UMLмогут быть использованы дополнительные символы (объекты и потоки объектов, специальные действия, события, маркеры, хранилища данных и другие), которые позволяют отобразить алгоритм работы системы в стиле сетей Петри [25]или языков моделирования бизнес-процессов типа BPMN[26].

Кроме того, в отличие от традиционного вертикального расположения диаграмма деятельности изображается в горизонтальном расположении и может использовать группировки действий в виде «плавательных дорожек» (swimlanes).

Понятия «действие» и «деятельность» схожи с теми, что представлены в диаграмме состояний. Поскольку основной смысл состояния заключался в сохранении системой выполнения некоторого условия (инварианта), например, условия исполнения некоторой деятельности, то саму диаграмму последовательной смены деятельностей можно рассматривать как частный случай диаграммы состояний. В UMLдля обозначения узла деятельности в диаграмме активности используется символ состояния, показанные на рисунке 3.

Рисунок 3- Узлы деятельности и связь между ними

Стрелка (дуга деятельности) показывает поток управления - передачу управления от одной деятельности к другой. Второй тип узла - узел объекта - изображается прямоугольником, как это показано на рисунке 4.

Рисунок 4- Узлы деятельности и объекта и связь между ними

Здесь стрелки показывают поток объектов деятельности - передачу объекта от одной деятельности к другой (используется как дополнительная информация).

Символы фиктивных начальных и конечных узлов деятельности по обозначениям соответствуют фиктивным начальным и конечным состояниям диаграммы состояний:

2.3 Описание метода формирования тестовых заданий

Вопросы, формируемые для тестов, различаются по форме самого вопроса (открытая форма - F1, форма утверждения - F2 или закрытая форма - F3)[27] и по объектам, к которым они относятся (к связи, к экземпляру или к фрейму-прототипу (классу)).

- первый тип вопросов, T1, относится к экземпляру сущности и значению для одного из атрибутов этой сущности(UML 1.0 был выпущен в ____ году);

- второй тип вопросов, T2, ставится к отношению наследования между двумя объектами(К какому классу языков программирования относится язык Java);

- третий тип вопросов, T3, относится к связи (логической или физической) между двумя объектами (На диаграмме вариантов использования ____________ актеры);

- четвертый тип вопросов, T4, относится к объекту, соединенному с изначальным объектом логической или физической связью ( _________ является последней фазой жизненного цикла ИС).

Информационная система позволяет создавать и редактировать онтологию предметной области, заданную формулой (1):

,(1)

где X - множество концептов, представленных в виде фреймов;

R - множество отношений между ними;

E- множество оценок.

-предусмотренная градация от совершенно нового для обучаемого знания - 0, до уже закрепленного тестированием знания - 4.

В зависимости от типа вопроса различается и методика его автоматизированного создания. Для первых двух типов вопросов используется выражение суждений на языке логики предикатов [28]. Для остальных типов вопросов требуется использование теории графов. Рассмотрим формирование вопроса по каждому типу в виде формализованного описания.

Входными параметрами является онтология предметной области O, тип требуемого вопроса T, его форма F и сложность N, которая, в свою очередь, определяется дополнительными параметрами: комплексность и число переменных предиката; геодезическое расстояние в графе; уровень узла в дереве иерархии. На время генерации тестового задания система хранит три множества:

- D<X> - множество опрошенных понятий;

- D<S> - множество опрошенных характеристик;

- D<R> - множество опрошенных связей.

Первым этапом является случайный выбор понятия предметной области x и проверка на принадлежность , пока не будет найдено не протестированное понятие, которое затем заносится в D<X>.

Далее идет разделение действий в зависимости от типов вопросов T.

1. Если , выбирается случайная характеристика s и проверяется принадлежность , пока не будет найдена не протестированная характеристика, которая заносится в D<S>, а ее значение - в v1. Создается предикат вида:, такой, что P(x,s,v1) = 1.

a. Если F==F1, то возвращается P(prop, obj, val), x, s, v1.

b. Если F==F2, находится альтернативный ответ v2 и возвращается P(prop, obj, val), x, s, v1, v2.

c. Иначе находится три альтернативных ответа v2, v3, v4 и возвращается P(prop, obj, val), x, s, v1, v2, v3, v4.

2. Если T==T2, выбирается суперкласс, находящийся на N уровней выше x - y. Создается предикат вида: такой, что P(x,y)=1.

a. Если F==F1, то возвращается P(child, parent), x, y.

b. Если F==F2, то находится альтернативное понятие x1 и возвращается P(child, parent), x, y, x1.

c. Если F==F3, то находится три альтернативных понятия x1,x2,x3 и возвращается P(child, parent), x, y, x1, x2, x3.

3. Если , то выбирается случайная связь r и проверяется ее принадлежность , пока не будет найдена не протестированная связь, которая заносится в D<R>. Принимая u = x и, определяя вторую вершину, получаем ребро r = {u, v}. Составляется предикат вида , такой что P(u, v, r) = 1.

a. Если F==F1, то возвращается , u, v, r.

b. Если F==F2

i. Если T==T3, то находится альтернативное понятие v1 и возвращается , u, v, r, v1.

ii. Если T==T4, то находится альтернативная связь r1 и возвращается , u, v, r, r1.

c. Если F==F3

i. Если T==T3, то находится три альтернативных понятия v1, v2, v3 и возвращается , u, v, r, v1, v2, v3.

ii. Если T==T4, то находим три альтернативных связи r1, r2, r3 и возвращается , u, v, r, r1, r2, r3.

По созданным предикатам формулируются вопросы теста в естественно-языковой форме.

2.4 Формализованное описание процесса формирования тестовых заданий

При создании методологии автоматизации процесса тестирования знаний при онтологическом подходе к оценке знаний обучаемых возникла проблема создания алгоритма, удовлетворяющего следующим требованиям: