Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Аннотация

Данная магистерская диссертация рассматривает вопросы проектирования и разработки системы контроля знаний (СКЗ) с возможностью оценки ответов в свободно-сконструированной форме. В ходе выполнения работы проведен системный анализ, включающий декомпозицию задачи, анализ объектов предметной области, а также моделирование разрабатываемой СКЗ.

Работа затрагивает вопросы актуальности использования автоматизированных компьютерных систем в образовании. Рассмотрен ряд существующих аналогов разрабатываемой системы, выявлены их основные недостатки и в ряде случаев предложены способы их устранения.

Произведен анализ и классификация типов тестовых вопросов, применяемых в педагогическом контролезнаний. Также проанализированы существующие подходы к автоматизированной оценке ответов в открытой форме.

Для основных типов тестовых вопросов выбраны способы автоматизированной оценки, включающие алгоритмы обработки естественного языка (латентно-семантический анализ, аннотированное суффиксное дерево), алгоритмы обработки структурированного текста и алгоритмы обработки изображений.

Приведено описание прототипа СКЗ, разработанного по результатам проведенного исследования. В данном прототипе реализована возможность оценки свободно-конструируемых ответов. Также приведены результаты тестирования данного программного обеспечения, которые подтверждают его соответствие заявленным требованиям и работоспособность.

В заключение сделаны выводы о проделанной работе и рассмотрены перспективы использования систем контроля знаний с возможностью распознавания свободно-конструируемых ответов.

Annotation

This magister's dissertation covers main aspects of designing and developing an automated knowledge control system with the ability of grading freely constructed answers. As parts of undertaken system analysis, task decomposition, domain knowledge analysis and modelling of the system to be developed were committed.

This paper touches on the topicality of using automated computational system in education in general and using automated knowledge control systems in particular.

The dissertation compares existing knowledge control systems and points out their common shortcomings, for some of which means of overcoming are suggested.

Different types of questions used in modern tests were analyzed and classified. Methods of automated grading of such questions were subjected to analysis as well.

For most common question types algorithms of automated grading were proposed, including methods of natural language processing, highly structured text processing and image recognition.

Considering results of the research made, a prototype of knowledge control system with the ability of grading freely constructed answers was created. The system was tested and proven to meet imposed requirements.

During the final step of dissertation, conclusions were made based results of the research and the following paper was written.

Введение

Данная выпускная квалификационная работа магистра посвящена вопросам проектирования и разработки автоматизированной системы контроля знаний с возможностью распознавания свободно-сконструированных ответов. Об актуальности данной темы свидетельствуют как общие тенденции по внедрению информационных технологий в образовательную среду, так и ряд целевых исследований, ссылки на которые приведены в тексте настоящей работы.

Сегодня автоматизированные СКЗ получили широкое распространение как в качестве отдельных программных продуктов, так и в составе систем более высокого уровня, таких как автоматизированные системы управления учебным процессом или автоматизированные обучающие системы. СКЗ также часто применяются в системах дистанционного обучения и повышения квалификации.

Однако, несмотря на повсеместное применение, существующие СКЗ зачастую не обладают должным набором функциональных возможностей и качеством реализации. Анализ современных систем с возможностью оценки свободно-сконструированных ответов, проведенный в ходе выполнения настоящей работы, выявил ряд общих недостатков, самыми существенными из которых, по мнению автора, являются высокие трудозатраты на построение модели для оценки ответа, возможность оценки лишь ограниченного набора типов тестовых вопросов, отсутствие в сопроводительной документации достаточной информации об использованных алгоритмах оценки и результатах экспериментального тестирования. Разработанная в рамках выпускной квалификационной работы система избегает ряда выявленных недостатков.

Ключевой функциональной возможностью спроектированной системы является возможность оценки свободно-сконструированных ответов, т.е. ответов, самостоятельно сформированных пользователем, а не выбранных из предложенных системой вариантов. Примерами таких ответов являются фразы на естественном языке, введенные пользователем при помощи клавиатуры, и графические изображения, введенные пользователем при помощи графического планшета или мыши. Несомненным достоинством вопросов со свободно-сконструированными ответами является невозможность получить правильный ответ угадыванием и как следствие - повышение уровня объективности педагогического контроля. Тестирование с ответами в открытой форме также позволяет оценить ряд компетенций испытуемого, не поддающихся контролю методами тестов классической теории тестирования с вопросами закрытой формы.

Стоит отметить, что использование вопросов со свободно-сконструированными ответами в тестировании не лишено недостатков, решающими из которых являются большая трудоемкость при проверке преподавателем-экспертом и большая сложность алгоритмов автоматизированной оценки.

Фундаментом для проектирования описанной в данной работе СКЗ послужил системный анализ, разбитый на три глобальных этапа. На этапе декомпозиции основная задача, поставленная в задании на выпускную квалификационную работу магистра, была разбита на ряд подзадач, было построено дерево целей, а также выявлены критерии достижения целей. Кроме того, было произведено выявление сущностей предметной области, нуждающихся в детальном анализе.

На этапе анализа были рассмотрены существующие системы с возможностью оценки свободно-конструируемых ответов, типы тестовых вопросов, а также применяемые для их оценки алгоритмы. В ходе анализа существующих аналогов разрабатываемой системы были выделены их основные недостатки, попытки избавиться от которых были предприняты в работе. Для тестовых вопросов была предложена система классификации, позволяющая выделить отдельные группы вопросов, для которых применим тот или иной алгоритм автоматизированной оценки. Алгоритмы оценки были разбиты на группы, для каждой из которых были выделены сильные и слабые стороны.

Третьим этапом системного анализа выступил синтез системы, удовлетворяющей поставленным требованиям. В ходе решения задачи синтеза были предложены алгоритмы оценки свободно-конструируемых ответов. Кроме того, синтезируемая система была смоделирована средствами языка UML.

Следующий этап выполнения выпускной квалификационной работы магистра заключался в разработке прототипа СКЗ, выполняющей заявленные требования. Исходя из этого был произведен выбор инструментов разработчика. Прототип системы разрабатывался сообразно принципам объектно-ориентированного программирования, что обеспечивает наглядность программной архитектуры, простоту изменения системы и возможность интеграции в системы более высокого уровня. При разработке был использован итеративный подход, что позволило вносить изменения в разрабатываемое программное обеспечение в ходе анализов результатов выполнения предыдущих этапов.

На завершающем этапе работы была произведена экспериментальная проверка разработанного прототипа системы, подтверждающая достижение заявленных критериев. Выводы о проделанной работе приведены в соответствующем разделе настоящей пояснительной записки.

Объектом исследования настоящей работы являются автоматизированные системы контроля знаний.

Предметом исследования являются методы автоматизированной оценки свободно-конструируемых ответов пользователей.

Цель исследования - предложить подход к созданию системы контроля знаний с возможностью распознавания и автоматизированной оценки свободно-конструируемых ответов.

Цель исследования конкретизируется в ряде задач:

- Классификация типов тестовых заданий.

- Классификация алгоритмов автоматизированной оценки ответов.

- Анализ существующих аналогов разрабатываемой системы.

- Выбор и модификация методов оценки ответов.

- Проектирование разрабатываемой системы.

- Разработка СКЗ.

- Тестирования разработанной системы.

На защиту выносятся:

- Разработанная классификация тестовых вопросов, предполагающих ответы в открытой форме.

- Модификация алгоритма латентно-семантического анализа, позволяющая частично учитывать порядок следования слов в оцениваемом ответе.

- Алгоритмическое и программное обеспечение разработанной системы контроля знаний с возможностью оценки свободно-конструируемых ответов.

1. Задание на выполнение выпускной квалификационной работы магистра



2. Обоснование актуальности выбранной темы

2.1 Перспективы использования информационных технологий в образовании

Внедрение информационных технологий в разнообразные сферы общественной жизни входит в число приоритетных направлений развития нашей страны [1]. По словам Президента Российской Федерации В.В. Путина, "высокие технологии просто обязаны стать в России мощной опорой и для роста экономики, и для модернизации управления" [2]. Одним из ярких примеров, подтверждающих данное утверждение, является то, что темпы роста IT-отрасли России, не связанной с продажей оборудования, превышают 12% в год, и в ближайшие годы будут превышать рост ВВП как минимум втрое [3].

Одной из самых перспективных сфер информатизации является образование. Согласно Указу Президента Российской Федерации от 7 мая 2012 г. №599 «О мерах по реализации государственной политики в области образования и науки», развитие информационных технологий в образовании должно поспособствовать увеличению доли публикаций российских исследователей в общем количестве публикаций в мировых научных журналах, а также включению пяти российских университетов в первую сотню ведущих мировых университетов к 2020 году [4].

В настоящее время активно предпринимаются попытки внедрения информационных технологий во все уровни образовательного процесса: школы постепенно отходят от использования бумажных дневников учащихся и журналов, полностью переходя на электронную систему учета оценок; в учебных заведениях повсеместно используются интерактивные пособия, мультимедийные проекторы и презентации; внедряются электронные системы управления образовательным процессом; все большую популярность приобретают online-курсы.

Несмотря на то, что данный процесс нельзя считать завершенным, уже сегодня существуют примеры, свидетельствующие о достигнутых положительных результатах.

Исследование, выполненное В. Батколиной в ФГВОУ ВПО «Военный университет» в период с сентября 2006 года по апрель 2011 года на группе из 120 студентов, 60 из которых были включены в экспериментальную подгруппу и 60 - в контрольную, показало высокую эффективность использования современных информационных технологий для повышения эффективности образования взрослых в вузах. В частности, результаты оценки показателей для экспериментальной подгруппы были значительно выше, чем для контрольной подгруппы [5]. Для оценки эффективности использования информационных технологий в образовательном процессе в исследовании была введена система критериев, каждый из которых включает ряд показателей.

К организационным критериям были отнесены:

- Наличие цели, задач и методик обучения, направленных на повышение эффективности образования взрослых на основе современных информационных технологий.

- Соответствие наличия и качества имеющихся сил и средств в вузе для достижения цели повышения эффективности образования взрослых в вузе на основе современных информационных технологий.

- Системность и комплексность применения средств современных информационных технологий.

К содержательным критериям были отнесены:

- Полнота отражения учебного материала в учебно-методическом комплексе.

- Соответствие содержания дисциплин требованиям ФГОС ВО.

- Степень новизны учебного материала.

- Оценка качества методических указаний для студентов.

- Наличие в учебно-методическом комплексе мультимедийных средств (видео-лекции, слайд-лекции и др.)

- Соответствие содержания учебных дисциплин потребностям предстоящей профессиональной деятельности.

К результативным критериям были отнесены:

- Темп повышения личностно-профессионального роста.

- Темп усвоения знаний и прироста результатов.

- Уровень совершенствования информационных знаний и умений; качество и прочность усвоенных знаний.

По каждому из приведенных критериев были достигнуты положительные результаты [5].

В ходе исследования [6], ставящего целью выявление зависимости между использованием информационных технологий на уроках и сформированностью знаний, умений и навыков у школьников младших классов, проводимого в 2008 - 2012 годах в СОШ №3 г. Каражал было выявлено, что с помощью информационных технологий удалось решить следующие дидактические задачи:

- Совершенствование организации преподавания, повышение индивидуализации обучения.

- Повышение продуктивности самоподготовки учащихся.

- Усиление мотивации к обучению.

- Активизация процесса обучения, возможность привлечения учащихся к исследовательской деятельности.

- Обеспечение гибкости процесса обучения.

Данные исследования, накопленные за четырехлетний период, показывают, что среди детей, в процессе обучения которых были активно задействованы IT_методы и средства, процент учащихся с высоким уровнем сформированности знаний увеличился на 18,16%, со средним - на 4,54%; а процент детей с низким уровнем сформированности знаний уменьшился на 22,7%. Результаты завершающей оценки показали, что среди испытуемых процент успеваемости увеличился на 9,1%, а средний балл увеличился на 0,6. В контрольной группе оцениваемые результаты не изменились [6].

Стоит отметить, что среди авторов научных работ на тему использования информационных технологий в обучении встречается и альтернативное мнение. К примеру, К. Ф. Хью в своей статье «UseofWeb 2.0 technologiesin K-12 andhighereducation: Thesearch forevidence-basedpractice» [7] проводит анализ публикаций из баз данных научных статей Academic Search Premier, Education Research Complete, ERIC, и PsycINFO, в результате которого приходит к выводу, что существенная часть исследований о влиянии информационных технологий на качество обучения не обладает достаточной фактологической базой. Хотя автор и соглашается, что использование технологий Web 2.0 по всей видимости оказывает позитивное влияние на качество обучения, фактические свидетельства данного утверждения «достаточно слабы». Хьютакже отмечает, что выявленный в ходе ряда исследований позитивный эффект от интеграции информационных технологий в образовательный процесс зачастую связан с достаточно вольной концептуализацей авторами понятия «обучение» и недостаточному вниманию к формированию критериев оценки результатов и выбору методов исследования.

Принимая во внимание вышесказанное можно заключить, что тема влияния на качество обучения интеграции современных информационных технологий в процесс обучения нуждается в дополнительном изучении.

2.2 Актуальность использования систем контроля знаний

Одним из примеров использования информационных технологий в образовательном процессе являются системы контроля знаний, или СКЗ. Под СКЗ будем понимать информационную систему, обеспечивающую автоматическую оценку ответов испытуемого.

Подобные системы получили широкое распространение благодаря тому, что позволяют существенно снизить трудозатраты на проверку тестовых заданий, могут быть использованы в дистанционном обучении, а также в некоторых случаях повысить объективность педагогического контроля.

К сожалению, не все системы контроля знаний, используемые сегодня, должным образом выполняют поставленные перед ними задачи. Часто это связано с использованием методов классической теории тестирования: бинарной модели определения истинности ответа, пропорциональных методов вывода итоговой оценки и других достаточно примитивных тестовых методик [8], что не дает в полной мере реализовать потенциал тестовой формы контроля знаний. Кроме того, далеко не все представленные СКЗ поддерживают использование свободно-конструируемых ответов и ограничиваются лишь вопросами с ответами в закрытой форме. Исследование, проведенное И.П. Карповой, результаты которого представлены в [9], показывает, что тестирования, использующие только вопросы с ответами в закрытой форме, при прочих равных условиях приводят к более высоким оценкам испытуемых. Данные результаты по заявлению автора исследования могут быть интерпретированы как свидетельство того, что “выборочный тест не отражает реальных знаний тестируемых” [9].

Вышеперечисленные доводы свидетельствуют о необходимости совершенствования существующих сегодня систем контроля знаний.

2.3 Использование СКЗ в системах дистанционного обучения

Еще одним аргументом в пользу актуальности разработки новых и совершенствования существующих СКЗ выступает их использование в системах дистанционного обучения, применение которых позволяет [10]:

- Обучаться «без отрыва от производства».

- Выбрать для обучения удобное время и место.

- Получать оперативные, в том числе в режиме реального времени, консультации преподавателей.

- Обсуждать возникающие вопросы в интернет-сообществах в интерактивном режиме.

- Использовать существующие мультимедийные электронные библиотеки.

- Оперативно найти применение полученным знаниям на практике.

Наряду с использованием СКЗ для дистанционного обучения студентов учебных заведений, сегодня идет работа над рядом крупных проектов дистанционных программ повышения квалификации. К примеру, система электронного повышения квалификации (ЭПК) педагогических работников Московской области, разрабатываемая сегодня, призвана создать условия для профессионального роста педагогических работников и руководителей образовательных организаций МО в условиях открытой цифровой образовательной среды. Эта система должна обеспечить [11]:

- снижение уровня затрат при реализации ДПП по профилю педагогической деятельности;

- предоставление образовательных услуг в максимально доступной форме, независимой от места проживания или работы слушателей за счет использования современных ИКТ;

- интенсификацию использования лидерского потенциала образовательных организаций и педагогических работников МО;

- развитие ИКТ-компетентности всех участников образовательного процесса с использованием электронного обучения и ДОТ;

- повышение конкурентоспособности образования с учетом мировых тенденций развития системы образования.

Приведенные выше примеры являются обоснованием для продолжения исследований и разработок в области систем контроля знаний с возможностью распознавания и оценки свободно-конструируемых ответов.

3. Системный анализ

3.1 Определение целей системного анализа

Одним из ключевых этапов выполнения настоящей выпускной квалификационной работы магистра является проведение системного анализа. К целям проведения системного анализа относятся:

1. Декомпозиция поставленной задачи.

2. Формирование дерева целей на основе проведенной декомпозиции.

3. Анализ предметной области и потенциальных методов достижения поставленных целей

4. Определение ограничений системы.

5. Синтез системы, отвечающей требованиям, определенным в ходе выполнения предыдущих этапов системного анализа.

3.2 Описание синтезируемой системы

В результате выполнения магистерской диссертации должна быть спроектирована СКЗ с возможностью распознавания свободно-конструируемых ответов.

Основными функциями синтезируемой системы должны являться:

- Формирование и изменение при участии преподавателей-экспертов тестовых заданий.

- Хранение тестовых заданий.

- Проведение тестирований испытуемых путем предоставления им вопросов тестовых заданий.

- Распознавание данных испытуемыми свободно-конструируемых ответов на предоставленные системой вопросы.

- Автоматизированная оценка ответов испытуемых.

Пользователи синтезируемой системы разделены на две категории: преподаватели-эксперты - лица, обеспечивающие формирование тестовых заданий, а также в ряде случаев обеспечивающие коррекцию методов автоматизированной оценки; испытуемые - лица, проходящие тестирование путем ответа на вопросы тестовых заданий. Заметим, что термин «преподаватель» в данном контексте используется «в широком смысле» и не обязательно согласуется с действительной профессиональной принадлежностью составителя тестовых заданий. Решающим фактором является наличие необходимых знаний по теме тестового задания.

Синтезируемая СКЗ должна представлять из себя автоматизированную компьютерную систему, способную работать локально на одной ПЭВМ с техническими характеристиками, удовлетворяющими требованиям, заявленным в задании на выпускную квалификационную работу магистра (см. раздел 2). Система должна обладать графическим интерфейсом, доступным для использования пользователю-неспециалисту.

Схема входов и выходов синтезируемой системы, построенная в соответствии с принципами системного анализа [12], приведена ни рисунке 1.

Рисунок 1. Схема входов и выходов синтезируемой системы

Синтезируемая система обладает следующими входами и выходами:

Вход Х1 - тестовые задания, вносимые преподавателем-экспертом;

Вход X2 - свободно-сконструированные ответы, данные испытуемыми;

Выход Y1 - оценки тестовых вопросов, полученные автоматически в результате работы системы;

Выход Y2 - тестовые вопросы, предоставляемые системой испытуемым.

3.3 Декомпозиция поставленной задачи

На первом этапе декомпозиции общая задача, поставленная в задании на выполнение выпускной квалификационной работы магистра,была разделена на ряд подзадач:

Анализ предметной области и выделение значимых для выполнения задачи элементов.

Анализ выявленных элементов.

Выявление связей и зависимостей в синтезируемой системе.

Проектирование системы.

Разработка прототипа системы.

Экспериментальное испытание прототипа системы.

Обработка результатов экспериментального испытания системы.

Подготовка пояснительной записки.

3.4 Дерево целей

В результате декомпозиции задачи, поставленной в задании на выполнение выпускной квалификационной работы магистра, был выявлен ряд промежуточных целей, достижение которых необходимо для решения основной задачи. Итоговое дерево целей для разработки СКЗ имеет следующий вид:

1. Анализ предметной области.

1.1. Анализ существующих аналогов разрабатываемой системы.

1.1.1. Выявление недостатков существующих аналогов.

1.1.2. Поиск методов устранения существующих недостатков.

1.2. Анализ типов тестовых вопросов.

1.3. Классификация типов тестовых вопросов с ответами в свободно_конструируемой форме.

2. Проектирование системы.

2.1. Моделирование системы.

2.2. Построение UML-диаграмм.

2.3. Выбор используемых алгоритмов.

2.4. Выбор методологии и средств разработки.

3. Разработка прототипа системы.

3.1. Разработка модуля составления тестовых заданий.

3.2. Разработка модуля оценки ответов.

3.3. Разработка графического интерфейса пользователя.

4. Тестирование системы.

4.1. Выбор методики тестирования.

4.2. Проведение тестирования.

4.2.1. Обработка результатов тестирования.

5. Оформление пояснительной записки.

5.1. Анализ достигнутых результатов.

5.2. Выводы о проделанной работе.

Графическое представление дерева целей приведено на рисунке 2.

Рисунок 2. Дерево целей

4. Лингвистическое обеспечение системы

4.1 Использованные термины и понятия

В данном разделе работы приведены основные определения, термины и понятия, встречающиеся в тексте работы.

Система контроля знаний, СКЗ - автоматизированная система, обеспечивающая контроль знаний испытуемых путем оценки выполнения ими представленных заданий.

Эталонный ответ - абсолютно правильный ответ на тестовый вопрос, заслуживающий максимальной оценки в рамках используемой шкалы оценок.

Преподаватель-эксперт - лицо, обеспечивающее формирование тестовых заданий, а также в ряде случаев обеспечивающее коррекцию методов автоматизированной оценки.

Свободно-конструируемый ответ - ответ, самостоятельно сформированный испытуемым и не предполагающий выбора одного или нескольких вариантов из предложенных системой.

5. Обзор существующих аналогов

5.1 Общие положения

Данный раздел работы посвящен анализу существующих аналогов системы контроля знаний, разрабатываемой в рамках выполнения магистерской диссертации. Отметим, что не все рассмотренные в обзоре системы могут быть отнесены непосредственно к категории СКЗ: в ряде случаев речь идет об автоматизированных системах поддержки учебного процесса, содержащих СКЗ в качестве своего функционального элемента; или о программном обеспечении, реализующем частные алгоритмы оценки свободно-сконструированных ответов, предполагающем работу с массивами данных и не предназначенном для оценки ответов испытуемых. Тем не менее, системы такого рода учтены в данном сравнении по причине частичного пересечения выполняемых ими функций с функциями разрабатываемой СКЗ. Отметим также, что системы, производящие только оценку ответов испытуемых в закрытой форме (ответы типа множество, список, список множеств и множество списков) умышленно не включены в данный раздел работы. С анализом подобных систем можно ознакомиться в [13].

5.2 История методов автоматизированной оценки свободно-конструируемых ответов

Первые попытки применения автоматизированных систем для оценки свободно-конструируемых ответов испытуемых были предприняты еще в конце шестидесятых годов прошлого века. Одна из ранних работ Ч. Пейджа, увидевшая свет в 1966 г., предлагала метод использования вычислительной системы для оценки ответовиспытуемых, переданных в формате текста на естественном языке [14]. Метод Пейджа не предполагал дифференциации типов ответов по объему или степени структурированности текста, как и не предполагал использование системы в реальном образовательном процессе. Тем не менее, Пейдж по праву считается основоположником динамично развивающейся и востребованной сегодня области информатики.

В 1980 г. Л.Р. Гай опубликовал работу, посвященную проблемам автоматизированной оценки коротких ответов в открытой форме (The Comparative Effectsof Multiple-Choiceversus Short Answer Testson Retention) [15]. Работа затрагивает проблему объективности тестов в открытой и закрытой форме. Кроме того, Гай впервые поднимает тему дифференциации вопросов с ответами на естественном языке по форме предполагаемого ответа испытуемого. Данное деление прочно закрепилось в англоязычных научных публикациях на эту тему: деление вопросов с ответами на естественном языке на вопросы с короткими ответами и вопросы ответами в форме эссе (а как следствие и разница подходов к их автоматизированной оценке) на сегодняшний день является общепринятым.

Следующим важным этапом в развитии автоматизированной оценки вопросов в свободно-конструируемой форме стала популяризация методов, основанных на диаграммах концептов. Принцип работы методов данной группы заключается в проверке каждого ответа испытуемого на наличие или отсутствие концептов из заранее обозначенных групп. При этом концепты, наличие или отсутствие которых проверяется, могут быть как непосредственно заданы преподавателем-экспертом, так и извлечены из специального текста, соответствующего теме вопроса, или же выделены из онтологии области знания. Первая СКЗ, работающая на основе методов данной группы, была разработана Ж. Бурштейном в 1996г.[16]

Работа Дж. Ковии И. Вилкса «Information Extraction» [17], опубликованная в 2000 г., стала теоретическим обоснованием для ряда систем контроля знаний, основывающихся на методах извлечения информации. Данная группа методов, будучи примененной к задаче оценки ответов испытуемых, предполагает извлечение из слабоструктурированных текстов ответов информации с последующей ее унификацией и представлением в структурированной форме. В зависимости от тематики тестовых заданий и формы представления ответа, конкретные методы могут заключаться в поиске подстрок, поиске с использованием регулярных выражений или сравнении деревьев разбора. В 2002?г. появилось сразу две СКЗ, базирующихся на принципах, постулированных Кови и Вилксом: AutoMark [18] иWebLAS [19].

Системы контроля знаний, основывающиеся на обработке корпусов текстов, начали завоевывать популярность в середине прошлого десятилетия. Благодаря росту вычислительной мощности компьютерных систем, задачи обработки больших объемов текста и матричных преобразований, составляющие основу данной группы методов, стали доступны для решения большому числу исследователей и разработчиков. Оценка ответов испытуемых производится путем сопоставления с набором носящих статистический характер правил, выявленными на этапе обработки системой корпусов текстов. Первой реальной СКЗ, базирующейся на данной группе методов, стала Atenea, разработанная Э. Алфонсека и Д. Перез в 2004 г. [20]

Спустя три года после появления Atenea была разработана e-Examiner [21] - первая СКЗ с возможностью оценки свободно-конструируемых ответов, базирующаяся на методах машинного обучения. Ставка в данной системе была сделана на применение алгоритма линейной регрессии. Совокупность методов машинного обучения, применяемых сегодня, включает использование параметров, полученных в процессе применения методов обработки естественного языка, с дальнейшим применением к ним регрессионной модели или системы классификации; деревья принятия решений; репрезентативные алгоритмы обучения и пр.

5.3 Современные аналоги разрабатываемой системы

Далее приведен список популярных аналогов разрабатываемой СКЗ с перечнем их основных характеристик и параметров, по которым будет производиться сравнение:

Automatic Text Marker (ATM). [22] Данная СКЗ работает на основе метода списка минимальных концептов (listofminimal conceptsmethod). Суть данного метода заключается в сопоставлении каждому ответу (как эталонному, внесенному в систему преподавателем-экспертом, так и данному пользователем) списка присутствующих в нем концептов. Система предусматривает возможность установки весовых коэффициентов для элементов списка эталонного ответа. Список концептов ответа пользователя и список концептов эталонного ответа сравниваются и на основании результата сравнения производится выставление оценки.

The Concept Rater (c-rater). [23] Данная система производит оценку развернутых ответов пользователя на естественном языке (ответов типа эссе) методом выделения концептов на уровне предложений (в отличие от, например, ATM, выделяющей концепты на уровне слов). Тексты, обрабатываемые c-rater, проходят этап предварительной обработки, включающий в себя снятие лексико-семантической омонимии, проверки орфографии и избавления от анафор.

Auto Mark. [18] Auto Mark производит оценку свободно_конструируемых ответов пользователя с использованием методов извлечения информации путем сравнения деревьев разбора ответа пользователя и эталонного ответа. Отличительной чертой Auto Mark является реализация алгоритма оценки с участием преподавателя-эксперта, позволяющего вносить изменения в модель эталонного ответа на этапе оценки. Отметим, что использование данного режима не является обязательным и система имеет возможность работать в полностью автоматическом режиме.

Web-based Language Assessment System (WebLAS). [19] WebLAS выделяет ключевые сегменты эталонных ответов после их обработки синтактическим анализатором. Правильность каждого выделения проверяется вручную преподавателем-экспертом. На этом же этапе при необходимости производится присвоение весовых коэффициентов каждому из выделенных сегментов. Для оценки система производит синтактический анализ ответа испытуемого, выделяет в нем сегменты и сравнивает с сегментированным эталонным ответом.

Auto-Assessor. [24] Auto-Assessor оценивает ответы испытуемых, данные на естественном языке и не превышающие объемом одного предложения, путем построения векторов для ответа испытуемого и эталонного ответа в пространстве, полученного путем применения метода «мешка слов» («bag_of_words») и последующего сравнения полученных векторов. Благодаря использования лексической базы данных WordNet, система способна обрабатывать встречающиеся в ответах синонимы.

Willow. [25] Данная система, являющаяся модернизированной версией Atenea, использует для получения результирующей оценки взвешенную комбинацию оценки, полученной методом латентно-семантического индексирования, и оценки, полученной методом BLEU (BiLingual Evaluation Understudy). Данная система предназначена для работы с ответами на естественном языке большого объема, которые в ходе работы системы нормализуются по длине. На сегодняшний день Willow представляет из себя не только систему контроля знаний, но и полноценную автоматизированную обучающую систему благодаря добавлению разработчиками ряда соответствующих функций в процессе модернизации системы.

Short Answer Measurement of TEXT (SAMText). [26] Система SAMText производит оценку свободно-сконструированных ответов испытуемых с использованием модифицированного алгоритма латентно-семантического индексирования. В качестве корпуса текстов, необходимых для построения частотной матрицы, система использует документы, найденные в сети Internetпо поисковому запросу на соответствующую тему. Система оптимизирована для работы с короткими ответами и не предусматривает оценку текстов типа эссе.

PMatch. [27] Данная система, являющаяся подсистемой контроля знаний системы управления учебным процессом Open University, производит оценку коротких ответов испытуемых путем сопоставления шаблонов на уровне слов. Все ответы испытуемых, обрабатываемые системой, проходят процедуру стемминга, после чего PMatch производит поиск всех наперед заданных преподавателем-экспертом основ слов при помощи регулярных выражений. На этапе составления списка слов эталонного ответа система позволяет преподавателю-эксперту задать набор синонимов для каждого из слов.

Comparing Meaning in Context project (CoMiC-EN). [28] CoMiC-ENиспользует для оценки ответов пользователей многоступенчатый алгоритм, включающий такие шаги, как контроль вхождения триграмм эталонного ответа, определение степени сходства текстов на разных лингвистических уровнях, контроль вхождения фраз типа «существительное и зависимые слова» эталонного ответа в ответы испытуемых. Все ответы, обрабатываемые системой, проходят предварительную бинарную оценку, в результате которой абсолютно-неправильные ответы исключаются и не участвуют в дальнейшей обработке для экономии аппаратных ресурсов. В настоящее время основным направлением развития системы является не улучшение алгоритмов оценки, а добавление функциональных возможностей, позволяющих использовать CoMiC-EN в качестве полноценной системы менеджмента учебного процесса или системы автоматизированного обучения, или же интегрировать CoMiC-EN в существующие системы данных типов. CoMiC-EN предназначена для обработки текстов на английском языке. Существует так же версия системы CoMiC-DE для работы с текстами на немецком языке.

e-Examiner. [21] e-Examiner применяет для оценки ответов испытуемых метрику ROUGE и линейную регрессию. В настоящий момент усилия разработчиков сосредоточены на изменении архитектуры системы и добавлении возможности её интеграции в системы управления учебным процессом и автоматизированные обучающие системы. Отличительной особенностью системы является также поддержка функции выделения тем в ответах испытуемых на естественном языке большого объема (сочинения, научные работы, обзорные статьи).

Краткая характеристика рассмотренных систем приведена в таблице 1.

Таблица 1. Характеристики рассмотренных СКЗ

Название системы	Группа методов	Участие преподавателя-эксперта в процессе оценки	Обрабатываемые типы ответов
ATM	Диаграмма концептов	На этапе формирования диаграммы концептов	Короткие ответы на естественном языке
c-rater	Диаграмма концептов	На этапе формирования диаграммы концептов	Ответы на естественном языке типа эссе
AutoMark	Извлечение информации	Допускается на этапе оценки	Короткие ответы на естественном языке; Ответы на естественном языке типа эссе
WebLAS	Извлечение информации	Допускается на этапе обработки эталонных ответов	Структурированные текстовые ответы; Короткие ответы на естественном языке; Ответы на естественном языке типа эссе
Auto-Assessor	Извлечение информации	Не предусмотрено	Короткие ответы пользователей на естественном языке, не превышающие объемом одного предложения
Willow	Извлечение информации; Корпус текстов	Не предусмотрено	Короткие ответы на естественном языке; Ответы на естественном языке типа эссе
SamTEXT	Извлечение информации; Корпус текстов	Не предусмотрено	Короткие ответы на естественном языке
PMatch	Извлечение информации	Необходимо на этапе формирования списка основ для тестового задания	Короткие ответы на естественном языке
CoMiC-EN	Извлечение информации; Машинное обучение	Не предусмотрено	Короткие ответы на естественном языке; Ответы на естественном языке типа эссе
e-Examiner	Машинное обучение	Не предусмотрено	Короткие ответы на естественном языке; Ответы на естественном языке типа эссе; Расширенные ответы на естественном языке (задача выявления темы)

5.4 Недостатки аналогов разрабатываемой СКЗ

В ходе анализа систем, рассмотренных в предыдущем подразделе данной работы, был выявлен ряд присущих им недостатков.

1. Общим недостатком группы методов, базирующихся на диаграмме концептов, является сложность и трудоемкость построения концептуальной модели и лексикона, на основе которого будет производиться сравнение. По сообщению исследователей Саккарии и Стоянчева [29], в отдельных случаях построение концептуальной модели для одного вопроса может занимать до 12 часов рабочего времени преподавателя-эксперта.

2. Недостатком систем, базирующихся на методах машинного обучения и корпусов текстов (CoMiC-EN, e-Examiner), является трудность поиска репрезентативной обучающей выборки.

3. В системах, выполняющих оценку ответа на естественном языке (Willow, AutoMark, PMatch), отсутствует четкая типизация ответов по объему и степени структурированности текста, что существенно усложняет работу преподавателя-эксперта, составляющего тестовые задания.

4. Большинство рассмотренных систем реализуют оценку только одного определенного типа ответа (ATM, c-rater, SamTEXT, PMatch) или нескольких типов ответов в свободно-сконструированной форме (AutoMark, Willow, CoMiC-EN), что существенно ограничивает формат допустимых тестовых задания.

5. Рассмотренные коммерческие СКЗ не обладают открытым программным кодом, что не позволяет в полной мере проанализировать использованные алгоритмы.

6. Для ряда систем в открытом доступе отсутствует информация о проведенных экспериментальных испытаниях.

7. В большинстве рассмотренных систем отсутствует возможность преподавателя-эксперта влиять на оценку ответов испытуемых после составления тестового задания, что затрудняет корректирование работы СКЗ в случае выявления недочетов алгоритмов автоматизированной оценки.

Выявленные недостатки существующих систем с возможностью распознавания свободно-сконструированных ответов являются обоснованием для проведения дальнейших исследований и разработок по заявленной теме, и, в том числе, обоснованием для выполнения настоящей магистерской диссертации.

образование обучение алгоритм матрица

6. Тестовые вопросы

6.1 Педагогический контроль в форме теста

Одной из ключевых задач педагогики является оценка качества обучения [30]. Для решения этой задачи традиционно применяются методы педагогического контроля. По мере развития информационных технологий стало возможным использование в данной области автоматизированных систем.

Объектом рассмотрения данной работы является педагогический контроль в форме теста, проводимый с помощью автоматизированной СКЗ. К достоинствам тестовой формы контроля можно отнести [30]:

- равные условия для всех проходящих тест как в процессе проведения теста, так и при оценке результата;

- практически полное исключение субъективизма лица, проводящего контроль;

- возможность включения в контроль заданий по большему числу тем курса, нежели при использовании других форм контроля;

- высокую скорость обработки результатов контроля.

К недостаткам контроля знания испытуемых с помощью автоматизированной системы могут быть отнесены:

- трудоемкость разработки платформы для проведения тестирования;

- сложность или невозможность оценки вероятностных, методологических и абстрактных заданий, а также заданий, связанных с творчеством;

- сложность оценки причин пробелов в знаниях по той или иной теме у проходящего тестирование.

Кроме того, одним из недостатков использующихся сегодня тестов является использование классической теории тестирования: бинарной модели определения истинности ответа, пропорциональных методов вывода итоговой оценки и других достаточно примитивных тестовых методик [8], что не дает в полной мере реализовать потенциал тестовой формы контроля знаний. СКЗ, разрабатываемая как часть данной магистерской диссертации, призвана минимизировать негативное влияние последнего недостатка и реализовать дифференцируемую оценку ответов испытуемых с использованием современных алгоритмов оценки.

6.2 Типы вопросов тестовой формы контроля знаний

Одной из задач, определенных на этапе системного анализа, является задача классификации типов тестовых вопросов. В качестве общей классификации тестовых вопросов может быть применена классификация, предложенная И.Д. Рудинским в книге «Структурные Основы Тестологии» [8]:

- Вопросы со свободно конструируемым ответом.

- Вопросы с фиксированной структурой ответа;

- Вопросы с произвольной структурой ответа.

- Вопросы с ответом в закрытой форме.

- Одиночный выбор;

- Множественный выбор;

- Установление соответствия;

- Восстановление последовательности;

- Комбинаторное задание.

Отметим, что вопросы с ответами в закрытой форме не являются объектом рассмотрения данной работы, поэтому в дальнейшей классификации акцент на них делаться не будет. При необходимости с классификаций вопросов в закрытой форме можно ознакомиться в междисциплинарной курсовой работе «Система контроля знаний на основе дифференцированного метода оценки ответов» [13].

Более детальная классификация вопросов с ответами в свободно-конструируемой форме приведена в следующих подразделах данной работы.

6.3 Вопросы с ответами в свободно-сконструированной форме

Под ответами в свободно-сконструированной форме в контексте данной работы будем понимать ответы, самостоятельно сформированные испытуемыми и не предполагающие выбора одного или нескольких вариантов, предложенных системой. Ответы формируются испытуемым одним из реализованных в СКЗ способов: путем ввода текста при помощи клавиатуры в случае, если соответствующий вопрос предполагает ответ в форме текста на естественном языке или в формате математической формулы; с использованием мыши или графического планшета в случае, если соответствующий вопрос предполагает ответ в графической форме.

Кроме термина «ответы в свободно-сконструированной форме» в тематических научных публикациях для той же группы объектов закрепился целый ряд названий: открытые ответы, ответы в открытой форме, задания на дополнение. Здесь и далее будет использован термин «ответы в свободно-сконструированной форме» за исключением случаев ссылок на другие работы, где будет сохранена терминология авторов.

Основным достоинством вопросов с ответами в свободно-сконструированной форме является невозможность для испытуемого случайно угадать правильный ответ, благодаря чему значительно повышается объективность педагогического контроля. Одним из примеров, подтверждающих данное утверждение, может являться результат сравнения оценок испытуемых при проведении тестирования с одинаковым набором вопросов для случаев с со свободно-сконструированными ответами и ответами в закрытой форме, приведенные И. П. Карповой в [9].

По мнению исследователей Колышковой и Звонникова [31], к достоинствам вопросов с ответами в свободно-конструируемой форме можно отнести:

- возможность оценивать сложные учебные достижения, в том числе коммуникативные умения, творческий уровень деятельности;

- легкость формулирования в форме традиционных заданий, исключение угадывания правильного ответа испытуемым.

К недостаткам данного типа заданий можно отнести необходимость длительной дорогостоящей процедуры проверки, невозможность охватить значительный объем содержания предмета, снижение надежности педагогических измерений [31].

6.4 Существующие методы классификации вопросов со свободно-конструируемыми ответами

Одна из простых «рабочих» форм классификации тестовых заданий в открытой форме была предложена Д. Аббакумовым в [32]. По Аббакумову задания с ответами в открытой форме можно разделить на два типа - задания с короткими ответами и задания с развернутыми ответами. Задания с короткими ответами в свою очередь могут быть разделены на задания-вопросы и задания на дополнения. Задание-вопрос представляют собой конкретные вопросы, на которые нужно ответить одним словом, фразой, числом или символом. Задания на дополнение являются неполными утверждениями, которые необходимо дополнить одним словом, фразой, числом или символом.

Несмотря на то, что такая классификация может быть удобной для составителей тестов, с точки зрения автоматизированной оценки ответа задания-вопросы и задания на дополнение эквивалентны.

В разрабатываемой в ходе выполнения магистерской диссертации СКЗ составителю тестирования будет предоставлена возможность выбрать метод оценки для каждого из подобных вопросов отдельно. В тех случаях, когда необходимо сопоставление ответа пользователем с эталонным ответом, вопросы данного типа могут быть сведены к вопросам в закрытой форме, как было показано в работах Карповой И.П. [33, 34].

Автору представляется, что в ходе выполнения магистерской диссертации удастся добиться хотя бы частичных продвижений в устранении недостатков из перечня Колышковой и Звонникова (а именно необходимости длительной дорогостоящей проверки и снижения надежности педагогических измерений) путем автоматизации процесса оценки для некоторых видов вопросов.

Отдельно стоит выделить задания с конструируемыми регламентированными ответами, в которых предполагается внесение ответа путем ввода с клавиатуры на естественном языке (например, на русском или английском) или в рамках какой-либо формальной символьной системы (например, физические формулы). В зависимости от используемой тем или иным автором классификации, они бывают отнесены как к заданиям со свободно конструируемым ответом, так и заданиям с ответом в закрытой форме.

6.5 Разработанная классификация вопросов со свободно-конструируемыми ответами

В ходе выполнения данной магистерской диссертации был проведен анализ научных публикаций на тему автоматизированной оценки ответов в свободно-конструируемой форме. В результате проведенного анализа была сформирована система иерархической классификации типов тестовых вопросов по форме ответа. Так как вопросы с ответами в закрытой форме не являются объектом изучения данной работы, их подробное рассмотрение не будет приведено.

В качестве основы для разработанной классификации была взята модель, предложенная Б. Стейномв [14].

Все тестовые вопросы могут быть разделены на две группы - вопросы с ответом в закрытой форме (те, в которых предполагается конструирование ответа испытуемых из предоставленных элементов) и вопросы с ответом в свободно-сконструированной форме (те, где предполагается самостоятельное формирование испытуемым ответа). В модели Стейна[14] первой группе соответствуют так называемые вопросы «на узнавание» (recognitionquestions), второй группе соответствуют вопросы «на вспоминание» (recallquestions).

Каждая группа из рассмотренных выше включает ряд категорий вопросов по форме ответа. К ответам в закрытой форме (вопросам «на узнавание») отнесены вопросы выбора и вопросы установления соответствия. К свободно-конструируемым вопросам (вопросам «на вспоминание») могут быть отнесены вопросы с ответами на естественном языке, вопросы с ответами в форме структурированного текста, вопросы с ответами в графической форме и вопросы с ответами в форме устной речи. Вопросы с ответами в форме устной речи не будут рассматриваться в рамках данной работы, однако заметим, что при помощи применения методов преобразования речи в текст некоторые аспекты оценки данной категории ответов могут быть сведены к оценке ответов в формате текста на естественном языке.

Каждая из перечисленных категорий вопросов в свою очередь включает один или более типов вопросов. Деление на типы на данном уровне классификации проведено исходя из возможности использования общих методов автоматизированной оценки.

К вопросам выбора могут быть отнесены:

- Вопросы на множественный выбор.

- Вопросы на единичный выбор.

К вопросам на установление соответствия могут быть отнесены:

- Вопросы типа список.

- Вопросы типа список множеств.

- Вопросы типа множество списков.

К вопросам с ответом на естественном языке могут быть отнесены:

- Вопросы с коротким ответом на естественном языке.

- Вопросы с ответом на естественном языке типа эссе.

К вопросам с ответом в форме структурированного текста могут быть отнесены:

- Вопросы с ответом в форме математического выражения.

- Вопросы с ответом в форме программного кода.

К вопросам с ответам в графической форме могут быть отнесены:

- Вопросы с ответом в форме точки на координатной плоскости.

- Вопросы с ответами в форме изображения.

Графическое представление описанной схемы классификации тестовых вопросов приведено на рисунке 3.

Рисунок 3. Разработанная классификация тестовых вопросов

7. Алгоритмы автоматизированной оценки свободно-конструируемых ответов

7.1 Классификация методов оценки свободно-конструируемых ответов

В ходе анализа научных публикаций и сравнения существующих аналогов разрабатываемой СКЗ была предложена следующая иерархическая классификация методов оценки ответов на естественном языке:

...