Система тестирования знаний с поддержкой ответов открытого типа на естественном языке

Размещено на http://www.allbest.ru/

Система тестирования знаний с поддержкой ответов открытого типа на естественном языке

Аверченков В.И.

Белов Е.А.

Использование ответов открытого типа, вводимых в свободной текстовой форме, является самой естественной и наиболее сложной задачей при организации системы контроля знаний методом тестирования. Использование подобных заданий имеет следующие преимущества перед «традиционными» заданиями закрытого типа, где пользователю предлагается выбрать правильный вариант из предложенных:

увеличивает точность и детальность оценивания;

позволяет определять степень правильности ответа (полноты, достаточности, истинности);

исключает фактор случайного выбора;

минимизирует возможность рассекречивания.

Исследуя особенности задачи построения тестирующей системы с анализом ответов испытуемого на естественном языке (ЕЯ), следует отметить, что эта проблема многогранна и может рассматриваться в самых различных аспектах. Во-первых, интерпретация ЕЯ-конструкций подразумевает наличие лингвистического анализатора. Во-вторых, для решения задачи обработки ответов на ЕЯ необходимо иметь информацию об окружающем мире, а в узком смысле слова уметь правильно интерпретировать понятия и термины предметной области, находить меры релевантности между анализируемой и эталонной информацией. В-третьих, необходима разработка математического аппарата обработки и интерпретации результатов тестирования с получением на выходе оценок в нормативно-ориентированной шкале, сопровождающихся стандартными характеристиками точности.

Разработана и предложена общая структура автоматизированной тестирующей системы (АТС) оценки знаний с обработкой ответов на ЕЯ, состоящая из следующих элементов: модуль управления, модуль лингвистического анализатора, модуль тезауруса, модуль интерпретации результатов и база данных (рис. 1) [1].

Принцип работы АТС заключается в следующем:

Происходит инициализация основных параметров тестирования: авторизация пользователя, определение теста, формируется гипотеза тестирования (принимается некоторый начальный уровень знаний испытуемого). Подсистема управления гипотезой тестирования выбирает из базы данных (БД) тесты и задает испытуемому наиболее информативный вопрос в соответствии с его текущим уровнем знаний.

Полученный ответ подсистема управления гипотезой тестирования направляет подсистеме сравнения ответов с эталонами.

Подсистема сравнения ответов с эталонами делает запрос лингвистическому анализатору на обработку ответа испытуемого и эталонных ответов с получением на выходе анализатора деревьев синтаксических зависимостей. Далее проводится сравнение деревьев, цель которого - получение меры близости ответов. Тезаурус позволяет производить переформулировку ответов, в частности, расширение, отождествление близких по смыслу единиц текста.

Результат сравнения деревьев синтаксических зависимостей поступает на вход модуля интерпретации результатов, который может определить необходимость переформулировки ответа испытуемым или произвести пересчет текущего уровня знаний испытуемого, с учетом областей знаний.

Управление передается подсистеме управления гипотезой, процесс тестирования продолжается итерационно, до срабатывания одного из правил останова.

Происходит формирование результатов тестирования и занесение их в БД.

Рисунок 1. Общая структура автоматизированной тестирующей системы

Определено назначение блоков и основных процессов, лежащих в основе функционирования данной АТС.

Модуль управления объединяет схожие по функциональной направленности задачи: общее администрирование (настройка среды, управления пользователями), управление БД тестов, управление гипотезой тестирования (ряд механизмов и методов адаптивного алгоритма предъявления заданий).

Модуль лингвистического анализатора производит обработку текста на ЕЯ, целью которой является получение формализованного представления модели русского языка, наилучшим образом соответствующей цели модуля сравнения ответа испытуемого с эталонным ответом. Этапы работы модуля показаны на рис. 2.

Размещено на http://www.allbest.ru/

Результатом проводимого поверхностно-синтаксического анализа фраз эталонного и пользовательского ответов являются деревья синтаксических зависимостей, включающие в себя словоформы, фразы, с определением для каждой из них морфологических описателей и синтаксических свойств, объединяющих слова в синтаксические фрагменты и группы (рис. 3).

Методы сравнения деревьев синтаксических зависимостей во многом основаны на использовании тезауруса узкой предметной области тестирования [2]. В АТС тезаурус используется для возможности семантического расширения и/или сужения обрабатываемого ответа на ЕЯ, что приводит к возможности уточнения анализируемого ответа на основе тезаурусных связей. Основным элементом тезауруса является концепция - синонимический ряд, множество слов и словосочетаний (терминов), связанных отношением синонимии. Базовые связи, определяемые между узлами тезауруса, представляют наборы семантических отношений, таких как часть/целое, более общее/более частное, синоним/антоним.

Рисунок 3. Пример деревьев синтаксических зависимостей

Работа модуля сравнения ответов с эталонами заключается в следующем: синтаксические деревья анализируемого и эталонного ответов поступают на вход модуля. Полученный результат - степень соответствия (релевантность фраз), принимается за степень «правильности» ответа испытуемого. Предложена классификация и реализована поддержка в АТС следующих типов ответов: «Термин», «Символьное совпадение», «Диапазон даты, времени», «Количество», «Перечисление точное», «Перечисление, можно больше», «Перечисление, можно меньше», «Последовательность», «Описание взаимосвязи».

В зависимости от типа ответа предлагаются различные правила их интерпретации на основании определенных для них синтаксических характеристик. В общем виде процесс определения степени близости анализируемого и эталонного ответа описывается этапами, приведенными на рис. 4.

Рисунок 4. Этапы алгоритма определения релевантности ответов

Модуль интерпретации результатов содержит ряд функций и интерфейсов для решения задач:

определение текущего уровня знаний испытуемого в процессе проведения тестирования;

определение сильных и слабых мест в знаниях испытуемого;

оценка качества тестового материала: сложность и дифференцирующая способность заданий - производится на основе обработки результатов тестирования нормативной выборки типичных испытуемых.

Разработан программный комплекс (ПК), автоматизирующий оценку знаний методом тестирования с обработкой ответов испытуемого на ЕЯ. ПК был апробирован на базе кафедры «Информатика и программное обеспечение ВТ и АС» Брянского государственного технического университета. В тестировании приняло участие 105 студентов 3-4 курсов специальности 230105 «Программное обеспечение ВТ и АС» по дисциплинам специализации «Разработка приложений Windows», «Разработка и администрирование Web-узлов». Полученные результаты совпадают с представлением преподавателей об уровне знаний студентов, соответствуют оценкам, полученным студентами на экзамене, легко интерпретируются и дают возможность получить научно-практическое обоснование результатов работы.

Предложена методика применения разработанного ПК для проведения сертификационных экзаменов и использования его в качестве контролирующего звена в системах дистанционного образования.

Разработанная система универсальна в том смысле, что подходы, используемые в ней, не зависят от конкретной предметной области. Система может быть настроена на работу с информацией из широкого спектра различных предметных областей. Предложенный в данной работе подход позволяет увеличить эффективность и повысить точность оценивания при проведении массового контроля знаний, в том числе с возможностью удаленного доступа через Интернет.

Литература

контроль знание тестирование испытуемый

1. Белов Е.А. Разработка автоматизированной тестирующей системы с ответами испытуемого на естественном языке / Е.А. Белов // Единое образовательное пространство славянских государств в XXI веке: Проблемы и перспективы: Материалы II Междунар. науч.-практ. конф. (5-6 апр.2006 г., г. Брянск) / под ред. В.И. Аверченкова. - Брянск: БГТУ; СГА, 2006. - С. 242-245.

2. Белов Е.А. Программная поддержка мультиязычного тезауруса для задачи семантического расширения естественно-языковых конструкций / Е.А. Белов, В.И. Аверченков // Вестник Брянского государственного технического университета. - Вып. 1. - Брянск: БГТУ, 2006. - С. 70-76.

Размещено на Allbest.ru