Совершенствование автоматизированных систем тестирования

Совершенствование автоматизированных систем тестирования

В.В. Леонов

По мере информатизации общества в целом информационные технологии будут все интенсивней использоваться для контроля уровня знаний обучающихся и проникать в учебный процесс. Эта тенденция необратима по целому ряду причин, наиболее важными из которых являются:

- востребованность и необходимость интенсификации и индивидуализации процесса обучения при одновременном увеличении объема учебного материала;

- все более возрастающая важность непрерывного мониторинга учебного процесса, в том числе и той его части, которая связана с самостоятельной работой обучающихся и контролем качества их знаний;

- необходимость накопления, систематизации и постоянного совершенствования контрольного материала, позволяющего проводить качественную, адекватную и в то же время наиболее эффективную оценку текущих знаний обучающихся;

- необходимость накопления информации об индивидуальных успехах каждого обучающегося и анализа этой информации с целью корректировки «индивидуальной образовательной траектории» обучающегося.

В соответствии с этим особую актуальность приобретают научные исследования, связанные с разработкой и совершенствованием именно автоматизированных систем тестирования, способных выполнять объективный и адекватный мониторинг процесса обучения студента. Современные требования к тестам и самому тестированию регламентированы государством [1]. Вполне конкретные рекомендации, связанные с методикой составления тестовых заданий, отражены в работах [2], [3], [5], подходы к автоматизации процедуры тестирования отражены в исследованиях [4], [6], [7]. Опираясь на эту научно-методическую базу, мы попытаемся предложить свое видение проблемы создания автоматизированных систем мониторинга знаний. Основная масса автоматизированных систем тестирования в подавляющем большинстве использует тестовые задания с закрытой формой тестового вопроса. Это связано с тем, что данная форма тестирования наиболее проста для ее компьютерной реализации, так как компьютеру можно однозначно «обозначить» правильный или правильные ответы и ограничить выбор испытуемого набором возможных альтернативных вариантов. Таким образом, данная форма тестовых заданий никаких проблем не вызывает ни с точки зрения идентификации правильного ответа, ни с точки зрения детерминированности его выбора. Это системы с полной определенностью возможных действий испытуемого.

Однако несмотря на наличие достаточно эффективных и хорошо изученных методов формализации данной формы тестовых заданий с закрытыми ключами, они не в состоянии охватить всего многообразия контрольного материала, который необходим для адекватной и объективной оценки уровня знаний обучающихся.

Основная сложность и одновременно противоречивость всех задач, связанных с созданием автоматизированных систем тестирования, заключается в том, что, с одной стороны, для корректной работы таких систем необходима детерминированная (максимально определенная) постановка тестового задания, а с другой стороны -- для более или менее адекватной оценки уровня знаний обучающихся необходим не столько ассоциативный выбор одного из предложенных альтернативных вариантов ответа, сколько умение отвечать на поставленный вопрос без подсказки в виде этих самых альтернативных вариантов. Другими словами, в процессе оценки уровня знаний важно умение давать определения (а не выбирать правильные), умение писать формулы (а не выбирать наиболее правильную из списка), умение решать задачи (а не выбирать правильный ответ). Таким образом, перед создателями таких автоматизированных систем тестирования всегда стоит дилемма, суть которой заключается в том, что для автоматизации процедуры тестирования нужна определенность, а для корректной и объективной оценки необходима максимальная свобода испытуемого в части формирования своих решений, не зажатая рамками альтернативных ответов тестового задания, которые в принципе могут рассматриваться как подсказка системы испытуемому.

Остановимся более подробно на некоторых формах тестовых заданий. Например, можно начать с вполне конкретной задачи -- проверки формальных зависимостей (рисунок 1).

Идея данной системы тестирования заключается в предоставлении обучающемуся максимально возможной свободы выбора. На рисунке 1 показан пример записи тестируемым закона Кулона.

В качестве входной информации пользователю предложен вопрос и возможные переменные, которые пользователь видит в «списке переменных». Встроенная логика данной системы позволяет пользователю не выбирать правильную формулу из списка альтернативных вариантов, а именно писать ее в соответствующих полях формы системы тестирования (поля для ввода переменных).

Запись в форму той или иной переменной осуществляется абсолютно просто -- путем указания -- «клика», по «элементу выбора переменной». После чего соответствующая переменная отображается в «полях для ввода переменных». Между этими полями расположены «поля для ввода арифметических действий и коэффициентов» -- в этих полях тестируемый указывает арифметические действия и, если есть необходимость, вводит коэффициенты в формулу. Таким образом записывается формальная зависимость, которую должен знать испытуемый.

Рисунок 1 -- Автоматизированная система проверки знания формальных зависимостей

Кроме этого, из предложенного ниже списка испытуемый должен выбрать смысловое значение каждой из использованных им в формуле переменных. Отметим, что именно после выбора смыслового значения каждой из выбранных переменных системой проводится их идентификация и значение переменной, заложенное в базе переменных, вносится в соответствующее технологическое поле -- поля 59, 60, 61 и т.д. Под технологическими полями в контексте данной статьи понимаются те поля, которые в реальном тестировании не видны пользователю, но «открыты» на рисунке для иллюстрации логики работы программы.

Кроме этого, испытуемому предлагается выбрать размерность переменных, участвующих в написании формальной зависимости. Следует отметить, что все ответы пользователя фиксируются в соответствующих технологических полях. Например, размерность переменных фиксируется в технологических полях 80, 81, 82 . . . , а наименования переменных хранятся в технологических полях 100, 101, 102 . . . Контрольные значения, по которым проводится проверка правильности формальной зависимости, также хранятся в соответствующих технологических полях (90, 91, 92 . . .; 70, 71, 72 . . .).

После того как тестируемый определился с формальной зависимостью, он фиксирует ее командой «внести формулу на проверку». После получения этой команды система «вычисляет» формальную зависимость (в рамках предлагаемой вашему вниманию автоматизированной системы реализован примитивный транслятор, который вычисляет значения формулы) и заносит результат вычисления в технологическое поле «вычисляемое значение». Именно это значение сравнивается с контрольным и определяется правильность формальной зависимости.

Таким образом, данная автоматизированная система тестирования позволяет достаточно адекватно оценить знание тестируемого по нескольким «контрольным точкам».

1. Значение вычисленной формальной зависимости -- позволяет системе однозначно определить ее правильность.

2. Значение наименований переменных -- позволяет системе однозначно определить знание тестируемым смысловой нагрузки на каждую переменную, т.е. тестируемый не может просто заучить формулу, для ее правильного воспроизведения он должен понимать «физический смысл» каждой переменной.

3. Значение размерности переменных -- позволяет системе однозначно определить знание размерности используемых в формуле переменных.

Все изложенное выше свидетельствует о достаточно надежной системе оценок, по которым определяется уровень знаний тестируемого, кроме того, три уровня индикации контроля формальных зависимостей позволяют говорить об адекватности тестовой оценки. Наиболее важным недостатком фрагмента проверки знаний формальных зависимостей представленной к рассмотрению автоматизированной системы тестирования является «строковое» представление формальной зависимости в разделе «Формальное описание зависимости (процесса, закона и т.д.)». Такое представление является несколько непривычным с математической точки зрения. В настоящее время разрабатывается встроенный в систему тестирования редактор формул, наподобие MS EQUATION, который позволит представлять зависимости в привычном математическом виде.

В ракурсе рассматриваемых в данной статье вопросов автоматизированного тестового контроля знаний хотелось бы коротко остановиться на проверке определений. Определения, безусловно, занимают особую по своей значимости область знаний обучающихся. Именно определения формируют тот специфический категориальный аппарат любой области знаний, на котором в дальнейшем выстраивается вся логика изложения изучаемой дисциплины. Существующая практика программной реализации подобного тестового контроля уровня знаний обучающихся в большинстве случаев базируется на выборе одного или нескольких правильных вариантов определений, предлагаемых к рассмотрению в процессе тестирования. Это не позволяет в полной мере дать объективную оценку знания обучающихся. Дело в том, что испытуемый зачастую просто ассоциативно запоминает правильный вариант ответа.

Попытаемся предложить один из вариантов реализации данного фрагмента автоматизированной системы тестирования, в какой-то мере устраняющий приведенный выше недостаток за счет применения некоторой модификации фасетной формы тестового задания. Основная идея такого подхода заключается в том, что определение (или определения) разбивается на несколько частей (рисунок 2), каждая из которых представлена к рассмотрению в качестве возможного выбора части правильного определения. В приведенном для иллюстрации примере определение разбито на семь частей и для формирования всего определения в целом необходимо обозначить (указать) системе тестирования правильные фрагменты -- на рисунке 2 они выделены. После их указания пользователь активизирует команду сборки определения и оно проверяется на соответствие эталонному, заложенному в тестовую систему для идентификации правильного ответа. Таким образом, данное решение в какой-то мере устраняет недостаток, связанный с ассоциативным указанием правильного ответа. Предложенный фрагмент системы позволяет говорить о более качественной и адекватной проверке знаний обучающихся за счет того, что тестируемый фактически дает определение системе тестирования. Для усиления защищенности тестового материала и улучшения качества контроля возможно случайное расположение альтернативных фрагментов ответа в соответствующих полях.

Основным недостатком такого подхода является сложность формирования качественного тестового материала.

автоматизированный тестирование мониторинг знание

Рисунок 2 -- Автоматизированная система проверки знания определений

Список литературы

1.Государственный общеобязательный стандарт образования Республики Казахстан. Контроль и оценка знаний в высших учебных заведениях. Основные положения. ГОСО РК 5.03.006-2006. Астана: Министерство образования и науки РК, 2006.

2.Аванесов В.С. Композиция тестовых заданий: Учебная книга. 3 изд., доп. М.: Центр тестирования, 2002.

3.Нургужин М.Р., Портнов В.С., Смолькин А.А., Исагулов А.З. Методические рекомендации по разработке тестовых заданий и проведению тестирования. Караганда: Изд-во КарГТУ, 2002. 29 с.

4.Клайн П. Справочное руководство по конструированию тестов. Киев, 1994.

5.Куклин В.Ж., Мешалкин В.И., Наводнов В.Г., Савельев Б.А. О компьютерной технологии оценки качества знаний // Высшее образование в России. М.: Изд-во МПГУ, 1993. №3.

6.Куклин В.Ж., Наводнов В.Г., Петропавловский М.В. Камертон. Технология проведения тестирования и анализа результатов. Йошкар-Ола: Изд-во МарГТУ, 1995.

7.Наводнов В.Г., Петропавловский М.В., Ельцын А.В. Автоматизированное проектирование педагогических измерительных материалов. Йошкар-Ола: Изд-во МарГТУ, 1997.

Размещено на Allbest.ru