Особенности тестирования учащихся в информационных обучающих системах с использованием адаптивного человеко-машинного интерфейса

Ю.С. Яковлєв, Л.І. Курзанцева. Особливості тестування учнів у інформаційних навчальних системах з використанням адаптивного людино-машинного інтерфейсу

У статті розглядаються особливості тестування учнів з використанням адаптивного людино-машинного інтерфейсу на основі результатів досліджень дослідного зразка інтерфейсу такого типу у складі системи "Тестування знань", розробленого в Інституті кібернетики НАН України, а також пропозиції з розвитку інтерфейсу стосовно до знання-орієнтованих навчальних систем, при проектуванні та застосуванні якого використовується онтологія.

Ключові слова: адаптивний людино-машинний інтерфейс, комп'ютерне тестування, навчальна система, знання-орієнтована система, онтологія.

YakovRv Y.S., Kurzantseva L.І. Features testing students informational training systems using adaptive man- machine interface

Annotation. The features of testing students using an adaptive man-machine interface based on the research prototype of this type of interface as part of the "Knowledge Test", developed at the Institute of Cybernetics of NAS of Ukraine, as well as proposals for the development of the interface in relation to knowledge-oriented learning systems, during design and application of which is used ontology.

Keywords: adaptive man-machine interface, computer testing, training system, knowledge-based system, an ontology.

В рамках информатизации образования большое распространение получило компьютерное тестирование, предназначенное для проверки знаний учащихся, а также для педагогического контроля и управления учебным процессом [1].

Компьютерное тестирование по сравнению с традиционными формами контроля имеет ряд преимуществ, в частности: создание большого числа вариантов тестов и обновление базы тестовых заданий; быстрое получение результатов тестирования; освобождение преподавателя от обработки результатов тестирования; объективность в оценке; регулярный контроль знаний, обеспечение секретности и т. д. [2].

Однако существующие обучающие системы, выполняющие компьютерное тестирование, обладают рядом недостатков, которые мешают объективно оценить знания учащегося, что сводит к минимуму все преимущества этого тестирования. К недостаткам относят отсутствие возможности учета правильных ответов на вопросы по предложенной теме, неполных или частично правильных ответов, "идеальных" ответов на сложные тестовые задания, с помощью которых можно однозначно идентифицировать уровень знаний, а также отсутствие реализации основных форм тестовых заданий и т. д. [3].

Средствами оценивания учебных достижений учащихся являются тренировочные и контролирующие тесты разного уровня сложности, исключающие ручную проверку их преподавателем. Исследованиями в данном направлении занимались отечественные и зарубежные ученые [4]: В.С. Аванесов, Т.М. Балыхина, И.И. Легостаев, В.Ю. Переверзев, И.Д. Рудинский, М.Б. Челышкова, Н.В. Белоус и др.

В настоящее время в зарубежной педагогической практике разрабатываются несколько подходов к созданию и применению тестов, отвечающих научно-обоснованным критериям качества. В основе одного из них (классического) лежит применение стандартных для математической статистики корреляционных и факторных методов анализа. Целью второго, называемого Item Response Theory (F.M. Lord, M. Novick, D. Weiss) [4]. занимающего лидирующее положение среди остальных подходов, является оценка латентных параметров учащихся. Разработкой методов проведения тестировния на базе этих двух подходов занимается адаптивное тестирование. С помощью статистических методов классической теории проводится первичный анализ качественных характеристик полученного варианта теста, а с помощью второго подхода - более углублённый анализ характеристик тестовых заданий. При этом осуществляется индивидуализация процесса обучения и оценивания при выборе задания конкретному учащемуся с помощью построения индивидуального графика, представляющего функциональную зависимость трудности представления последующего вопроса от правильности ответа на предыдущий вопрос учащегося [1].

Однако при оценивании учащегося не принимаются во внимание факторы формирования комфортной среды взаимодействия учащегося с системой, в частности, не учитываются изменяющиеся в процессе работы с системой психофизиологические особенности учащегося (например, работоспособность) и его информационная компетентность (подготовленность к работе с тестовой системой). При отсутствии у учащегося соответствующих информационной компетентности и работоспособности, его знания по предмету будут занижены, а возникающие трудности при работе с системой приведут к удлинению процесса обучения. Кроме того, роль учителя при тестировании учеников с помощью существующих систем тестирования сведена к минимуму, что приводит к механическому оцениванию знаний, а, следовательно, к снижению объективности полученной оценки.

Все вышесказанное свидетельствует о недостаточной эффективности современных обучающих тестирующих систем. Преодоление указанных недостатков может быть осуществлено адаптивным человеко-машинным интерфейсом, способным оценить индивидуальные особенности обучающихся, в том числе психофизиологические возможности и когнитивные аспекты подготовленности, а также приспособить систему, как к особенностям ученика, так и к его параметрам, изменяющимся в период обучения.

Таким образом, задача создания адаптивного человеко-машинного интерфейса, формирующего комфортную среду взаимодействия учащегося с системой в течение всего периода работы, является задачей актуальной для построения современных и перспективных обучающих систем.

Целью статьи является выявление особенностей тестирования учащихся в информационных обучающих системах с использованием адаптивного человеко-машинного интерфейса на основе результатов исследований опытного образца интерфейса такого типа в составе системы "Тестирование знаний", выполненного в Институте кибернетики НАН Украины, а также предложения по его развитию применительно к знание-ориентированным системам.

Архитектурно-структурная организация адаптивного интерфейса. Особенностью предлагаемого интерфейса является формирование для учащегося комфортной среды взаимодействия с системой путем оказания ему помощи в овладении соответствующим уровнем информационной компетенции и в решении тестовых заданий с учетом изменяющихся психофизиологических характеристик [5, 6]. Также предусматривается участие преподавателя в процессе обучения с использованием традиционных средств и методов обучения.

В качестве примера применения предлагаемого адаптивного интерфейса принята система контроля знаний учащихся. Структурная схема адаптивного человеко-машинного интерфейса в составе системы "Тестирование знаний" приведена на рис. 1, а алгоритм взаимодействия ученика и учителя с интерфейсом системы "Тестирование знаний" - на рис. 2.

Рис. 1. Структурная схема адаптивного человеко-машинного интерфейса в составе системы "Тестирование знаний"

Основные структурные элементы, приведенные на схеме: адаптивный человеко-машинный интерфейс, модель пользователя и блок тестирования знаний.

В состав адаптивного человеко-машинного интерфейса входят следующие подсистемы: координации и контроля, моделирования пользователя, помощи и подсказки и мультимодульного ввода-вывода.

Подсистема моделирования пользователя при первом обращении учащегося формирует его модель с использованием методов анкетирования и тестирования психофизиологического состояния и информационной компетентности, при последующих обращениях учащегося она тестирует только его психофизиологическое состояние и корректирует модель учащегося на основании предыдущего сеанса работы с системой и психофизиологического состояния на данный момент.

Рис. 2. Алгоритм взаимодействия ученика и учителя с интерфейсом системы "Тестирование знаний"

При анкетировании учащегося на основе полученных от него сведений формируются предварительные выводы о принадлежности его к одной из трех категорий в зависимости от его уровня информационной компетентности (новичок, пользователь, специалист). При тестировании психофизиологического состояния делаются выводы о состоянии учащегося (высокая работоспособность, нормальное рабочее состояние, низкая работоспособность, тревожное). Распределение пользователей в зависимости от информационной компетентности по категориям: "новичок", "пользователь", "специалист", а в зависимости от состояния работоспособности по группам: "высокая работоспособность", "нормальная рабочая", "низкая работоспособность", "тревожное состояние" осуществляется методом стереотипов с помощью оригинальных алгоритмы отбора.

Так, алгоритм распределения пользователей по уровню информационной компетентности основывается на исходных условиях, а алгоритм распределения пользователей по состоянию работоспособности на базе правил, предложенных Бояршиновой Т.Н. на основе восьмицветового теста Люшера.

Тестирование уровня информационной компетентности учащегося происходит на основании выводов анкетирования и тестирования состояния учащегося. тестирование знание интерфейс онтология

Подсистема контроля и координации предназначена для организации адаптивного взаимодействия пользователя с системой, в частности, координации работы всех подсистем интерфейса, идентификации учащегося и преподавателя, настройки системы для сеанса работы с конкретным пользователем в соответствии с его моделью.

Подсистема помощи и подсказок предоставляет помощь учащемуся и преподавателю в соответствии с его моделью.

Подсистема мультимодульного ввода-вывода отвечает за "общение" с пользователями и за связь с Internet.

Блок тестирования знаний предназначен для подготовки тестов (создания и редактирования) и проведения тестирования учащихся (выбора теста в соответствии с уровнем знаний учащегося), анализа результатов тестирования, расчета оценки и сохранения результатов тестирования.

Модель пользователя является одной из центральных компонент системы, учитывает индивидуальные собенности пользователя, как постоянные, так и изменяющиеся при работе с системой, историю его взаимодействия с системой. Поскольку пользователями системы являются преподаватели и ученики, то в данной системе предусмотрены две модели с разными возможностями.

Модель учащегося представляет собой информацию о конкретном учащемся, полученную в результате анкетирования (возраст, образование, и т. д.), результаты тестирования об уровне информационной компетентности и психофизиологического состояния учащегося на текущем сеансе, пароль для входа в систему, параметры для настройки рабочего стола и т. д. Также здесь хранится информация о прохождении учащимся тестов, в том числе: предмет тестирования, дата проведения тестирования, номера тестов, тестовые задания, на которые даны неправильные ответы, количество правильных ответов на вопросы тестов, количество полученных баллов за тестирования, оценка и т. д.

Модель преподавателя, кроме личных сведений (пароль для входа в систему, параметры для настройки рабочего стола и др.), содержит информацию, касающуюся контроля знаний учащихся и процесса проведения тестирования.

Алгоритм функционирования образца адаптивного интерфейса системы "Тестирования знаний" авторами выполнен для трех режимов. Первый режим - обращение ученика к системе впервые; второй режим - постоянное обращение ученика к системе; третий режим представляет собой последовательность действий учителя при работе с системой.

Опытный образец адаптивного интерфейса реализован с помощью системы программирования Microsoft Visual Basic 6 в виде пакета программ.

Особенности тестирования учащихся в системе "Тестирование знаний". Учителю для оценки знаний учащихся система предоставляет следующие возможности (рис. 3-9):

* проведение анкетирования ученика с предварительной оценкой информационной его компетентности;

* проведение тестирования психофизиологического состояния ученика. Если в результате тестирования определено, что ученик находится в нерабочем ("тревожном") состоянии, то ему запрещен доступ к системе;

* проведение тестирования информационной компетентности, число попыток вхождения в систему устанавливается учителем. Если ученик не прошел тест, то ему не разрешен доступ к системе и предложено пройти обучение, а разрешение на вход в систему выдает учитель после проверки знаний, которые ученик получил в процессе обучения;

* проведение тестирования знаний ученика в предметной области. Если были получены правильные ответы на количество вопросов, меньше числа, установленного учителем, то ученику рекомендуют изучить учебный материал и следующее прохождение тестов возможно только после допуска учителя;

* просмотр учебных материалов (электронных учебников, видеофильмов).

Особенностью системы является непосредственное участие учителя в контроле за процессами обучения и тестирования, если уровень подготовки учеников неудовлетворительный, то учитель имеет своевременную возможность внести изменения в учебный процесс. Для этого система предусматривает следующее:

* просмотр отчета о работе учеников с системой; тестов с ответами; журналов классов; результатов тестирования; ошибок учеников в результате прохождения теста;

* выдачу рекомендаций, замечаний и указаний ученикам;

* установку времени на прохождение теста, коэффициентов соотношения времени, на которое продлевается время для тестирования учеников категории "Низкая работоспособность" и соотношения правильных ответов к общему числу вопросов;

* наполнение и редактирование тестов в системе;

* выдачу задания для определения уровня информационной компетентности ученика и установку допустимого числа попыток вхождения в систему.

На рис. 3 приведен пример, когда ученик, постоянно работающий с системой, входит в систему по паролю. Системой производится распознавание ученика, но если пароль некорректен, о чем система сообщает ученику и предлагает для поиска пароля ввести фамилию, имя и отчество.

Рис. 3. Диалоговые окна при проверке пароля ученика в системе "Тестирование знаний"

На рис. 4 ученик обратился к системе первый раз, на экран выводится анкета для заполнения, затем на основе полученных от ученика сведений формируются предварительные выводы о его принадлежности к одной из трех категорий информационной компетентности (новичок, пользователь, специалист), и предоставляется ему пароль для входа в систему.

Рис. 4. Диалоговые окна, используемые при анкетировании нового ученика

Для работы с системой ученик должен иметь уровень информационной компетентности "пользователь" или "специалист". В результате предварительного анкетирования, например, его уровень определен как "новичок", поэтому для допуска к работе он должен пройти тест на знание работы с системой (рис. 5).

Рис. 5 Диалоговые окна при определении работоспособности ученика

На рис. 6 представлено окно с тестом по биологии для 9 класса. На каждый вопрос предложено 5 ответов, из которых ученик выделяет галочкой правильный (со своей точки зрения) ответ. Для прохождения всех вопросов теста ученику отведено 2 минуты (устанавливается преподавателем), после чего на экран выводятся результаты тестирования. В данном случае, если ответы не верны, вывод системы - допуск к следующему тестированию возможен после изучения данной темы и разрешения преподавателя.

Рис. 6. Диалоговые окна при тестировании знаний ученика по предмету

Если же ученик успешно прошел тест и хочет дальше проверить свои знания, ему предлагается тест повышенной трудности.

На рис. 7 приведено диалоговое окно Сообщения учителю о взаимодействии системы с учениками. Работа ученика с системой проходит без непосредственного участия преподавателя. Все события фиксируются, и отчет о прохождении тестирования предоставляется преподавателю. Например, ученик не прошел тестирование, и после беседы с преподавателем, ему разрешается допуск, а в графе "действие" преподаватель ставит галочку. Если ученик забыл пароль, то разрешение на его допуск к работе с системой, также дает преподаватель.

Рис. 7. Диалоговое окно "Сообщения учителю о взаимодействии системы с учениками"

Преподаватель может просматривать вопросы теста с ответами, производить настройки для прохождения теста (устанавливать продолжительность времени прохождения теста, коррекцию на увеличение продолжительности прохождения теста для ученика, находящегося в состоянии "низкой работоспособности") и др. (рис. 8).

Рис. 8. Диалоговые окна "Просмотр тестов" и "Установка настроек" (для учителя)

На рис. 9 представлено диалоговое окно редактора тестов по предмету. Преподаватель может самостоятельно вводить в базу данных вопросы тестов и редактировать имеющиеся.