Интеллектуальная система адаптивного тестирования уровня усвоения знаний

Размещено на http://www.allbest.ru/

Марийский государственный технический университет, Йошкар-Ола

Интеллектуальная система адаптивного тестирования уровня усвоения знаний

А.А. Власов (vlasovaa@marstu.net)

И.Н. Нехаев (garry_nekhaev@mail.ru)

Аннотация

интеллектуальный тестирование учащийся игра

В работе описывается архитектура интеллектуальной системы адаптивного тестирования уровня усвоения знаний, в основе которой лежит база знаний и анализ решения. Тестирование рассматривается как игра агента-тестировщика и учащегося. Рассматриваются основные функции системы и её свойства, принципы её функционирования.

Введение

Широкое применение тестирования в довузовском и вузовском образовании сдерживают несколько факторов. Во-первых, результатом большинства систем тестирования является некоторый суммарный балл, который фактически является точечной оценкой и отражает, как считается, уровень знаний (или уровень усвоения знаний). Однако, ясно, что различные уровни усвоения знаний одним показателем не отобразить [Нехаев, 2010a]. Это характерно, прежде всего, для естественнонаучных и технических дисциплин. Во-вторых, попытки разбивать учебный раздел или учебную дисциплину на отдельные дидактические единицы, оценивать их отдельно, а общий балл находить как свертку баллов за дидактические единицы испытывают трудности в построении осмысленной свертки, и в соотнесении её с содержанием и сложностью тестовых заданий. Нет единого подхода, связывающего конструирование тестовых заданий и оценку различных уровней усвоения знаний [Нехаев, 2008]. В связи с этим, возникают сложности с использованием тестов в качестве основного из элементов подготовки учащихся. Эти же причины являются сдерживающими при внедрении нового перспективного направления в тестировании - адаптивного тестирования.

В работе рассматривается попытка построения системы адаптивного тестирования на основе представления знаний учебного модуля в виде базы знаний и моделировании тестирования как неантагонистической игры, которая проверяет не столько ответы учащихся, сколько их решения и использует эту информацию для оценки различных уровней усвоения знаний [Нехаев, 2010b]. В свою очередь эти оценки используются для выбора следующего тестового задания для испытуемого в соответствии с выбранной стратегией тестирования. Процесс тестирования рассматривается как игра двух лиц - тестировщика и тестируемого. При этом целью тестировщика является построение как можно более точной карты усвоения знаний учебного модуля, а целью тестируемого - решить правильно предлагаемые системой задания.

1. Основные принципы функционирования и архитектура системы тестирования

Основной целью работы является построение интеллектуальной системы адаптивного тестирования, основным результатом работы которой является, с одной стороны, уточнение различных уровней усвоения знаний учащегося, формулирование диагноза основных незнаний и ошибок, с другой стороны, уточнение модели решений тестовых заданий и, при необходимости, уточнение базы знаний учебного модуля. Преимущество адаптивного тестирования заключается в минимизации необходимых усилий со стороны тестируемого (времени, требуемого количества усилий).

В работе предлагается строить такую систему на основе следующих принципов:

главные подсистемы (подсистемы конструирования тестовых заданий, тестирования, анализа результатов тестирования) работают на основе единой базы знаний учебного модуля;

анализируется не только (и не столько) конечный ответ, но само решение задания; при этом должны создаваться условия для удобного оформления решения тестового задания;

тестирование рассматривается как игра двух лиц - тестировщика и учащегося; ход тестировщика - это выбор тестового задания, ход учащегося - выбор решения; при этом у каждого своя цель и используемая стратегия игры;

Система состоит из семи основных подсистем:

подсистема редактирования базы знаний учебного модуля;

подсистема редактирования тестовых заданий;

подсистема редактирования тестов;

подсистема регистрации и авторизации пользователей;

подсистема тестирования;

подсистема анализа решения тестовых заданий учащимися и корректировки карт усвоения знаний;

подсистема анализа и визуализации карт усвоения знаний учащимися.

Работа всех подсистем основывается на базе данных системы тестирования. Базу данных системы можно представить в виде пяти частей:

база знаний учебных модулей;

база данных описаний тестовых заданий и тестов;

база данных пользователей;

база данных зарегистрированных решений;

база карт усвоения знаний испытуемых.

База знаний учебного модуля содержит описание структуры учебных понятий фреймов знаний, элементами которых являются ситуации и правила их разрешения [Нехаев, 2010b]. Структура понятий отображает когнитивную структуру знаний учебного модуля. С другой стороны, базу знаний можно рассматривать как структуру ситуаций. Простые ситуации описываются в виде отношений между переменными ситуации на языке введенных ранее понятий. Более сложные ситуации описываются как конъюнкции простых ситуаций. На возникающей таким образом структуре ситуаций формируется структура типовых тестовых заданий. Конкретизация тестовых заданий осуществляется непосредственно при тестировании.

При экспорте знаний в среду решателя задач правила образуют продукционную базу знаний, которая используется решателем для построения модели тестового задания и анализа решения учащегося. В качестве среды решателя задач используется среда CLIPs.

Карта усвоения знаний (учебного модуля) является надстройкой над базой знаний учебного модуля и использует когнитивную структуру понятий для свертки и детализации карты усвоения знаний.

2. Основные функции и артефакты системы тестирования

В качестве основных, нацеленных на потребителя функций системы тестирования выступают:

проведение тестирования с регистрацией самого решения, а не только конечного ответа;

анализ и визуализация карт усвоения знаний отдельного учебного модуля отдельным учащимся;

построение и визуализация интегрированной карты усвоения знаний отдельного учебного модуля группой учащихся;

построение и визуализация интегрированной карты усвоения знаний (учащимся или группой) учебной дисциплины на основе карт усвоения знаний учебных модулей, составляющих данную дисциплину.

Тестирование заключается в чередовании ходов агента-тестировщика и тестируемого учащегося. Тестировщик, исходя из построенной карты усвоения знаний учащегося, подбирает типовое тестовое задание, которое максимально снижает неопределенность карты, генерирует конкретное тестовое задание (конкретизирует исходные параметры задания) и предъявляет его испытуемому. Учащийся, со своей стороны, оформляет решение и предоставляет его тестировщику. Агент-тестировщик анализирует решение, корректирует карту и выбирает следующее тестовое задание.

Под картой усвоения знаний учебного модуля понимается структура данных, которая создается на основе структуры фреймов учебных понятий и структуры фреймов - учебных ситуаций. Для каждой ситуации фиксируются числа (первичные параметры) - (вероятностное) количество раз возникновения в процессе решения данной ситуации, её верного распознания и её верного разрешения. Для каждого понятия фиксируются числа (первичные параметры) - (вероятностное) количество раз использования в процессе решения данного понятия (отношения, предиката), правильных попыток его использования (правильного обращения к нему, исходя из ситуации) и количество раз правильного использования (правильных результатов обращения к нему). Также оценивается тип стратегии решения тестируемого и эффективность применения знаний (как способность выбора наиболее оптимального решения). На основе данных показателей можно оценить уровень усвоения знаний для каждого учебного понятия и каждой учебной ситуации, уровень умения применять эти знания и способность вырабатывать оптимальные решения.

Интегрирование карт усвоения знаний нескольких учащихся производится на основе предположения, что все эти карты отображают уровень усвоения одного и того же «группового» учащегося. В этом случае первичные параметры карты знаний просто складываются, после чего рассчитываются остальные показатели карт усвоения знаний.

Интегрирование карт знаний отдельных учебных модулей в карту знаний учебной дисциплины происходит на основе построения интегрированной структуры учебных понятий и основных типовых ситуаций дисциплины в целом и перенесения первичных параметров для каждого учебного понятия из учебных модулей. При этом уровень детализации карты снижается. Учебные модули также могут быть сопряжены по некоторым учебным понятиям: выходное учебное понятие одного модуля может быть входным для структуры понятий другого модуля дисциплины.

В качестве основных, предназначенных для эксперта функций системы тестирования выступают:

анализ решения и корректировка карты усвоения знаний учебного модуля;

редактирование базы знаний учебного модуля;

редактирование структуры тестовых заданий для данного учебного модуля;

редактирование тестов;

анализ и корректировка моделей тестовых заданий.

Анализ решения производится за счет построения решателем дерева возможных путей решения задачи, в том числе с учетом ошибочных операций. Затем фиксируются правильные и ошибочные ходы решения (в построенном вероятностном дереве) и эта информация используется для корректировки карты усвоения знаний [Нехаев, 2010b].

Анализ модели тестового задания заключается в автоматическом построении и визуализации дерева путей решения данной задачи, с учетом типовых ошибок или без учета. Дерево возможных путей решения дает нам представление о возможных эталонах решения (в том числе и эталоны с частичным угадыванием) задачи. Данное дерево первоначально строится решателем задач на основе базы знаний. А затем уточняется после анализа решений учащихся.

3. Основные варианты использования системы. Взаимодействие подсистем

На рис.1. приведена общая структурная схема системы.

Представленные подсистемы достаточно автономны и могут работать независимо. Однако основные этапы наполнения базы данных системы имеют некоторый логический порядок:

описание учебного модуля знаний (УМЗ): когнитивная структура учебных понятий, структура типовых ситуаций, правила разрешения ситуаций (конкретизация или уточнение ситуаций);

описание структуры типовых тестовых заданий (структура типовых тестовых заданий частично индуцируется структурой типовых ситуаций, частично структурой понятий);

описание тестов; простое описание может содержать последовательность типовых тестовых заданий для предъявления; в общем случае, ограничивается множество типовых заданий, из которых осуществляется выбор, выбирается стратегия тестирования (цель, критерий оптимизации), ограничительные параметры тестирования (максимальное количество тестовых заданий, максимальное время тестирования, …);

тестирование, в результате которого формируются записи в базе данных зарегистрированных решений учащихся и база карт усвоения знаний учащихся.

Рис.1 Общая структурная схема системы адаптивного тестирования

Модуль анализа решения тестовых заданий вызывается из подсистемы тестирования. Существует также возможность отдельного (вне тестирования) анализа полученных решений с выбором различных алгоритмов анализа.

4. Основные свойства и преимущества системы

Список литературы

[Нехаев, 2008] Нехаев И.Н. Математическая модель уровня усвоения знаний учащегося, обеспечивающая процессуальность и технологичность его измерения // Современные проблемы фундаментального образования: материалы международной научно-методической конференции. - Йошкар-Ола: МарГТУ, 2008г.

[Нехаев, 2010a] Нехаев И.Н., Красильников М.И. Факторный групповой анализ результатов ЕГЭ по математике // Вестник Марийского государственного университета, 2010, №5.

[Нехаев, 2010b] Нехаев И.Н., Князев А.В., Короткова О.В. Анализ результатов теста. Построение деревьев решения // Вестник Марийского государственного университета, 2010, №5.

Размещено на Allbest.ru