Многоуровневая организация автоматизированного контроля знаний как способ исключения элемента угадывания ответов

Размещено на http://www.allbest.ru/

Многоуровневая организация автоматизированного контроля знаний как способ исключения элемента угадывания ответов

Молнина Е.В.

Юргинский технологический институт (филиал)

Томского политехнического университета

Опыт многих коллег подтверждает мысль о том, что методику и способы организации автоматизированного контроля знаний необходимо прорабатывать и доводить до желаемого уровня объективности в оценки знаний. Требовательного и ответственно относящегося к своей миссии преподавателя, очевидно, удовлетворили бы как помощники в этой области экспертные системы или хорошо продуманные автоматизированные системы с развитым глоссарием, базой данных, интерактивной помощью, обратной связью и т.д. и т.п.

Завышенность оценок явно не успевающих студентов в результате простого угадывания ответов - вот главная причина недоверия преподавателей к автоматизированному контролю знаний.

Что же касается организации тестирования по гуманитарным дисциплинам, то здесь проблема автоматизации процесса контроля знаний более разноплановая. Ответы на гуманитарные вопросы носят характер нечеткости, неоднозначности и поэтому содержат в среднем большее количество ошибок, чем вопросы по точным наукам. Для них сложно построить математическую модель, используя классическую математику, а также нельзя заранее знать все возможные ответы.

Для решения поставленных задач нужны математические модели, позволяющие оценивать нечеткие и не однозначные ответы.

Ответы на задания по гуманитарным предметам могут оцениваться не четко, не как правильные или неправильные, а как частично правильные или в разной степени правильные относительно неких критериев оценки. Например, ответ на вопрос, связанный с датой, может считаться правильным, если: а) дата указана верно; б) наполовину правильным, если разница правильного ответа и данного по модулю не превышает десяти лет; в) почти неправильным, если разница составляет более десяти лет, но менее ста; г) совсем неправильным.

В статье И. Д. Рудинского «Модель нечеткого оценивания знаний как методологический базис автоматизации педагогического тестирования» [Информационные технологии. - 2003. - № 9. - С. 46-51] предлагается технология тестирования, основанная на теории нечеткой логики. Сущность предлагаемого метода состоит в следующем.

Дано: п -- число тестовых вопросов; m -- число ответов в каждом вопросе; Ii, i = 1, 2, 3, 4, 5 -- лингвистические переменные истинности ответов, имеющие пять следующих значений: I1 = "правильно"; I2 = "не совсем правильно"; I3 = "неполно"; I4 = "неточно"; I5 = "неправильно".

При этом для количественного учета истинности выбираемых ответов и расчета итоговой оценки служит аппарат нечеткой алгебры.

В ходе тестирования степень суммарной истинности ответов обучаемого на все вопросы теста оценивается путем подсчета результирующей функции принадлежности всего теста с использованием аппарата нечеткой алгебры. Итоговая оценка знаний тестируемого выводится сравнением полученной результирующей функции принадлежности всего теста с эталонными функциями принадлежности каждой оценки применяемой шкалы итогового оценивания. В качестве итоговой оценки принимается та, для которой скалярное расстояние между ее функцией принадлежности и результирующей функцией принадлежности всего теста оказывается минимальным.

В статье А. М. Половко «Компьютерные технологии оценки знаний методами тестирования» [Половко А. М. 2004: 46-51] выражена критика относительно метода нечеткого оценивания знаний. Причина в том, что в методике не были обоснованы и учтены допущения о случайности угадывания ответов. Между тем вероятность угадывания наиболее правильного ответа велика. Это 33 и 25 % в одном задании при числе ответов соответственно 3 и 4. Если не учитывать возможности угадывания ответа, то это равноценно тому, что задача нечеткого оценивания знаний сформулирована не корректно, поэтому и результат отрицательный.

Для решения данной проблемы автором был разработан многоуровневый метод тестирования.

Многоуровневые тесты позволяют исключить элемент угадывания верного ответа и имитировать дополнительные вопросы преподавателя, когда он сомневается в том, действительно ли студент знает материал. Каждый последующий уровень вопросов «уточняет» ответ, данный на предыдущем уровне. Если на втором уровне учащийся правильно не отвечает на вопрос, то это означает, что при ответе на первом уровне он просто угадал правильный ответ.

Тем самым студент либо набирает дополнительные балы, если он действительно знает материал, либо набранные случайно балы на первом уровне теряют свой вес в процессе прохождения других уровней, если студент совершенно не ориентируется в предложенной теме. Такая схема позволяет полностью исключить возможность угадывания ответа обучаемыми.

Творческой группой, под руководством автора был разработан программный продукт под названием «Универсальная автоматизированная система TestComplex», который в данный момент проходит стадию проверки в реальном учебном процессе. Универсальная автоматизированная система контроля знаний TestComplex имеет особую ценность при контроле знаний по гуманитарным дисциплинам.

Программный продукт состоит из 2 основных модулей:

TestСomplex.

Аdmin_Тest.

При создании тестов по определённой теме преподаватель выбирает способ тестирования:

тестирование на основе классической двоичной логики;

многоуровневые тесты на основе классической двоичной логики; 3.многоуровневые тесты на основе модели нечёткого оценивания знаний.

При входе в программу студент должен ввести обязательные параметры: факультет, дисциплину, фамилию и номер группы.

Имеется возможность выбора способа оценивая ответов:

? пятибалльная система;

? рейтинговая система; ?весовые коэффициенты.

Окно теста разбито на 2 части. В левой панели отображаются темы дисциплины, в правой части необходимо выбрать один из предложенных вариантов ответов. Количество дисциплин, факультетов, тем и вопросов теста неограниченно.

Преподаватель может в любой момент запретить вход в программу для определённого студента, просмотреть статистику по студенту и проверить правильность действий программы.

После завершения теста программа выдаёт результат контроля знаний в выбранной системе оценки.

Вопросы - ответы первых двух уровней организованы на основе модели нечёткого оценивания знаний, последний уровень - на основе классической двоичной логики с однозначным ответом. От каждого из ответов первого уровня, имеющих пять значений: "правильно", "не совсем правильно", "неполно", "неточно", "неправильно" идет своя логическая цепочка подсчёта баллов на протяжении последующих уровней.

В данную систему автоматизированного контроля знаний мы постарались вложить максимальные возможности по обратной связи. В окне выбора ответа имеется строка, предусматривающая свой вариант ответа. При исследовании результатов тестирования преподаватель с помощью статистики, истории тестирования каждого студента имеет возможность просмотреть свои варианты ответов обучаемого.

Кроме того, тестируемый может внести предложения по содержанию вопросов - ответов через окно, которое вызывается посредством кнопки «Ваши предложения по данному тесту», и отправить текст сообщения на сервер.

Метод многоуровнего тестирования на базе нечеткого оценивания знаний - первый шаг автора в разработке и создании автоматизированной системы педагогического контроля, которую можно применять для проверки уровня подготовленности обучаемых по дисциплинам гуманитарного профиля.

Предложенная автором многоуровневая система оценки знаний является достаточно близкой к оценкам, которые выставляет преподаватель при проверке письменного или устного задания.

автоматизированный контроль знание тестирование

Список литературы

Добрынин С. А. Автоматизированный контроль знаний студентов по гуманитарным предметам с использованием нейронных сетей: Материалы докладов Всероссийской научно технической конференции студентов, аспирантов и молодых ученых, Томск, 4-7 мая 2006 г. - Томск: Изд-во «В-Спектр», 2006. - Ч. 5. - 324 с.

Молнина Е. В. Поиск путей решения проблем автоматизации контроля знаний студентов по гуманитарным дисциплинам // Альманах современной науки и образования. - Тамбов: «Грамота», 2007. - № 5: Педагогика, психология, социология и методика их преподавания. - ISSN 1993-5552. - С. 146 - 147.

Рудинский И. Д. Информационные технологии в образовании // Информационные технологии. - 2003. - № 9. - С. 46-51. Половко А. М. Компьютерные методы оценки знаний обучаемых // Труды Санкт-Петербургской государственной лесотехнической академии. Актуальные проблемы развития высшей школы. - Санкт-Петербург: СПбГЛТА, 2003. - С. 195-200.

Половко А. М. Компьютерные технологии оценки знаний методами тестирования // Информационные технологии. 2004. - № 8. - С. 46-51.

Размещено на Allbest.ru