Методика формирования оценки знаний в рамках автоматизированной системы тестирования

Размещено на http://www.allbest.ru/

Методика формирования оценки знаний в рамках автоматизированной системы тестирования

обучение тестирование знание студент

В наши дни традиционный метод обучения в классе остается самой популярной методикой преподавания и может оставаться в приоритете у преподавателей, придерживающихся консервативных взглядов, в течение довольно длительного времени. Стандартные мел и диалог с учениками имеют несколько недостатков, включая ограниченное время, которое тратится не только на учебный материал, недостаточное внимание учителя и трудности передачи опыта реальных ситуаций. Из-за всех этих недостатков инновационные интерактивные методики обучения набирают популярность в сфере образования. В современную эпоху обучение требует больше знаний о существующих концепциях и путях решения одной и той же задачи, а также повышения уровня взаимодействия со студентами, где они могут получать от преподавателя больше, чем при стандартном следовании курсу. Тем не менее, компьютерное обучение уже имеет относительно длинную историю, и было доказано его положительное влияние на количество пройденного материала, а также на время, необходимое для его изучения.

Легкая доступность материала при использовании средств автоматизации достигается с помощью графики, анимации, видео- и аудиосредств, а также интерактивных модулей. Внедрение искусственного интеллекта в области образования, в свою очередь, может обеспечить более глубокий уровень взаимодействия обучающихся с материалами курса.

Системы, основанные на искусственном интеллекте (ИИ), нашли широкое применение в области образования, где знание всегда развивается и характеризуется неопределенностью. [4] При разработке автоматизированных систем передачи и/или проверки знаний основным вопросом является передача знаний пользователю и их объективная оценка. Из существующих подходов к обучению можно выделить методологию под названием «когнитивное ученичество».

Когнитивное ученичество

Когнитивное (познавательное) ученичество - это теория, которая предлагает описание негласных процессов и возможностей их использования. Она предполагает, что люди учатся друг у друга путем наблюдения, имитации и моделирования.

В 1988 году Коллинз А., Браун Д.С. и Ньюман С.Е. разработали шесть методов обучения - моделирование, тренировка с наставником, поддержка, артикуляция, отражение и исследование. Они позволяют обучающимся использовать когнитивные и метакогнитивные стратегии "использовать, управлять и открывать знания". [3]

Моделирование.

Эксперты (как правило, преподаватели или наставники) демонстрируют задачу в явном виде. А обучаемые, в свою очередь, строят концептуальную модель задачи. Например, учитель математики может расписать явные шаги и решать задачу вслух, демонстрируя свои навыки и знания процедур.

Тренировка с наставником (экспертом).

Во время тренировок эксперт дает обратную связь и подсказки для начинающих «на ходу».

Поддержка.

В некоторых случаях специалист может помочь с различными аспектами задачи, которые ученик не может еще выполнитть самостоятельно.

Артикуляция.

МакЛеллан Т.М. описывает артикуляцию, (1) как разделение составных знаний и использование навыков более эффективного их изучения, (2) более распространенное, как демонстрация знаний и процессов мышления для их выявления и прояснения. Этот процесс заставляет обучающихся формулировать свои знания, правильно выстраивать мысли или продумывать процесс решения проблем в некоторой предметной области. Такой подход может включать в себя метод обучения уточняющими и наводящими вопросами, при котором преподаватели задают их студентам, что позволяет им уточнить и пересчитать уже полученные результаты и сформировать четкие концептуальные модели. Также выделяется размышление вслух учениками, чтобы учиться выстраивать свои мысли и правильно формулировать вопросы и ответы при решении проблем. При подобном подходе обучаемые принимают важнейшую роль мониторинга и передачи навыков друг другу в совместной деятельности.[2]

Отражение.

Отражение позволяет студентам "сравнить свои собственные пути решения задач с экспертным, а также с решениями других студентов, и, в конечном счете, с внутренней когнитивной моделью знаний".[1] Данная методика помогает изучить предыдущие решения экспертов и новичков, чтобы выделить общие черты и различия. Цель рефлексии для студентов - оглянуться назад и проанализировать свои прошлые исследования и результаты и улучшить их, приближаясь к поведению эксперта.

Исследование.

Исследование включает в себя предоставление студентам площадки для самостоятельного решения проблемы, обучение исследовательским стратегиям. Оно позволяет выделить наиболее интересные проблемы в пределах домена, а затем взять на себя инициативу найти решение этих проблем. [3]

Преподавателю не всегда удобно уделять достаточно большое количество времени каждому учащемуся лично для развития его индивидуальных навыков и передачи своего опыта в полной мере, что вызывает ряд проблем при использовании некоторых из указанных методов.

Рассмотренные методы обучения показали свою эффективность во многих западных учебных заведениях, а отдельные приемы используются преподавателями повсеместно. Однако, оптимизация эффективности достигается посредством эксплуатации большего количества из описанных средств и их корреляции между собой.

Проверка полученных знаний

Для выявления уровня подготовленности на наборах тестовых заданий существует два принципиально разных подхода - классическая тестология (Classical Test Theory, CTT) и современная теория моделирования и параметризации педагогических тестов (Item Response Theory, IRT).

В основу классической теории тестов положена модель измерений на основе следующего соотношения:

где X_i - наблюдаемый (эмпирический) тестовый балл i-го испытуемого для некоторого теста; T_i - неизвестный истинный тестовый балл i-го испытуемого; _i - ошибка измерения для i-го испытуемого.

Процедура вычисления показателей X_i, T_i и _i использует статистические приемы обработки информации, среди которых методы дисперсионного, ковариационного и регрессионного анализа.

Подход на основе CTT характеризуется наглядностью расчетов и простотой интерпретации результатов тестового контроля. Главным недостатком классической теории тестов является то, что первичный тестовый балл испытуемого рассматривается как мера уровня учебных достижений. Корректнее же считать первичный балл проявлением, или индикатором, уровня достижений. Существенными ограничениями в CTT являются следующие аспекты: зависимость оценки уровня подготовленности обучающегося от уровня трудности тестовых заданий и наоборот, нелинейность шкалы измерения уровня подготовленности.

К 60-м годам XX века относится новый этап в развитии тестологии, связанный с возникновением IRT - современной теории моделирования и параметризации педагогических тестов. Исторической предпосылкой формирования IRT явилась необходимость найти сопоставимую (в одной шкале) меру уровня учебных достижений обучающегося и меру уровня трудности тестовых заданий.

В IRT-моделях уровень учебных достижений принимается за мысленный конструкт - латентную переменную. Переменная такой природы недоступна для непосредственного наблюдения и измерения, что вызывает необходимость разработки ее операционального описания в виде набора измеряемых индикаторных переменных. Индикаторные переменные являются проявлениями скалярного латентного параметра, позволяя судить о его значении. При этом имеет место формальная единица измерения - логит, являющаяся мерой уровня учебных достижений или любой другой латентной переменной. Конструирование латентных переменных необходимо производить в соответствии с целями исследования. При выявлении уровня подготовленности на наборах тестов в качестве индикаторов этой латентной переменной выступают тестовые задания.

Представляется возможным оценивать значения латентных переменных, не прибегая к измерительному инструментарию IRT. Имеется в виду способ вычисления интегральных показателей на основе экспертных оценок, близкий к классической тестологии:

на основе экспертных оценок каждой индикаторной переменной сопоставляется вес;

производится нормирование значений индикаторных переменных;

сумма взвешенных значений индикаторных переменных составляет значение интегрального показателя;

выполняется ранжирование объектов в соответствии со значением интегрального показателя.

При таком подходе на ранжирование объектов существенное влияние оказывает субъективность экспертных оценок. IRT-модели снимают ограничения, свойственные классической теории 24 тестов [5] и традиционным способам вычисления интегральных показателей, обеспечивая следующие преимущества:

объективность результатов измерений: оценка уровня учебных достижений испытуемых не зависит от используемого набора контрольно- измерительных материалов и, наоборот, оценка уровня трудности тестовых заданий не зависит от выборки испытуемых;

сопоставимая (в одной линейной шкале) мера уровня учебных достижений и мера уровня трудности тестовых заданий;

доступность большого количества статистических процедур для интерпретации и анализа результатов измерения латентных параметров IRT-моделей;

допустимость неполноты тестовых результатов (пропуск некоторых комбинаций «испытуемый - индикатор латентной переменной»);

возможность оценивания адекватности модели измерения в нескольких разрезах: используемого набора тестовых результатов; отдельного испытуемого; отдельного индикатора; комбинаций «испытуемый - индикатор латентной переменной».

Установлено, что для построения объективной и надежной шкалы измерений латентных параметров необходим достаточный набор тестовых результатов. Объем выборки данных, описываемых IRT-моделью, рассчитывают исходя из того, что на одну индикаторную переменную должно приходиться не менее двадцати тестовых результатов. Необходимость накопления большой тестовой выборки считается существенным недостатком, затрудняющим применение IRT-моделей на практике. [5]

Модель комплексной системы проверки знаний

Используя методы и концепции, которые были рассмотрены выше, в области формирования оценки знаний, возможно построить модель комплексной системы проверки знаний обучающихся посредством тестирования и разработать алгоритм более объективной и простой в реализации оценки знаний.

Рисунок 1 - Модель комплексной системы оценки знаний

Модуль тестирования включает в себя задания, вес задания по отношению ко всему тесту, критерии выполнения заданий (составные части задания, если оно не тривиально), веса критериев по отношению к заданию и заранее данный эталонный ответ.

Модуль оценки проверяет ответы и дополнительно сравнивает данный учащимся вариант решения с правильным. После вычислений данные попадают в модуль мониторинга, который, в свою очередь, просчитывает успеваемость и выводит информацию в различных представлениях преподавателю, а также оповещает его о возникновении спорных ситуаций.

Вычисление среднего балла за тест производится согласно следующим выражениям:

,

где S - средний балл за тест, P - вес задания в тесте, Q - коэффициент выполнения задания, X - вес критерия в задании, F -коэффициент выполнения критерия, R - совпадение результата выполненного задания с верным (идеальным), n -количество критериев, m-количество заданий.

При высоком среднем балле за тест/отдельное задание и несовпадении конечного результата с эталонным инициируется автоматический вызов преподавателя. То же самое происходит и при низком среднем балле, но совпадении результата. Преподаватель, в свою очередь, оценивает противоречие и может при необходимости внести новый вариант решения задачи в систему, изменить ответ или указать тестируемому на ошибки.

Это необходимо для объективной оценки знаний ученика, возможности развития у него индивидуальных особенностей и улучшения системы посредством добавления новых правильных вариантов решения или доработки заданий. Вызов преподавателя должен быть возможен также и в ручном режиме, но только после изучения обучающимся дополнительной справки к выполняемому заданию.

Преподаватель должен видеть данные мониторинга и сводную информацию о прохождении теста в режиме реального времени и реагировать на уведомления о требовании уделить внимание кому-либо при возникновении дополнительных вопросов. Данные необходимо доносить учителю в различных представлениях: информация об успеваемости конкретного студента; его результаты по отношению к группе/потоку/требованиям программы; успеваемость всей группы; группы по отношению к потоку/требованиям программы; успеваемость потока. Это даст возможность лучше продумывать учебный план и не допускать пробелов в конкретной предметной области, а также оценить эффективность работы самого преподавателя.

Выводы

Проанализировав методы передачи знаний в рамках выбранной теории когнитивного ученичества и изучив различные концепции проверки знаний, был предложен новый подход к проведению тестирования и более объективной оценке успеваемости, а также описана модель модульной системы проверки знаний. Однако, на данном этапе развития человечества и науки пока достаточно сложно отойти от привычного диалога «преподаватель-ученик». Тем не менее, используя современные технологии, становится возможным упростить, ускорить и увеличить объективность передачи и проверки знаний без потери качества образования.

Литература

Коллинз, А., Браун, Дж. С., Ньюман, С. Э. Когнитивное ученичество: Обучение ремеслу чтения, письма и математики // Технический отчет № 403. Лаборатории BBN, Кембридж, Массачусетс. Центр изучения чтения, Университет штата Иллинойс. Январь 1987 г. с. 2-24.

Л.Б. Рисник. Как люди учатся: мозг, ум, опыт и школа. // s. 453-494 Национальный исследовательский совет. Вашингтон, округ Колумбия: Национальная академия печати. 1999 г. с. 155-221.

Стефани У. Коутон, Алисия Харрис и Робин Джонс. Когнитивное ученичество в онлайн-исследовательской лаборатории для аспирантов по психологии. // Международный журнал технологий обучения и преподавания в Интернете. №5 (1): 2010 г. с.1-15.

Ванесса П. Деннен и Керри Дж. Горер. // «Модель познавательного ученичества в учебной практике». // В «Справочнике исследований по образовательным коммуникациям и технологиям» под редакцией Дж. Майкла Спектора, М. Дэвида Меррилла, Джерона Ван Мерриенбоера и Марси П. Дрисколла. NewYork: LawrenceErlbaumAssociates.2008 г. с. 425-439.

Косоногова М. А.Метод и средства управления образовательной траекторией в системах электронного обучения. Диссертация на соискание ученой степени кандидата технических наук. // Белгородский государственный технологический университетим. В.Г. Шухова.Белгород. 2016 г. с. 20-25.

References

1. Kollinz, A., Braun, Dzh. S., N'juman, S. Je. Kognitivnoe uchenichestvo: Obuchenie remeslu chtenija, pis'ma I matematiki // Tehnicheskij otchet № 403. Laboratorii BBN, Kembridzh, Massachusets. Centr izuchenija chtenija, Universitet shtata Illinojs. Janvar' 1987 g. s. 2-24.

2. L.B. Risnik. Kak ljudi uchatsja: mozg, um, opyt I shkola. // s. 453-494 Nacional'nyj issledovatel'skij sovet. Vashington, okrug Kolumbija: Nacional'naja akademija pechati. 1999 g. s. 155-221.

3. Stefani U. Kouton, Alisija Harris i Robin Dzhons. Kognitivnoe uchenichestvo v onlajn-issledovatel'skoj laboratorii dlja aspirantov po psihologii. // Mezhdunarodnyj zhurnal tehnologij obuchenija i prepodavanija v Internete. №5 (1): 2010 g. s.1-15.

4. Vanessa P. Denneni Kerri Dzh. Gorer. // «Model' poznavatel'nogo uchenichestva v uchebnoj praktike». // V «Spravochnike issledovanij po obrazovatel'nym kommunikacijam I tehnologijam» pod redakciej Dzh. Majkla Spektora, M. Djevida Merrilla, Dzherona Van Merrienboera i Marsi P. Driskolla. New York: Lawrence Erlbaum Associates. 2008 g. s. 425-439.

5. Kosonogova M. A. Metod I sredstva upravlenija obrazovatel'noj traektoriej v sistemah jelektronnogo obuchenija. Dissertacija na soiskanie uchenoj stepeni kandidata tehnicheskih nauk. // Belgorodskij gosudarstvennyj tehnologicheskij universitet im. V.G. Shuhova. Belgorod. 2016 g. s. 20-25.

Размещено на Allbest.ru