Методика разработки тестов для учащихся в ввузах

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Девиз: «Измерен, взвешен, оценен»

Методика разработки тестов для учащихся в ввузах

2017

СОДЕРЖАНИЕ

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ, УСЛОВНЫХ ЕДИНИЦ И ТЕРМИНОВ

ВВЕДЕНИЕ

1. РАЗРАБОТКА ПРОГРАММЫ ТЕСТИРОВАНИЯ

1.1 Тестирование как метод контроля качества усвоения учебного материала обучающихся

1.2 Требования к содержанию тестовых заданий

1.3 Формы заданий

2. РАЗРАБОТКА ТЕСТОВ

2.1 Методика разработки заданий в тестовой форме

2.2 Основные критерии и принципы отбора содержания тестов

2.3 Подготовка материалов для компьютерного контроля знаний и оформление теста

2.4 Адаптивное тестирование при автоматизации контроля знаний

ЗАКЛЮЧЕНИЕ

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ

ПЕРЕЧЕНЬ СОКРАЩЕНИЙ, УСЛОВНЫХ ЕДИНИЦ И ТЕРМИНОВ

АТ - адаптивное тестирование

АСКЗ - автоматизированная система контроля знаний

ТЗ - тестовое задание

ЭОР - электронный образовательный ресурс

ВВЕДЕНИЕ

Контроль знаний обучаемых является одним из основных аспектов в обучении и педагогической деятельности. Одним из способов быстрой проверки знаний является тестирование и всё большее внимание уделяется тестам, как быстрому и удобному способу оценки знаний.

Одним из основных требований организации учебного процесса в рамках Болонского соглашения является унификация учебных планов и программ для одноименных дисциплин, которые преподаются в разных учебных заведениях. Это выдвигает требования объективизации процесса оценивания знаний студентов, что невозможно без использования методов тестирования знаний, которые являются основой теории педагогических измерений. Массовое внедрение тестирования знаний в учебный процесс сформировало понимание необходимости создания и применения компьютерных систем тестирования знаний. Это обусловлено с одной стороны снижением трудоемкости при проведении тестирований по сравнению с традиционными методами бланкового тестирования, а с другой стороны повышением надежности и объективности результатов тестирования. Тестирование как одна из форм аттестации представляет собой процедуру, позволяющую объективно для каждого учащегося установить уровень: теоретических знаний, интеллектуальных умений, практических навыков.

В общем случае тест - это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизированной системы проведения и заранее спроектированной технологии обработки и анализа результатов, предназначенный для измерения качеств, знаний или навыков личности, изменение которых возможно в процессе систематического обучения.

Тесты включают в себя вопросы, отражающие содержание дисциплины или ее части, которые выносятся на контроль.

Работа с тестовой системой начинается с подготовки базы вопросов. При использовании тестирования в учебном процессе важно помнить, что каждый вопрос не должен иметь многоцелевую направленность, он призван выявлять лишь один определенный аспект.

Разработка тестовых заданий и обработка результатов тестирования очень важны, однако не менее важное значение имеет порядок предъявления заданий обучающемуся и метод определения его уровня знаний по результатам тестирования, т.е. модель тестирования. При измерении уровня знаний согласно классической модели тестирования, для каждого обучающегося формируется тест определенной длины из выбранных случайным образом заданий тестового пространства. Для обеспечения максимальной информативности результатов контроля необходимо, чтобы средняя сложность предъявляемого обучающемуся теста соответствовала его гипотетическому уровню обученности. Практически это можно осуществить только с помощью адаптивного тестирования (АТ).

Многошаговые стратегии АТ можно подразделить на фиксировано-ветвящиеся и варьирующе-ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты.

Сопоставление различных видов АТ приводит к выбору компьютерного АТ, основанного на многошаговых варьирующих стратегиях, в качестве основного подхода.

На основе метода АТ можно построить требуемую автоматизированную систему контроля знаний (АСКЗ). Такой комплекс мог бы применяться для текущего, промежуточного и итогового контроля знаний (проведения зачетов и экзаменов).

АСКЗ должна иметь некоторые свойства, присущие процессу общения преподавателя и обучающегося. Для этого характерно:

а) вывод оценки на основе сравнения частной информационной модели обучающегося с такой же частной информационной моделью преподавателя; это ведет к повышению объективности контроля знаний;

б) широкая шкала оценки каждого ответа. “Живой” опрос подразумевает возможность неполного, неточного, не совсем правильного ответа;

в) гибкий алгоритм вывода итоговой оценки;

г) переменное количество вопросов, предъявляемых обучающимся;

д) адаптивный алгоритм контроля знаний обучающегося.

АСКЗ может быть реализована в виде отдельной системы или в виде подсистемы тренажерного комплекса. В первом случае, в зависимости от цели тестирования, может быть выбрана одна из существующих программных оболочек или разработана новая, если существующие оболочки не позволяют реализовать поставленную цель тестирования. Во втором случае, подсистема тестирования будет интегрирована в программную оболочку тренажерного комплекса.

В настоящее время мной проанализирован и используется ряд программных средств, позволяющих проводить тестирование. Хорошие результаты показывает российская разработка VeralTest, среди зарубежных выделяется продукт компании Microsoft “Learning Content Development System”, которые предлагают удобные средства для тестирования обучаемых.

1. РАЗРАБОТКА ПРОГРАММЫ ТЕСТИРОВАНИЯ

1.1 Тестирование как метод контроля качества усвоения учебного материала обучающихся

Современная система образования характеризуется интенсивным развитием теории и практики компьютерного тестирования, которое становится неотъемлемой и важной составляющей образовательной информационной среды Военной Академии Связи. Компьютерное тестирование - это метод педагогического контроля, представляющий собой стандартизированную процедуру применения тестов на компьютере под управлением специальной программы, обеспечивающей нужную презентацию тестовых заданий и обработку результатов тестирования для выявления степени владения содержанием учебного материала. Компьютерное тестирование является сложной, инвариантной деятельностью, требующей целенаправленной подготовки к ней обучающихся.

Основная цель тестирования - это ранжирование курсантов для сопоставления их подготовленности в определенной области знаний, используя нормативно-ориентированный подход, построенный на статистических методах обработки результатов. Тесты выступают прежде всего как средство оценивания знаний или уровня подготовленности их участников.

Качество усвоения учебного материала зависит от многих условий, среди которых важную роль играет контроль. Контроль направлен не только на определение степени соответствия приобретенных учащимися знаний и умений поставленной учебной цели, но и на управление познавательной деятельностью учащихся в целом. Новые информационные технологии сегодня выступают не только как предмет изучения, но и как инструмент познания и передачи знаний, предоставляя возможность автоматизировать процедуру контроля, обработки работ учащихся и хранения информации, а также мотивировать учащихся на изучение предмета.

Тестирование не должно заменить традиционные методы педагогического контроля, но должно вписаться в существующую систему контроля, чтобы оптимально ее дополнить и преодолеть существующие проблемы. Кроме того, помимо тестовых заданий на выбор правильного ответа из числа предложенных, существуют и другие виды тестовых заданий, требующие от учащихся значительно более тщательной подготовки и осмысления материала.

Проблемы оценки качества обучения с помощью тестов всегда рассматривалась как важная и, одновременно, «опасная». «Опасность» педагогического тестирования заключается в том, что любая необоснованность, неосторожность или поспешность в выводах может привести к случайным заключениям, поспешным рекомендациям и сомнительным педагогическим последствиям. Один из источников «педагогической опасности» заключается в том, что в условиях тестирования один объект измерения нередко подменяется другим.

Одним из недостатков тестового метода контроля знаний является возможность угадывания, а также то, что учащийся представляет только номера ответов, учитель не видит характера хода решения, глубину знаний (мыслительная деятельность учащегося и результат может быть только вероятностным, нет гарантии наличия прочных знаний у учащегося). Отметим, что это недостаток характерен для тестов, состоящих из заданий на выбор правильного ответа из числа предложенных.

Кроме того, составление тестов зачастую базируется на элементарной психической функции - узнавании, которая проще функции воспроизведения; некоторые исследователи считают, что при выборочных ответах учащийся привыкает работать с готовыми формулировками и оказывается не в состоянии излагать получаемые знания грамотным языком.

Возможно возникновение и других трудностей. Так, например, довольно часто встречается значительный субъективизм в формировании содержания самих тестов, в отборе и формулировке тестовых вопросов, многое также зависит от конкретной тестовой системы, от того, сколько времени отводится на контроль знаний, от структуры включенных в тестовое задание вопросов и т.д.

Но, несмотря на указанные недостатки тестирования, как метода педагогического контроля, его положительные качества во многом говорят о целесообразности использования такой технологии в учебных заведениях.

Тестирование обладает следующими преимуществами перед другими методами педагогического контроля:

· повышение скорости проверки качества усвоения знаний и умений учащимися;

· осуществление хотя и поверхностного, но полного охвата всего учебного материала;

· снижение воздействия негативного влияния на результаты тестирования таких факторов как настроение, уровень квалификации и др. характеристики конкретного учителя, т.е. минимизация субъективного фактора при оценивании ответов;

· высокая объективность и, как следствие, большее позитивное стимулирующее воздействие на познавательную деятельность учащегося;

· ориентированность на современные технические средства, на использование в среде компьютерных обучающих и контролирующих систем;

· возможность математико-статистической обработки результатов контроля, и как следствие, повышение объективности педагогического контроля;

· осуществление принципа индивидуализации и дифференциации обучения благодаря использованию адаптивных тестов;

· возможность увеличить частоту и регулярность контроля за счет уменьшения времени выполнения заданий и автоматизации проверки;

· облегчение процесса интеграции системы образования страны в европейскую;

· применение интернет-технологий в электронном тестировании расширяет географические рамки, представляет дополнительный инструментарий оценки взаимодействия с обучающимся.

Рассматривая тестирование как метод педагогического контроля, целесообразно остановиться на понятиях «тест», «тестовое задание», которые нередко отождествляются, хотя являются совершенно разными видами педагогической продукции. Тест всегда состоит из тестовых заданий, однако не каждый набор тестовых заданий является тестом.

Различия в понимании сущности тестов порождают различия в отношении к тестам. Зачастую мы сталкиваемся со стереотипным определением «теста» как задания на выбор правильного ответа из числа предложенных. Однако, как уже было отмечено, виды тестов отнюдь не ограничиваются данным видом тестовых заданий. Тестовые задания должны образовывать систему. Кроме того, тест обязательно должен пройти апробацию и стандартизацию (строгое определение условий процедур тестирования, обработки и анализа результатов, выработку нормативов, проверку на надежность и валидность).

Можно дать следующее определение: тест - система заданий специфической формы, применяемая в сочетании с определенной методикой измерения и оценки результата.

Тестовое задание - это диагностическое задание в виде задачи или вопроса с четкой инструкцией к выполнению и обязательно с эталоном ответа или алгоритмом требуемых действий.

Система тестирования может включать следующие виды контроля:

· Самоконтроль в виде вопросов и задач, на которые обучаемый пытается ответить самостоятельно. Основная цель самоконтроля - самоутверждение, достижение уверенности обучаемого, что он усвоил учебный материал;

· Входной контроль, который призван определить степень готовности обучаемого к следующему циклу обучения;

· Текущий контроль, основная цель которого - диагностика достигнутых знаний, умений и навыков в процессе усвоения очередной темы и, при необходимости, коррекция обучения;

· Рубежный контроль, основная цель которого - проверка уровня усвоения очередного раздела (темы);

· Заключительный (итоговый) контроль, который представляет собой серию заданий по всему проработанному материалу, который обучаемый должен решить самостоятельно, не обращаясь к помощи.

Тестирование является значительным шагом на пути развития методики контроля за усвоением учащимися учебного материала. Введение тестирования позволяет осуществить плавный переход от субъективных и во многом интуитивных оценок к объективным обоснованным методам оценки результатов обучения. Однако, как и любое другое педагогическое нововведение, этот шаг должен осуществляться на строго научной базе, опираясь на результаты педагогических экспериментов и научных исследований. Тестирование не должно заменить традиционные методы педагогического контроля, а должно лишь в некоторой степени дополнить их.

1.2 Требования к содержанию тестовых заданий

· Тестовое задание должно быть представлено в форме краткого суждения, сформулировано ясным, чётким языком и исключать неоднозначность;

· Содержание задания должно быть выражено краткой, предельно простой синтаксической конструкцией, без повторов и двойных отрицаний;

· В тестовом задании не должно отображаться субъективное мнение или понимание отдельного автора;

· В тексте тестового задания не должно быть непреднамеренных подсказок и сленга;

· Желательно, чтобы исходные условия задания не превышали 10 слов.

1.3 Формы заданий

Рассмотрим наиболее популярную классификацию тестовых заданий. В рамках данной классификации тестовые задания можно разделить на две группы

· Задание открытой формы

Требует сформулированного самим обучаемым ответа. Имеет вид неполного утверждения, в котором отсутствует один элемент. Обычно тестируемый подставляет число или слово (возможно словосочетание, состоящее не более чем из двух слов). Требование к данному тесту - это четкая формулировка задания, требующая однозначного ответа.

· Задание закрытой формы

Выбрать ответ из предложенных. Состоит из неполного утверждения с одной вакансией и множества элементов, один или несколько из которых являются правильными заключениями (ответ). Испытуемый определяет правильный ответ из данного множества.

В рамках каждого типа можно выделить несколько видов тестовых заданий в зависимости от формы вариантов ответов.

Выбор типа и вида тестового задания определяется, прежде всего, целями, в соответствии с которыми проводится тестирование, характером материала, усвоение которого необходимо выявить, возрастными особенностями испытуемых. Немаловажное значение играет финансовое, кадровое и ресурсное обеспечение, а также запас времени, которым располагает разработчик. Виды тестовых заданий представлены в таблице 1.

Таблица 1

Виды тестовых заданий

	Форма тестового задания	Инструкция
Закрытого типа	альтернативный выбор	испытуемый должен ответить «да» или «нет»
	установление соответствия	испытуемому предлагается установить соответствие элементов двух списков
	множественный выбор	испытуемому необходимо выбрать один или несколько правильных ответов из приведенного списка
	установление последовательности	испытуемый должен расположить элементы списка в определенной последовательности
Открытого типа	дополнение	испытуемый должен сформулировать ответы с учетом предусмотренных в задании ограничений (например, дополнить предложение)
	свободное изложение	испытуемый должен самостоятельно сформулировать ответ; никакие ограничения на них в задании не накладываются

Трудность в применении заданий открытого типа заключается в формализации ответов: их неоднозначность затрудняет стандартизацию, что является серьезной проблемой в случае проведения компьютерного тестирования, поскольку при создании эталона к такому заданию необходимо предусмотреть все возможные варианты ответа, учитывая наличие и отсутствие знаков препинания, пробелов, характеристики шрифта и т.д.

2. РАЗРАБОТКА ТЕСТОВ

2.1 Методика разработки заданий в тестовой форме

Разработка заданий в тестовой форме проводится на основе ряда научно обоснованных требований в рамках единой методики. Задания разрабатываются в закрытой форме с тремя, четырьмя или пятью вариантами ответов, среди которых только один является правильным. Тест должен быть обеспечен ясностью формулировок в основной части задания. Неправильные ответы должны с трудом отличаться тестируемыми от правильного. Тогда задание можно считать удачным.

Основная часть задания должна удовлетворять ряду специфических требований, позволяющих правильно формулировать задания закрытой формы. В рамках методики, принятой в мировой практике, к таким требованиям относят следующие:

1) в тексте задания должна быть устранена всякая двусмысленность или неясность формулировок;

2) основная часть задания формулируется предельно кратко (желательно не более 10 слов);

З) все ответы к одному заданию должны быть одинаково правдоподобны;

4) все варианты ответа к одному заданию должны быть приблизительно одинаковой длины;

5) из текста задания необходимо исключить все вербальные ассоциации, способствующие выбору правильного ответа с помощью догадки;

6) частота выбора одного и того же номера места для правильного ответа в различных заданиях теста должна быть примерно одинакова, либо номер места для правильного ответа выбирается в случайном порядке;

7) в заданиях теста не следует использовать оценочные суждения типа
«не считаете ли Вы, что...», «...по Вашему мнению...» и т.п.;

8) среди ответов к заданию не должно быть частично правильных;

9) основная часть задания освобождается от всякого второстепенного для проблемы материала;

10) из ответов обязательно исключаются все повторяющиеся слова путем ввода их в основной текст задания;

11) правильному ответу на задание не должно способствовать выполнение других заданий теста;

12) в заданиях не рекомендуется использовать слова: «все», «ни одного», «никогда», «всегда» и т.д., так как иногда они помогают испытуемому угадать правильный ответ;

13) задание формулируется только в логической форме высказывания, которое становится истинным или ложным в зависимости от ответов тестирующего.

Часть требований к заданиям закрытой формы справедливы и для заданий открытой формы. Однако между этими формами заданий существуют специфические отличия. В содержании заданий открытой формы нет готовых вариантов ответа (райтеров и дистракторов), что сводит вероятность угадывания при выполнении этих заданий к нулю. Поэтому правильное выполнение заданий открытой формы является более качественным показателем знаний и умений учащихся. Однако работа с заданиями открытой формы требует, чтобы тестируемый обладал достаточным уровнем грамотности и аккуратности, особенно это важно при компьютерном тестировании. Для того чтобы устранить возможную неопределенность при вводе (написании) ответа с различными названиями, именами и датами, допускается приведение в конце основного текста задания примера (образца) ответа по требуемой форме.

2.2 Основные критерии и принципы отбора содержания тестов

Содержание заданий и всего теста в целом должно удовлетворять определенным критериям, задающим систему нормативных требований к качеству содержания теста.

Критерий полноты отображения материала учебной программы. Чем полнее содержание теста, тем выше его содержательная валидность, тем больше уверенность в качественной оценке знаний испытуемых, полученной с помощью данного теста.

Критерий соответствия содержания теста знаниям и умениям, на проверку которых он направлен. Необходима уверенность в том, что задания теста охватывают все важные аспекты предметной области в правильной пропорции. Зачастую при разработке теста возможно смещение пропорций. Тест легко пересытить теми разделами содержания, по которым легче составить задания. Для того чтобы исключить эти недостатки, разработчики должны отфильтровывать все задания, не соответствующие спецификации теста.

Критерий соответствия теста требованиям Образовательного стандарта по дисциплине. Здесь необходимо отметить, что образовательные стандарты ориентированы на минимальный уровень знаний обучающихся. Поэтому целесообразно включать в тест помимо базовой части вариативную, более трудную часть, учитывающую специфику тестируемого контингента и позволяющую судить об уровне знаний наиболее подготовленных испытуемых. Как правило, рекомендуют, чтобы содержание вариативной части составляло 15--30% от общего содержания теста.

Критерии качества содержания тестовых заданий. Эти критерии определяют требования к предметной чистоте заданий теста, к значимости содержания каждого задания, к определенности педагогического измерения с помощью данного задания.

Под предметной чистотой понимают отсутствие пересечений содержания заданий одной предметной области с содержанием другой.
Критерий значимости содержания тестового задания указывает на необходимость включения в тест только тех элементов содержания, которые являются наиболее важными, ключевыми, обязательными. Включение в тест второстепенных элементов содержания может привести к неоправданным выводам о знании или незнании содержания предмета.

Требование к определенности педагогического измерения означает, что тестовое задание должно быть представлено в наиболее рациональном и экономном виде и четко направлено на контроль усвоения определенных понятий, фактов и связей между ними. Неопределенность предмета измерения может быть вызвана и двусмысленностью формулировок текста задания, порождающей вероятность нескольких правильных ответов. Помимо критериев в классической тестологии выделяют следующие принципы отбора содержания тестового материала: значимость, научная достоверность, соответствие содержания теста уровню современного состояния науки, репрезентативность, вариативность, системность и др.

· Значимость. Этот принцип указывает на необходимость включить в тест только те элементы знания, которые можно отнести к наиболее важным, ключевым, без которых знания становятся неполными, с многочисленными пробелами, т.е. активные знания.

· Научная достоверность. В тест включается только то содержание учебной дисциплины, которое является объективно истинным и поддается некоторой рациональной аргументации.

· Соответствие содержания теста уровню современного состояния науки. Этот принцип вытекает из естественной необходимости готовить квалифицированных специалистов и проверять их знания на современном материале.

· Репрезентативность. В тест не только включаются значимые элементы содержания, но обращается внимание также на полноту и их достаточность для контроля. Репрезентативность не означает обязательного включения в тест всех значимых элементов содержания. Ведь многие из них явно связаны между собой в общей структуре знаний, включены один в другой полностью или частично. Кроме того, многие элементы в структуре знаний иерархически соподчинены.

· Возрастающая трудность учебного материала. Этот принцип означает, что каждый учебный элемент в процессе контроля обладает некоторой усредненной (для курсантов) мерой трудности, на которую и ориентируются преподаватели. Трудному содержанию обычно соответствуют и трудные задания. Испытуемый, правильно отвечающий на трудные задания. с большой вероятностью отвечает правильно и на легкие задания.

· Вариативность содержания. Содержание теста не может оставаться неизменным и независимым от развития науки, научно-технического прогресса, от нового содержания учебной дисциплины и от новых учебников. По мере изменения содержания учебной дисциплины должно варьироваться и содержание теста. При этом принимается во внимание контингент испытуемых. Содержание теста для слабых курсантов заметно отличается от содержания теста для сильных курсантов.

· Системность содержания. Этот принцип означает подбор такого содержания тестовых заданий, который отвечал бы требованиям системности знаний. Помимо подбора заданий с системным содержанием важно иметь задания, связанные между собой общей структурой знаний. Это возможно только в тех случаях, когда задания теста связаны с общей факторной структурой знаний.

· Комплексность и сбалансированность содержания теста. Тест, разработанный для итогового контроля знаний, не может состоять из материалов только одной темы, даже если эта тема является ключевой в учебной дисциплине. Необходимо искать задания, комплексно отображающие основные, если не все, темы учебного курса.

В то же время существует стремление сбалансировано отобразить в тесте основной теоретический материал -- понятия, законы и закономерности, гипотезы, факты, структурные компоненты теории -- вместе с методами научной и практической деятельности, с умениями эффективно решать типовые профессиональные задания.

Такие задания сравнительно легко могут трансформироваться в форму тестовых заданий на установление соответствия или правильной последовательности, превращаясь, таким образом, в дидактическую модель, используемую одинаково успешно и для контроля, и для обучения.

· Взаимосвязь содержания и формы. Этот принцип определяет результат взаимовлияния содержания знаний с наиболее подходящей формой. При этом в отличие от широко распространенного философского истолкования активности содержания и пассивности формы тестовую форму надо рассматривать вместе как активную сторону их взаимодействия.

· Соответствие цели. Содержание теста зависит от цели проверки. Если нужно отобрать небольшое число самых подготовленных курсантов, скажем, на олимпиаду, то ясно, что задания должны быть трудные, ибо только с помощью таких заданий можно отобрать лучших. Если же, наоборот, требуется отсеять самых слабых, то сделать это лучше с помощью сравнительно легких заданий; те, кто не выполнят эти задания, и есть самые слабые. При необходимости оценить курсантов во всем диапазоне знаний (от низшего до высшего) в тест включают задания легкие, средние и трудные.

учебный тестирование обучающийся

2.3 Подготовка материалов для компьютерного контроля знаний и оформление теста

Подготовка тестовых заданий (ТЗ) для компьютерного контроля знаний - это сложный и кропотливый процесс. Проблема создания качественных тестовых заданий важна для образовательных учреждений любого уровня общего, среднего и высшего профессионального образования. Исследования ряда ученых показывают, что до 50 % тестовых заданий, составляемых преподавателями без экспериментальной проверки, не пригодны для определения уровня знаний обучаемых.

При подборе материалов и составлении ТЗ следует придерживаться следующих правил:

содержание ТЗ должно быть ориентировано на проверку значимых понятий и элементов содержания конкретного учебного курса;

основные термины тестового задания должны быть ясно определены;

тестовые задания должны быть сформулированы в виде кратких суждений и четко поставленных вопросов;

следует избегать контрольных заданий, которые требуют от испытуемых развернутых заключений при выполнении контрольных заданий;

при разработке ТЗ можно применять графические и мультимедийные компоненты не только с целью представления содержания учебного материала, но и при постановке контрольного задания, требующего графической формы ответа;

содержание задания должно быть выражено предельно простой синтаксической конструкцией без повторов и двойных отрицаний;

в тексте задания не должно быть непреднамеренных подсказок и сленга;

не следует включать в текст ТЗ прямые цитаты из книг;

недопустимы заключения типа: все выше перечисленное верно, все указанные ответы неверны и т.д.;

в ТЗ не должна использоваться терминология, выходящая за рамки учебной дисциплины;

задание должно быть составлено с учетом того, что среднее время формирования заключения тестируемого со средним уровнем подготовки не должна превышать 2-х минут.

количество ТЗ для начала нормальной работы желательно иметь порядка 200-300 заданий по конкретному учебному курсу, т.е. в расчете на электронный образовательный ресурс (ЭОР) по данному курсу;

при подборе материала для ТЗ следует учитывать, что все задание должно размещаться на экране без прокрутки;

при разработке задания не следует делать ответ регистрозависимым.

Среднее время ответа курсанта или слушателя на ТЗ определяется установкой преподавателя - автора контрольного задания. Оно выполнения задания определяется эмпирически при апробации теста. Кроме того, при тестировании часто вводят временное ограничение на тест в целом, т.е. время в течение которого обучаемый при среднем уровне подготовки должен ответить на все ТЗ.

Важным этапом подготовки ТЗ является их экспериментальная проверка - апробация. Эту процедуру следует начинать с тщательного анализа формулировок ТЗ в соответствии с изложенными выше правилами и выстраивание ТЗ в порядке предполагаемой трудности. В процессе апробации необходимо предусмотреть возможность пропуска сложных ТЗ, чтобы обратиться к ним после окончания работы над другими ТЗ.

На этом этапе желательно иметь максимальный набор различных тестовых заданий. Задания различного типа уменьшают утомляемость и позволяют включить в процедуру тестирования большего числа ТЗ. Задания различного типа более объективны для контроля знаний и для различных разделов ЭОР могут быть полезны различные типы заданий. В то же время, если тестирование имеет локальные цели, следует включать в тест задания одного типа.

Результаты апробации порой приводят к отбраковке до 40 -60 % ТЗ, поэтому банк заданий должен быть достаточно большим. Целями апробации тестовых заданий являются определение трудности задания и оценка их пригодности; определение заданий, которые имеют существенные недостатки; определение временных параметров выполнения заданий; анализ норм тестовых заданий; выявление случайных ошибок и неточностей.

В общем виде качественную картину теста в целом поясняет рис. 2.1., где в графическом виде отражены понятия простого теста (1), нормального (2), сложного (3) и неудачного (4).[3]

Рис. 2.1. Понятия теста

Совершенствование разработанного теста осуществляется на этапе апробации в следующей последовательности:

задания, выполненные всеми испытуемыми, исключаются из теста (не более одного задания);

задания, с которыми не справился ни один из испытуемых, также исключаются.

Обычно, трудность задания определяется в процентах лиц (или в условных единицах от 0 до 1), давших на него правильный ответ. Чем легче задание, тем выше процент справившихся с ним. Если же ни один из тестируемых в выборке не справляется с тестовым заданием, то подобное задание следует исключить из теста, так как оно не несет никакой информации об индивидуальных различиях.

В результате в тесте должны остаться ТЗ, с которыми справились один или несколько человек.

Потом проводится анализ с целью определения не корректно сформулированных ТЗ - это легкие задания, с которыми не справился сильный учащийся. Скорее всего, формулировка таких ТЗ не совсем понятна обучаемым и их также следует исключить из состава ТЗ.

Чем ближе трудность задания к 1,00 (100%) или к 0, тем меньшую информацию несет оно о дифференциации учащихся и студентов в учебных учреждениях. Чем ближе уровень трудности задания к 0,50 (50%), тем большими различительными возможностями обладает ТЗ. Трудность (сложность) является особенностью не только тестового задания, но и теста в целом. Тест может состоять как из простых ТЗ, так и из сложных. В общем виде трудность (сложность) является статистической категорией.

Системы оценивания знаний учащихся должны вытекать из целей тестирования. Для тестов, ориентированных на критерий, считается важным, что испытуемый, превысил заданный критерий и в этом случае результат считается успешным. Для нормативно-ориентированных тестов основанием для сравнения тестовых показателей являются статистические нормы. Особенно важно подобное сравнение при текущем, итоговом и рубежном контролях. Тестовые оценки могут формироваться по 100 или пятибалльной системам. При использовании последней перевод, как правило, осуществляется по следующей схеме:

оценка "5" ("отлично") выставляется испытуемым за верные ответы, которые составляют 91 % от общего количества вопросов;

оценка "4" соответствует работе, которая содержит от 71 % до 90 % правильных ответов;

оценка "3" соответственно от 70 % до 50 % правильных ответов;

работа, содержащая менее 50 % правильных ответов оценивается как неудовлетворительная.

Для повышения объективности результатов тестирования, при его организации следует выполнять следующие правила:

случайный набор вопросов в тесте;

случайный порядок вопросов в тесте;

случайный порядок ответов в вопросе;

ограничение времени на одно ТЗ;

ограничение времени тестирования (на все ТЗ).

Следует учесть, что для предотвращения возникновения у тестируемых комплексов и боязни компрометации в глазах товарищей не рекомендуется публично объявлять в учебных группах аутсайдеров и количество допущенных ими ошибок.

Тест по каждой дисциплине должен сопровождаться документом, являющимся описанием и именуемым спецификацией. В спецификации каждого теста должна быть представлена следующая информация:

название дисциплины;

специальность, для которой разрабатывается тест (для высшего и среднего специального образования);

протокол методической комиссии утверждения разработанных тестов;

автор разработки;

учебное заведение, в котором проведена разработка;

вид проверки - входная, текущая, итоговая.

содержательная структура теста - перечисление разделов учебного курса с указанием количества ТЗ, входящих в тест;

принцип формирования теста - строгий порядок, по возрастанию меры трудности заданий, случайный выбор и т. д;

шкала и правила оценивания результатов тестирования;

дата завершения разработки теста или его актуализации.

В заключение надо отметить, что при разработке тестовых материалов для обеспечения интероперабельности тестовых материалов необходимо обеспечить их соответствие стандартам тестирования, наиболее распространенным среди которых является IMS QTI. Данный стандарт определяет требования к тестовым материалам, сценариям тестирования и представлению результатов тестирования.

Документирование результатов тестирования сильно зависит от используемой системы тестирования, но к числу наиболее широко используемых документов можно отнести следующие: ведомость учебной группы, протокол тестирования для каждого обучаемого, таблица выполнения теста каждым обучаемым, где подсчитывается средняя величина степени выполнения теста, а также множество других дополнительных документов, заложенных в систему ее разработчиком.

2.4 Адаптивное тестирование при автоматизации контроля знаний

Решением задачи объективного контроля знаний, умений и навыков обучающихся может служить применение автоматизированной системы контроля знаний, представляющей собой вид компьютерного тестирования, которое использует тестовые задания закрытой формы и реализует метод адаптивного тестирования оценивания знаний.

Одним из способов быстрой проверки знаний является тестирование и всё большее внимание уделяется тестам, как быстрому и удобному способу оценки знаний. Однако кажущаяся простота создания тестов и возросший спрос на них породили множество некачественных материалов, называемых тестами.

Разработка тестовых заданий и обработка результатов тестирования очень важны, однако не менее важное значение имеет порядок предъявления заданий обучающемуся и метод определения его уровня знаний по результатам тестирования, т.е. модель тестирования. При измерении уровня знаний согласно классической модели тестирования, для каждого обучающегося формируется тест определенной длины из выбранных случайным образом заданий тестового пространства. Для обеспечения максимальной информативности результатов контроля необходимо, чтобы средняя сложность предъявляемого обучающемуся теста соответствовала его гипотетическому уровню обученности. Практически это можно осуществить только с помощью адаптивного тестирования (АТ)[1].

Под адаптивным тестированием понимают компьютеризованную систему научно обоснованной проверки и оценки результатов обучения, обладающую высокой эффективностью за счет оптимизации процедур генерации, предъявления и оценки результатов выполнения адаптивных тестов. Эффективность контрольно-оценочных процедур повышается при использовании многошаговой стратегии отбора и предъявления заданий, основанной на алгоритмах с полной контекстной зависимостью, в которых очередной шаг совершается только после оценки результатов выполнения предыдущего шага. После выполнения тестируемым очередного задания каждый раз возникает потребность в принятии решения о подборе трудности следующего задания в зависимости от того, верным или неверным был предыдущий ответ. Алгоритм отбора и предъявления заданий строится по принципу обратной связи, когда при правильном ответе тестируемого очередное задание выбирается более трудным, а неверный ответ влечет за собой предъявление последующего более легкого задания, чем то, на которое обучающимся был дан неверный ответ. Таким образом, можно сказать, что адаптивная модель напоминает преподавателя на экзамене - если обучающийся отвечает на задаваемые вопросы уверенно и правильно, преподаватель достаточно быстро ставит ему положительную оценку. Если обучающийся начинает «плавать», то преподаватель задает ему дополнительные или наводящие вопросы того же уровня сложности или по той же теме. И, наконец, если обучающийся с самого начала отвечает плохо, оценку преподаватель тоже ставит достаточно быстро, но отрицательную.

Многошаговые стратегии АТ можно подразделить на фиксировано-ветвящиеся и варьирующе-ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты. Если один и тот же набор с фиксированным расположением заданий на оси трудности используется для всех испытуемых, но каждый движется по набору индивидуальным путем в зависимости от результатов выполнения каждого очередного задания, то стратегия АТ является фиксировано-ветвящейся.

Варьирующе-ветвящаяся стратегия АТ предполагает отбор заданий непосредственно из банка по определенным алгоритмам, которые прогнозируют оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Таким образом, появляется своеобразная последовательность текущих значений уровня подготовленности обучаемого, применительно к которым подбирается трудность заданий адаптивных тестов.

Сопоставление различных видов АТ приводит к выбору компьютерного АТ, основанного на многошаговых варьирующих стратегиях, в качестве основного подхода. Наиболее важное преимущество варьирующих стратегий связано с возможностью оперативного реагирования на результаты выполнения учебных заданий путем переоценки уровня подготовленности обучающегося после выполнения каждого очередного задания адаптивного теста.

Тестирование обычно начинается с заданий средней сложности, но можно начинать и с легких заданий, т.е. идти по принципу повышения сложности. Тестирование заканчивается, когда обучающийся выходит на некоторый постоянный уровень сложности, например, отвечает подряд на некоторое критическое количество вопросов одного уровня сложности. Надежность результатов тестирования в данном случае самая высокая, т. к. осуществляется приспособление под уровень знаний конкретного обучающегося, что обеспечивает более высокую точность измерений.

На основе метода АТ можно построить требуемую автоматизированную систему контроля знаний (АСКЗ). Такой комплекс мог бы применяться для текущего и промежуточного контроля знаний (проведения зачетов и экзаменов) [2]. Задача состоит в создании более гибкого алгоритма тестирования, позволяющего выявить глубину и полноту знаний обучающегося, и эффективной методики расчета итоговой оценки, учитывающей относительную важность каждого вопроса и степень истинности выбранных обучающимся ответов.

АСКЗ должна иметь некоторые свойства, присущие процессу общения преподавателя и обучающегося. Для этого характерно[1,2]:

а) вывод оценки на основе сравнения частной информационной модели обучающегося с такой же частной информационной моделью преподавателя; это ведет к повышению объективности контроля знаний;

б) широкая шкала оценки каждого ответа. “Живой” опрос подразумевает возможность неполного, неточного, не совсем правильного ответа;

в) гибкий алгоритм вывода итоговой оценки;

г) переменное количество вопросов, предъявляемых обучающимся;

д) адаптивный алгоритм контроля знаний обучающегося.

Адаптивный алгоритм контроля знаний может быть реализован следующим образом. Подмножество ответов на каждый вопрос имеет шкалу оценки “правильно - неполно - неточно - неопределенно - неправильно”. Этой нечеткой шкале соответствует нормированная числовая шкала (1, t₁, t₂, t₃, 0). Всем ответам, кроме правильного, ставится в соответствие последующий вопрос с подмножеством ответов. Если на i-том шаге тестирования (обозначим вопрос D_i) дан неточный ответ, следующим задается уточняющий вопрос (D_i¹), причем подмножество ответов содержит как “более правильные” (“правильно”, “неполно”), так и “менее правильные” (“неопределенно”, “неправильно”) ответы. Если и на этот вопрос дан ответ, отличный от правильного, дальнейшие дополнительные вопросы не задаются (иначе трудоемкость составления такой структуры вопросов была бы очень велика), тестирование переходит на i+1-й шаг (вопрос D_i+1). Таким образом, процесс тестирования можно представить в виде движения по ориентированному графу <G>, где вершинами являются вопросы, а дугами - переходы от предыдущего вопроса к последующему (рис. 1).

При задании преподавателем стратегии тестирования могут применяться два подхода: тестирование в глубину и тестирование в ширину. В обоих случаях все множество тестовых вопросов разбивается на подмножества, образованные близкими по тематике вопросами. S_u={S₁,S₂,…,S_n} Каждое подмножество S_m покрывает так называемый “островок” знаний. Первоначально вопросы выбираются случайным образом из всех подмножеств. Если используется тестирование в глубину, при получении на вопрос D_iS_m ответа, отличного от правильного, задается дополнительный вопрос D_i+j, j[1..4], затем последующие вопросы D_i+5n, D_i+5(n+1), … задаются из того же подмножества. D_i+5nS_m, n=1,2,…,p. При этом ставится цель определить, насколько велик пробел в знаниях обучающегося в пределах данного “островка” знаний.

Рис.2.2. Граф <G>, отражающий последовательность предъявления тестовых вопросов

При тестировании в ширину в случае получения на вопрос D_iS_m ответа, отличного от правильного, задается дополнительный вопрос D_i+j, j[1..4], затем последующие вопросы D_i+5n, D_i+5(n+1), … задаются из других подмножеств. D_i+5nS_v, vm. В данном случае ставится цель определить общее знание предмета обучающимся.

Оценивание результатов теста производится следующим образом. На этапе формирования множества тестовых вопросов с подмножествами ответов на них каждому вопросу D_i присваивается весовой коэффициент K_i, а каждому ответу - числовое значение q функции принадлежности, характеризующее степень правильности ответа. Причём K_i[0..10], q[1..4], Весовой коэффициент K_i=0 может присваиваться шуточным вопросам, не влияющим на итоговую оценку и предназначенным для психологической разрядки обучающегося.

При вычислении оценки коэффициенты K_i нормируются делением на сумму весов всех предъявленных вопросов, умножаются на значение q функции принадлежности. Полученные произведения суммируются:

,

где R - оценка; T₁ - множество номеров предъявленных вопросов;

T₂ - множество номеров выбранных обучающимся ответов.

Полученная оценка R[0;1] проецируется на шкалу [0;r₁;r₂;r₃;1],

где 0r₁r₂r₃1 - границы интервалов, соответствующих оценкам от “неудовлетворительно” до “отлично”. Таким образом, если:

R[0;r₁) - оценка “неудовлетворительно”;

R[r₁;r₂) - оценка “удовлетворительно”;

R[r₂;r₃) - оценка “хорошо”;

R[r₃;1] - оценка “отлично”.

Оценка может вычисляться как по окончании теста, так и во время его. В этом случае имеется несколько критериев окончания теста:

Задаваемый априори объём теста N;

Заданное время проведения теста;

R=R_i - R_i-1 , N>N_min,

где R_i, R_i-1 - две последовательно вычисляемые во время теста оценки;

- заданная погрешность оценивания ( достаточно мало);

N - фактический, N_min - минимальный объемы тестов.

Предполагается, что если R, то обучающийся отвечает достаточно “ровно”, и вычисленная оценка отражает его уровень знаний с приемлемой точностью.

Автоматизированная система, построенная по сформулированным принципам, может быть реализована в виде отдельной системы программированного обучения или в виде подсистемы тренажерного комплекса. В первом случае, в зависимости от цели тестирования, может быть выбрана одна из существующих программных оболочек или разработана новая, если существующие оболочки не позволяют реализовать поставленную цель тестирования. Во втором случае, подсистема тестирования будет интегрирована в программную оболочку тренажерного комплекса. Применение системы позволит повысить эффективность контроля знаний, снизить нагрузку на преподавателя, автоматизировать его труд и повысить объективность оценивания знаний.

ЗАКЛЮЧЕНИЕ

В заключение надо отметить, что при разработке методов оценки знаний с помощью систем тестирования в ввузах все чаще используется назначение весовых коэффициентов (индексов сложности) для всех тестовых заданий и вариантов ответов на конкретный вопрос. С помощью весовых коэффициентов определяется степень сложности вопроса по отношению к остальным вопросам, задается максимальное количество баллов, которое курсант или слушатель может получить при правильном ответе на вопрос и возможное общее количество баллов за весь ответ, т.е. в конечном счете устанавливается количественная и качественная (для установленной шкалы оценок) характеристика знаний. Весовые коэффициенты определяются с помощью экспертного оценивания. Количество экспертов не регламентируется, но при увеличении числа экспертов достоверность назначаемых весовых коэффициентов повышается, хотя на практике такие коэффициенты часто расставляет автор тестовых заданий.

СПИСОК ИСПОЛЬЗУЕМЫХ ИСТОЧНИКОВ

Самылкина Н.Н. Современные средства оценивания результатов обучения - М.: БИНОМ. Лаборатория знаний, 2007.-172 с.

Купчиненко О.П., Пантюхин О.И., Попов С.Н. Контроль знаний с помощью автоматизированной системы: материалы XIV междун. конференции «Региональная информатика-2014», Санкт-Петербург, 29-31окт.2014г. СПб.: СПОИСУ, 2014. С.92-93.

Институт ЮНЕСКО по информационным технологиям в образовании: Основы разработки электронных образовательных ресурсов http//www.intuit.ru/studies/courses/12103/1165/info.

Размещено на Allbest.ru

...