Методы оценки критериев качества тестов. Классическая теория тестов опирается на теорию корреляции, главными параметрами которой являются надежность и валидность. Надежность - устойчивость результатов теста, получаемых при его применении. Валидность - пригодность теста, т. е. способность качественно измерять то, для чего он создан по замыслу авторов. 14

Существует строгая научная теория тестов, позволяющая методологически и методически обосновать их применение и обработку результатов тестирования. Научно обоснованный тест - это метод, соответствующий установленным стандартам надежности и валидности (величина от 0 до 1; чем ближе к 1, тем качественнее тест).

По классификации существуют тесты, ориентированные на норму (рейтинг по сильным - слабым студентам) и тесты, ориентированные на критерий (сортировка по трудным - легким заданиям).

По характеру действий тесты подразделяются на вербальные (выраженные словами) и невербальные (представленные образами).

По степени однородности задач тесты бывают гомогенные (по одной дисциплине) и гетерогенные (по нескольким дисциплинам).

По целям использования: начало обучения, прогресс и трудности в процессе обучения, достижения в конце обучения. Практика высшей школы показывает, что наиболее применимы критериально-ориентированные, в подавляющем большинстве вербальные, гомогенные, нацеленные, как правило, на достижения в конце обучения тесты.

Оценка тестовых заданий может быть политамическая (если из 10 элементов задания одно сделал неправильно, то сумма баллов равна 9); дихотомическая (сделал все элементы - 1 балл, не сделал - 0 баллов).

По степени трудности задания могут быть одноуровневые, т.е. с весовым коэффициентом, равным единице и многоуровневые с весовым коэффициентом от 0 до N.

Под длиной теста понимается количество заданий, входящих в тест. Классическая теория тестов утверждает: чем длиннее тест, тем он надежнее. Но практика показывает, что если тест очень длинный, то ухудшается мотивация и внимание. Практически длину теста следует определять опытным путем, с учетом валидности, времени тестирования и др. Оптимальная длина теста, как показала теория и практика - 30-60 заданий. Соотношение длины теста к числу тестовых заданий в банке должно стремиться к соотношению 1:10.

Каждый тест имеет оптимальное время тестирования 16 - время от начала процедуры тестирования до момента наступления утомления. Разброс по характеристикам порога наступления утомления довольно большой - от 20 до 100 минут в одной возрастной группе Основные причины утомления: возраст, мотивация, монотонность выполняемой работы, индивидуальные особенности испытуемых. Следовательно, необходимо поддерживать мотивацию на нужном уровне, максимально разнообразить работу за счет введения в оборот всех форм заданий и невербальной поддержки, а также адаптировать программный продукт согласно индивидуальным особенностям испытуемых. Среднее ориентировочное время до момента утомления для студентов - 50-80 минут (максимальная продолжительность). А по минимальной зависит от форм, количества и трудности заданий, элементов в задании. Например, для легкого тестового задания закрытой формы с выбором одного элемента из предложенных достаточно 10-15 сек. В процессе апробации реальные сроки должны быть уточнены.

Соотношение форм заданий в тесте. Выбор формы тестового задания зависит от содержания курса, цели создания теста, умения разработчика. Усредненный расклад может быть следующим. В тесте длиной, например, 60 заданий, рекомендовано не более 10 тестовых заданий открытой формы, примерно по 10 на соотношение и последовательность, остальные 30 заданий целесообразнее давать в закрытой форме.

2.4 Типы вопросов компьютерного контроля

Наверное, самым большим заблуждением разработчиков большей части контролирующих программ является использование так называемой одинарной выборки: учащемуся задается вопрос, на него дается несколько готовых вариантов ответов (как правило, пять - удобнее выводить оценку), один из которых - верный. Несмотря на то, что действительно существует класс контрольных вопросов, которые могут быть реализованы подобным образом, несмотря на то, что вероятность угадывания (20 %) достаточно низка, зацикливание исключительно на одинарной выборке исключает богатейшие возможности применения педагогических технологий при проведении контроля.

Кроме того, ни для кого не является секретом способ обхода учащимися данного типа контроля - рано или поздно в руки учеников попадает распечатка с правильными ответами, и порядок ответов просто заучивается или заносится на шпаргалку. Далеко не во всех (на самом деле только в единичных) системах контроля знаний реализована функция изменения местоположения правильного ответа при каждом тестировании.

Какие же типы вопросов позволяет использовать компьютерный вариант программированного контроля?

Произвольный тип, или, ввод с клавиатуры. Мощнейший инструмент при проверке разного рода терминов, констант, дат. Однако его реализация, как правило, весьма математически сложна и поэтому большинством разработчиков оставляется без внимания. Проблема заключается прежде всего в том, что введенную фразу необходимо подвергнуть синтаксическому, а в идеале - и семантическому анализу, моделирующему варианты возможного мышления отвечающего. Кроме того, учащийся может опечататься, и в большинстве областей знаний подобные опечатки нельзя считать ошибкой - а это требует очень гибкой реализации компьютерной логики, которая под силу далеко не всякому программисту. О возможности использования учащимся при вводе произвольного ответа различных синонимов, которые могут быть не предусмотрены разработчиком базы данных и в то же время могут быть абсолютно или частично правильными, тоже можно говорить очень много. Кроме того, в произвольном типе вопроса может быть и несколько возможных ответов.

Существует также ряд разновидностей произвольного типа вопроса.

Ввод нескольких ответов в определенной последовательности может использоваться в вопросах о строгой последовательности каких-либо операций, взаиморасположений и т.д. Тип вопроса настолько же сложный для программирования, как и произвольный, весьма сложен в конструировании и вызывает определенные трудности у учащихся, так как требует не только безошибочного ввода ответов, но и безошибочного их взаимного расположения. Однако, несмотря на достаточно редкое его применение, этот тип незаменим и является мощным средством выяснения уровня знаний учащегося в вопросах, к примеру, относительного взаиморасположения органов в топографической анатомии, последовательности превращения вещества в химии, последовательности действий в разного рода ремонтных работах и т.п.

Ввод пропущенных частей строк или букв, несмотря на кажущуюся простоту, является незаменимым средством для проверки понимания различных языковых конструкций (в русском и иностранном языках, в программировании и т.д.). В отличие от стандартного "Произвольного" типа вопроса, как правило, предполагает однозначные варианты ответов и потому более легок в программировании.

Выборочный тип вопроса. Классический вариант, который подавляющая часть разработчиков и считает необходимым и достаточным для проведения компьютерного тестирования. В этом типе вопроса может подразумеваться один или несколько правильных ответов из предложенных. Часть теоретиков разделяет эти две разновидности на разные типы вопросов, однако с точки зрения формальной логики эти разновидности абсолютно равнозначны. Вопрос заключается лишь в методологии выведении результатов по этим разновидностям.

Компьютерная реализация этого типа необычайно проста. Возможно, именно с этим и связано его широкое использование в разного рода тестирующих программах. Для реализации этого типа достаточно даже начальных знаний в любом языке программирования либо в программируемых офисных системах типа Excel или Quattro.

У выборочного типа вопроса также существуют разновидности.

Альтернативный тип является максимально упрощенной формой и предполагает готовый ответ уже в тексте вопроса. Испытуемому остается только указать, правильный это ответ или нет (т.е. ответить "Да" или "Нет"). Несмотря на кажущуюся простоту, этот тип с успехом может использоваться в некоторых областях знаний.

Разновидностью выборочного типа является тип вопроса, названный "Отбор". Однако разница между ним и стандартным выборочным типом заключается только в системе вывода результата.

Последовательный тип вопроса. Наиболее сложный для учащихся, хотя и достаточно простой в реализации тип, дающий преподавателю мощный инструмент для оценки не только конкретных знаний, но и логики.

Упрощенный вариант последовательного типа - "Перестановка" предполагает, что учащемуся задается вопрос и дается набор готовых правильных ответов. В его задачу входит расстановка этих ответов в требуемой последовательности.

Как и тип "Последовательность", эта разновидность может быть использована в тех предметных областях, где требуется четкое знание последовательности операций, действий или правильное взаиморасположение объектов. Однако в отличие от типа "Последовательность", эта разновидность может использоваться гораздо шире, так как не содержит в себе "подводных камней" неверной формулировки учащимися какого-либо термина - все ответы уже находятся на экране.

Усложненный вариант последовательного типа - "Расстановка" является наиболее сложным из всех типов, как по сложности программирования, так и по сложности восприятия его учащимися. Однако именно этот тип дает наиболее широкие возможности для проверки логики. Конструирование вопроса этого типа заключается формально в построении учащимися графа логической структуры. В тексте вопроса перечисляются некие пронумерованные положения (пункты), а в тексте ответов даны соответствующие этим пунктам выводы или факты. От учащегося требуется расставить соответствие пунктов, перечисленных в вопросе, готовым ответам.

Глава 3. Методика проведения компьютерного опроса учащихся

3.1 Методика проведения программированного опроса

Проблему организации коллективных форм учебной деятельности особенно актуализирует специфика проведения занятий в учебных классах, оснащенных локальной компьютерной сетью. Использование сети предоставляет преподавателю новые возможности управлять учебным процессом с одной стороны, с другой - обеспечивает возможности результативной самостоятельной учебной работы обучаемых по выполнению практических заданий. 17

Локальная компьютерная сеть дает возможность представить любое действие в развернутой последовательности операций, показать его результат, условия выполнения; фиксировать промежуточные пооперационные результаты, позволяет интерпретировать и оценивать каждый шаг обучаемых при выполнении заданий и т. д.

Для преподавателя компьютерная сеть позволяет осуществлять как итоговый, так и пооперационный контроль, накапливать итоговую информацию, относящуюся как к отдельному обучаемому, так и ко всей группе в целом. Компьютерная сеть позволяет качественно изменить систему проверки деятельности обучаемых, обеспечивая при этом гибкость управления учебным процессом. Работа на одной общей базе данных позволяет проверить правильность выполнения всех заданий и не только зафиксировать ошибку, но и определить ее характер, что помогает вовремя устранить причину, обусловившую ее появление.

Подбор тематики и возможные варианты тестовых заданий готовятся заранее. Содержание тестовых заданий формулируется таким образом, чтобы показать применимость на практике необходимых для усвоения материала знаний и умений. 17

Индивидуализация обучения может быть реализована за счет дифференциации содержания предъявленного учебного материала, а также подбора тестовых заданий по уровню сложности.

Подбор степени трудности заданий играет важную роль. Излишне простые задания не требуют от обучаемого умственных усилий, а потому тормозят формирование у него необходимых навыков. Правильное выполнение относительно легких заданий не переживается обучаемым как успех. В то же время, многие из ошибок активизируют творческий потенциал обучаемых и положительно сказываются на активизации познавательных потребностей и на мотивационной сфере.

Средствами создания учебно-познавательной мотивации могут выступать как содержание тестового задания, так и форма организации деятельности (учебно-игровая, групповая, индивидуальная).

По усмотрению преподавателя обучаемым может быть предложен план выполнения тестового задания, разрешена работа с рабочими тетрадями и литературой. Поддерживать интерес обучаемых преподаватель может, включаясь в процесс обсуждения отдельных нюансов при выполнении тестового задания.

Занятие может быть построено с таким расчетом, чтобы направить его на максимальное развитие обучаемых. Для этого в тот момент, когда у них складывается ощущение завершенности выполнения предложенных тестовых заданий, преподаватель с целью активизации дальнейшей познавательной деятельности обучаемых может поставить перед ними проблемные вопросы по изучаемой теме, вызывая познавательный интерес. В результате разрешения этого затруднения обучаемые получают новые знания и умения. Таким образом, работа группы обучаемых над выполнением тестовых заданий может осуществляться в режиме последовательного решения проблемных задач. 17

После завершения работы обучаемых над выполнением тестовых заданий, преподавателем может быть организована дискуссия в группе, коллективное обсуждение заданий, вызвавших наибольшие затруднения. В обсуждение целесообразно включать вопросы, которые остались нерассмотренными, выяснять возможные пути их решения. Таким образом, преподаватель не только может осуществлять контроль, но и становится организатором процесса самостоятельного активного приобретения обучаемыми новых знаний.

3.2 Обработка результатов тестирования

Вопрос выведения оценки, наверное, является одним из самых сложных и противоречивых в педагогике. В самом деле, задать вопрос легко, а вот определить, правильно ли ответил учащийся, насколько правильно он ответил, правильно ли он мыслил, несмотря на неправильный ответ - это задача, которая полностью далеко не решена. Соответственно, и компьютерный аналог выведения оценки страдает теми же недостатками, если не большими 18.

В большинстве систем программированного контроля принцип выведения результата прост. Так как в таких системах, как правило, используется только одинарная выборка, то и оценка вычисляется просто: ответил - плюс, не ответил - минус. Затем количество плюсов и минусов приводится к пятибалльной шкале и выводится оценка.

Подобный принцип вывода оценки, хотя и является примитивным, однако в случае, когда все вопросы в базе данных равнозначны и однотипны, он тоже имеет право на существование. Однако прямое приведение количества положительных и отрицательных ответов к пятибалльной системе заслуживает серьезной критики. Общепризнанно, что зачетный порог коэффициента усвоения равен 70 %. В рассматриваемом же случае для получения зачетной оценки (т.е. "удовлетворительно") достаточно ответить правильно на 51 % вопросов, для получения оценки "хорошо" - на 71 %, для получения оценки "отлично" - на 91 %.

Однако вышеописанной практики, как правило, не происходит, так как всем разработчикам тестирующих систем очевидна неравнозначность вопросов в базе данных. Существует и другая методика, когда разработчики дают возможность преподавателю определять "вес", т.е. относительную значимость каждого вопроса в базе.

Эта методика, не смотря на кажущуюся эффективность, также имеет свои недостатки. Дело в том, что с точки зрения педагогической теории не бывает вопросов простых и сложных (если говорить именно о вопросах, а не о математических и логических задачах, требующих многокомпонентного решения). Простым вопрос всегда будет для того, кто знает на него ответ. И сложным - для того, кто ответ не знает. Таким образом, расставляя "веса" вопросов, преподаватель фактически расставляет их в соответствии с собственными представлениями об их сложности, в соответствии со своим уровнем компетентности или некомпетентности.

Тем не менее, существуют вопросы, требующие большего или меньшего времени на ответ. Логично было бы предположить, что на каждый вопрос, с точки зрения психофизиологии, может быть затрачено большее или меньшее число мыслительных (т.н. существенных) операций. Определение этого количества, как правило, не составляет особого труда, в простых типах вопросов равно количеству предложенных вариантов ответов, и полностью поддается автоматизации.

Таким образом, на настоящий момент существует два способа определения результата ответа - по правильным или неправильным ответам в целом на вопрос и по существенным операциям. При выборе принципа оценки следует предполагать, что оценка по существенным операциям гибче и объективнее, так как она позволяет выявлять неполные, не совсем верные, частично ошибочные и другие подобные ответы и вычислять их в конкретных цифрах коэффициента усвоения. 19

Гибкость использования способа оценивания по существенным операциям кроется в возможности ввода так называемой "мягкой оценки". В системе оценивания по ответам в целом всегда используется "жесткая оценка" - т.е. если учащийся допустил ошибку, не засчитывается весь вопрос. Однако такой метод оценивания оправдан далеко не для всех вопросов. К примеру, в большой части вопросов, имеющих несколько вариантов правильных ответов (подразумевается выборочный тип вопроса), не является обязательным отметка полностью всех правильных ответов. В таких вопросах вполне допустим или частично правильный ответ, или, наоборот, отсутствие неправильного ответа. Использование принципа оценивания по существенным операциям позволяет в подобных вопросах определять коэффициент правильности ответа и засчитывать частично правильные ответы.

Заключение

Одной из значимых тенденций развития образования в Казахстане является поиск инновационных методов контроля знаний, отвечающих требованиям объективности, надежности, технологичности. На современном этапе среди эффективных методик оценки способностей и достижений учащихся, важная роль отводится компьютерному контролю знаний, который сегодня успешно используется в учебных заведениях различного уровня - от школ до университетов.

По сравнению с традиционными формами контроля компьютерное тестирование имеет ряд преимуществ: быстрое получение результатов испытания, освобождение преподавателя от трудоемкой работы по обработке результатов тестирования, однозначность фиксирования ответов, конфиденциальность при анонимном тестировании.

Проанализировав современную литературу по данной проблематике, были выявлены следующие требования к унифицированной автоматизированной тестирующей системе:

1) защита от несанкционированного доступа к вопросам теста. Решение данной проблемы может осуществляться средствами шифровки данных;

2) неограниченная тестовая база, которая предназначена как для разнообразия теста, так и для меньшей повторяемости вопросов;

3) простота интерфейса программы. Многие специалисты, особенно специализация которых не связанна с информационными технологиями, довольно плохо умеют обращаться с компьютером и компьютерными программами, поэтому понятность и доступность интерфейса - немаловажное требование к тестирующей системе;

4) простота администрирования теста. Это требование также немаловажно. Чем легче будет среда разработки тем и тестов, тем меньше будет возникать вопросов, касающихся работы на компьютере. Простота администрирования решается посредством использования отдельной программы создания или занесения тем и тестов в базу и установки параметров;

5) полная автоматизация процесса тестирования. Тестирование должно проводиться без контроля преподавательского состава за ходом тестирования. Поэтому весь процесс - от задания вопросов теста преподавателем, идентификации специалиста, проведения тестирования, до оценки полученного результата и занесения этого результата в файл данных, должен проходить в полностью автономном режиме;

6) быстрота загрузки. Этот критерий важен для компьютеров с небольшим быстродействием. Человек не должен ожидать загрузки вопроса в течение длительного времени. Каждая картинка, график должны быть оптимизированы или сжаты. Они не должны содержать избыточной информации, а включать только необходимую часть;

7) переносимость на разные платформы с поддержкой GUI Microsoft Windows;

8) учет обращений. Каждое проведение тестирования должно фиксироваться для обеспечения контроля. Это необходимо для учета неудачных попыток тестирования, в случае если тест был прерван по какой-либо причине. Это обеспечит контроль за действиями пользователей;

9) ориентация на непрограммирующих пользователей. Применение тестирующей программы не должно требовать опыта работы с другими приложениями;

10) тестирующая система должна поддерживать файлы мультимедиа (графика, видео, звук, анимация). Это необходимо для задания сложных вопросов, например, для отображения графиков, чертежей, видеороликов и т.п.

Анализ литературы позволил выявить следующие типы вопросов компьютерного контроля знаний: произвольный тип, или, ввод с клавиатуры; ввод нескольких ответов в определенной последовательности (ранжирование); ввод пропущенных частей строк или букв; выборочный тип вопроса; альтернативный тип вопроса; последовательный тип вопроса. Для эффективного контроля знаний необходимо грамотно использовать все типы вопросов.

В настоящий момент существует два способа определения результата ответа - по правильным или неправильным ответам в целом на вопрос и по существенным операциям. При выборе принципа оценки следует предполагать, что оценка по существенным операциям гибче и объективнее, так как она позволяет выявлять неполные, не совсем верные, частично ошибочные и другие подобные ответы и вычислять их в конкретных цифрах коэффициента усвоения.

Тестовая система имеет следующие важные характеристики:

­ адаптивность, т.е. способность системы приспосабливаться к изменяющимся условиям (техническим и программным средствам);

­ открытость определяется способностью системы подстраиваться под контроль конкретных учебных дисциплин;

­ стандартность системы выражается использованием функций и дизайна, применяемых в программах общего пользования;

­ унифицированность заключается в том, что на основе данной системы можно создать ей подобные.

Реализованная в процессе данного исследования система контроля знаний представляет собой автоматизированную поддержку самостоятельной работы студентов, позволяющую проводить контроль и самоконтроль уровня усвоения материала, выступать в роли тренажера при подготовке к экзаменам.

Разработанная система контроля знаний позволит решить задачу автоматизации создания тестов и процедуры тестирования, и может быть использована для контроля в процессе освоения студентами материала различных учебных дисциплин.

Список использованной литературы

1. Андреев А.Б. Компьютерное тестирование: системный подход к оценке качества знаний студентов /- М., 2001.

2. Зырянова Н.М. "О плюсах и минусах компьютерного тестирования" // Кадровый менеджмент. № 1(5), февраль 2003 г. www.begin.ru.

3. Алешин Л.И. Компьютерное тестирование студентов библиотечного факультета МГУК // http://laleshin.narod.ru/ktsbf.htm.

4. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: Автореф. д-ра пед. наук/ Санкт-Петербургский гос. Ун-т. - СПб., 2001.

5. Белоусов Е.Ф., Инюшкина Т.А., Самойлова Т.С. Опыт разработки тестовых компьютерных программ / ГОУ СПО Пензенский государственный приборостроительный колледж (ПГПК). - Пенза, 2002.

6. Алешин Л.И. Компьютерное тестирование студентов библиотечного факультета МГУК // http://laleshin.narod.ru/ktsbf.htm.

7. Поддубная Л.М., Татур А.О., Челышкова М.Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. - М.: Исследовательский центр проблем качества подготовки специалистов, 1995.

8. Андреев А.Б. Компьютерное тестирование: системный подход к оценке качества знаний студентов /- М., 2001.

9. Шмелев А.Г. Компьютеризация экзаменов: проблема защиты от фальсификаций. - М., 2002. - С. 71-73.

10. Павлова И.Н., Миронова Е.А. Применение логики вопросов и ответов при автоматизированном контроле знаний / XI Международная конференция-выставка "Информационные технологии в образовании": Сборник трудов участников конференции. Часть V. - М., 2001. - С. 47-48.

11. Балыкина Е.Н. Формирование тестовых заданий для компьютерного контроля знаний / БГУ. - Минск, 2002.

12. Майоров А.Н. Тесты школьных достижений: конструирование, проведение, использование. - СПб.: Образование и культура, 1996. - 304 с.

13. Аванесов В.С. Научные проблемы тестового контроля знаний. - М., 1994.

14. Балыкина Е.Н. Принципы конструирования тестовых заданий в контексте компьютерной реализации (на примере гуманитарных дисциплин) / Информационный Бюллетень Ассоциации "История и компьютер", № 30 Материалы VIII конференции АИК. - М., 2002. - С. 221-223.

15. Балыкина Е.Н., Липницкая О.Л., Попова Е.Э. Дидактическое обеспечение базового курса исторической информатики (основы реализации учебно-методического комплекса) // ИБ АИК, № 26/27. - М., 2000. - С. 172-194.

16. Майоров А.Н. Теория и практика создания тестов для системы образования. (Как выбирать, создавать и использовать тесты для целей образования). - М., 2001.

17. Булдыгеров А.В. Методика проведения программированного опроса / Московский университет МВД России (МУ МВД РФ). - М., 2001.

18. Шафрин Ю.А. Информационные технологии. - М.: Лаборатория Базовых Знаний, 1998.

19. Воскерчьян С.Н. Об использовании метода тестов при учёте успеваемости школьников // Советская педагогика. - 1973, № 10.

Размещено на Allbest.ru