Современные подходы к разработке тестов

К диагностике обучающихся можно свести сбор демографических данных об учащемся и его семье, о здоровье и физическом развитии ребенка, познавательных способностях (особенностях внимания, памяти, воображения, мышления), эмоционально-волевой и потребностно-мотивационной сферах, направленности личности, а также поведении, поступках учащегося. Кроме того, изучаются межличностные отношения в группе, сплоченность, общественное мнение, единство ценностей и др.

Наука предлагает большой арсенал методов диагностики, среди которых можно выделить наблюдение, анкетирование, беседы, анализ документов и творческих работ учащихся.

Важным компонентом диагностирования является контроль. Контроль - это наблюдение за процессом усвоения знаний, умений и навыков. Составной частью контроля является проверка - система действий и операций для оценки усвоения знаний, умений и навыков. Контроль обеспечивает установление обратной связи, т.е. получение сведений о результате учебной деятельности обучаемых. Обучающий выясняет, какие и в каком объеме знания усвоил обучаемый, готов ли он к восприятию новой информации. Кроме того, контроль позволяет получить сведения о характере самостоятельной учебной деятельности обучаемого и показывает обучающему, насколько его собственная работа была эффективной, удачно ли он использовал возможности педагогического процесса в учебных целях.

Контроль бывает разных видов, форм и может осуществляться с помощью разнообразных методов. В педагогической практике применяется несколько видов контроля: предварительный, текущий, периодический, тематический, итоговый и отсроченный.

Предварительный контроль, как правило, имеет диагностические задачи. Он проводится с целью выявления имеющихся знаний, умений и навыков учащихся к началу обучения. Применяется обычно в начале учебного года или перед изучением новой темы. Предварительный контроль позволяет обучающемуся выбрать наиболее эффективные методы и формы работы.

Текущий контроль осуществляется по ходу обучения и дает возможность определить степень сформированности знаний, умений и навыков, а также их глубину и прочность. Он проводится с помощью систематического наблюдения педагога за работой учащихся на всех этапах обучения.

Периодический контроль подводит итоги работы за определенный период времени, осуществляется в конце четверти (семестра).

Тематический контроль проводится после изучения темы, раздела для определения степени усвоенности данного материала.

Итоговый контроль призван определить конечные результаты обучения. Он охватывает всю систему знаний, умений, навыков по предмету.

Во время контроля получает информацию о своей учебной деятельности и сам обучаемый, что помогает ему оценить уровень своих достижений и увидеть пробелы в знаниях.

Отсроченный контроль - определение остаточных знаний, умений спустя какое-то время после изучения темы, раздела, курса (этот срок может колебаться от трех месяцев до полугода и более). Отсроченный контроль позволяет судить об эффективности процесса по конечному результату.

Контроль осуществляется в различных формах. По форме контроль подразделяется на индивидуальный, групповой и фронтальный.

При контроле используются различные методы. Методы контроля - это способы, с помощью которых определяется результативность учебно-познавательной и других видов деятельности учащихся и педагогической деятельности преподавателя. В учебном процессе в различных сочетаниях используются методы устного, письменного, практического, машинного контроля и самоконтроля.

Устный контроль осуществляется в процессе устного опроса учащихся. Он позволяет выявить знания обучаемых, проследить логику изложения ими материала, умение использовать знания для описания или объяснения процессов и происходящих событий, для выражения и доказательства своей точки зрения, опровержения неверного мнения и т.д.

Письменный контроль предполагает выполнение письменных заданий (упражнений, контрольных работ, сочинений, отчетов и т.п.) Такой метод контроля позволяет проверять знания всех обучаемых одновременно, но требует больших временных затрат на проверку письменных заданий.

Для выявления сформированности умений и навыков практической работы или двигательных навыков применяется практический контроль.

С развитием информационных технологий широкое распространение получил контроль с использованием компьютеров. Машинный контроль экономит время, с помощью контролирующих машин легко установить единые требования к измерению и оцениванию знаний. Результаты контроля легко поддаются статистической обработке. Устраняется субъективизм преподавателя при оценивании знаний. Применение данного вида контроля позволяет успешно осуществлять самоконтроль.

В последнее время все большее распространение получает тестовый контроль, основным инструментом которого является тест. Педагогическое тестирование обладает определенными преимуществами перед традиционными методами контроля: объективность, дифференцированность, эффективность.

Сочетание различных методов контроля называется комбинированным (уплотненным) контролем.

Компьютерное адаптивное тестирование

Адаптивное тестирование и его возможности

Появление адаптивного тестирования было вызвано стремлением к повышению эффективности педагогических измерений, которая, как правило, связывалась с уменьшением числа заданий, времени, стоимости тестирования, а также с повышением точности оценок учащихся. В основе адаптивного подхода лежит индивидуализация процедуры отбора заданий теста, которая за счет оптимизации трудности заданий применительно к уровню подготовленности обучаемых обеспечивает генерацию эффективных тестов.

Оптимизация трудности заданий обычно проводится пошагово. Если учащийся выполняет задание верно, то затем ему дается более трудное задание. При неправильном выполнении задания совершается отход назад к более легким заданиям банка. При невыполнении трех заданий подряд процесс останавливается и специальными методами (чаще всего с помощью теории IRT) определяется балл учащегося за выполненные задания по сформированному специально для него адаптивному тесту. Таким образом, в компьютерном адаптивном предъявлении число тестовых заданий и их трудность индивидуально подбираются для каждого экзаменующегося на основании его ответов, а индивидуальная совокупность заданий образует адаптивный тест. Адаптивные тесты в группе испытуемых состоят в основном из разных заданий и различаются по количеству и трудности заданий тем сильнее, чем больше разброс среди испытуемых тестируемой группы по подготовленности.

Получить одновременный прирост эффективности измерений по всем критериям невозможно, поэтому обычно при организации адаптивного тестирования на первый план выходит один, в лучшем случае, два критерия. Например, в одних случаях при экспресс-диагностике в адаптивном режиме наибольшее внимание уделяется минимизации времени испытания и количеству предъявляемых заданий, а вопросы точности оценок отходят на второй план. В других случаях приоритетной может быть точность измерения и тестирование каждого испытуемого продолжается до тех пор, пока не достигается запланированная минимальная ошибка измерения.

На длине адаптивного теста существенно сказывается качество структуры знаний учащихся. Обычно испытуемые с четкой структурой знаний выполняют задания нарастающей трудности, уточняя с каждым очередным верно выполненным заданием оценку подготовленности. Они выполняют небольшое число заданий адаптивного теста и быстро доходят до порога своей компетентности. Учащиеся с нечеткой структурой знаний, у которых чередуются верные и неверные ответы, получают колеблющиеся по трудности задания. Процесс тестирования затягивается, поскольку при скачкообразном изменении трудности заданий не происходит пошагового нарастания точности измерения и число заданий, адаптированных по трудности, нередко оказывается даже большим, чем в обычном, традиционном тесте.

Преимущества адаптивного тестирования

К числу важных преимуществ компьютеризованного адаптивного тестирования можно отнести:

? высокую эффективность;

? высокий уровень секретности;

? индивидуализацию темпа выполнения теста;

? высокий уровень мотивации к тестированию у наиболее слабых обучающихся за счет исключения из процесса предъявления излишне трудных заданий;

? сообщение результата в интервальной шкале тестовых баллов каждому испытуемому незамедлительно, сразу после окончания его работы над индивидуально подобранным набором заданий в адаптивном тесте.

Стратегии адаптивного тестирования

Стратегии предъявления тестовых заданий в адаптивном тестировании можно разделить на двухшаговые и многошаговые, сообразно которым используется различная технология формирования адаптивных тестов. Двухшаговая стратегия предполагает наличие двух этапов. На первом этапе всем испытуемым выдается одинаковый входной тест, цель которого - осуществление предварительной дифференциации учащихся вдоль оси переменной измерения. По результатам дифференциации на втором этапе организуется адаптивный режим и строятся адаптивные тесты.

В результате развития теории IRT, обеспечивающей единую интервальную шкалу для оценок параметров испытуемых и трудности заданий теста, появилась возможность по-новому осуществить оптимизацию процедуры отбора заданий для моделирования эффективных адаптивных тестов. Стали развиваться многошаговые стратегии адаптивного тестирования, в рамках которых в процессе выполнения наборов заданий каждый испытуемый движется по своей индивидуальной траектории.

Многошаговые стратегии адаптивного тестирования подразделяются на фиксировано-ветвящиеся и варьирующе-ветвящиеся в зависимости от того, как конструируются многошаговые адаптивные тесты. Если один и тот же набор заданий с их фиксированным расположением на оси трудности используется для всех испытуемых, но каждый учащийся движется по набору заданий индивидуальным путем в зависимости от результатов выполнения очередного задания, то стратегия адаптивного тестирования являетсяфиксировано-ветвящейся.

Задания по трудности в наборе заданий обычно располагают на равном расстоянии друг от друга или выбирают убывающий шаг сообразно нарастанию трудности, что позволяет подстроить темп тестирования под испытуемого, поскольку по мере выполнения заданий у него нарастает утомление и снижается мотивация к выполнению заданий теста.

Варьирующе-ветвящаяся стратегия адаптивного тестирования предполагает отбор заданий непосредственно из банка по определенным алгоритмам, которые прогнозируют оптимальную трудность последующего задания по результатам выполнения испытуемым предыдущего задания адаптивного теста. Таким образом, шаг за шагом из отдельных заданий получается адаптивный тест. В нем варьирует не только трудность, но и шаг, определяемый разностью трудностей двух соседних заданий адаптивного теста. Отличительной особенностью варьирующей ветвящейся стратегии адаптивного тестирования является пошаговая переоценка уровня подготовленности испытуемого, предпринимаемая после каждого выполнения очередного задания теста.

Алгоритм, реализующий варьирующую стратегию адаптивного тестирования, носит циклический характер и имеет вид, представленный на рис. 12.

Рис. 12. Алгоритм варьирующего многошагового тестирования

Вход и выход из адаптивного тестирования

Выбор начальных оценок для входа в адаптивное тестирование осуществляется по-разному, в зависимости от вида стратегии и имеющихся технологических возможностей при генерации адаптивных тестов. Один из методов определения начальных оценок основан на выдаче испытуемым перед началом адаптивного тестирования входного протеста. В претест обычно включают 5-10 заданий из различных разделов содержания, охватывающих по трудности весь диапазон предполагаемого расположения тестируемой выборки учащихся на оси переменной измерения. Иногда входное тестирование заменяют процессом самоадаптации, в котором испытуемому предлагают набор заданий возрастающей трудности. Он выполняет задание, отражающее уровень его знаний и умений.

Для выхода из режима тестирования либо вводят ограничения по времени или по числу заданий, либо задаются планируемой точностью измерений. Ориентация на точность при организации адаптивных циклов порождает многообразие индивидуальных траекторий испытуемых, которые можно визуализировать в виде ломаных линий. Вершины ломаной линии соответствуют отдельным заданиям адаптивного теста, длина звена определяется варьирующим шагом, размер которого равен разности оценок параметра трудности двух смежных заданий адаптивного теста. Очевидно, что чем меньше длина ломаной, тем лучше структура знаний учащегося и эффективнее подобраны по трудности задания адаптивного теста (рис. 13).

Рис. Визуализация индивидуальных траекторий испытуемых: в кружках - номера заданий

На рис. 1 изображены траектории адаптивного тестирования трех учащихся, начинавших свой вход в адаптивный режим по результатам выполнения претеста. Чем выше расположена вершина ломаной, тем труднее было первое задание адаптивного теста. На момент входа в претесте самый высокий результат показал первый учащийся, поэтому он начинает адаптивное тестирование с более трудного задания. Для удобства обсуждения результатов визуализации на рисунке приводятся непересекающиеся траектории. Над ломаными ставится «плюс» в тех случаях, когда испытуемый выполнил задание верно, или «минус», если испытуемый выполнил задание неверно. В качестве критерия окончания тестирования выбрано простое правило: тестирование прекращается, если учащимся подряд выполнены верно или неверно три задания адаптивного теста.

Несмотря на высокий начальный результат, первый учащийся, по-видимому, обладает плохо структурированными знаниями, что следует из чередования верных и неверных ответов. Тестирование первого ученика прекращается, если ему удается справиться с идущими подряд тремя заданиями адаптивного теста. Траектория ответов второго учащегося намного короче благодаря хорошо структурированным знаниям. После неудачи при выполнении первого задания он все делает верно и поэтому быстро заканчивает адаптивный тест. Третий учащийся самый слабый. Он начинает тестирование с наиболее легкого задания, с которым не справляется. Второе, более легкое задание он также выполняет неверно. Наконец, после трех следующих подряд неправильных ответов он выходит из адаптивного теста.

Представленный рисунок является идеализацией, иллюстрирующей реальные ситуации варьирующих многошаговых стратегий генерации адаптивных тестов, в которых после выполнения каждого задания осуществляется пересчет текущей оценки уровня подготовленности для выбора очередного задания адаптивного теста.

Надежность, валидность и длина теста при адаптивном тестировании

Так же как и при традиционном тестировании, отбор заданий в адаптивные тесты осуществляется в соответствии со спецификацией теста. Оптимизируя трудность, можно лишь уменьшить число предъявляемых заданий по каждому разделу и сохранить при этом для каждого испытуемого содержательный план теста. Таким образом, адаптивное тестирование вне зависимости от стратегии предъявления заданий и их числа должно обеспечивать высокую содержательную валидность каждого генерируемого адаптивного теста.

Надежность в адаптивном тестировании зависит от совокупности факторов. К ним относятся: число заданий, наличие систематического контроля за частотой выбора заданий банка при генерации адаптивного теста. На надежность также влияют характеристики банка тестовых заданий, связанные с качеством измерений (устойчивость и диапазон вариации оценок трудности) и качеством входного (стартового) контроля.

Адаптивный алгоритм организуется так, что после каждого очередного предъявления задания проверяется разность между полученной и запланированной точностью измерений. По достижению запланированной точности алгоритм подбора заданий приостанавливается, достигается ожидаемая надежность адаптивного теста.

Заключение

Проверка знаний и уровня сформированности - важное звено в обучении. На проверку знаний и умений возлагаются следующие задачи: обучение, воспитание и развитие учащихся.

Систематическая проверка воспитывает у учащихся ответственное отношение к учебе, позволяет выявить индивидуальные особенности учащихся и применить дифференцированный подход в обучении. Она дает более достоверную информацию о достижениях учащихся и пробелах в их подготовке, позволяет учителю управлять прессом обучения.

Систематическая проверка знаний способствует выработке у учащихся установки на длительное запоминание, на восполнение пробелов в их подготовке, на повторение и включение ранее приобретенных знаний в новую систему.

Различают текущую, тематическую и итоговую (годовую) проверку знаний и умений. Задачи обучения, воспитания и развития в наибольшей степени решаются в ходе текущей проверки. Текущая проверка выполняет не только контролирующую функцию, но и обучающую, развивающую, воспитывающую и управляющую, в то время как тематическая и итоговая проверки в основном выполняют функцию контроля и управления. Как для текущей проверки, так и для итоговой проверки используются различные формы, методы и приемы: устная, письменная (текстовая и графическая), практическая.

В данной работе доказывается важность применения тестов в процессе обучения, рассмотрев функции и роль тестов в процессе обучения.

Тесты являются наиболее экономной формой контроля и объективным показателем степени усвоения учащимися того или иного материала.

Тесты выполняют две различные функции: контролирующую и обучающую.

К контрольным относятся те тесты, основной целью которых является установить факт знания/незнания, владения/невладения тем или иным материалом и соответственно оценить его.

К тестам, выполняющим контролирующую функцию, относятся два основных вида: тесты проверяющие наличие у школьников определенного уровня коммуникативной компетенции и тесты, проверяющие овладение учащимися конкретным языковым материалом и отдельными речевыми умениями за определенный период обучения.

Преимущества и недостатки

По сравнению с другими формами контроля знаний тестирование имеет свои преимущества и недостатки.

Преимущества

Тестирование является более качественным и объективным способом оценивания, его объективность достигается путем стандартизации процедуры проведения, проверки показателей качества заданий и тестов целиком.

Тестирование -- более справедливый метод, оно ставит всех учащихся в равные условия, как в процессе контроля, так и в процессе оценки, практически исключая субъективизм преподавателя. По данным английской ассоциации NEAB, занимающейся итоговой аттестацией учащихся Великобритании, тестирование позволяет снизить количество апелляций более чем в три раза, сделать процедуру оценивания одинаковой для всех учащихся вне зависимости от места проживания, типа и вида образовательного учреждения, в котором занимаются учащиеся.

Тесты -- это более объёмный инструмент, поскольку тестирование может включать в себя задания по всем темам курса, в то время как на устный экзамен обычно выносится 2-4 темы, а на письменный -- 3-5. Это позволяет выявить знания учащегося по всему курсу, исключив элемент случайности при вытаскивании билета. При помощи тестирования можно установить уровень знаний учащегося по предмету в целом и по отдельным его разделам.

Тест -- это более точный инструмент, так, например, шкала оценивания теста из 20 вопросов, состоит из 20 делений, в то время, как обычная шкала оценки знаний -- только из четырёх.

Тестирование более эффективно с экономической точки зрения. Основные затраты при тестировании приходятся на разработку качественного инструментария, то есть имеют разовый характер. Затраты же на проведение теста значительно ниже, чем при письменном или устном контроле. Проведение тестирования и контроль результатов в группе из 30 человек занимает полтора два часа, устный или письменный экзамен -- не менее четырёх часов.

Тестирование -- это более мягкий инструмент, они ставят всех учащихся в равные условия, используя единую процедуру и единые критерии оценки, что приводит к снижению предэкзаменационных нервных напряжений.

Недостатки

Разработка качественного тестового инструментария -- длительный, трудоемкий и дорогостоящий процесс. Стандартные наборы тестов для большинства дисциплин ещё не разработаны, а разработанные обычно имеют очень низкое качество.

Данные, получаемые преподавателем в результате тестирования, хотя и включают в себя информацию о пробелах в знаниях по конкретным разделам, но не позволяют судить о причинах этих пробелов.

Тест не позволяет проверять и оценивать высокие, продуктивные уровни знаний, связанные с творчеством, то есть вероятностные, абстрактные и методологические знания.

Широта охвата тем в тестировании имеет и обратную сторону. Учащийся при тестировании, в отличие от устного или письменного экзамена, не имеет достаточно времени для сколько-нибудь глубокого анализа темы.

Обеспечение объективности и справедливости теста требует принятия специальных мер по обеспечению конфиденциальности тестовых заданий. При повторном применении теста желательно внесение в задания изменений.

В тестировании присутствует элемент случайности. Например, учащийся, не ответивший на простой вопрос, может дать правильный ответ на более сложный. Причиной этого может быть, как случайная ошибка в первом вопросе, так и угадывание ответа во втором. Это искажает результаты теста и приводит к необходимости учета вероятностной составляющей при их анализе.

Размещено на Allbest.ru