Современные образовательные технологии

В 20-е годы Центральная педологическая лаборатория МОНО под руководством педолога Е. Гурьянова разработала и выпустила в свет несколько тестов:

1. Шкала для измерения умственного развития детей.

2. Тесты для учета навыков в чтении, счете и письме.

3. Тесты коллективного испытания умственной одаренности.

Под руководством П.П. Блонского в педагогическом кабинете Академии коммунистического воспитания осуществлялась проверка шкалы Бине -- Симона, создание школьных тестов и построение собственных стандартов. В Ленинградском научно-педагогическом институте им. А.И. Герцена и Детском обследовательском институте им. А. С. Грибоедова разрабатывались тесты на одаренность и тесты школьной успешности для массовых обследований детей нормальных школ.

Однако вскоре положение кардинально изменилось. Вышедшее в 1936 году постановление ЦК ВКП(б) «О педологических извращениях в системе Наркомпросов» негативно сказалось на развитии педологии в целом и тестологии в частности. Метод тестов был признан буржуазным орудием для дискриминации учащихся и «изгнан» из советской школы.

Данные факты достаточно хорошо известны, однако, рассматривая уроки педологии, нельзя не отметить нескольких моментов, которые достаточно похожи и на нашу современную действительность.

Во-первых, в связи с бурным развитием педологии остро встал кадровый вопрос, и «когда открылись финансируемые педологические лаборатории, туда ринулось много профессионально некомпетентных людей. Неудавшиеся чиновники, учителя, физиологи, врачи стали занимать места, которые, как им казалось, не требуют специальной подготовки. Рекомендации педологов всё чаще вызывали протесты учителей».

Второй момент, который следует отметить, это увлечение педологов собственно методиками обследования, желание преимущественно заниматься изучением. «Увлечение разработкой исследовательских приемов приводило к тому, что для части педологов шлифовка и набор методов имели самодовлеющее значение. Свое призвание и главную цель они видели в изучении воспитанников с помощью разнообразных процедур. Многие из них, оправдываясь, говорили, что педологи должны изучать ребёнка, а воспитывать его обязаны педагоги. Такое разделение функций возмущало педагогов».

И третий аспект, который стоит отметить, - это незаинтересованность системы управления в объективных результатах обследований педологов. «Сами вопросы и предлагаемые ответы вызывали панику. В тестах для красноармейцев авторы ставили такие вопросы и формулировали следующие альтернативные ответы. «Кто такой Сталин'.? Анархист, коммунист, меньшевик, эсер. Кто такие белогвардейцы? Коммунисты. Контрреволюционеры. Крестьяне. Служащие... Что такое 1 Мая? Начало весны. Рабочий праздник. Траурный день. Церковный праздник... С чем борется ГПУ? С безграмотностью. С контрреволюцией. С коопераций. С революцией». Из материалов этого исследования видно, что полуграмотные, а иногда совсем неграмотные красноармейцы не знали своих вождей, не разбирались в политических и идеологических вопросах. На вопрос, кто является соглашателем, 20% ответили: Керенский, а 30% назвали Ленина».

Ситуация с тестированием в нашей школе сегодня такова, что мы имеем все шансы повторить ошибки педологов.

Так же остро стоит проблема подготовки кадров, которые могли бы участвовать в создании тестов, так же жив миф о том, что для составления тестового инструмента нет необходимости иметь специальные знания. Лучшим доказательством этому могут служить размножившиеся в невероятном количестве книги с названием «Тесты по...», большинство из которых не выдерживают критики.

Среди людей, профессионально занимающихся тестированием, есть те, кто желает поскорее сделать тесты, ввести национальные или региональные системы тестирования, не задумываясь о негативных последствиях таких шагов, считая своей задачей лишь качественную подготовку инструмента и обеспечение его использования, оставляя ответственность за последствия на управленцах, а ответственность за исправление результатов на педагогах.

Не так просто обстоит дело и с потребностью в объективной информации, какую, несомненно тестирование может дать. На первый взгляд в такой информации испытывают необходимость и учитель -- для самооценки профессиональной деятельности и оценки достижений ученика, с целью корректировки педагогических воздействий; и руководитель образовательного учреждения -- для определения стратегии развития, для оценки качества работы педагогов и корректировки многообразных управленческих решений. Испытывают острую необходимость в такой информации и руководители более высокого уровня.

Однако для достаточно большой группы педагогических работников, родителей объективная управленческая информация представляется как негативное явление. Дело здесь не только в личных качествах руководителей, ретроградстве или нежелании прогрессивных реформ. Появление и использование в практике работы образования объективной информации порождает целый ряд проблем, к решению которых могут быть не готовы не только отдельные педагоги или отдельные учреждения, но и вся система образования в целом. Например, еще до введения ЕГЭ существовали предпосылки для того, чтобы проводить объективную аттестацию учащихся, хотя «просматривались» и негативные последствия такой оценки, а именно:

· проблема неаттестованных (что делать с двоечниками - выпускать со справкой? оставлять на повторный курс обучения?);

· проблема массовых негативных психологических последствий, поскольку неполучение документа об образовании, как правило, рассматривается как личная трагедия и учеником, и родителями, и педагогом;

· проблема выпускников сельских образовательных учреждений, которые при объективной аттестации будут иметь оценки гораздо ниже, чем сейчас, и для которых практически закроются возможности получения высшего образования.

6.2 Методика конструирования педагогических тестов

Для эффективного использования тестовых технологий в образовании необходимо иметь четкие представления о понятийной, целевой и технической процедурах применения тестов в учебном процессе. Сложность рассмотрения исходных понятий обусловлена, с одной стороны, неоднозначностью в определении основных понятий, даваемых теоретиками, а с другой -- различием в подходах к контролю знаний теоретиками и практиками. Это приводит к тому, что само понятие «тест» имеет множество толкований. Процесс совершенствования понятийного аппарата тестовых технологий очевидно должен идти по пути систематизации множества определений и приведения их в соответствие с решением вопроса классификации педагогических тестов. Магистральное направление развития систем тестирования и повышения степени объективности использования тестовых технологий связано с проведением стандартизации педагогических измерений', которая включает:

1) стандартизацию методов педагогических измерений и теоретических положений, являющихся основой тестовых технологий;

2) стандартизацию основных характеристик и средств оценки результатов тестирования;

3) стандартизацию процедуры и условий проведения педагогических измерений;

4) стандартизацию определения и интерпретацию результатов.

Необходимость создания четкого понятийного фундамента для разработки тестов не всегда понятна преподавателям-практикам. Часто любой набор заданий ассоциируется с тестом. Используемые на практике тесты чаще всего на самом деле являются псевдотестами. Для тестов существует научно обоснованные критерии качества на точность, объективность оценок учебных достижений учащихся. Нарушение этих критериев в псевдотестах искажает реальную картину уровня знаний учащихся. При использовании тестов необходимо знать о разночтении в понимании и применении тестов. Поэтому использование готовых тестов должно быть критическим, с пониманием принципов конструирования тестов и их применения.

Допустим, что применение тестов позволяет:

1) измерить уровень усвоения ключевых понятий и разделов учебной программы, на проверку совокупности умений и навыков;

2) проверить по сравнению с обычными формами проверки значительно больший объем усвоенных знаний;

3) дать более объективную оценку знаниям учащихся по сравнению с существующей в практике трехбалльной системой оценок знаний;

4) снизить затраты на проведение экзаменов с использованием тестов по сравнению с традиционной формой.

Существуют различные определения понятия теста, отличающиеся друг от друга, но все они содержат констатацию способности теста устанавливать количественные и качественные индивидуально-психологические особенности личности. Одно из наиболее емких определений теста приведено в работе Майорова [2000].

Тест -- это инструмент, состоящий из квалиметрически выверенной системы тестовых заданий, стандартизованной процедуры проведения и заранее спроектированной технологии обработки и анализа результатов. Он предназначен для измерения качеств и свойств личности, что возможно в процессе систематического обучения.

Тест содержит в себе три составляющие:

* систему специально подобранных заданий с возрастающей степенью сложности;

* набор предлагаемых вариантов ответов, содержащих наряду с правильными ряд неправильных ответов -- дистракторов;

* отработанную систему проверки, обработки и анализа результатов тестовых испытаний.

Тест содержит специально подготовленный и испытанный набор заданий, дающий возможность объективно и надежно оценить исследуемые качества и свойства на основе использования методов математической статистики. Это позволяет тесту осуществлять значительно более качественным и объективным способом оценку учебных достижений. Объективность тестирования достигается путем стандартизации процедуры тестирования, исключая возможность субъективной оценки знаний.

Тестовые показатели ориентированы на измерения уровня усвоения ключевых понятий и разделов учебной программы, на проверку совокупности умений и навыков. Тесты позволяют по сравнению с обычными формами контроля проверить значительно больший объем усвоенных знаний. При этом интервал оценивания учебных достижений в тестах значительно превышает традиционную трехбалльную систему оценки знаний, что позволяет более адекватно определить уровень знаний учащихся.

Приступая к тестированию, необходимо сформулировать цели, которые оно преследует, выбрать соответствующие критерии достижения этих целей, а также подходы и области применения планируемых тестов.

Процесс создания тестов можно разбить на ряд этапов:

1. Анализ содержания учебной дисциплины, систематизация материала, выделение функциональной и логической структур, информационное насыщение изучаемого раздела учебной дисциплины.

2. Составление целей и задач предмета изучения и форм педагогического контроля изучаемой дисциплины.

3. Отбор материала, подлежащего тестированию.

4. Определение целей тестирования, выбор тестов и методик его создания.

5. Разработка спецификации теста, его объема и времени выполнения.

6. Конструирование технологической матрицы и ее экспертиза.

7. Разработка тестовых заданий.

8. Отбор тестовых заданий и их ранжировка в соответствии с поставленными учебными задачами.

9. Экспертиза содержания и формы предтестовых заданий и соответствующая корректировка.

10. Определение содержания тестовых заданий, длины и времени теста в зависимости от предтестовых заданий в соответствии с целями и задачами изучаемого материала.

11. Разработка методики тестирования.

12. Определение и расчет показателей качества предтестовых заданий и тестов.

13. Разработка инструкций для учеников и преподавателей.

14. Апробации теста.

15. Корректировка и добавление новых заданий для улучшения си-стемообразующих параметров теста на основании результатов апробации.

16. Составление окончательного варианта теста.

17. Стандартизация и нормирование теста, подготовка окончательного варианта теста.

18. Выполнение теста и статистическая обработка результатов тестирования.

19. Корректировка теста в целях улучшения его качества.

Тесты многообразны по своему назначению. В настоящее время сложилось два обобщающих подхода к оценке тестов: критериально-ориентированный и нормативно-ориентированный. В работе B.C. Аванесова [1995] показано, что критериально-ориентированные тесты предполагают выполнение следующей последовательности: задание - ответы -- выводы преподавателя о соответствии испытуемого заданному критерию; в то время как для нормативно-ориентированных тестов предлагается следующая последовательность: задания -- ответы -- выводы о знаниях испытуемого, показывающие его место в группе испытуемых (рейтинг). В работе Н. Гронлунда [1982] приводится суммарное сравнение двух основных подходов к тестированию по достигнутым результатам.

Рассмотрим их наиболее существенные отличия. Тестирование на основе нормы является обзорным тестированием и применяется для оценки и сравнения индивидуальных результатов с результатами других испытуемых. Тестирование на основе критерия оценивает степень владения материалом и предназначено для сравнения результатов испытуемых с четко определенной областью учебных достижений.

К настоящему времени сложилась практика организации различных видов тестирования, требующая применения разных тестов в зависимости от предполагаемых целей тестирования. В отечественной и иностранной литературе нет единого мнения о том, по какому признаку проводить классификацию тестов. Тесты классифицируются по целому ряду признаков, например, по процедуре создания, по средствам проявления, по направленности, по характеру действий, по целям использования. По нашему мнению, с точки зрения материальных и временных затрат на создание таких тестов, наиболее эффективна классификация тестов по целям использования, так как принципы и механизмы разработки для всех видов тестов одинаковы.

Тесты можно классифицировать по следующим основаниям:

1. По целям использования выделяют:

1) определяющий тест (предтест) и входной тест, предназначенные для тестирования перед началом обучения (предварительное тестирование);

2) формирующий тест, необходимый для регистрации результатов обучения;

3) диагностический тест, определяющий трудности обучения в процессе образовательной деятельности;

4) суммирующий тест основных достижений в конце процесса обучения.

Предварительное тестирование необходимо для оценки начальных способностей и затрагивает минимальный объем фундаментальных знаний. Оно осуществляется тестами, которые делятся на определяющий тест, основанный на критериально-ориентированном подходе, и входной тест, основанный на нормативно-ориентированном подходе.

Формирующий тест предназначен для контроля за знаниями учащихся в ходе самого образовательного процесса и основан на критериально-ориентированном подходе. Этот вид тестирования ставит своей целью оценку степени владения материалом, обеспечивая в ходе обучения обратную связь по корректировке и исправлению ошибок, допущенных учащимися.

В процессе обучения часто проводят диагностический тест, ставящий своей целью определение трудностей усвоения знаний. Диагностический тест имеет, как правило, специфический подход.

Суммирующий тест позволяет оценить результаты обучения в конце учебного процесса; он основан как на нормативно-ориентированном, так и на критериально-ориентированном подходах.

Принципы и механизмы разработки одинаковы для всех видов этих тестов, но содержимое материала, включённого в тест, и степень сложности вопросов должны соответствовать целям тестирования.

Предварительный определяющий тест предназначен для оценки начальных способностей, обычно является несложным и охватывает очень небольшой диапазон знаний. Он может затрагивать минимум базовых знаний по теме обучения или другой ограниченный набор требуемых знаний. Он практически не отличается от суммирующего теста, даваемого в конце курса или раздела обучения.

Формирующий тест, используемый для контроля за прогрессом обучения, затрагивает ограниченный сегмент обучения, например, раздел или главу. С его помощью делается попытка оценить все важные результаты изучения данного сегмента. Акцент делается на оценке степени владения материалом и обеспечения обратной связи со студентом по корректировке отдельных ошибок в тех областях, где он не достиг успехов. Таким образом, формирующий тест состоит из серии отдельных тестовых вопросов, всесторонне охватывающих ограниченную область обучения. Он разрабатывается так, чтобы дать ученику конкретные инструкции для исправления обнаруженных в результате теста ошибок. Данные теста являются обучающими, они обычно менее сложны, чем суммирующие тесты, даваемые в конце процесса обучения.

Диагностический тест содержит относительно большое число вопросов, имеющих отношение к конкретной тестируемой области. Поскольку целью теста является определение трудностей обучения, внимание сосредоточивается на ответах учащихся на конкретный вопрос или группу вопросов, общий балл имеет второстепенное значение. Этот тест обычно больше фокусируется на распространённых ошибках учащихся, чем на попытке широкого отбора ожидаемых результатов обучения. В связи с тем, что тесты данного типа разработаны для тех учеников, у которых есть проблемы в обучении, они обычно имеют очень невысокий уровень сложности.

Суммирующий тест разрабатывается для оценки широкого диапазона результатов обучения, ожидаемого в конце учебного процесса. Сложность и представительность выборки являются важными аспектами данного теста, так как его результаты используются для простановки баллов и определения степени достижения задач курса обучения. Для того чтобы адекватно отобрать все ожидаемые результаты обучения, суммирующий тест обычно содержит вопросы более высокого уровня сложности, чем другие виды тестов.

Для нужд мониторинга можно использовать три из приведённых вида тестов. Если нас интересует динамика подготовленности учащихся на начальном этапе обучения, мы должны использовать определяющие тесты; если нас интересуют трудности в обучении, то мы будем использовать диагностические тесты; а если (и это наиболее вероятно и часто используемо) наш интерес состоит в оценке результатов обучения, мы применяем суммирующие тесты.

Необходимо подчеркнуть тот факт, что каждый из этих видов тестов имеет свои особенности.

Использование одних тестов вместо других может привести к негативным последствиям.

2. По процедуре создания могут быть выделены стандартизированные и нестандартизированные тесты.

Стандартизируются процедура и условия проведения тестирования, способы обработки и интерпретации результатов, которые должны привести к созданию равных условий для испытуемых и минимизировать случайные ошибки и погрешности как на этапе проведения, так и на этапе обработки результатов и интерпретации данных.

В образовании можно выделить ряд задач, которые могут быть решены нестандартизированными тестами. Однако для целей мониторинга необходимо использовать только стандартизированный тестовый инструмент.

3. По средствам предъявления существуют тесты:

· с использованием тестовых тетрадей, в которых находятся тестовые задания и в которых испытуемый фиксирует результаты;

· бланковые, когда испытуемые отмечают или вписывают правильные ответы (фиксируют ответы) на специальных бланках. Бланки предъявляются отдельно от заданий;

· компьютерные.

Каждый из способов предъявления имеет свои плюсы и минусы. Например, компьютерные очень быстрые, однако они провоцируют случайные ошибки и не оставляют исходных результатов на случай апелляции, что ограничивает их применение для аттестации учащихся. Бланковые позволяют экономить на бумаге, удобны для пересылки, дают возможность сканирования для обработки результатов, но также не оставляют исходных результатов. Наиболее качественные результаты могут быть получены с использованием тестовых тетрадей, но при этом возникают проблемы ввода результатов для обработки в компьютер и необходимости дополнительных расходов на печать самих тетрадей.

Для мониторинга подходит любой из этих способов, но нужно помнить об одном - предъявляя один и тот же тест в разных формах, мы получим разные результаты. Нельзя сравнивать результаты тестирования, полученные при разных способах предъявления.

4. По ведущей ориентации выделяются

· тесты скорости; они содержат простые задачи, но время решения ограничено настолько, что ни один испытуемый не успевает решить за отведённое время все задачи;

· тесты мощности или результативности включают трудные задачи; время их решения либо вовсе не ограничено, либо мягко лимитировано, оценке подлежат успешность и способ решения задачи (примером такого рода тестовых заданий могут быть задания для письменных итоговых экзаменов за курс основной школы);

· смешанные тесты, которые объединяют в себе черты двух вышеперечисленных; в них представлены задачи различного уровня сложности, от самых простых до очень сложных (время испытания в данном случае ограничено, но достаточно для решения большинства предлагаемых задач большинством обследуемых, а оценкой служат как скорость выполнения заданий, то есть количество выполненных заданий, так и правильность решения).

Эти тесты наиболее часто применяются на практике и именно к ним относится большинство тестов учебных достижений, которые можно использовать для нужд мониторинга.

4. По виду нормирования:

· тесты, ориентированные на статистические нормы. Основанием для сравнения в них служат соответствующим образом обоснованные, статистически полученные значения выполнения данного теста репрезентативной выборкой испытуемых;

· критериально-ориентированные тесты. Они предназначены для определения уровня индивидуальных достижений испытуемого относительно заданного критерия, существующего в реальной практике и заранее известного: уровня знаний, умений, навыков, необходимых для какого-либо вида деятельности;

· ненормированные.

Этапы разработки тестов учебных достижений

Общий полный перечень этапов создания тестового инструментария может быть представлен следующим списком:

1. Определение целей тестирования.

2. Определение ресурсных возможностей разработчиков.

3. Отбор содержания учебного материала.

4. Конструирование технологической матрицы.

5. Составление тестовых заданий.

6. Построение выборки для апробации заданий и тестов.

7. Компоновка заданий для апробации.

8. Апробация тестовых заданий.

9. Определение и расчёт показателей качества тестовых заданий.

10. Отбраковка заданий и составление теста.

11. Апробация теста.

12. Определение и расчёт показателей качества теста.

13. Составление окончательного варианта теста.

14. Стандартизация теста.

15. Нормирование теста.

16. Оснащение теста.

Этот список полный, поскольку в нём представлены все этапы создания тестов и общий, поскольку подходит для создания большинства видов тестов.

Создание теста начинается с определения целей тестирования. Конечно, для тестов, которые предполагается использовать для сравнения результатов между несколькими классами одного образовательного учреждения, и тестами, предназначенными для итоговой аттестации учащихся, существует значительная разница.

6.3 Требования к тестам

Выяснив цели составления тестов, уточнив подходы и выбрав уровень использования, разработчик определяет необходимые этапы создания тестового инструментария. После этого необходимо отобрать содержание образования, то есть составить модель объекта педагогического тестирования. Она может быть представлена в виде технологической матрицы. Технологическая матрица задаёт содержание, которое будет отобрано для проверки, и важность того или иного элемента содержания. Она может содержать уровни достижений, которые будут проверены, их соотношение, соответствие стандарту и некоторые другие компоненты.

Для тестов, ориентированных на критерии (критериально-ориентированных), отбор содержания теста является самым важным этапом создания, так как для принятия решения о достижении данной цели обучения, например стандарта, необходимо достаточно точно и полно описать содержание стандарта и выразить его представительной совокупностью заданий. Поэтому главной проблемой в разработке тестов, используемых для оценки достижения образовательных стандартов, является соотношение содержания стандарта и содержания теста.

В самом общем виде тестовые задания должны:

· быть составлены с учётом соответствующих правил;

· соответствовать содержанию учебного материала;

· быть проверены на практике (апробированы);

· иметь рассчитанные показатели качества - сложность и дискриминативность;

· быть максимально разнообразными по форме.

Несмотря на многообразие видов заданий, все они могут быть сведены к нескольким типам или их сочетанию. Например, задача с переструктурированием данных может быть представлена как совокупность задач последовательности и соответствия; задания на нахождение ошибок - как частный случай заданий на исключение лишнего и так далее.

С точки зрения разработчика, минимальные требования к тестовому заданию заключаются в наличии трёх частей:

1. Инструкции.

2. Текста задания (вопроса).

3. Правильного ответа.

Инструкция должна указывать на то, что должен сделать испытуемый, каким образом выполнять задание, где и как делать пометки и записи, описывать то, что ученик должен сделать руками. Например:

- «ответ запишите в рамку, которая находится ниже задания. Для промежуточных вычислений используйте место слева от вопроса...»;

- «в третьем столбце над строчками впишите цифры, соответствующие понятиям, обозначенным буквами в этой же строке...»;

- «используя калькулятор, проведите вычисления, ответ запишите в бланке в строке 4...» и т.д.

В тестах допускается делать одну инструкцию для группы однотипных заданий и помещать её в начале данной группы заданий. Для проверки того, как испытуемые поняли инструкцию, желательно снабдить её несколькими примерами, которые разбираются вместе с проводящим тестирование.

Текст задания или вопроса представляет собой содержательное наполнение задания.

Правильный ответ - обязательный атрибут любого тестового задания. Без него задание, за исключением, пожалуй, самых тривиальных, теряет смысл, поскольку не может быть точно проанализировано и оценено с учётом авторского замысла.

Перечисленные части тестового задания являются минимально необходимыми для составления тестов.

Кроме того, составителям тестовых заданий целесообразно указывать:

· - возраст(класс), на который рассчитано задание;

· тему (предмет или предметную область, в соответствии с технологической матрицей);

· предполагаемое автором время выполнения задания;

· сроки предъявления (календарные сроки, поскольку одно и то же задание, будучи предъявленным, например, в октябре и феврале, даст разные результаты и соответственно должно иметь разные характеристики);

· предполагаемую статистическую сложность;

· уровень, который соответствует данному заданию, или умения, которые оно выясняет;

· соответствие стандарту или программному материалу;

· данные составителя;

· возможные варианты невербальной поддержки;

· некоторые другие сведения, содержание которых определяется, как правило, специфическими целями создания данного инструмента.

Как правило, для составителей заданий готовятся специальные бланки, в которых формализуется требуемая информация.

Существует основное требование к тестовым заданиям:

Тестовое задание должно иметь однозначный правильный ответ.

Данное правило требует пояснения. Часто понятие однозначности ответа трактуется как требование единственности или наличия предполагаемого образца. В данном случае однозначность понимается как возможность любого пользователя на основе сравнения ответа учащегося и правильного ответа, предложенного разработчиком, сделать однозначный вывод о том, выполнил данный ученик это задание верно или нет. Поэтому правильный ответ разработчика может заключаться не только в эталонном ответе, но и в описании схемы анализа, содержать конструкции «и, ... и», «...или...», описывать вариант неправильного ответа, считая все остальные правильным.

Все формулировки ожидаемых ответов должны быть предельно ясными и недвусмысленными, чтобы при оценивании у проверяющего не могло возникнуть сомнения в правильности засчитываемого ответа.

Существует два типа заданий, которые объединяют пять видов. К этим видам может быть сведено всё многообразие существующих заданий без ущерба для их качества.

К заданиям закрытого типа относят задания трёх видов: альтернативных ответов, множественного выбора и восстановления соответствия.

Тестовые задания закрытого типа предусматривают различные варианты ответа на поставленный вопрос: из ряда предлагаемых выбирается один (или несколько) правильный ответ, выбираются правильные (или неправильные) элементы списка и др. Это задания с предписанными ответами, что предполагает наличие предварительно разработанных вариантов ответа на заданный вопрос.

1. Задания альтернативных ответов (АО).

К каждой задаче этого вида даётся только два варианта ответов. Испытуемый должен выбрать один из них - «да» или «нет», «правильно» или «неправильно» и пр.

Форма задания:

утверждение 1 да нет

утверждение 2 да нет

утверждение 3 да нет

утверждение 4 да нет и т.д.

Инструкция для заданий альтернативных ответов: обведите кружком вариант ответа «да» или «нет», который вы считаете правильным.

Задания АО являются самыми простыми, но не самыми распространёнными при составлении тестов. Это связано в основном со специфичностью того материала, которому в большей степени соответствует форма заданий. Задания альтернативных ответов применяются для оценки одного элемента знаний. Их использование в виде отдельного вопроса приводит, как правило, к тривиальному тестированию и применяется достаточно редко. Эта форма целесообразна для использования в серии, когда для одного элемента знания задаётся несколько вопросов. В такой форме задания альтернативных ответов в большей степени подходят для выявления уровня овладения сложными определениями, знания достаточно сложных графиков, диаграмм, схем и т.д.

2. Задания множественного выбора. Это основной вид заданий, применяемый в тестах достижений.

Задачи с множественным выбором предполагают наличие вариативности в выборе. Они состоят из двух частей: формулировки задания и вариантов ответов. Испытуемый должен выбрать один из предложенных вариантов, среди которых чаще всего только один правильный. Однако задачи формулируются так, чтобы в них было не менее 3 правдоподобных, похожих на правильные ответов. Именно этим обеспечивается независимость результатов от случайного выбора.

Форма представления заданий:

Вопрос (утверждение):

А. Вариант ответа 1.

В. Вариант ответа 2.

С. Вариант ответа 3.

D. Вариант ответа 4.

Е. Вариант ответа 5.

Инструкция для заданий множественного выбора: обведите кружком букву, соответствующую варианту правильного ответа.

3. Задания на восстановление соответствия.

В задачах соответствия (восстановления соответствия) необходимо найти или приравнять части, элементы, понятия конструкциям, фигурам, утверждениям; восстановить соответствие между элементами двух списков. К этому же типу следует отнести и задания, в которых требуется восстановить порядок ряда, упорядочить. Предложенные элементы задания могут рассматриваться как частный случай заданий на восстановление соответствия, в которых только один ряд. Данный вид заданий имеет достаточно много модификаций, от которых зависят инструкции. Наиболее распространённой формой ответа, которая реально применяется педагогами, особенно в начальной школе, является вариант с использованием стрелочек: нарисуйте стрелочки от элементов первого списка ко второму, соедините стрелками соответствующие понятия и т.д. Сам по себе способ с использованием стрелочек вполне правомерен, однако он имеет два существенных недостатка: первый - сложность проверки, особенно когда необходимо проверить большое количество работ; и второй - опасность того, что ученики, привыкнув к рассматриваемому способу и встретив в дальнейшем классическую форму задания, воспримут её как неизвестную, что может снизить их результаты. Форма представления:

Ряд 1

Ряд 2

Место для ответов 1. А _____ 2. В _____ 3. С _____ 4. О

Инструкция: «в графу для ответов впишите цифры ряда 1, соответствующие ряду 2».

Задания открытого типа.

К ним относятся задания двух видов: - свободного изложения (свободного конструирования) и дополнения. Первый вид предполагает свободные ответы испытуемых по сути задания. Ограничения на ответы не накладываются, однако формулировки заданий должны обеспечивать наличие только одного правильного ответа. В заданиях-дополнениях (задачах с ограничением на ответы) испытуемые также должны самостоятельно давать ответы на вопросы, однако их возможности ограничены. Ограничения обеспечивают объективность оценивания результата выполнения задания, а формулировка ответа должна дать возможность однозначного оценивания.

Инструкция для заданий дополнения: вместо каждого многоточия впишите только одно слово (символ, знак и т.д.); вместо многоточия впишите нужное слово; выпишите на бланк слова, которые пропущены в тексте; вместо многоточия впишите нужный символ; запишите ответ в отведённое место, то есть один пропуск подразумевает одно слово (знак, символ, выражение).

Инструкция для заданий свободного изложения: закончите предложение (фразу), впишите вместо многоточия правильный ответ; дополните определение, записывая ответ в бланке, и т.д., то есть вместо многоточия можно вписать словосочетание, фразу, предложение или даже несколько предложений.

Выполнение основного требования для заданий дополнения не представляется сложным, правильным ответом будет то самое выражение, слово и т.д., которое необходимо вписать испытуемому. Для заданий свободного изложения выполнение основного требования к тестовым заданиям сложнее. Для этого необходимо формализовать сам ответ.

В том случае, когда результатом выполнения задания служат цифровые выражения, структура фразы подразумевает два-три однозначных слова. Для других случаев возможно: а) выделить в ответе ключевое слово или фразу и в зависимости от их наличия оценивать ответ как правильный или неправильный; б) выделить несколько смысловых, фиксируемых элементов и ранжировать на их основе правильные ответы. Например, «ответ на данный вопрос оценивается двумя баллами, если он содержит слова «геологической» и «организмами»; если он содержит одно из этих слов, то - одним баллом; во всех остальных случаях задание считается невыполненным»; в) если предложенные варианты на подходят, использовать для задания иную форму.

Специфические требования к заданиям открытого типа:

· использовать не более трёх пропусков подряд, лучше один-два;

· дополнять наиболее важное понятие, определение, знание которого нужно проверить;

· дополнения лучше ставить в конце предложения.

Достаточно часто в тестах достижений можно найти попытки использования специфичных заданий, специально разработанных психологами для тестов интеллекта. Это в основном три вида заданий: аналогии, классификации и исключения лишнего.

Их особенность заключается в том, что результат выполнения зависит не только от знания предметного содержания задания, но и от той интеллектуальной операции, выполнение которой предполагает данное задание. Как говорят психологи, эти задания нагружены разными факторами, один из которых - собственно результаты обучения, а другой отражает личностные особенности испытуемого. Поэтому использовать их в тестах нужно очень аккуратно, а лучше вообще отказаться в пользу нейтральных форм заданий. По форме это могут быть задания как открытого, так и закрытого типа.

Рассмотрим специфику каждого из этих трёх видов заданий.

Задания «аналогии».

Форма представления: А так относится к В, как С относится к ...?

Задания аналогии имеют сокращённую форму записи, которая применяется тогда, когда задания представлены серией и нет необходимости повторять инструкции для каждого задания: А:В=С:?

Задания исключения.

В таких заданиях испытуемому предъявляется список объектов, слов, фигур, чисел и т.д. - всего, что только может придумать разработчик тестов. Испытуемый должен найти общие закономерности отношения между элементами списка и на их основании сделать заключение о подобии или различии предложенных объектов. Очевидно, что при этом необходимо выявление отношений и связей.

Задания «последовательности».

В них от учащегося требуется продолжить ряд, добавить элемент ряда в начало или середину. Наиболее известные задания этого типа - числовые последовательности.

Для правильного составления тестовых заданий важно соблюдать следующие требования:

· вопрос должен содержать одну законченную мысль;

· при составлении вопросов следует особенно внимательно использовать слова «иногда», «часто», «всегда», «все», «никогда», которые, с одной стороны, сами по себе содержат неопределённость и могут пониматься субъективно, что может приводить к ошибочным ответам, а с другой стороны, дают возможность учащимся догадываться о правильном ответе;

· вопрос должен формулироваться чётко, избегая слов «большой», «небольшой», «малый», «много», «мало», «меньше», «больше» и т.д.;

· чаще использовать количественные термины;

· избегать вводных фраз или предложений, имеющих мало связи с основной мыслью; не следует прибегать к пространным утверждениям, так как они приводят к правильному ответу, даже если учащийся его не знает;

· число ответов «да» и «нет» в тесте должно быть приблизительно равным, что исключает тенденцию отвечать одинаково на все вопросы;

· не следует задавать вопросы с подвохом (скорее всего, в заблуждение будут введены наиболее способные или осведомлённые учащиеся, которые знают достаточно много для того, чтобы попасться в ловушку. Кроме того, это противоречит цели - определению уровня знаний и понимания);

· лучше использовать один вариант правильного ответа, и если инструкция требует выбрать правильный ответ, то таковым должен быть только один. В противном случае в инструкции необходимо указать, что правильных ответов несколько;

· все варианты ответов должны быть грамматически согласованы с основной частью задания;

· неправильные ответы должны быть разумны, умело подобраны, не должно быть явных неточностей;

· как можно реже использовать отрицание в основной части, особенно - многократно в одном предложении. С одной стороны, это приводит к противоречиям при чтении задания, с другой - отрицательные знания не так важны, как позитивные;

· ответ на поставленный вопрос не должен зависеть от предыдущих ответов;

· место правильного ответа должно быть определено таким образом, чтобы оно не повторялось от вопроса к вопросу, не было закономерным, а давалось в случайном порядке;

· правильные и неправильные ответы должны быть однозначны по содержанию, структуре и общему количеству слов;

· если ставится вопрос количественного характера, то ответы к нему должны располагаться упорядоченно от меньшего к большему или наоборот;

· лучше не использовать варианты ответов «ни на один из перечисленных» и «все перечисленные». Применение первого целесообразно, когда существует недвусмысленный правильный ответ. Второй приводит к допустимости подбора вариантов с низкой дискриминативностью, поскольку разработчик знает, что все ответы правильные;

· лучше использовать длинный вопрос и короткий ответ. В противоположной ситуации на прочтение ответов уходит больше времени и больше сил тратится на анализ высказываний. Это противоречит поставленной в данном случае цели - выявлению усвоенных учащимся заданий.

После того как задания будут составлены, необходимо их упорядочить. Для этого существуют определенные правила (по П. Клайну):

1. Составьте базу данных для заданий, при этом представьте каждую задачу на отдельном листе, предусмотрев место для занесения экспертных оценок, времени, необходимого для её выполнения, уровня сложности и прочих характеризующих её данных.

2. Проверьте содержание и формулировку задач во взаимосвязи друг с другом.

3. Располагайте задания каждого типа вместе. Инструкцию и пояснения необходимо давать один раз для каждой группы заданий. Это даёт возможность испытуемым приспособиться к данному типу заданий.

4. Располагайте задания в порядке возрастания предполагаемой трудности. Это предотвратит случаи, когда слишком старательный испытуемый тратит всё своё время (или большую его часть) на задания, которые он не может решить, и таким образом лишает себя возможности выполнить другие, по которым он мог бы получить баллы, а в результате все формы анализа заданий будут неточными. При апробации теста бывает полезно включить в инструкцию пункт о том, что если испытуемому не удаётся справиться с заданием, его необходимо пропустить, а после окончания работы, если останется время, вернуться к вызвавшему трудность заданию.

5. Не комплектуйте вместе такое количество заданий, для выполнения которых среднему испытуемому потребуется более получаса - для детей начальной школы; для старшеклассников - более часа (примерно столько длится период сосредоточения у детей.) Если существует необходимость выполнения заданий большей продолжительности, технология проведения должна предусматривать перерыв. Необходимо отметить, что время появления утомления во многом зависит от мотивации (при этом слишком высокая и слишком низкая мотивация быстрее вызывают утомление), разнообразия» материалов тестирования, способа проведения, эмоциональной подготовленности учеников.

6. При конструировании бланковых тестов лучше размещать задачи на листах брошюры так, чтобы они были пространственно разнесены и легко воспринимались. Задания и варианты ответов к ним должны располагаться на одной странице.

7. Важные части инструкции должны быть подчёркнуты или выделены особым шрифтом. Сделайте бланки ответов. Размножьте брошюры и бланки. Можно считать, что для проведения апробации всё готово, за исключением одного - необходимо выбрать контингент, на котором будет испытан тест. Правила построения выборки мы обсуждали в предыдущей главе. Для профессиональной работы необходимо обратиться к одному из изданий, приведённых в конце книги.

6.4 Проверка трудности задач

Важным шагом в конструировании теста является проверка трудности предложенных задач. Для этого необходимо провести предварительное тестирование экспериментальной группы (выборки). После того, как определён состав выборки, испытуемым предлагается решить составленные задачи. Полученные ответы анализируются с целью установления трудности, обоснованности и дискриминативности каждого вопроса, пригодности каждого варианта ответов. Результатом анализа становится отбор и корректировка задач, а также их перераспределение внутри теста.

Трудность задачи является важнейшей характеристикой, определяющей её место в тесте. Трудность может быть субъективной и статистической.

Субъективная трудность задачи связана с индивидуально-психологическим барьером учащихся. В психологии величина этого барьера определяется различными факторами, в том числе:

1. Условиями решения задачи (временем, отведённым на решение, понятностью инструкции т.п.).

2. Уровнем формирования необходимых для решения знаний, умений и навыков.

3. Состояние испытуемого и т.д.

Для снижения влияния перечисленных факторов определяется стандартная форма процедуры тестирования.

В большинстве случаев для тестов достижений достаточно учитывать только правильность решения задач и меньше внимания уделять способу решения, характеру затруднений, энергетическим затратам испытуемого. В связи с этим определяется и используется статистическая трудность задач.

Статистическая трудность определяется долями решивших и не решивших задачу в выборке. Например, если задачу решили только 20% участников тестирования, то её можно оценить как трудную для данной выборки, если 80% - как лёгкую. При этом значимым является только факт выполнения или невыполнения задания, причины неудач не рассматриваются.

Статистическая трудность позволяет определить место задачи в тесте. Так, если задачу решает большинство испытуемых, то её, как лёгкую, помещают в начале; в том случае, когда с задачей справляется незначительный процент испытуемых, то её, как трудную, помещают в конце теста. Самые лёгкие задачи (одну-две) выносят перед основными задачами теста и используют в качестве примеров. Итогом распределения задач по степени их трудности должна стать «лестница» усложняющихся задач, каждая ступень которой представлена процентом испытуемых, решивших соответствующую задачу.

В тестах достижений трудности задач лучше всего определять в условиях «мягкого» лимита времени или совсем без его ограничения, фиксируя правильность и время решения.

Если трудность задания нормативно-ориентированного теста составляет меньше 20 или больше 80%, то его необходимо переработать или отбраковать. Для тестов, ориентированных на критерий, значение трудности не так существенно.

Определение дискриминативности (дифференцирующей способности) заданий

Дискриминативность задач определяется как способность отделять испытуемых с высоким общим баллом по тесту от тех, кто получил низкий балл, или испытуемых с высокой продуктивностью учебной деятельности от испытуемых с низкой продуктивностью. Дискриминативность обозначает различительную способность задачи.

Для ее определения могут применяться коэффициент и индекс дискриминации, формула Фергюссона.

Самый простой и наглядный способ вычисления дискриминативности - применение метода крайних групп, когда при расчете учитываются результаты учащихся, наиболее и наименее успешно справившихся со всем тестом. Как правило, берут по 27% лучших и худших по результатам выполнения всего теста. Индекс дискриминации вычисляется как разность долей испытуемых из высокопродуктивной и низкопродуктивной групп, правильно

Если ученики, лучше справившиеся со всем тестом, задание выполняют хуже или так же, как ученики, справившиеся со всем тестом плохо, дискриминативность признается неудовлетворительной. Это означает, что задание имеет существенные изъяны.

Типичными недостатками задач, оказывавшихся непригодными, являются:

1. Излишняя сложность, запутанность формулировки.

2. Неоднозначность условия.

3. Очевидность решения.

4. Зависимость результата от памяти или от других индивидуальных особенностей испытуемого, а не от уровня развития тех умений и навыков, для оценки которых разрабатывается тест (кроме заданий, где необходима именно работа памяти).

5. Абсурдность, нереальность вариантов ответов.

6. Появление двух и более правильных ответов, не оговоренное в условии.

Таким образом, дискриминативность ставит заслон некачественным заданиям.

Определение дискриминативности обязательно для тестов, использующихся для отбора учащихся, вступительных экзаменов, итоговой аттестации.

6.5 Показатели качества тестов

Требования к тестам как измерительному инструменту содержат требования к расчету показателей качеств тестов и требования к их оснащению.

Надежность

Надежность теста является одним из критериев его качества и показывает, насколько точно измеряет данный тест изучаемое явление, его «помехоустойчивость». Она, как правило, определяется после проведения анализа задач и составления окончательной формы теста.

Надёжность характеризует точность теста как измерительного инструмента, его устойчивость к действию помех (состояния испытуемых, их отношения к процедуре тестирования и т.п.). Качественный тест не может быть создан без тщательного изучения этого важного аспекта измерения. Использование ненадёжных тестов, допуск большого количества ошибок в таком ответственном деле, каким является тестирование людей, могут стать причинами педагогических и административных ошибок, последствия которых трудно исправить.

В психологии термин «надёжность» применяется в двух значениях. Во-первых, тест называется надёжным, если он является внутренне согласованным.- Во-вторых, тест называется надёжным, если он даёт одни и те же результаты для каждого испытуемого при повторном тестировании. Такая надёжность называется ретестовой.

Для тестов учебных достижений особую важность приобретает ретестовая надёжность, поскольку специфика заданий тестов учебных достижений делает внутреннюю согласованность достаточно прозрачной.

Если балл, полученный учеником в результате теста по оценке результатов, будет соответствовать той оценке, которую они получили бы при повторном прохождении того же теста или идентичного с ним по форме, то данная оценка считается высоко надёжной. Все тестовые результаты содержат некоторый процент ошибок (в связи с различием факторов, таких, как условия тестирования или студенческие ответы), но процент ошибок может быть уменьшен путём увеличения количества и усовершенствования качества вопросов, задаваемых в тесте. Чем длиннее тест, тем более надёжными и адекватными будут результаты.

Надёжность определяется как коэффициент корреляции.

Для его выявления необходимо получить два ряда оценок, в которых будут присутствовать результаты оцениваемого инструмента. Результаты должны быть получены в разных условиях.

Теоретически может быть всего три варианта получения таких рядов: либо разнесение результатов по времени, либо разделение теста на две части и проведение этих частей на одинаковой выборке учащихся, либо разделение группы учащихся на эквивалентные подгруппы и тестирование их одним инструментом.

На практике используются три основных метода оценки надёжности тестов:

1. Повторное тестирование (ретестирование).

2. Расщепление теста (тестирование параллельной формой теста).

3. Расщепление группы.

Метод повторного тестирования (ретестирование) является основным при определении надёжности психологических тестов, но его применение к тестам достижений ограничено.

Этот метод предусматривает повторное тестирование через некоторый промежуток времени. Однако за это время дети успевают подрасти, узнать что-то новое, иногда забыть известное. Таким образом, высокая динамика изменений объекта измерения ограничивает применение данного метода для тестов школьных достижений.

Поэтому при подготовке тестов школьных достижений для использования остаются два способа - разделение теста на части и тестирование эквивалентных групп.

Источниками неудовлетворительной надёжности тестов могут быть:

· запоминаемость содержания задач и способов их решения;

· интересность и оригинальность задач; - небольшое количество задач;

· небольшое время между первым и вторым проведением теста;

· причины, связанные с испытуемыми: усталость, скука, невнимательность, жара или холод, самочувствие, различная мотивация и т.д.

Повышение надёжности возможно двумя путями - ужесточением инструкции и повышением качества подготовки экспериментаторов.

Валидность

Ещё одной важнейшей характеристикой теста является его валидность.

Валидность особенно значима для тестов, ориентированных на критерий, поскольку определение надёжности для них затруднено. По мнению Н. Гронлунда, «в связи с тем, что традиционные оценки надёжности теста основаны на разнообразии баллов, возникают особые проблемы при разработке надёжного теста, не требующего такого разнообразия баллов, как это бывает в случае с тестами, ориентированными на критерий. В этом случае появляется более сильная зависимость от соответствия тестовых вопросов конкретным учебным задачам, что достигается путём использования достаточного числа вопросов для каждой изучаемой задачи и разработкой письменных вопросов, которые вызывают ожидаемый ответ».

...