· Групповая и парная работа. Так вы увеличите количество «говорящих» учеников на уроке. Но это не самый удобный способ собрать информацию о текущем уровне понимая, а также есть риск, что ученики и так продолжат молчать.

· «Холодный обзвон». Этот прием рекомендует Дуг Лемов для того, чтобы повысить включенность. Суть в том, чтобы приучить учеников быть готовыми к ответу всегда, независимо от того, поняли руку или нет. Фишка в том, чтобы не превращать «холодный обзвон» в расстрел с отметками, иначе это убьет всю безопасную атмосферу в классе.

· Ответы хором на счет «три». Можно подумать, что это подходит только для совсем маленьких, но это не так. Суть в том, чтобы ответы были краткими и вопросы не самыми сложными, тогда ритмичные ответы хором действительно включают всех учеников, экономят время и повышают темп.

· Ответы жестами. Выведите вопрос с пронумерованными вариантами ответа на экран и попросите учеников на счет «три» показать пальцами номер правильного ответа. Так вы получите ответ не от одного ученика, а от всех сразу! Если не хотите, чтобы они подглядывали, то можно попросить на счет «три» закрывать глаза, а на счет «пять» показывать ответ. То же самое можно делать с двумя вариантами ответа, тогда вместо нужного количества пальцев ученики могут показывать какие-то другие жесты, например, палец вверх - верно, палец вниз - неверно.

· «Устный счет». В основе этого приема лежат вопросы с несколькими ответами, число которых ограничено, например, «Какие делители у числа 12?» или «Какие признаки у государства?». Идея в том, чтобы не просить одного человека назвать весь ряд сразу, а спрашивать у одного человека только один ответ, а второй ответ спрашивать уже у следующего, причем начинать спрашивать лучше с самых слабых учеников. [видео с урока]

· Онлайн-опрос. Вы уже знаете про то, как можно организовать такие опросы, добавлю только, что это отлично работает на включенность и позволяет не просто «на глазок» оценить состояние класса, но и получить и сохранить данные, которые могут быть полезны для дальнейшего анализа урока.

· «Время ожидания». Дайте ученикам время подумать. Это звучит банально, но это очень важно. Например, задайте вопрос и скажите, что спросите ответ через 20 секунд. Или можно сказать так: «Я жду, пока будет больше рук».

· «Все пишут». Попросите всех учеников записать ответ 1-2 предложениями. Это опять же заставит работать каждого, а не 2-3 отличников, а также позволит более грамотно сформулировать мысль.

· «Цепочка вопросов». Попросите каждого ученика придумать и записать 1-2 вопроса по пройденному материалу, ответ на которые им известен и при этом довольно краток. После этого пусть они задает вопросы по цепочке: тот, кто ответил на предыдущий вопрос, получает право задать следующий. Помимо проверки, это задание также помогает научить детей задавать вопросы. [видео с урока]

Итак, мы зафиксировали, что в вопросе важно не только содержание и формулировка, но и то, как именно мы их задаем. Общая идея в том, чтобы с помощью вопросов от охватить как можно больше учеников. Осталось добавить самое, наверное, главное: даже самый прекрасный вопрос бесполезен, если его не услышали. Чтобы такого не случилось, нужно

· Начать со сбора внимания и обеспечения тишины

· Задавать вопрос стоя неподвижно на одном месте

· Желательно вывести вопрос на экран

Хорошие вопросы - основа очень многих инструментов оценивания. Теперь мы можем посмотреть, какие есть еще интересные способы проверить понимание.

Вопросы на понимание

1. Какой из этих вопросов (с большей вероятностью) мог бы быть ключевым вопросом урока?

a. Когда произошло крещение Руси?

b. Откуда берутся цены?

c. Что такое зернь и скань?

d. В чем смысл жизни?

2. Что из перечисленного, согласно Дугу Лемову, способствует поддержанию культуры высоких ожиданий в классе?

a. Просьба отвечать полными и развернутыми предложениями.

b. Просьба подниматься с места во время ответа на вопрос.

c. Отказ принимать «половинчатые» ответы в качестве верных.

d. Снижение отметки из-за помарок и неаккуратности в работе.

e. Предоставление обратной связи в присутствии одноклассников.

2.2 Простые инструменты текущего контроля

В предыдущем видео мы обсудили частые проблемы, возникающие при использовании вопросов в классе и способы, как их избежать. В этом видео мы поговорим о других относительных простых способах проверить понимание и разнообразить жизнь в классе.

1. Exit ticket и exit task

Это две популярные методики, которые имеют похожее название, но решают разные задачи. «Билет на выход» - это рефлексивное задание, которое обращает ученика к его опыту на уроке. Например, можно использовать прием 3-2-1: в конце урока попросить учеников назвать 3 вещи, которые они узнали, 2 вещи, которые они научились делать, и 1 вещь, которую он не поняли. Как правило, этот последний вопрос вызывает у маленьких много проблем. Можно спросить, какой момент на уроке был самым интересным, а какой - самым сложным и так далее. В общем это задание на рефлексию, а не на контроль результата. То есть учитель, конечно, может много вынести и из этой информации, но все-таки нужно помнить, что задача здесь другая - обобщить и присвоить полученные на уроке знания и учения.

«Задание на выход» решает как раз учительскую задачу - проверить, достигнуты ли планируемые результаты. Эти задания должны быть напрямую связаны с основной идеей урока. При этом желательно давать достаточно времени, чтобы все ученики могли справиться с заданием - это не соревнование на скорость. Допустим, что мы проводим урок в старшей школе и запланировали такой результат «Может использовать понятия социологии для описания ситуаций из повседневного опыта» мы выглядеть так: «1) Жена хочет, чтобы муж проводил с ней больше времени, а начальник срочно требует отчета о проделанной работе, поэтому муж задерживается на работе, а его жена недовольна. Прокомментируйте приведенный пример, воспользовавшись концептуальным аппаратом социологии. 2) «Незнакомые друг другу люди отдыхают на пляже. Какое социологическое понятие характеризует эту группу людей? Поясните свои? ответ» Из олимпиады «Высшая проба» по обществознанию.

Разумеется, в «задании на выход» главное не то, что после него ученик уходит с урока, а то, что он завершает изучение какой-то темы. Поэтому на самом деле такое задание может быть в любой части урока, если это соответствует его логике.

2. Краткое резюме

Попросите учеников кратко изложить суть прочитанного текста или услышанного объяснения. Идея в том, чтобы резюме было максимально конкретным, ясным и кратким. Можно предложить им какую-то готовую структуру, например, попросить составить одно предложение, ответив на вопросы «кто/что, когда, где, зачем, как». Тогда для темы «Рыночная экономика» резюме может выглядеть так: «В рыночной экономике предприниматели сами решают, что, как и для кого производить, чтобы всегда получать максимум прибыли».

Можно сделать еще проще, и попросить составить предложение по схеме. Например, мы хотим сделать резюме после объяснения мировых религий и просим учеников дополнить такое предложение «__________ называются _________, потому что ___________». Для взрослых ребят это слишком просто, но для маленьких как раз, чтобы они смогли со временем привыкнуть к формату резюме и научиться составлять такие выдержки самим.

3. Схемы и таблицы

Схемы и таблицы - это способ систематизации материала, но также может быть способом проверки. Составить схему или таблицу целиком самостоятельно - это сложное задание, которое требует критериального оценивания. О таких заданиях мы поговорим потом. Сейчас речь идет о дополнении уже заданных схем и таблиц.

Вот пример схемы с пропусками:

Конкретно эта схема - это задание репродуктивного характера, проверяющее знание терминов. Следующий пример проверяет результаты уже более сложного уровня.

Эта таблица завершает обсуждение трех авторов теории общественного договора. Ученикам нужно заполнить пропуски, но для этого нужно самим сделать краткую выжимку не самой простой идеи.

4. Схемы анализа

Регулярное использование на уроке схем для анализа помогает ученикам систематизировать знания и развивать навыки анализа. Для учителя же это способ оценить результаты более высокого уровня, чем простое запоминание.

· Матрица ассоциаций [пример]

Для того чтобы оценить, насколько ученики реально поняли какую-то идею или понятие, можно использовать такую таблицу. В первой клеточке нужно написать само слово или идею, во второй - зарисовать схематично визуальную ассоциацию, в третьей - записать более-менее формальное определение, в четвертой - словесную ассоциацию, метафору или характеристику.

· Принятие решений [пример]

Такие схемы учат последовательно принимать решения, формулируя проблему и взвешивая аргументы. Учителю они позволяют оценивать результаты освоения материала на аналитическом уровне.

· Причинно-следственные связи [пример]

Такие схемы - необходимый элемент изучения истории, но они применимы и на других уроках - везде, где можно говорить о причинах и последствиях какого-то либо явления.

· Звездный пересказ [пример]

Эта схема позволяет отразить суть изученной темы или прочитанного текста. Каждый луч звезды это один вопрос.

a. Название

b. Что ты чувствовал?

c. Каковы обстоятельства?

d. Какая проблема?

e. Вывод

· Рыбий скелет [пример]

Эта схема чем-то похожа на предыдущую. Она заполняется следующим образом.

a. Голова - проблема

b. Верхние ребра - аспекты или причины проблемы, направления размышления или аргументы

c. Нижние ребра - конкретные факты и примеры

d. Хвост - вывод

5. Облако тэгов

Ученики, желательно в группах, выписывают на лист ключевые слова и словосочетания, отражающие суть пройденной темы. Более важные слова пишутся более крупно и ярко. Это задание можно делать онлайн, например, с помощью сайта menti.com. Есть еще один похожий прием - суперслайд, когда ученикам нужно собрать один слайд, обобщающий все занятие.

6. Пересказ

Если мы используем пересказ на уроке, то нужно четко понимать, зачем мы это делаем. Например, можно попросить кратко пересказать теоретический материал, который ученики получили только что на уроке, чтобы понять, насколько он ясный и можно двигаться дальше к его обсуждению и практике. На литературе это адекватный способ проверить знакомство с содержанием текста. Для этого рекомендуют обращать внимание на 4 момента:

· Ученик правильно выделяет события начала, середины и конца истории

· Ученик описывает детали экспозиции и сюжета

· Ученик выделяет и характеризует главных героев

· Ученик выделяет и описывает проблему, конфликт, развитие и разрешение

7. Генератор домашнего задания

Попросите учеников самим придумать домашнее задание к уроку. Скорее всего, вам придется так или иначе учесть это в том задании, которое они в итоге получат на дом, но таким образом вы повысите мотивацию к его выполнению. С точки зрения оценивания, это позволит понять, насколько ученики выхватили суть урока и могут применить это понимание на практике. Похожий прием, но проще, заключается в том, чтобы попросить учеников придумать проверочное задание. Для маленьких можно предложить типичные виды заданий (тест с выбором ответа, вставить слово, соединить пункты и т. д.). Из этих заданий потом можно собрать тест и использовать его на уроке, или же перемешать заданий попросить соседей обменяться заданиями и решить их.

8. Детские игры

На самом деле многие детские игры, такие как «Крокодил» или «Шляпа» подходят для проверки усвоения материала. На уроке истории у маленьких очень здорово играть в «Тарантинки» - ту самую игру, в которой вам нужно угадать человека, чье имя написано на стикере на вашем лбу. Попросите учеников загадывать только реальных людей, которых вы изучали в рамках какой-то большой темы. Тогда это будет отличное повторение, а вы как учитель можете понять, как идут дела у учеников, переходя от группы к группе. Это не идеальный способ с точки зрения сбора данных, но он позволяет внести разнообразие в уроки.

У вас могла появиться мысль, что все эти методы не отличаются особой глубиной. Это справедливо. Обратной же стороной является их простота и удобство. Следующее видео будет посвящено более сложным методам.

2.3 Более сложные инструменты текущего контроля

9. Концептуальные карты

Любая область знания - это не набор пестрых фактов и понятий, это система, состоящая из взаимосвязанных элементов. Обучение - это не только количественный прирост знания, а качественное изменение их структуры. К сожалению, все описанные в предыдущем видео инструменты не особо помогают оценить, складывается ли эта структура в головах ваших учеников.

К счастью, такой инструмент есть. Его называют по-разному:

концептуальная карта, интеллект-карта, ментальная карта, майндмэп.

Как мы можем понять из этой схемы, концептуальная карта - это граф, состоящий из узлов и ребер, то есть соединительных линий. Узлы - это понятия, а линии - это связи между ними. Такие карты долгое время использовались преимущественно как метод обучения, но сейчас активно исследуют его потенциал как инструмента измерения Тюменева Ю. А., Капуза А. В., Вергелес К. П. Различительная способность концептуальных карт для оценки уровня компетенции //Вопросы образования. - 2017. - №. 4.. В чем ценность этого инструмента для учителя? Он позволяет

· увидеть, какая «большая картинка» сложилась в голове у ученика

· зафиксировать ложные интерпретации понятий и связей между понятиями

· оценить сложность установленных учеником структурных взаимосвязей

Вот пример, который приводится в пособии Марины Пинской, которое вы найдете в материалах этого модуля.

Как оценивать такие карты? Для этого нужно обратить внимание на следующие аспекты По пособию Пинской и исследованию в предыдущей сноске

· Зафиксированы ли самые главные понятия?

· Правильно ли построены связи между понятиями?

· Каково количество иерархических уровней? Как правило, большее количество уровней говорит о большем понимании. Более слабые ученики имеют тенденцию выстраивать прямые связи между очень общими понятиями и единичными, например, «государства - Германия». В то время как более продвинутые ученики могут выстроить цепочку «государства - по форме правления - республики - парламентские республики - Германия», то есть задействует понятия промежуточного уровня. Короче говоря, более сложная карта напоминает довольно высокое дерево, у которого много веток разного уровня, а если карта похожа на ромашку, то плохой знак. Скорее всего, в голове у ученика полная каша.

Много ли единичных понятий? Единичные понятия - такие, которые имеют только одну входящую связь, то есть висят на карте, как игрушки на елке. Если их много, то, скорее всего, ученик не видит в них структуры.

· Есть ли комплексные понятия, то есть такие, которые имеют несколько входящих связей? Например, в схеме на тему «Банковские продукты» понятие «процент» может иметь входящие связи от нескольких других понятий, например, от «вклада» и от «кредита». Как правило, наличие комплексных понятий говорит о лучшем понимании.

Это очень интересный инструмент, но есть одна проблема - если вы просто так придете в класс и дадите подобное задание ученикам, они могут впасть в ступор. Это правда сложная задача. С концептуальными картами лучше сначала научиться работать вместе. Как это сделать?

1. Пример. Покажите ученикам пример такой карты и объясните, как он устроен.

2. Совместное построение карты. Выберите любое знакомое им понятие или тему, например, «школа». Попросите учеников набросать список из 10 ассоциаций с эти понятием и выпишите их на доску. Отранжируйте с помощью учеников ассоциации от самых общих к наименее общим, а потом вместе обсудите, как можно простроить связи между ними. В итоге у вас должна получиться понятная концептуальная карта, которая могла бы быть наглядным примером.

3. Дополнение карты с заданной структурой. Дайте ученикам пустую и не очень сложную карту, в которой им нужно самостоятельно восстановить названия узлов и связей. Например, если мы формируем учение строить концептуальные карты на теме «Познание», то это задание может выглядеть вот так [пример]

4. Построение карты с заданными понятиями. Это задание обратно предыдущему. Дайте ученикам список понятий и попросите построить карту на их основе, самостоятельно выстроив структуру связей между понятиями. [пример]

5. Самостоятельно построение карты. После этого можно попросить учеников самостоятельно построить карту на заданную тему. Будьте готовы к тому, что на это понадобится не менее 20-30 минут. Очень хорошо такие задания выполнять в группах, а потом провести общее обсуждение. В нашем случае вот как может выглядеть финальный результат - карта по теме «Научное познание». [пример]

Итак, концептуальные карты - это мощный инструмент развития и контроля структурного мышления и системы знаний. Однако он требует огромной работы - как со стороны учителя, так и со стороны учеников.

10. Наблюдение, интервью и опросники

Эта группа методов направлена на превращение учителя в исследователя, который пытается со стороны посмотреть на жизнь в классе и свою практику.

Наблюдение - это то, что учитель делает в течение всех 45 минут урока. Но мы говорим об особо сфокусированном наблюдении, которое включает в себя три элемента Kobett B. M. C. et al. The formative 5: Everyday assessment techniques for every math classroom. - Corwin Press, 2016.

· Внимание к стратегиям, которые использует ученик,

· Интерпретацию сложившихся у учеников пониманий,

· Принятие на этой основе решений о дальнейших действиях.

Чтобы сделать более осознанным наше наблюдение на уроке, заранее продумайте, что именно мы планируем на нем наблюдать. Например, в качестве одного из заданий на уроке будет чтение текста, а значит, мы сможем посмотреть, как ученики работают с текстом во время чтения - выделяют ключевые идеи, тезисы, смысловые фрагменты или нет, читают текст медленно один раз или сначала проглядывают в целом, а потом вчитываются и так далее. Имеет смысл продумать, на какие конкретно ошибки или особенности поведения нужно обращать внимание во время наблюдения. Например, вы организуете групповую работу. Значит, вы можете прицельно наблюдать за такими ошибками в работе учеников: не следят за временем, не смогли организовать для себя удобное пространство, не фиксируют идеи в ходе обсуждения, не распределили обязанности и так далее. Можно проводить наблюдение, фокусированное на отдельных учениках, фиксируя их работу и вовлеченность на каждом этапе урока. [пример] Наблюдение - недооцененный инструмент учителя, но, как всегда, она работает только если заранее продумать, как вы будете его использовать. Еще решает опыт, конечно.

Интервью как инструмент формирующего оценивания - это способ понять, как именно ученик решает задания и почему он делает так, а не иначе. Это логичное продолжение наблюдения. Перед тем, как его провести, нужно понять следующее

· С кем вы будете его проводить?

· Что именно вам нужно понять?

· Будете ли вы его записывать?

· Какие основные вопросы вы зададите?

· Как вы адаптируете вопросы к конкретным ученикам?

· Какие ответы вы ожидаете услышать?

· Какие дополнительные вопросы вы сможете задать, опираясь на полученные ответы?

Давайте посмотрим, как может выглядеть интервью с учеником. [описание контекста по вопросам + видео с урока]

Наблюдение и интервью направлены на то, чтобы понять, как именно действуют ученики и почему они выбирают именно такой способ действия. Опросники имеют, как правило, иную цель: это способ понять, как ученики воспринимают свое обучение. Благодаря опросникам, мы можем посмотреть, что мотивирует, вовлекает, интересует, как они относятся к предмету в целом, отдельным его темам или практикам учителя. Разумеется, опросники почти обязательно делать анонимными (можно оставить возможность по желанию подписаться). Лучше всего пользоваться готовыми опросниками, которые были разработаны специалистами и проверены на практике, потому что составление такого инструмента - это очень сложная и длительная работа, требующая специальной подготовки. Часто опросники используют в начале и конце курса или до и после значимого изменения в процессе преподавания, чтобы сравнить результаты. Для анализа опросников нужно сначала оцифровать данные - оформить в виде электронной таблице, чтобы ее можно было дальше использовать. В дополнительных материалах вы найдете примеры опросников, которые можно использовать в классе.

11. Недельный отчет

Этот инструмент подробно описан в пособии Пинской, на которое мы уже не раз ссылались. Недельный отчет позволяет ученикам рефлексировать над своим обучением, а учителю - регулярно получать обратную связь о том, чему научились ученики и какие у них возникают трудности. Это лист, который ученики заполняют раз в неделю, в котором они отвечают на три вопроса:

1. Чему я научился за эту неделю?

2. Какие вопросы остались для меня неясными?

3. Если бы я был учителем, какие вопросы я задал бы ученикам, чтобы проверить их понимание?

Перед тем, как задать такой отчет, необходимо в классе разобрать его структуру и рассмотреть пример. Кроме этого, имейте в виду, что эти отчеты обязательно нужно использовать - ученики должны видеть, что это не пустая работа, а важный элемент обучения. В ином случае они не будут воспринимать их серьезно. Наиболее общие сложности стоит разобрать в классе вместе, а по редкие вопросы обсудить индивидуально. Помните, что недельные отчеты - это довольно большая работа и для ученика, и для учителя, так что их нужно использовать очень осознанно. С другой стороны, этот инструмент дает очень насыщенные данные о том, как проходит обучение, и делает его наглядными для самих учеников, обеспечивает постоянную обратную связь между учениками и учителем и развивает у учеников навыки письменной коммуникации.

Итак, мы с вами рассмотрели ряд приемов формирующего оценивания, которые можно использовать в классе, чтобы сделать собирать информацию о состоянии обучения и на ее основе давать ученикам развивающую обратную связь. В самом начале модуля мы говорили, что одна из особенностей формирующего оценивания в том, что она является естественной частью урока и решает много задач сразу. Почти все перечисленные приемы - это не отдельные события, направленные исключительно на контроль знаний и учений, а скорее обучающие задания, которые также предоставляют учителю полезную информацию.

2.4 Использование тестов на уроке

В течение этого модуля мы обсуждали формирующее оценивание и его приемы, противопоставляя его суммирующему, которое у всех в основном ассоциируется с тестами. Всеобщая ненависть к тестам отчасти справедлива: известно, что избыточное тестирование не приводит к улучшению результатов, а только создает давление на учеников и учителей. Однако не стоит демонизировать тесты. Как всегда, нужно просто отдавать себе отчет, зачем именно вы их используете.

Нидерландский исследователь ван дер Влетен предлагает опираться на такую формулу для выбора инструментов измерения. Конечно, ее нельзя буквально использовать для подсчета, но она демонстрирует важную общую идею. Любой инструмент измерения, должен обладать следующими характеристиками.

· Надежность. Это значит, что если мы применим этот инструмент к двум одинаковым группами, то мы получим одинаковые результаты.

· Валидность. Этот показатель означает, что наш инструмент измеряет именно то, что мы хотим измерить. Например, если мы хотим оценить умение ученика высказывать и обосновывать мнение по какой-то моральной дилемме, то нужно дать задание с открытым ответом, где ему именно это и нужно будет сделать. Тест с множественным выбором этот показатель измерить не сможет.

· Образовательное значение. Это то, насколько этот инструмент полезен с точки зрения обратной связи, которую по ее результатам можно будет дать ученику.

· Издержки. Некоторые инструменты требуют меньше времени и усилий на подготовку и проведение, некоторые - больше.

· Приемлемость для внешних агентов. Оценивание важно не только для ученика и учителя, но и для других агентов - в первую очередь родителей и администрации школы. Какие-то инструменты для них понятны, какие-то - нет.

Хорошие тесты отвечают требованиям надежности, валидности и приемлемости для внешних агентов, хотя могут нести меньше обратной связи, чем многие другие виды оценивания, и требуют обычно немало времени на проведение. Тестовые вопросы позволяют оценивать в основном только результаты уровня запоминание, понимание и применение по таксономии Блума, но зато результаты будут понятны для внешних агентов и сравнимы между собой. Чаще всего это нам нужно для итогового оценивания.

Составлять хорошие тесты так же сложно, как и хорошие опросники, поэтому этим обычно занимаются специалисты по измерениям. Если вам необходимо использовать суммирующий тест, то лучше всего взять готовый, составленный экспертами (например, диагностику СтатГрада или МЦКО). К сожалению, это не всегда возможно. Как составить тест самому? С опорой на «Гид по психометрическому сопровождению» Центра психометрических исследований

1. Сформулировать оцениваемый результат. Как всегда, мы начинаем с результатов. В случае тестов обычно оценивают только результаты уровня запоминание, понимание и применение.

2. Построить таблицу. Перед тем как формулировать вопросы, удобно составить таблицу, где будут указаны оцениваемые результаты, их уровень в таксономии (или иной ориентир, например, грань понимания из модели «Понимание через проектирование»), количество заданий на проверку этого результата и их номера. [обсуждение примера]

Результат	Уровень	Количество заданий	Номера заданий
Может назвать источники финансирования бизнеса	Запоминание	2
Может описать структуру источников финансирования бизнеса	Понимание	1
Может определить, какие источники финансирования бизнеса задействованы в данном примере	Понимание	1
Может узнать по определению или описанию ценную бумагу, акцию, облигацию, вексель и чек	Запоминание	3
Может объяснить различия между долевыми и долговыми бумагами	Понимание	1
Может сравнить ценные бумаги с точки зрения риска и доходности	Применение	2

3. Сформулировать вопросы. Чаще всего в тестах используются задания четырех видов.

Вопросы с множественным выбором (с одним или несколькими правильными ответами). Сами вопросы должен отвечать следующим требованиям

o Не зависят друг от друга, то есть на них можно дать верный ответ, даже если другие задания не выполнены. Это правило часто нарушается в заданиях, где для ответа на вопрос нужно использовать ответ на предыдущий вопрос.

o Не содержат подсказок для других вопросов.

o Ясно сформулированы. Мы уже обсуждали важность этого пункта в одном из предыдущих видео.

o Не являются тестом на внимательность. Если есть отрицание, то оно ярко выделено.

o Не звучат похоже на какой-то из вариантов ответа. Например, «В какой экономике важную роль играет рыночная конкуренция? а) плановой, б) традиционной, в) рыночной» Ответить на такой вопрос можно с нулевыми знаниями, так что нужно как минимум убрать упоминание рынка из вопроса.

o Содержат указание на количество верных ответов. Как правильно, указывается нужно ли выбрать один ответ или все подходящие. Иногда указывают точное количество правильных ответов - тогда вопрос будет проще.

Как правило, основные проблемы в тесте связаны с вариантами ответа. Они должны соответствовать следующим требованиям.

· Вариантов от 4 до 6.

· Они примерно одинаковой длины, нет такого, что какой-то вариант сильно выделяется. Вы сами часто видели такие вопросы, где неправильные варианты очень краткие, а правильный занимает две строчки. Это создает для отвечающего ненужные стимулы и искажает результаты.

· По возможности не содержат отрицаний, опять же, это не тест на внимательность.

· Не пересекаются между собой. Например, «Как называются правила поведения, регулирующие отношения между людьми? а) нормы, б) мораль, в) роли, г) ценности» Правильный ответ нормы, но мораль - это вид социальных норм, так что можно сказать, что мораль - это правила поведения, регулирующие отношения между людьми. Это не определение, но тем не менее верное утверждение. Постарайтесь делать так, чтобы верный вариант бы на 100% верен, а неверны - ложны на 100%. Для этого точно нужно избегать ситуаций, когда один ответ вложен в другой, как в этом примере, где вариант б) вложен во вариант а).

· Нет вариантов «все вышеперечисленное» или «ничего из вышеперечисленного». Вместо этого просто сделайте вопрос с несколькими правильными ответами.

· Единообразны с точки зрения пунктуации. Если ставите точки во вариантах ответа, то ставьте везде. Если не ставите, то не ставьте тоже везде.

· Вопрос и ответ грамматически сочетаются.

· Нет повторяющегося текста в ответах, если есть, то включите его в вопрос, например: «Что из этого неверно? а) Колобок от бабушки ушел, б) Колобок от дедушки ушел, в) Колобок от зайца ушел, г) Колобок от лисы ушел». Более удачная формулировка может быть такой «От кого НЕ смог уйти Колобок? а) От бабушки, б) от дедушки, в) от зайца, г) от лисы». Чем меньше времени ученики тратят на то, чтобы прочитать задание, тем лучше. На уроке важна каждая секунда, так что давайте не тратить время на чтение бесполезного текста.

Открытые вопросы с кратким ответом. Задание с вводом ответа представляет собой или конкретный вопрос, или неполное утверждение, ответом на который может быть слово, фраза, число, символ или формула. Подобные задания сложнее и снижают вероятность угадывания. В тексте задания обязательно нужно указать, что именно надо вписать в пропуск.

Установление последовательности. Такие задания проверяют запоминание и понимание, например, хронологии событий в истории или произведении, последовательность выполнения какого-либо действия, этапы какого-то процесса и так далее.

Установление соответствия. В принципе устанавливать соответствие можно между чем угодно, но чаще всего такие задания представлены в виде таблицы, где элементу из одной колонки нужно поставить в соответствие элемент из другой. Не забудьте указать в задании, на каком основании нужно это соответствие определять. Лучше, в рядах (колонках) было разное количество элементов, то есть после решения оставались бы лишние. Это снизит шанс угадать ответ.

4. Скомпоновать тест из заданий. Убедитесь, что в тесте точно есть реально легкие вопросы, на которые все могут ответить, и поставьте их в начале работы. Это поможет снизить стресс у учеников. Нужно ли делать несколько вариантов? С точки зрения практики в классе - да, нужно. Молодому учителю в большом классе, особенно новом, контролировать списывание практически невозможно. С точки зрения измерения - вам никогда не удастся сделать равноценные варианты, так что детские жалобы, что «второй вариант проще» с большой вероятностью будут справедливы. Если используете разные варианты, то анализируйте результаты так, как будто это два разных теста, то есть отдельно.

5. Определить пороговое значение. Вам нужно решить, какой будет граница между недостаточным уровнем и удовлетворительным. Есть два подхода - относительный и абсолютный. В первом случае пороговый балл определяется после проведения теста, во втором - до проведения. Вспомните, как проходит прием в вузы. Часто вузы устанавливают минимальные баллы ЕГЭ, и делают они это сильно заранее. Это абсолютный порог. Потом абитуриенты подают к ним документы, и их ранжируют по баллам от лучшего к худшего, отбирают с начала списка столько, сколько есть бюджетных мест. Балл последнего из поступивших -это проходной балл, то есть пороговое значение. Этот порог, в отличие от минимального балла ЕГЭ, не абсолютный, а относительный, то есть он зависит от того, какие результаты принесли абитуриенты. Поэтому проходные баллы различаются от года к году.

Абсолютный порог опирается на стандарт результата, который должны достигнуть все без исключения. Например, мы хотим, чтобы все ученики писали «жи-ши» без ошибок. Если в нашем классе большая часть учеников делает такую ошибку, то это не повод снижать порог, а сигнал, что что-то идет не так. Такой порог четко связывает полученные результаты с планируемыми. Обычно в качестве границы используется 50-60% выполнения. Но что, если под окнами класса половину контрольной дробили асфальт? Абсолютный порог не учитывает этот контекст, в отличие от относительного. Возможно, нам стоит учесть тот факт, что результаты могут быть ниже ожидаемого из-за того, что ученики отвлекались на шум, с которым, к сожалению, мы ничего не могли сделать. В случаях, когда результаты сильно ниже ожидаемого, можно изменить шкалу перевода оценки в отметку, приняв в качестве максимального значения не планируемое, а самый высокий реально набранный балл.

6. Проанализировать результаты. Если вы используете онлайн-ресурсы для тестирования, то вы сразу можете получить доступ к подробной информации по каждому ученику и каждому вопросу, что делает жизнь очень приятной. Но у них есть несколько проблем, среди которых есть две очень серьезные: отсутствие смартфонов со стабильным доступом в Интернет у некоторых детей и перебои в работе сайтов, который можно пережить в ходе обычного урока, но нельзя - на контрольной. Есть сайты типа GradeCam, которые позволяют сканировать результаты бумажных тестов и также предоставляют детальную информацию, но среди них на данный момент нет бесплатных. Так что скорее всего вам придется самостоятельно вбивать результаты теста, и здесь все зависит от вашей дисциплины: чем более подробно вы внесете данные, тем больше ценной информации у вас будет. Помните идею, с которой мы начинали: сам по себе балл рядом с фамилией не изменит ни ваше преподавание, ни обучение обладателя этой фамилии.

На что нужно обратить внимание при анализе результатов?

· Общее распределение баллов [пример]

· Распределение по каждому вопросу (Какова доля верных ответов? Есть ли особо популярные неверные варианты ответа?) [пример]

· Распределение по каждому оцениваемому результату [пример]

· Результаты по каждому ученику (Какие результаты достигнуты, а какие нет?) [пример]

7. Внести коррективы. У вас почти точно будут ошибки в заданиях, которые вы не заметили, пока не дали работу детям. Кроме этого, обратите внимания на задания, которые никто или почти никто не сделал правильно. Скорее всего, в них есть какая-то проблема. Также вы можете обратить внимание на варианты ответа, которые никто не выбирал. Возможно, их стоит заменить на менее очевидные. Кстати, можно в конце теста добавить несколько вопросов про сам тест, например, насколько он соответствует тому, что проходили в классе, были ли непонятные формулировки. Результаты могут быть весьма любопытными.

Как вы понимаете, любой тест можно и нужно дополнять более сложными заданиями с развернутым ответом. В них главное - четко прописать, как именно должен выглядеть ожидаемый результат. Например, «Как вы относитесь к неравенству? Поясните свой ответ». Это задание стоит сделать более конкретным, например, так: «Как вы считаете, насколько допустимым является неравенство в обществе? Сформулируйте свою точку зрения в 1 предложении, приведите как минимум 2 аргумента в ее защиту, каждый из которых проиллюстрируйте как минимум 1 примером (1+2+2 балла)». Еще лучше каждый оцениваемый элемент ответа писать с новой строчки и нумеровать, иначе часть учеников точно какую-то часть вопроса не заметит.

Итак, в этом видео мы обсудили общую логику использования тестов. Давайте еще раз обратим внимание, что тест нужны в первую очередь для суммирующего оценивания и не могут быть основным инструментом формирующего. В то же время если вы проводите тест, но никто не запрещает потом использовать его для предоставления развивающей обратной связи и для принятия решений о том, что происходит в классе.

Вопросы на понимание

1. Какой вариант ответа на этот вопрос относится к тем, которые нужно избегать при составлении тестов?

a. Вариант один

b. Вариант два

c. Вариант три

d. Ничего из вышеперечисленного

2. В каких случаях уместно установление относительного, а не абсолютного порога прохождения теста?

a. При проведении годовой контрольной

b. При подведении итогов модуля

c. При низких результатах всей, причем довольно большой группы

d. При переписывании работы учеником

e. При проведении олимпиады или соревнования

2.5 Создание рубрик для критериального оценивания

Все вы помните, возможно, это ощущение, когда вы написали огромное сочинение по литературе, не исключено, что вы даже очень старались и сделали действительно творческую работу, а в итоге получили в качестве обратной связи только отметку или формальный комментарий из 2-3 слов. Это правда очень обидно и обесценивает проделанную работу. Если вы хотите развивать у ваших учеников результаты высокого уровня, то и задания для их проверки нужны тоже довольно сложные, часто - творческие. Как оценивать такие задания? Мы наконец переходим к самому, наверное, важному инструменту формирующего оценивания - критериальным рубрикам. Он позволяет решать несколько задач сразу

· Обозначает целевой результат для ученика

· Упрощает предоставление индивидуальной обратной связи

· Делает более прозрачным и единообразным оценивание творческих, лабораторных, проектных работ и универсальных навыков

· Дает возможность для самооценивания и взаимного оценивания

Рубрика - это инструмент оценивания работы ученика на основе набора критериев. Типичная рубрика выглядит как таблица, где строки - это критерии, по которым мы оцениваем, а столбцы - это уровни результата (или наоборот). Ячейки таблицы содержат описание того, как выглядит данный аспект на данном уровне. Например, мы хотим составить рубрику для оценивания письменной работы. Одним из критериев может быть качество вывода. Тогда раскладка этого аспекта по уровням может выглядеть так.

Уровень	1	2	3
Вывод	Нет вывода ИЛИ есть вывод, но у него нет обоснования	Есть вывод, у него есть обоснование, но оно не связано напрямую с проделанным анализом	Есть вывод и его обоснование, вытекающие из проделанной работы

При проверке учитель может выделить нужный вариант прямо в таблице или выделить в нем отдельные элементы, которые особенно актуальны. [пример]

Каждому уровню можно присвоить баллы и тогда общий балл за работу будет суммой баллов по всем критериям. Возьмем, например, рубрику для оценивания эссе из пособия Пинской, на которое мы не раз ссылались. [пример] Здесь есть два критерия - общая логика и аргументация. Названия могут звучать достаточно абстрактно, но содержание таблицы делает их уже более конкретными. Допустим, общая логика оцениваемой работы довольно хороша, но содержание немного скомканное, не раскрытое до конца. Это будет качественный уровень, то есть 8 баллов. Но вот аргументы не подкрепляются примерами, хотя и нельзя сказать, что отсутствуют полностью. Это будет адекватный уровень, то есть 6 баллов. В итоге ученик получает 14 баллов из 20. Но это не просто численная оценка, к ней прилагает конкретное указание на зоны роста.

Большой плюс рубрик в том, что они могут использовать для взаимного оценивания и самооценивания. Вот, например, рубрика для самооценки решения проблемы. [пример] Опора на рубрики в самооценивании и взаимном оценивании значительно повышает его качество, приучая детей мыслить более структурно и обращать внимание на значимые аспекты разных заданий. Все рубрики, не только для самооценки, стоит писать понятным для учеников языком. Впрочем, есть и контраргумент: возможно, старшим ученикам будет полезно вникнуть в «официальный язык», на котором предъявляются требования к их результатам. Особенно если речь идет о критериях оценивания экзаменов.

Рубрики предоставляют большое пространство для творчества учителя - свои рубрики можно составлять для каких угодно задач. Обычно выделяют три вида рубрик - холистические, аналитические и одноуровневые Holistic, analytic, single-point. Каждая хороша по-своему.

Холистические рубрики довольно просты, они не дают особо насыщенной обратной связи, но зато позволяют быстро оценить большое количество работ. [пример] Как вы видите, в такой рубрике нет критериев, все задание оценивается целиком. Такие рубрики используются, например, для оценивания части заданий в ЕГЭ. [пример] Они лучше всего подходят для простых заданий или таких, где нужен развернутый ответ, но при этом он точно может быть верным или неверным. В других случаях у учеников могут возникать вопросы, поэтому лучше использовать аналитические рубрики.

Аналитические рубрики - это те, которые мы рассмотрели в начале видео. Они содержат несколько критериев и несколько уровней, так что ученики в итоге получают более ценную обратную связь и лучше понимают, как именно оценивалась их работа. [пример] С другой стороны, их довольно сложно и долго разрабатывать и, главное, читать. Даже в средней школе ученики читают медленно, некоторые - с трудом, поэтому развернутые аналитические рубрики могут оказаться непроходимым препятствием. Кроме этого, очень-очень трудно сформулировать однозначные и понятные критерии и их описания по уровням так, чтобы они ни у кого не вызывали вопросов. Чем больше уровней результата в вашей рубрике, тем сложнее сделать их различимыми, но при этом если уровней слишком мало, то для учеников может быть не очевидно, почему их работу отнести к этому уровню, а не к иному. В дополнительных материалах вы найдете несколько удачных примеров. Такие рубрики используются, например, для оценивания сочинений в ЕГЭ [пример].

Наконец, одноуровневые рубрики содержат ряд критериев и одно развернутое описание стандарта по каждому критерию. [пример] Слева и справа располагаются пустые колонки, которые заполняются конкретными комментариями учителя, если результат оказался ниже или выше стандартного. Такая рубрика, в отличие от предыдущих, делает обратную связь более индивидуальной. Ее быстрее создавать учителю и быстрее читать ученикам. Но времени на проверку уйдет больше.

Если вы хотите сделать аналитическую или одноуровневую рубрику, то начать нужно с выделения критериев. Критерии могут описывать процесс или результат работы и должны быть связаны с учебной целью. Например, если мы оцениваем задание, в котором нужно было предложить решение проблемы, то мы хотим, чтобы решение было обоснованным. Обоснованность - это требование к результату работы, но для учеников может быть не очевидно, как к такому результату прийти. Поэтому в контексте формирующего оценивания особенно важны процедурные критерии, направляющие учеников к достижению желаемого результата. Например, чтобы решение было обоснованным, нужно рассмотреть его сильные и слабые стороны и показать, что сильные перевешивают слабые. Поэтому вместо обоснованности можно было бы взять такой процедурный критерий, как анализ сильных и слабых сторон решения, а в описании по уровням показать, что именно это значит. С другой стороны, есть обратная сторона этого подхода, актуальная для учителей литературы: наиболее успешные ученики очень быстро станут подгонять работу под критерии, а это убьет всякое творчество, ведь оно проявляется в том числе в выборе средств.

Для аналитических и холистических рубрик необходимо также составить описания по уровням. Обычно рекомендуют сначала сделать описание худшего и лучшего результата, а потом выстроить градацию между ними. Если есть возможность выразить различия количественно, то сделайте это, например: «привел 1 пример - привел 2-3 примера из одного источника (история, опыт, искусство) - привел 2-3 примера из разных источников (история, опыт, искусство)». Чтобы ученику было проще ориентироваться, выделите жирным шрифтом ключевые различия между уровнями.

Чтобы проверить, насколько удачна ваша рубрика, проверьте с ее помощью одну или несколько работ и попросите вашу коллегу проверить ее еще раз используя эту же рубрику. Если результаты совпадут, то ее можно использовать дальше. Если нет, то обсудите, в чем именно вы разошлись и почему так получилось - возможно, эти пункты нужно переформулировать. В дополнительных материалах вы найдете рубрику для рубрик - то есть инструмент, с помощью которых вы можете проверить качество созданной вами рубрики.

Нужно ли для каждого задания делать свою рубрику или лучше использовать типовые рубрики для похожих заданий? Если задание уникальное или это итоговый контроль, то лучше не лениться и сделать для него рубрику, точно соответствующую ожидаемому результату. В остальных случаях использование типовых рубрик даже предпочтительно, потому что оно упрощает жизнь ученикам (им не надо каждый раз вникать заново в новую большую таблицу) и способствует перенесу навыка Wiliam D. Embedded formative assessment. - Solution Tree Press, 2011..

Как любой относительно сложный инструмент формирующего оценивания, рубрики начнут показывать свою эффективность не сразу. Ученикам, да и учителю, нужно привыкнуть к этому инструменту и научиться им пользоваться. Так что если вы хотите использовать критериальное оценивание, то делать это нужно регулярно. Кроме этого, очень важно качество самой рубрики. Если описания составлены размыто, то у учеников такая рубрика будет вызывать только отторжение. К счастью, эта проблема тоже решается практикой - со временем вы вместе с учениками сможете прийти к наиболее понятным и практичным критериям.

Мы уже говорили, что сила критериального оценивания в том, что оно позволяет оценивать то, что не поддается оценке с помощью стандартных методов. Это значит, что оно становится особенно важным сейчас, когда все больше внимания мы начинаем уделять не предметным знаниям, а «мягким навыкам» и универсальным компетенциям. О том, как оценивать такие сложные образовательные результаты, мы поговорим в следующем видео.

2.6 Оценивание «мягких навыков» (Александра Михайлова)

[интервью]

Ридер по модулю

Прочитайте практическое руководство для учителей, составленной под руководством М.А Пинской, и выделите как минимум три пункта (идеи, приема и т.д.), которые вы готовы взять на вооружение, и три, которые вызывают у вас сомнение или неуверенность. Попробуйте максимально четко сформулировать, в чем их причина.

Дополнительные материалы по модулю

Пинская М. А. Формирующее оценивание: оценивание в классе: учеб. пособие // М.: Логос. - 2010.

Wiliam D. Assessment: The Bridge between Teaching and Learning http://www.ncte.org/library/NCTEFiles/Resources/Journals/VM/0212-dec2013/VM0212Assessment.pdf

7 Smart, Fast Ways to Do Formative Assessment https://www.edutopia.org/article/7-smart-fast-ways-do-formative-assessment

Frey N., Fisher D. The formative assessment action plan: Practical steps to more successful teaching and learning. - ASCD, 2011.

Обратная связь по модели Emily Wray http://eduspace.pro/bloom и таксономии SOLO http://eduspace.pro/solo

Большой список методов оценивания, составленный Университетом Рединга

Мини-урок про критику и обратную связь

https://www.youtube.com/watch?v=hqh1MRWZjms

Рубрика для рубрик https://www.lincoln.edu/sites/default/files/pdf/institutional-effectiveness/Assessment/Rubric%20for%20Rubrics.pdf

Задание для взаимного оценивания

Создайте систему оценивания для конкретного урока или блока из 2-3 уроков. Продумайте систему образовательных результатов и подберите инструменты формирующего и итогового контроля, которые позволят их проверить и предоставить развивающую обратную связь ученикам. Работа содержит в себе следующие элементы.

1. Система образовательных результатов (не менее трех, разного уровня сложности) с возраста учеников

2. Не менее двух заданий для оценивания каждого результата разного формата, которые можно было бы использовать в разных учебных ситуациях (более трудоемкие, более простые и т.д.)

3. Хотя бы одно задание, оцениваемое с помощью холистической критериальной рубрики.

Критерии для взаимного оценивания

	0 баллов	1 балл	2 балла
1.Формулировка образовательных результатов	Сформулировано менее 3 результатов ИЛИ Результаты одного уровня (только на знание, только на анализ и т.д.)	Сформулировано не менее 3 разноуровневых результатов, но они недостаточно конкретны, отслеживаемы или не поддаются оценке	Сформулировано не менее 3 разноуровневых результатов в отслеживаемых глаголах (что конкретно сможет сделать слушатель курса?)
2.Конструктивное соответствие	Продуманы задания для проверки не всех образовательных результатов	Продуманы задания для проверки всех образовательных результатов, но есть проблемы с соответствием уровня сложности результата и формата задания (например, анализ проверяется заданием на запоминание)	Продуманы задания для проверки всех образовательных результатов с учетом уровня сложности результата
3.Качество критериальной рубрики	Задание не соответствует типу холистической рубрики ИЛИ не применимо для оценивания заявленного результата	Рубрика содержит недостаточное количество критериев для оценивания результата ИЛИ Уровни достижения неразличимы	Рубрика содержит достаточное количество критерии для оценивания результата (не менее 3), не менее 3 различимых уровня достижения
4.Качество остальных заданий для оценивания	Более трети заданий имеют проблемы с корректностью и ясностью формулировок, противоречивы или невыполнимы	Не более трети заданий имеют проблемы с корректностью и ясностью формулировок или выполнимостью	Задания сформулированы ясно, на языке учеников, не содержат некорректных формулировок и противоречий, выполнимы
5.Разнообразие заданий	Задания однообразны как с точки зрения опыта ученика, так и с точки зрения практики учителя	Набор задания однообразен с точки зрения опыта ученика ИЛИ с точки зрения практики учителя	Набор заданий позволяет охватить разные учебные ситуации, разнообразен с точки зрения форматов, трудозатрат учеников и трудозатрат учителя



Заключение

В рамках данной работы был разработан модуль «Как организовать оценивание в классе? Оценивание и рефлексия», являющийся частью группового проекта - онлайн-курса «Мастерство учителя». В соответствии с запланированными образовательными результатами были созданы скрипты для видео-лекций, запись которых планируется после завершения режима самоизоляции. Для проверки результатов были созданы тестовые вопросы и задание для взаимного оценивания по критериям.

Данный модуль соотносится с моделью постдипломного образования педагога, описанной в постановочная части проекта. С точки зрения ценностного уровня, данный модуль ориентирован на рефлексивного педагога, выступающего субъектом своей деятельности и профессионального развития, следующего за изменениями его эпохи и пользующегося ее возможностями Федоров О. Д., Журавлева О. Н., Полякова Т. Н. Образовательные стратегемы проектирования дополнительных профессиональных программ для педагогов: выбор приоритетов //Вопросы образования. - 2018. - №. 2.. Одной из ценностей модуля является интегративность, проявляющаяся в рассмотрения проблем педагогической практики через призму теорий образования. Большой акцент в модуле делается также учителей на ориентацию на результат Каспржак А. Г., Калашников С. П. Приоритет образовательных результатов как инструмент модернизации программ подготовки учителей //Психологическая наука и образование. - 2014. - Т. 19. - №. 3. - С. 87-104., его ключевое значение в проектировании образования подчеркивается многократно.

...