Современные средства оценки результатов обучения

Слово «рейтинг» происходит от английского «to rate» (оценивать) и «rating» (оценка, положение, ранг). Рейтинговая технология основана на учете накапливаемых оценок в баллах за выполнение текущих работ (лабораторных, домашних работ, коллоквиумов, рефератов, тестов и др.) и регулярно проводимых контрольных мероприятий. В отличие от традиционного способа оценивания, рейтинговая технология предполагает последовательное суммирование оценок по данной дисциплине в течение некоторого периода времени. Текущая рейтинговая оценка по дисциплине складывается из оценок всех без исключения практикуемых в учебном заведении видов учебной работы и контроля знаний, в том числе не только работы по учебному плану, но также такой дополнительной деятельности, как участие в олимпиадах, конкурсах, выступления на конференциях, работа со школьниками и т.д.

Преимущества рейтинговой системы:

1) возможность организовать и поддерживать ритмичную систематическую работу студентов в течение всего семестра и школьников течение учебного года;

2) контроль учебной деятельности не носит директивного характера и обучающиеся охотно «зарабатывают» баллы за приобретенные знания и умения;

3) повышение посещаемости и уровня дисциплины на занятиях; студентам «выгодно» посещать занятия;

4) акцент на психологические особенности молодежной аудитории; уменьшение «сессионного стресса»;

5) предсказуемость итоговой оценки, учащиеся сознательно подходят к ее достижению;

6) стимулирование творческого отношения к работе обучающихся и преподавателей;

7) уменьшение субъективизма педагога при оценке знаний,

8) стимулирование соревновательности в учебном процессе.

Особенности рейтинговой системы оценки знаний.

Рейтинговая система позволяет получить:

- возможность определить уровень подготовки каждого обучающегося на каждом этапе учебного процесса;

- возможность получить объективную динамику усвоения знаний не только в течение учебного года, но и за все время обучения;

- дифференцировать значимости оценок, полученных учениками за выполнение различных видов работы (самостоятельная работа, текущий, итоговый контроль, домашняя, творческая и др. работы);

- отражение текущей и итоговой оценкой количества вложенного учеником труда.

Основные принципы системы рейтинговой оценки.

Для определения рейтинга вводятся обязательные и дополнительные баллы:

обязательными баллами оценивается выполнение предусмотренных программой видов деятельности (самостоятельных работ, курсовых работ, сдача зачетов, решение задач и т.д.;

дополнительные баллы начисляются за выполнение творческих заданий (рефераты, олимпиады, конференции, решение задач повышенной сложности); за своевременное выполнение заданий, за активную работу на занятиях.

В конце некоторого периода все баллы, набранные учеником, суммируются и сравниваются в процентном отношении с максимально возможной суммой. После этого можно определить рейтинг учащегося или студента.

Для удобства сравнения рейтинги рассчитываются по 100-балльной шкале. Обычно граница положительной оценки составляет половину от максимума. (Например, пересчет в четырехбалльную шкалу 50 - 70 - 85.) За счет дополнительных баллов рейтинг может превысить номинальный максимум.

Свойства рейтинговой системы:

1. Открытость системы: ученики должны знать «правила игры»: знать «стоимость» любой деятельности, знать, как можно получить баллы, и за что может их потерять и т.д.

2. Одни и те же действия, выполненные на разных уровнях трудности, оцениваются разным числом баллов. Например, баллы за решение задач разных уровней будут меняться от 3 до 10.

3. Стимулирующая роль дополнительных баллов: например, поощрение более быстрого выполнения заданий на уроке (применять временной коэффициент).

Рекомендации по использованию системы

Начинать необходимо с составления списка всех учебных действий, которые необходимо учитывать при оценивании учеников. Затем следует расположить все действия по значимости для обучения, и определить стоимость каждого действия в баллах. В результате будет получена «таблица стоимости».

1. Если использовать рейтинговую систему, а в журнал нужно выставлять отметки, можно использовать формулу (1)

Отметка = , (1)

где Р - набранные за работу баллы; Р_max - наибольшее число баллов, которые можно было набрать за данную работу; O_max - наибольшая отметка за данную работу.

2. Все действия учеников нужно разделить на основные (оценочные) и дополнительные. Тогда при подведении итогов возможны следующие варианты:

а) в равной мере учитывать и оценочные баллы, и дополнительные (но, в этом случае есть возможность за счет неучебных действий получать завышенные отметки, не соответствующие действительным знаниям и умениям ученика);

б) можно учитывать только оценочные баллы, а дополнительные - при спорной отметке (но, в этом случае у учеников нет никакого стимула получать дополнительные баллы в большом количестве);

в) учитывать оценочные баллы и дополнительные, но ограничить максимум последних. Например, максимум дополнительных баллов не может превышать максимум основных баллов.

г) наиболее разумно учитывать оценочные баллы и дополнительные, но ввести при этом коэффициент соответствия. Например, при выставлении итоговой отметки добавлять к оценочным 10% дополнительных баллов.

Тогда, с учетом приведенных примеров (максимум дополнительных баллов не может превышать максимум основных баллов, и коэффициент соответствия равен 10%), ученик за счет дополнительных баллов сможет увеличить свою отметку не более чем на единицу. Отметка в этом случае будет рассчитываться по формуле (2):

Отметка = , (2)

где Р_доп -- дополнительные баллы; k - коэффициент значимости дополнительных баллов, Р_max -- наибольшее число оценочных баллов, которые можно было набрать за данную работу. При таком подходе отметка может оказаться больше наибольшей (O_max).

3. При выполнении письменной работы можно применять временной коэффициент, т.е. чем раньше сдал работу, тем больше дополнительных баллов получил. Эти баллы можно рассчитать по формуле (3):

,(3)

где Р_доп -- дополнительные баллы; Р -- набранные за работу баллы; t_max -- максимальное время, отведенное на работу; t -- время, за которое ученик выполнил работу. При этом ученики, не спешащие сдавать работу вовремя, могут получить и отрицательные баллы;

Однако, «таблица стоимости» отражает вкусы и пристрастия учителя-автора. И это является основным недостатком рейтинговой системы.

Анализ содержания учебной дисциплины и отбор содержания для теста.

При создании теста внимание разработчика, прежде всего, привлекает отбор содержания, которое можно определить как оптимальное отображение содержания учебной дисциплины в системе тестовых заданий.

Принцип репрезентативности: тест должен ориентироваться на проверку содержательно значимых элементов, чтобы по результатам выполнения теста можно было судить о знании или незнании испытуемым всего объема проверяемого материала.

Определение структуры теста. Разработка спецификации теста.

Разработчик должен определить количество частей теста, количество заданий, формы тестовых заданий.

Каждый тест должен сопровождаться спецификацией, т.е. его описанием, где указываются цели тестирования, для кого этот тест предназначен, процентное соотношение заданий по различным разделам и видам деятельности, используемые формы заданий, рекомендуемое время выполнения.

Пример. Краткая спецификация итогового теста по физике

Спецификация теста.

Цель создания теста, обоснование выбора подхода к его созданию, описание возможных сфер применения теста.

Перечень нормативных документов (базисных программ, требований к уровню подготовки выпускников, учебных пособий), используемых при планировании содержания теста.

Описание общей структуры теста, включающая перечень субтестов (если они есть) с указанием подходов к их разработке.

Количество заданий различной формы с указанием числа ответов к закрытым заданиям, общее число заданий в тесте.

Число параллельных вариантов теста.

Вес каждого задания, рекомендуемый автором теста.

Рекомендуемое время выполнения теста, в том числе на каждый субтест, среднее время выполнения одного задания с учетом специфики формы.

Соотношение заданий по различным разделам и видам учебной деятельности школьников.

Рекомендации по контингенту учащихся для апробации теста.

Охват требований стандартов (для аттестационных тестов).

Перечень требований, не вошедших в тест (для аттестационных тестов).

Рекомендуемая автором стратегия расположения заданий в тесте.

Составление тестовых заданий.

В зависимости от целей тестирования и содержания проверяемой дисциплины выбираются оптимальные формы тестовых заданий. Выбор форм во многом зависит от технологии проверки, сбора и обработки результатов, материального обеспечения. Легче всего проверять задания в закрытой форме, так как существует компьютерная технология проверки и обработки результатов. Сложнее всего проверять задания открытой формы со свободно развернутым ответом, где необходимо привлечение экспертов. А это увеличивает время на проверку и материальные затраты.

Составление задания начинается с формулировки основной его части. Отечественные тестологи не пришли к единому мнению, в какой форме - в форме вопроса или утверждения - это лучше делать. Основная часть задания в виде утверждения позволяет четко и логично сформулировать проблему перед испытуемым. Смысл тестового утверждения улавливается всегда лучше, чем смысл вопроса. В тестовых утверждениях нет ни одного лишнего слова и даже знака, в то время как вопрос требует ряда дополнительных слов и знаков для выражения требуемого смысла, значения интонации. Необходимо выбирать ту форму, которая будет максимально понятна для испытуемых. Рекомендуется начинать составление задания с формулировки правильного ответа. В заданиях закрытого типа при подборе дистракторов надо помнить о том, что все дистракторы должны быть равно привлекательны. Подбор дистракторов - достаточно сложная задача. Иногда для их создания можно использовать неправильные ответы самих учащихся.

Экспертный анализ содержания и формы тестовых заданий.

Для экспертизы привлекаются независимые специалисты, компетентные в данной области, которые не имели отношения к разработке теста. Число специалистов варьируется в зависимости от целей и масштабности тестирования. Для анализа тестов локального использования (одна школа, институт) достаточно 2 эксперта; для тестов, рассчитанных на массовое тестирование, привлекаются 3-5 экспертов, чтобы повысить эффективность процедуры экспертизы.

Эксперт анализирует каждое тестовое задание. Он определяет, соответствует ли содержание задания содержанию проверяемого материала, для этого он сравнивает содержание задания с заявленной спецификацией по предмету, перечнем требований или элементами содержания, которые подвергаются проверке. Эксперт оценивает уровень сложности задания, т.е. содержание задания соотносится с уровнем подготовленности. Эксперт также определяет степень значимости задания, что необходимо для выявления необходимости включения какого-либо задания в тест. В конце всей работы эксперт представляет заключение о качестве теста, в котором даются рекомендации по корректировке и улучшению содержания теста.

Переработка содержания и формы заданий по результатам экспертизы.

По результатам экспертной оценки разработчиками проводится корректировка тестовых заданий и доработка теста в целом.

Разработка и проведение пробного тестирования.

Пробное тестирование преследует следующие цели:

выявление заданий, в которых есть недостатки (несоответствие трудности заданий уровню подготовленности испытуемых; непонятные или двусмысленные формулировки заданий, выявление неработающих дистракторов в заданиях закрытой формы и др.);

определение статистических характеристик тестовых заданий и теста в целом.

Сбор эмпирических результатов и статистическая обработка результатов тестирования.

Оценка качества тестовых заданий и теста в целом с помощью статистических методов.

Статистическая обработка полученных данных тестирования (результатов испытуемых) позволяет определить количественные характеристики тестовых заданий и всего теста.

Анализ качества дистракторов в заданиях закрытой формы.

Одно из важнейших требований, которое предъявляется к заданиям закрытой формы, - это правдоподобность дистракторов (равноценная вероятность выбора дистрактора при неправильном ответе). Оценка качества дистрактора называется дистракторным анализом. Дистракторный анализ предполагает подсчет долей испытуемых, выбравших каждый дистрактор. В идеальном варианте каждый дистрактор должен выбираться в равной доле от всех неправильных ответов. В таблице показано идеальное распределение долей.

Таблица

В таблице показано, что правильно выполнили задание (выбрали 2-й ответ) 70 % испытуемых. Остальные 30 %, которые дали неправильные ответы, равномерно выбрали 1, 3, 4 ответы, т.е. в задании были даны равновероятные дистракторы.

Но такая идеальная картина распределения выбора неправильных ответов в реальной практике встречается редко.

В результате дистракторного анализа выявляются задания с неработающими дистракторами (вариантами ответов в закрытом задании, которые испытуемые выбирают мало или вообще не выбирают). Если в задании есть неработающие дистракторы, то вероятность угадывания правильного ответа повышается, а, следовательно, снижается его трудность. Такие задания требуют переработки (замены неработающих дистракторов) или удаления их из теста.

Корректировка теста по результатам предыдущего этапа.

Составление окончательного варианта теста, нормирование (установление норм) и стандартизация теста.

Стандартизация теста.

Эффективность теста как инструмента зависит не только от качества самого теста, но от того, выполняются ли одно из принципиальных требований в тестологии - требования стандартизации.

Стандартизация - комплекс процедур, позволяющий создать для всех испытуемых равные условия.

Стандартизация включает ряд требований по организации тестирования:

1) ни одному испытуемому не дается никаких преимуществ перед другими;

2) тестирование различных групп испытуемых занимает одинаковое время и проводится в равных условиях;

3) содержание теста должно соответствовать требованиям стандартов образования;

4) все испытуемые выполняют одни и те же задания или подобные, параллельные формы заданий);

5) в тест включены задания одной формы либо разных форм с соответствующими весовыми коэффициентами, значения которых получены статистическим путем;

6) заранее разработанная система подсчета баллов применяется ко всем ответам испытуемых без исключения.

Чтобы соблюдались условия стандартизации, тест сопровождается руководством, в котором заключена информация для пользователя:

назначение;

показания для применения и ограничения;

состав теста;

информация об апробации теста (цели апробации, объем и состав выборки, основные статистические характеристики);

инструкция по процедуре проведения тестирования;

ключи;

данные о трудности и дискриминативности заданий;

данные о надежности и валидности теста и другие статистические материалы;

инструкция для обработки данных;

устройство шкалы;

правила и особенности интерпретации результатов.

Трудность теста определяется

,

где P_j - «трудность» j - ого задания в процентах,

Y_j - количество испытуемых, выполнивших j - ое задание верно,

N - число испытуемых в группе, j - номер задания.

В правильно сконструированном тесте задания должны располагаться по нарастанию сложности, т.е. сначала даются самые легкие, далее все сложнее и сложнее. В хорошо сбалансированном по трудности тесте есть несколько самых трудных заданий со значением . Есть несколько самых легких с . Остальные задания по значениям p занимают промежуточное положение между крайними ситуациями.

Дискримининативность - (discriminatory power или item discrimination - дифференцирующая способность или различающая способность) - способность отдельных заданий теста и теста в целом дифференцировать испытуемых относительно «максимального» и «минимального» результата теста. Если все испытуемые дают на тестовое задание один и тот же ответ, то это означает, что данное задание не обладает дискриминативностью. Дискриминативность задания определяется обычно как разность между относительной численностью испытуемых, справившихся с заданием, из высокопродуктивной и низкопродуктивной группы.

Надежность теста - (англ. reliability of test) - постоянство, устойчивость результатов, получаемых с его помощью. Надежность определяется путем установления корреляций между результатами первого и повторного применения теста или - сопоставления данных, полученных при проведении теста, с результатами применения эквивалентного теста.

Источники неудовлетворительной надежности тестов:

1. Наличие в тесте заданий, допускающих неоднозначное толкование результатов. Часто к таким заданиям относятся задания со свободным ответом.

2. Угадывание ответов.

3. Величина теста. Чем тест длиннее (больше заданий), тем он надежнее.

4. Неоднозначность инструкции и нарушение технологии проведения теста.

Валидность (от англ. valid - действительный, пригодный, действенный) - способность теста измерять ту характеристику, для диагностики которой он заявлен, пригодность теста по содержанию, пригодность к применению в конкретных обстоятельствах. Количественно валидность теста может выражаться через корреляции (статистическая взаимосвязь) результатов, полученных с его помощью, с другими показателями, например, с успешностью выполнения соответствующей деятельности. Валидность теста зависит и от длины теста. Под длиной теста понимают количество заданий, входящих в тест. Существуют тесты очень короткие, состоящие из 7-15 заданий, и очень длинные, состоящие из более 500 заданий. Если тест очень длинный, то ухудшается мотивация и внимание испытуемых, а это снижает надежность и валидность.

При обеспечении равных условий тестирования большую роль играют те части руководства, которые содержат инструкции, регламентирующие поведение тех, кто проводит тестирование, самих испытуемых и тех, кто проверяет тестовые работы.

Инструкция для ведущего приводится, как правило, в руководстве к тесту, а инструкция для испытуемого прилагается к пакету тестовых материалов.

Инструкция для проводящего (ведущего) тестирование включает: условия проведение теста (где, в каком помещении, требования к помещению др.), время выполнения теста, материалы для проведения теста (бланки, ручки или карандаши, черновики и др.), поведение ведущего во время тестирования (что он обязан, что он может и что ему запрещено делать), необходимая квалификация лиц, которые проводят тестирование и др.

Инструкция для испытуемого включает: правила заполнения бланков ответов; образцы исправления неверно выполненного задания. Кроме того, инструкция может содержать правила поведения учащегося и санкции за нарушение этих правил.

Проверка тестовых работ также регламентирована. Проверяющим даются эталоны правильных ответов и стандартизированные критерии оценок.

Важным моментом в стандартизации теста является определение нормы.

Нормы - это множество показателей, которые устанавливаются эмпирически, сообразно тому, как выполняет задания теста некоторая четко определенная выборка испытуемых. Наиболее распространенными нормами являются среднее арифметическое и стандартное отклонение по множеству индивидуальных баллов выборки стандартизации. Соотнесение первичного результата испытуемого с нормами выполнения позволяет установить место испытуемого в выборке, использованной для стандартизации теста. При таком сопоставлении можно установить, соответствует ли данный результат среднему или насколько он выше или ниже среднего результата выполнения теста. Разработка и процедуры получения этих показателей составляют процесс стандартизации теста.

Норма должна быть:

1) дифференцированной - ученики, работающие по разным программам, должны сравниваться исходя их разных норм. Например, нельзя установить одинаковые нормы выполнения теста по математике для учеников обычной школы и школы с углубленным изучением математики, так как норма должна отражать специфику программы подготовки учеников;

2) соответственной, т.е. отражающей реальный контингент и реальные требования, вытекающие из современной ситуации в образовании;

3) репрезентативной - полученной по результатам тестирования репрезентативной выборки. Репрезентативная выборка - это выборка из генеральной совокупности, отражающая основные особенности генеральной совокупности.

Норма - относительное понятие, тесно связанное с качеством выборки, использованной для стандартизации. Поэтому при стандартизации теста особое внимание обращают на формирование выборки. Выборка должна точно отражать категорию (или несколько категорий лиц), для которых предназначен тест, а также быть большой и достаточно сбалансированной для обеспечения столь малой погрешности измерений, чтобы ею можно было пренебречь в процессе стандартизации теста.

Статистические характеристики заданий.

Рассмотрим самые простые и необходимые процедуры статистической обработки результатов тестирования знаний и методы оценки качества теста в соответствии с классической теорией тестирования.

Обозначим через x_ij числовую оценку успешности выполнения j-го задания, выполненного i-м испытуемым. Результаты тестирования обычно представляются в виде матрицы {x_ij} с n строками и m столбцами (i=1,…,n; j=1,…,m). В практике тестирования принято, как правило, пользоваться дихотомической шкалой оценок результатов, когда множество возможных оценок состоит всего из двух элементов {0;1}: 0 - задание не выполнено, 1 - выполнено правильно. Это, конечно, не единственно возможная шкала. Расчет, однако, ведется по формулам, приведенным ниже, независимо от выбранной для оценок шкалы.

Процесс статистической обработки матрицы результатов тестирования будем рассматривать последовательно, по шагам.

1 шаг. Вычисляются индивидуальные баллы испытуемых y_i (i=1,…,n), показывающие результат выполнения теста каждым студентом:

.

2 шаг. Вычисляются средние результаты суммарных баллов испытуемых:

, где n - число испытуемых.

3 шаг. Вычисляются средние результаты испытуемых по каждому заданию:

.

Для дихотомических данных величины, вычисляемые по аналогичной формуле, обозначаются через p_j и традиционно называются в тестологии мерой трудности задания j (j=1,2,…,m):

.

Заметим, однако, что чем больше величина коэффициента p_j, тем большая часть испытуемых успешно справляется с заданием j. Так что на самом деле коэффициенты p_j (j=1,2,...,m) должны интерпретироваться как показатели легкости заданий.

4 шаг. Вычисляется дисперсия и стандартное отклонение суммарных баллов испытуемых:

,

.

5 шаг. Вычисляется дисперсия результатов испытуемых по j-ому заданию (j=1,…,m). Если успешность выполнения задания оценивается баллами 0 или 1, мера вариации определяется по формуле:

.

Когда множество оценок состоит из более чем двух значений, применима формула:

.

Вычислив дисперсию, можно найти и стандартное отклонение .

6 шаг. Определяется связь каждого j-го задания (j=1,…,m) с суммой баллов по всему тесту. Для этого можно использовать коэффициент корреляции Пирсона:

.

7 шаг. Определяется попарная корреляционная связь заданий между собой. Здесь тоже можно использовать коэффициент корреляции Пирсона r_jk, (j,k=1, 2,…,m):

.

Для дихотомических оценок успешности выполнения заданий тот же результат можно получить, оценив эту связь посредством коэффициента корреляции (j,k=1, 2,…,m) для такого рода данных:

,

где A- количество испытуемых, верно выполнивших задания jи k; B, - количество испытуемых, верно выполнивших задание jи неверно - задание k; C - количество испытуемых, неверно выполнивших задание j и верно задание k; D - количество испытуемых, неверно выполнивших задания jи k. Очевидно, величины A,B,C и D вычисляются по формулам:

,

,

,

.

8 шаг. Вычисляется индекс I_j(j=1, 2, … m) дискриминативности задания, то есть его различающая способность, указывающая на возможность разделять отдельных испытуемых по уровню выполнения теста в целом. Для этого из общей совокупности испытуемых выделяют две подгруппы - тех, кто получил самые высокие суммарные баллы, и тех, кто получил самые низкие. Тогда индекс дискриминативности может быть определен как разность между относительными численностями испытуемых, правильно выполнивших задание j в этих двух подгруппах. Например, упорядоченную совокупность суммарных баллов делят на три части и сравнивают результаты выполнения каждого задания j первой и последней третями испытуемых. В этом случае для дихотомических данных индекс приобретает вид:

Чем больше коэффициент I_j, тем больше дискриминативность задания. При наличии больших выборочных совокупностей дихотомических данных и нормального распределения индивидуальных сумм баллов рекомендуют рассчитывать для всех заданий бисериальные коэффициенты корреляции В_j (j=1, 2, … m):

где M_j1- среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 1 балл; M_j0- среднее арифметическое сумм баллов по всему тесту для испытуемых, получивших по данному заданию 0 баллов; n_j1- число испытуемых, получивших по данному заданию 1 балл; n_j0- число испытуемых, получивших по данному заданию 0 баллов. Очевидно, входящие в формулу величины могут быть рассчитаны следующим образом:

,

9 шаг. Очередной шаг делается на основе вектора корреляций {R_j} (или {В_j}), корреляционной матрицы } (или {}) и вектора коэффициентов трудности {p_j}. Из собрания тестовых заданий удаляются задания, не обладающие дискриминативностью, то есть задания слишком легкие (p_j>0,9) и слишком трудные (p_j <0,2). Затем исключаются задания, плохо коррелирующие с суммой баллов (R_j<0,15), и имеющие отрицательные коэффициенты корреляции (или r_jk).

10 шаг. Для укороченного списка заданий вновь подсчитываются суммарные баллы испытуемых y_i. Затем составляется новая, упорядоченная, матрица данных тестирования, в которой столбцы располагаются в порядке возрастания трудности заданий, а строки - в порядке уменьшения, сверху вниз, суммарных баллов испытуемых. Для редуцированной матрицы пересчитываются средний суммарный балл, дисперсия суммарных баллов и коэффициенты корреляции заданий с суммой баллов.