Наиболее распространенная мера педагогических оценок - шкала оценки знаний и умений учашихся в баллах. Школьные оценки (отметки) - удобный аппарат для практики обучения, который выполняет не только оценивающие, но и определенные воспитательные функции (стимулирования одних учащихся, "наказания" других и т.д.).

В педагогических исследованиях используются также и другие шкалы балльных оценок (порядковые шкалы). Например, выделив какие-либо уровни сформированности у учащихся определенных качеств личности или овладения той или иной деятельностью, исследователь приписывает этим уровням соответствующие значения баллов: "1", "2", "3" и т.д., или "0", "10", "100", что принципиально безразлично. Но использование порядковой шкалы для оценивания результатов педагогическнх исследований нежелательно, хотя и не исключено. И дело здесь в свойствах самой шкалы порядка. В этой шкале ничего нельзя сказать о равномерности или неравномерностн интервалов между соседними значениями оценок. Мы не вправе, к примеру, сказать о том, что знания учащегося, оцененные на "5", настолько же отличаются от знаний, оцененных на "4", как знания, оцененные на "4", отличаются от знаний, оцененных на "3". С тем же успехом можно было бы приписывать баллам значения не "1", "2", "3", "4", "5", а, допустим "1", "10", "100", "1000", "10000". И поэтому совершенно некорректно использование так широко применяемой величины среднего балла (по классу, группе учащихся и т.д.), поскольку усреднение предполагает сложение значений величины, а операция суммы для порядковых шкал не может быть корректно определена. Соответственно не могут быть определены и все остальные арифметические и алгебраические действия.

Поэтому, например, утверждение о том, что знания учащихся в экспериментальных классах в среднем на 0,5 балла выше, чем в контрольных. будет неправомочным, некорректным. Тем более прн использовании балльных оценок некорректны (даже абсурдны) утверждения типа: "эффективность экспериментальной методики в 2,6 раза выше контрольной".

Чтобы продемонстрировать, что может получиться с использованием "среднего" балла, приведем такой гипотетический пример. Пусть исследовалась сравнительная эффективность двух каких-либо методик обучения, А и В. В обеих группах учащихся контрольной и экспериментальной - было по 80 человек. Оценки производились no двум шкалам - пятибалльной и десятибалльной. Предположим, что оценки по десятибалльной шкале могут быть пересчитаны в оценки по шкале пятибалльной: оценки "10" и "9" будут отнесены к "5", "8" и "7" - к "4" и так далее. Пусть оценки no пятибальной шкале распределились следующим образом (в числителе указано количество учащихся, получивших соответствующую оценку в группе, обучавшейся по методике А, в знаменателе - по методике Б.)

, , , , , , .

Оценки "3", "2", "1" не получил никто.

Соответственно "средний балл" составит 7,50 (методика А) и 7,25 (методика В). Казалось бы, можно сделать вывод, что методика А лучше методики В. Вычислим оценки по пятибалльной шкале, в том же порядке:

, , , , .

Средний балл в этом случае составит 3,750 в группе, обучавшейся по методике А, и 4,125 в группе, обучавшейся по методике В. Таким образом мы получили как бы противоположный "результат": методика В лучше методики А.

Заметим, что этот "парадокс" никак не связан со статистическоіі достоверностью различий - он будет иметь место и при очень больших выборках данных (числе учащихся). Просто это свойство слабой шкалы измерений. Сказанное будет относиться и к любым другим критериям оценки, использующим шкалу порядка.

Можно сказать, что использованное в приведенном выше примере преобразование (из десятибалльной в пятибалльную шкалу) некорректно, так как не является взаимно-однозначным. Поэтому рассмотрим еще один пример, в котором "парадокс" имеет место при взаимно-однозначном преобразовании. Предположим для простоты, что экспериментальная, и контрольная группы состоят из двух учеников. Ученики в первой группе получили следующие баллы: x₁ = 2, x₂ = 5, во второй - y₁ = 3, y₂ = 4. "Средний балл" экспериментальной группы: 3,5 = (2+5) /2 равен "среднему баллу" контрольной группы: 3,5 = (3 + 4) / 2. Применим строго монотонное (возрастающее) преобразование: "2" - " "6". "З" - " "8", "4" - " "12". "5" - " "15". Средний балл экспериментальной группы (10,5 = (6 + 15) / 2) стал строго больше среднего балла контрольной группы (10 = (8 + 12) /2). 'Гаким образом, несмотря на то, что строго монотонное преобразованне является допустимым для порядковой шкалы (см. выше), соотношение между "средними" изменилось. Обусловлено это тем, что операция вычисления среднего арифметического не является корректной в порядковой шкале.

В этой главе рассмотрены критерии Макнамары, Пирсона, знаков и Вилкоксона-Манна-Уитни, как одни из критериев проверки гипотез в педагогических исследованиях, а также основные сведения о статистической проверке статистических гипотез. В конце главы проверим гипотезу о независимости оценки 5 из аттестата об окончании средней школы и вступительных экзаменов на ФМИФ в 2006 году

По шести независимым выборкам одинакового объёма n=37, извлечённым из нормальных генеральных совокупностей, найдены исправленные выборочные дисперсии: 2,34; 2,66; 2,95; 3,65; 3,86; 4,54.

Требуется проверить нулевую гипотезу об однородности дисперсий: а) на уровне значимости 0,01; б) на уровне значимости 0,05;

Решение:

§ 2. Критерий Макнамары

Критерий Макнамары предназначен для сравнения распределений объектов двух совокупностей по состоянию некоторого свойства на основе измерений этого свойства в двух зависимых выборках из рассматриваемых совокупностей.

Данные. В педагогических исследованиях нередко возникает проблема сравнения состояния некоторого свойства у членов двух зависимых выборок, когда данное свойство может быть измерено только по шкале наименований. Например, отношение группы учащихся к некоторой профессии до и после беседы по профориентации измерено по шкале наименований, имеющей следующие категории: совсем не нравится - не нравится - безразлична - нравится - очень нравится. В этом случае возникает необходимость сравнения ответов одних и тех же учащихся до, и после беседы, так как полученные результаты позволят судить об эффективности данной беседы в отношении изменения мнения о данной профессии в ту или иную сторону.

Для тех случаев, когда измерения состояния изучаемого свойства проводится по шкале наименований, имеющей только две категории, разработан специальный критерий для сравнения результатов двух зависимых выборок. Этот критерий называется критерием Макнамары. Он может быть использован в исследовании, о котором говорилось выше, если будут использованы только две категории: нравится - не нравится. Обозначим одну значком "0", другую "1".

Будем считать, что случайная величина X характеризует состояние некоторого свойства в рассматриваемой совокупности объектов при первичном измерении данного свойства. А случайная величина Y характеризует состояние того же свойства в той же совокупности объектов при вторичном измерении.

Пусть имеется две серии измерений

x_1,x_2. x_i. x_N; (2)

y_1, y_2. y_i. y_N; (3)

над случайными переменными Х и Y, полученные при рассмотрении двух зависимых выборок. Составлено N пар вида (x_i, y_i), где x_i, y_{i -} результаты двукратного измерения одного и того же свойства у одного и того же объекта.

В педагогических исследованиях пары (x_i, y_i) могут быть результатами измерения состояния одного и того же свойства у одного и того же ученика до и после применения некоторого педагогического средства, причём x_{i -} состояние свойства до применения этого средства, а y_{i -} после его применения.

x_i, y_{i -} измерения по шкале наименований, имеющей две категории, обозначенные "0" и "1". В связи с этим пары (x_i, y_i) могут быть только четырёх видов (0, 0), (0, 1), (1, 0), (1, 1).

Для использования критерия данные суммируются в виде четырёхклеточной таблицы, которая называется "таблица 2Х2"

Таблица 2

Возьмём случайные выборки:

о_1,о_2. о _i. о _N; (4)

з_1,з _2. з _i. з _N; (5)

Допущения. Для применения критерия Макнамары необходимо выполнение следующих требований:

1. выборки зависимые*

2. пары (о _i, з _i) взаимно независимы, то есть члены выборки никак не влияют друг на друга (в педагогических исследованиях выполнение этого требования равносильно, например, исключению возможности консультаций и списывания членами выборок ответов друг у друга)

3. шкала измерений - шкала наименований с двумя категориями (выше - ниже, хуже - лучше и т.д.)

Гипотезы. Предположим, что законы распределения случайных величин X и Y одинаковы. Тогда выполняется и такое равенство:

P (о _i=0, з _i=1) = P (о _i=1, з _i=0) (6)

для всех N пар (о _i, з _i).

Критерий Макнамары и предназначен для проверки справедливости данного равенства. Нулевая гипотеза имеет вид

H₀: P (о _i=0, з _i=1) = P (о _i=1, з _i=0)

для всех i. В качестве альтернативной гипотезы выбирается гипотеза

H₁: P (о _i=0, з _i=1) ? P (о _i=1, з _i=0)

для всех i. Если гипотеза H₁ справедлива, то это означает, что законы распределения переменных X и Y различны, то есть состояния изучаемого свойства существенно (значимо) различны в одной и той же совокупности при первичном измерении этого свойства (например, до применения нового метода обучения) и при вторичном его измерении (например, после применения нового метода обучения). Справедливость нулевой гипотезы приводит к выводу об отсутствии значимых различий в состоянии изучаемого свойства при первичном и вторичном изучениях его состояния у объектов рассматриваемой совокупности.

Гипотезы могут быть записаны в другой форме, которая позволяет их проще интерпретировать в соответствии с содержанием и особенностями проводимого эксперимента:

H₀: P (о_i=0) = P (з_i=0) для всех i (7)

H₁: P (о_i=0) ? P (з_i=0) для всех i (8)

H₀: P (о_i=1) = P (з_i=1) для всех i (9)

H₁: P (о_i=1) ? P (з_i=1) для всех i (10)

Например, при проверке эффективности беседы по профориентации равенство (5) можно интерпретировать так: вероятность изменения после беседы отрицательного отношения к профессии на положительное равна вероятности изменения положительного отношения на отрицательное. Равенство (6) можно интерпретировать так: вероятность положительного отношения к профессии одинакова до и после проведения беседы, равенство (8) - вероятность отрицательного отношения к профессии одинакова до и после проведения беседы.

Статистика критерия. Для проверки статистических гипотез с помощью критерия Макнамары подсчитывается значение случайной величины, называемой статистикой критерия.

Допустим, что N пар (x_i, y_i) распределились следующим образом: число пар вида (x_i=0, y_i=1) равно b, число пар вида (x_i=1, y_i=0) равно c. Тогда, если b+c>20, то в качестве статистики выбирается величина

(11)

Если b+c?20, то используется величина T₂, равная наименьшему из значений b и c:

T₂=min (b, c). (12)

Значения статистик T₁ и T₂ не зависят от значений a и d - чисел пар вида: (x_i=0, y_i=0) и (x_i=1, y_i=1), так как эти пары представляют измерения объектов, индифферентных к воздействию средства, эффективность которого, проверяется в проводимом эксперименте и, естественно не учитывается при рассматриваемом способе оценки результатов эксперимента.

Правило принятия решения. Пусть b+c=n и б - принятый уровень значимости. Рассмотрим правила принятия решений в случае применения критерия Макнамары для проверки разного уровня гипотез.

Проводится проверка гипотезы H₀: P (x_i=0, y_i=1) = P (x_i=1, y_i=0) - при альтернативе H₁: P (x_i=0, y_i=1) ? P (x_i=1, y_i=0).

Если справедлива нулевая гипотеза, то статистика критерия T₂=min (b, c) распределена по биномиальному закону* с p=0,5. Поэтому для n?20 по таблице по значению n и величине статистики критерия T₂ находим P (T₂ ? T_{2наблюдаемое}), то есть вероятность появления значения статистики, меньшего или равного наблюдаемому значению T₂ при данном значении n. Если эта вероятность меньше половины заданного уровня значимости б, то H₀ отклоняется на уровне значимости б. При этом в случае, когда b<c, принимается гипотеза H₁: P (x_i=0, y_i=1) < P (x_i=1, y_i=0), а в случае

b>c - гипотеза H₁: P (x_i=0, y_i=1) > P (x_i=1, y_i=0).

Таблицы биномиального распределения, удобные для применения критерия Макнамары, составлены для n?25. Однако для n>20 при предположении о справедливости нулевой гипотезы распределение статистики критерия T₁ аппроксимируется распределением ч² с одной степенью свободы. H₀ отклоняется на уровне значимости б, если наблюдаемое значение T₁ превосходит критическое значение статистики критерия, отвечающее данному уровню значимости б, которое определяется по таблице распределения ч² с одной степенью свободы.

При отклонении H₀ принимается гипотеза H₁: P (x_i=0, y_i=1) < P (x_i=1, y_i=0), если b<c, и гипотеза H₁: P (x_i=0, y_i=1) > P (x_i=1, y_i=0), если b>c.

В случае, когда b=c, применение статистики критерия T₂ при n?20 и статистики T₁ при n>20 заведомо не позволяет отвергнуть нулевую гипотезу при любом уровне значимости б. Поэтому при b=c результаты эксперимента не позволяют использовать критерий Макнамары для проверки статистических гипотез. Рассмотрим пример [3]

Пример:

§ 3. - критерий Пирсона

Назначения критерия

Критерий может применяться:

для сопоставления эмпирического распределения признака с теоретическим - равномерным, нормальным или каким-то иным,

для сопоставления двух, трех или более эмпирических распределений одного и того же признака

Описание критерия

Критерий отвечает на вопрос о том, с одинаковой ли частотой встречаются разные значения признака в эмпирическом и теоретическом распределениях или в двух и более эмпирических распределениях

Преимущество метода состоит в том, что он позволяет сопоставлять распределения признаков, представленных в любой шкале, начиная от шкалы наименований. В самом простом случае альтернативного распределения "да - нет", "допустил брак - не допустил брака", "решил задачу - не решил задачу" и т.п. мы уже можем применить критерий .

Допустим, некий наблюдатель фиксирует количество пешеходов, выбравших правую или левую из двух симметричных дорожек на пути из точки А в точку Б (см рис 1).

Рис.1 Иллюстрация к примеру о теоретически равновероятном выборе из двух альтернатив - правой и левой дорожек, ведущих из точки А в точку Б

Пусть, в результате 70 наблюдении установлено, что 51 человек выбрали правую дорожку, и лишь 19 - левую С помощью критерия мы можем определить, отличается ли данное распределение выборов от равномерного распределения, при котором обе дорожки выбирались бы с одинаковой частотой. Это вариант сопоставления полученного эмпирического распределения с теоретическим. Такая задача может стоять, например, в прикладных психологических исследованиях, связанных с проектированием в архитектуре, системах сообщения и др.

Но представим себе, что наблюдатель решает совершенно другую задачу: Совпадение полученного распределения с равномерным его интересует гораздо в меньшей степени, чем совпадение или несовпадение его данных с данными других исследователей. Ему известно, что люди с преобладанием правой ноги склонны делать круг против часовой стрелки, а люди с преобладанием левой ноги - круг по ходу часовой стрелки, и что в исследовании коллег преобладание левой ноги было обнаружено у 26 человек из 100 обследованных.

С помощью метода он может сопоставить два эмпирических распределения: соотношение 51: 19 в собственной выборке и соотношение 74: 26 в выборке других исследователей.

Это вариант сопоставления двух эмпирических распределений по простейшему альтернативному признаку (конечно, простейшему с математической точки зрения, а отнюдь не психологической).

Аналогичным образом мы можем сопоставлять распределения выборов из трех и более альтернатив. Например, если в выборке из 50 человек 30 выбрали ответ (а), 15 человек - ответ (б) и 5 человек - ответ (в), то мы можем с помощью метода проверить, отличается ли это распределение от равномерного распределения или от распределения ответов в другой выборке, где ответ (а) выбрали 10 человек, ответ (б) - 25 человек, ответ (в) - 15 человек.

В тех случаях, если признак измеряется количественно, скажем, в баллах, секундах или миллиметрах, нам, быть может, придется объединить все обилие значений признака в несколько разрядов. Например, если время решения задачи варьирует от 10 до 300 секунд, то мы можем ввести 10 или 5 разрядов, в зависимости от объема выборки. Например, это будут разряды: 0-50 секунд; 51-100 секунд; 101-150 секунд и т.д. Затем мы с помощью метода будет сопоставлять частоты встречаемости разных разрядов признака, но в остальном принципиальная схема не меняется.

При сопоставлении эмпирического распределения с теоретическим мы определяем степень расхождения между эмпирическими и теоретическими частотами.

При сопоставлении двух эмпирических распределений мы определяем степень расхождения между эмпирическими частотами и теоретическими частотами, которые наблюдались бы в случае совпадения двух этих эмпирических распределений. Формулы расчета теоретических частот будут специально даны для каждого варианта сопоставлений.

Чем больше расхождение между двумя сопоставляемыми распределениями, тем больше эмпирическое значение.

Гипотезы

Возможны несколько вариантов гипотез, в зависимости от задач, которые мы перед собой ставим.

Первый вариант:

Н₀: Полученное эмпирическое распределение признака не отличается от

теоретического (например, равномерного) распределения.

Н₁: Полученное эмпирическое распределение признака отличается от

теоретического распределения.

Второй вариант:

Н₀: Эмпирическое распределение 1 не отличается от эмпирического распределения 2.

Н₁: Эмпирическое распределение 1 отличается от эмпирического распределения 2.

Третий вариант:

Н₀: Эмпирические распределения 1, 2, 3,. не различаются между собой.

Н₁: Эмпирические распределения 1, 2, 3,. различаются между собой.

Критерий позволяет проверить все три варианта гипотез.

Графическое представление критерия [2]

Проиллюстрируем пример с выбором правой или левой дорожек на пути из точки А в точку Б. На Рис.2 частота выбора левой дорожки представлена левым столбиком, а частота выбора правой дорожки - правым столбиком гистограммы. На оси ординат отмеряются относительные частоты выбора, то есть частоты выбора той или иной дорожки, отнесенные к общему количеству наблюдений. Для левой дорожки относительная частота, которая называется также частостью, составляет 19/70, то есть 0,27, а для правой дорожки 51/70, то есть 0,73.

Левая Правая

Рис.2 Частоты выбора левой и правой дорожек, теоретическая частота представлена в виде горизонтальной планки, стрелками обозначены области расхождения между эмпирическими и теоретическими частотами

Если бы обе дорожки выбирались равновероятно, то половина испытуемых выбрала бы правую дорожку, а половина - левую. Вероятность выбора каждой из дорожек составляла бы 0,50.

Мы видим, что отклонения эмпирических частот от этой величины довольно значительны. Возможно, различия между эмпирическим и теоретическим распределением окажутся достоверными.

На Рис.3 фактически представлены две гистограммы, но столбики сгруппированы так, что слева сопоставляются частоты предпочтения левой дорожки в выборе нашего наблюдателя и в выборке Т.А. Доброхотовой и Н.Н. Брагиной, а справа - частоты предпочтения правой дорожки в этих же двух выборках.

Левая Правая

Рис.3 Частоты выбора левой и правой дорожек в двух выборках испытуемых

Выборка наблюдателя,

Выборка других исследователей

Мы видим, что расхождения между выборками очень незначительны. Критерий скорее всего, подтвердит совпадение двух распределений.

Ограничения критерия

1. Объем выборки должен быть достаточно большим n?30. При n<30

критерий дает весьма приближенные значения. Точность критерия повышается при больших n.

2. Теоретическая частота для каждой ячейки таблицы не должна быть меньше 5: f?5. Это означает, что если число разрядов задано заранее и не может быть изменено, то мы не можем применять метод , не накопив определенного минимального числа наблюдений. Если, например, мы хотим проверить наши предположения о том, что частота обращений в телефонную службу Доверия неравномерно распределяются по 7 дням недели, то нам потребуется 5*7=35 обращений. Таким образом, если количество разрядов (k) задано заранее, как в данном случае, минимальное число наблюдений (n_min) определяется по формуле: n_min=k*5.

Выбранные разряды должны "вычерпывать" все распределение, то есть охватывать весь диапазон вариативности признаков. При этом группировка на разряды должна быть одинаковой во всех сопоставляемых распределениях.

Необходимо вносить "поправку на непрерывность" при сопоставлении распределений признаков, которые принимают всего 2 значения. При внесении поправки значение уменьшается.

Разряды должны быть неперекрещивающимися: если наблюдение отнесено к одному разряду, то оно уже не может быть отнесено ни к какому другому разряду.

Сумма наблюдений по разрядам всегда должна быть равна общему количеству наблюдений.

Главное же "ограничение" критерия - то, что он кажется большинству исследователей пугающе сложным.

Попытаемся преодолеть миф о непостижимой трудности критерия . Рассмотрим пример, который приведён в книге Е.В. Сидоренко.

Шутливый пример [2]

В гениальной комедии Н.В. Гоголя "Женитьба" у купеческой дочери Агафьи Тихоновны было пятеро женихов. Одного она сразу исключила из рассмотрения, потому что он был купеческого звания, как и она сама. А из остальных она не знала, кого выбрать: "Уж как трудно решиться, так просто рассказать нельзя, как трудно. Если бы губы Никанора Ивановича да приставить к носу Ивана Кузьмича, да взять сколько-нибудь развязности, какая у Балтазара Балтазарыча, да, пожалуй, прибавить к этому еще дородности Ивана Павловича, я бы тогда тотчас решилась. А теперь поди подумай! просто голова даже стала болеть. Я думаю, лучше всего кинуть жребий" (Гоголь Н.В., 1959, с.487). И вот Агафья Тихоновна положила бумажки с четырьмя именами в ридикюль, пошарила рукою в ридикюле и вынула вместо одного - всех!

Ей хотелось, чтобы жених совмещал в себе достоинства всех четверых, и, вынимая все бумажки вместо одной, она бессознательно совершала процедуру выведения средней величины. Но вывести среднюю величину из четверых людей невозможно, и Агафья Тихоновна в смятении. Она влюблена, но не знает, в кого. "Такое несчастное положение девицы, особливо еще влюбленной" (там же, с.487).

Вся беда в том, что ни Агафья Тихоновна, ни ее тетушка, ни сваха Фекла Ивановна не были знакомы с критерием ! Именно он мог бы им помочь в решении их проблемы. С его помощью можно было бы попробовать установить, в кого больше влюблена Агафья Тихоновна. Но для этого нам не нужно измерять губы Никанора Ивановича или нос Ивана Кузьмича, или объем талии дородного экзекутора Ивана Павловича; не нужно нам и пускаться на какие-нибудь опасные эксперименты, чтобы определить, насколько далеко простирается развязность Балтазара Балтазарыча. Мы эти их достоинства принимаем как данность потому лишь, что они нравятся Агафье Тихоновне. Мы принимаем их за разряды одного и того же признака, например, направленности взгляда Агафьи Тихоновны: сколько раз она взглянула на губы Никанора Ивановича? На нос Ивана Кузьмича? Благосклонно взирала на дородного Ивана Павловича или развязного Балтазара Балтазаровича? Внимательная сваха или тетушка вполне могла бы этот признак наблюдать. Допустим, за полчаса смотрин ею зафиксированы следующие наблюдения.

Агафья Тихоновна:

сидела с опущенными глазами 25 минут

благосклонно смотрела на Никанора Ивановича 14 раз

благосклонно смотрела на Ивана Кузьмича 5 раз

благосклонно смотрела на Ивана Павловича 8 раз

благосклонно смотрела на Балтазара Балтазарыча 5 раз.

Представим это в виде таблицы.

Таблица 4 Распределение взгляда Агафьи Тихоновны между 4 женихами

Теперь нам нужно сопоставить полученные эмпирические частоты с теоретическими. Если Агафья Тихоновна никому не отдает предпочтения, то данное распределение показателя направленности ее взгляда не будет отличаться от равномерного распределения: она на всех смотрит примерно с одинаковой частотой. Но если достоинства одного из женихов чаще притягивают ее взор, то это может быть основанием для матримониального решения.