Тестовое задание

Размещено на http://allbest.ru

Планируемые результаты:

1) указывать и обосновывать критерии тестового задания

2) обозначать значение различных статистических показателей ТЗ

3) объяснять понятия «трудность задания», «дифференцирующая сила», «гомогенность теста», «вариация тестового балла»

4) рассчитывать статистические показатели отдельных ТЗ

5) использовать характеристики ТЗ при анализе результатов тестирования и проведении экспертизы теса

Тестовое задание - это составная единица теста, отвечающая требованиям технологичности, чистоты формы и предметного содержания и, кроме того, статистическим требованиям:

1) известной трудности;

2) дифференцирующей способностью (достаточной вариации тестовых баллов);

3) положительной корреляции баллов задания с баллами по всему тесту.

4) кумулятивным эффектом.

Из перечисленных требований вытекает обязательность эмпирической проверки заданий на выборочной совокупности испытуемых и применения статистических методов обработки данных.

Комментарий к данному определению:

Технологичность заданий обеспечивается правильностью ____ заданий и корректностью _________ заданий.

Если неизвестна эмпирическая мера трудности задания, то это задание - не тестовое. В самом лучшем случае оно будет заданием в тестовой форме, в худшем - ни тем, ни другим.

В русском языке сложилась практика вместо слова «трудность» использовать слово «сложность».

Определение статистических характеристик является главным (после экспертной проверки содержания) средством диагностики качества тестовых свойств заданий, причем по любой учебной дисциплине. Хотя статистическую проверку заданий лучше делать с помощью ЭВМ, педагоги-разработчики тестов должны уметь ставить вычислителям расчетные задачи, а для этого надо ориентироваться в основных статистических методах оценки измерительных свойств каждого задания.

Вся работа ведется посредством обработки матриц тестовых результатов.

X_4х3 =

В ней строки представляют испытуемых, а столбцы - задания. У первого испытуемого сумма равна трём, у второго и четвертого - двум баллам, у третьего - одному баллу.

Значения матрицы рассматриваются как итог противоборства каждого испытуемого (i) с предлагаемыми ему заданиями (j). Исход противоборства оценивается баллом x_ij.

Теперь рассмотрим в табл. 1 пример чуть большей матрицы. В матрице приведены результаты проверки знаний 13-ти испытуемых по 10-ти заданиям (Х_13х10). Первая колонка таблицы 1 представляет фамилии (номера) испытуемых. Пример матрицы результатов тестирования

Табл. 1.Номера заданий

В матрице проводится два упорядочения.

Для проверки тестовых свойств заданий, с данными табл. 1 выполняется ряд расчетов. Результаты приведены в табл. 2, где показаны основные статистические данные, принимаемые во внимание на этапе эмпирической проверки качества заданий.

Понятия выборки испытуемых и репрезентативной выборки испытуемых. Понятие target groop.

Табл. 2.Таблица тестовых результатов

Вариация тестовых баллов. Так как цель разработки теста - это измерение уровня подготовленности испытуемых, что можно качественно сделать только с помощью системы заданий возрастающей трудности.

Как поведут себя удаляемые задания в других группах испытуемых? «target group» Если задания проектируемого теста ведут себя неодинаково в разных группах, то это является, скорее всего, указанием на ошибки в формировании выборок испытуемых.

Стандартной мерой вариации являются значения дисперсии баллов (s_j²), а также корень квадратный из этого значения, называемый стандартным отклонением (s_j). Для заданий, в которых используется только дихотомическая оценка (1 или 0) дисперсия определяется по сравнительно простой формуле:

s_j² = p_jq_j(11.6)

где p_j и q_j, - доли правильных и неправильных ответов в каждом задании.

Стандартное отклонение тестовых баллов от средней арифметической обозначается символом s и вычисляется как корень квадратный из значения .

Корреляция задания с критерием (r_xy) является третьим статистическим требованием к тестовым заданиям. Это распространенное в практике название, представляет собой сокращенный вариант более правильного понятия - корреляция оценок, полученных испытуемыми в задании, с оценками, полученными ими же по какому-либо критерию, например, по сумме баллов. Корреляция является стандартной мерой дифференцирующей способности задания. Для расчета r_xy формируется два так называемых вектор-столбца, один из которых - задание (Х_j), другой - критерий (Y). Между значениями этих двух векторов и устанавливается мера связи, если таковая существует. Мера связи определяется посредством расчета коэффициента корреляции r_jy где символом r обозначается так называемый классический коэффициент корреляции Пирсона, j представляет номер коррелируемого задания, а символ Y - числовой вектор-столбец тестовых баллов испытуемых.

Формулы для расчета коэффициентов корреляции и примеры такого расчета даются ниже. Проверим, например меру связи ответов испытуемых по заданию №7 с суммой баллов испытуемых по всему тесту. Для этого строится вспомогательная таблица 3, в которой использованы соответствующие данные табл.2.

В колонке Х₇ приводятся значения баллов, полученных испытуемыми в седьмом задании. Сумма этих баллов равна 5.

Во второй колонке представлены тестовые баллы (Y_i); в таблице представлено без индекса i, что позволяет не перегружать формулы; Y_i = 65.

В третьей колонке даются произведения баллов каждого испытуемого по седьмому заданию (X₇) и по сумме баллов (Y); X₇Y= 34. Это сумма попарных произведений X и Y.

В четвертой и пятой колонках - квадраты значений X₇ и Y; Соответственно,

= 5 и = 387.

При расчете используются, последовательно, четыре формулы:

1) Вначале находится сумма квадратов отклонений баллов испытуемых от среднего арифметического балла в интересующем задании (SS₇). Это делается по уже знакомой формуле:

SS₇ = -

Табл. 3. Расчет коэффициента корреляции.

2) Затем находится сумма квадратов отклонений тестовых баллов испытуемых от среднего арифметического балла по всему тесту (SS_y). Это делается также по формуле:

SS_у = = 387 - = 62.

3) Находится так называемая скорректированная на средние значения сумма попарных произведений X и Y, по формуле:

SP_xy = - 34 - 9

В последней формуле представляет собой сумму произведений баллов каждого испытуемого по седьмому заданию и по Y_i, тестовому баллу испытуемых. Вторая часть формулы представляет собой коррекцию на средние значения X и Y.

4) Рассчитывается коэффициент корреляции по формуле:

r_xy = (11.8)

Подставляя в эту формулу результаты проведенных расчетов, получаем

r_xy =

Чем выше значения r_xy, тем больше вероятность превращения задания в тестовой форме в тестовое задание, то есть быть включенным в тест. Особенно заметно вероятность повышается при r 0,400. Если взять r² 100%, то получим значение так называемого коэффициента детерминации, выраженного в удобной, для интерпретации, процентной мере связи задания с суммой баллов. Для взятого примера коэффициент детерминации у седьмого задания равен (0,652)² 100% = 42, 5 %, что можно интерпретировать так: 42,5% вариации суммы тестовых баллов испытуемых по всем заданиям связано с вариацией баллов по одному только седьмому заданию, что указывает на очень высокий потенциальный вклад седьмого задания в общую дисперсию тестовых баллов.

При значениях 0,2 r_xy 0,5 во внимание начинают приниматься и другие характеристики: такие как мера трудности заданий, мера корреляции задания с другими заданиями, факторная чистота задания и другие; их рассмотрение здесь потребовало бы другого стиля изложения Ряд материалов интересующийся читатель может найти в работе автора “Научные основы тестового контроля знаний”. М. Иссл. центр, 1994. - 135с.;

“Методологические и теоретические основы тестового педагогического контроля. Дисс. докт. пед. наук. С-Пб. Госуниверситет, 1994.- 339с.. В качестве нижней границы включения заданий в тест рассматриваются значения r_xy = 0,200.

При значениях 0,2 r_xy 0,5 во внимание начинают приниматься и другие характеристики, такие как мера трудности заданий, мера корреляции задания с другими заданиями, факторная чистота задания и другие, рассмотрение которых потребовало бы здесь другого стиля изложения. В качестве нижней границы включения заданий в тест можно рассматривать значение r_xy = 0,2, Нулевая корреляция свидетельствует об отсутствии у задания системных свойств, присущих для тестового задания. Такие задания, равно как и задания с отрицательными значениями r_xy , устраняются из тестовых материалов, как не выдержавшие эмпирической проверки.

Теоретически предпочтительнее рассчитывать другие варианта коэффициента корреляции Пирсона. Первый из них называется бисериальным коэффициентом корреляции для случая, когда одна переменная представлена дихотомической оценкойPoint-biserial. См., например, Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. Пер. с англ. М. Прогресс, 1976. С.150..

тестовый задание статистический корреляция

r_pb = ,(12)

где r_pb означает названный коэффициент;

М_{1 -} среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию один балл;

М_{2 -} среднее арифметическое по всему тесту для испытуемых, получивших по данному заданию ноль баллов;

n₁ - число испытуемых, получивших в задании один балл, n₀ - число испытуемых, получивших в задании ноль баллов.

При использовании данной формулы из таблицы 2. опираются на такие данные:

Один балл по седьмому заданию получили первый, второй, третий, шестой и седьмой испытуемые. Сложение полученных ими баллов по Y дает 9+8+7+5+5 = 34; среднее арифметическое М₁ = 34/5 = 6,800. Ноль баллов по этому же заданию получили 4, 5, 8, 9, 10, 11, 12, и 13 испытуемые. Сложение полученных ими баллов по Y дает 6+6+ 5+ 4+4 + 3 +2 + 1 = 31; среднее арифметическое М₀ = 31/8 = 3,875, при n₁ = 5, n₀ = 8; n = 13,

Подстановка полученных данных в формулу 11.9 даёт

r_pb = = 0,651.

Сравнение r_pb = 0,651 и r_xy = 0,652 подтверждает сходство полученных значений и практическую достаточность использования любой одной из этих формул. Расчет так называемого бисериального коэффициента корреляции задания с критерием проводится обычно в целях теоретического исследования. На малых выборках он дает завышенные значения, что объясняется обычно отклонениями от нормального распределения Формулу расчета бисериального коэффициента интересующиеся читатели могут найти в работе: Гласс Дж., Стэнли Дж. Статистические методы в педагогике и психологии. Пер. с англ. М. Прогресс, 1976. С.150..

Анализу тестовых свойств задания очень способствует расчет полной корреляционной матрицы (табл.4), в которой представляются корреляции каждого задания со всеми остальными заданиями, а также корреляции с суммой баллов. Ввиду громоздкости этой работы и неизбежности появления ошибок, всю работу рекомендуется выполнять на ЭВМ с помощью одного из множества имеющихся сейчас в продаже статистических пакетов Statistica, SPSS и т.п.

В корреляционной матрице внимание разработчика теста, в первую очередь, направляется на значения корреляций заданий с суммой баллов (r_xy, последний столбец). Чем выше корреляция, тем более системным является задание. Тем выше шансы задания называться тестовыми и попасть в тест.

Логарифмические оценки, называемые логитами, таких, казалось бы, реально несопоставимых феноменов как уровень знаний испытуемого с уровнем трудности каждого задания, были использованы для непосредственного сопоставления уровня трудности с уровнем подготовленности испытуемого. ЭВМ сопоставляет логит задания и логит знаний и на этой основе подбирает очередное задание в системах адаптивного обучения и контроля знаний.

Упрощенная процедура анализа заданий

Размещено на Allbest.ru