Оценка психометрического качества теста основного государственного экзамена и единого государственного экзамена в РФ

В тесте присутствует9 заданий, демонстрирующих несогласие с моделью (задание № 2, 5, 6, 11, 18, 21, 23, 25, 26), в данных заданиях обе статистики OUTFIT выходят за границу допустимых значений, что свидетельствует о наличии экстремально неожиданных ответов и проблем в заданиях.

Статистика согласия INFITMNSQ не показывает, что какие либо задания выходя за границу допустимых значений. Таким образом, выделенные задания не должны в дальнейшем анализе показывать сильных отклонений от нормы.

Анализ проблемных заданий.

Ниже представлен анализ проблемных заданий с помощью анализа их характеристических кривых. На графике красным цветом показана модельная характеристическая кривая. Синим цветом - эмпирическая характеристическая кривая задания. Модельная характеристическая кривая показывает вероятность правильного ответа на задание в зависимости от уровня подготовленности испытуемых (красная линия). Число крестики на графике демонстрирует количество групп, на которые была разделена выборка и средние значения по заданию в каждой из них. Также на рисунке показаны границы 95%-ного доверительного интервала для точек эмпирического распределения (черный цвет). Если крестики лежат вне границ доверительного интервала, то различия между модельными ожиданиями и эмпирическими данными являются значимыми.

Рисунок 4 - Характеристическая кривая задания 2

DIF анализ.

В данной части работы был проведен анализ несправедливого функционирования заданий теста, т.е. DIF анализ. Как говорилось выше, выборка состоит из 2517 выпускников, разделенных по гендерному признаку. В референтную группу входили мальчики (присвоена категория 1), в фокальную - девочки (категория 2). По отношению к фокальной группе подразумевается несправедливое функционирование заданий теста. В таблице 16представленны данные по обеим группам.

Таблица 16 -Общая статистика по заданиям теста

Как видно из представленных данных, девочки имеют средний балл по тесту несколько выше, чем мальчики. Однако сделать вывод о том кто лучше, а кто хуже справляется с тестом, однозначно нельзя.

Дальнейший анализ включает два метода обнаружения DIF: метод Mantel-Haenszel иt-тест. Значения данных статистик, а так же значения трудности для каждой группы приведены в таблице 17. Считается, что задания демонстрируют DIF, если значение вероятности меньше или равно 0,05 для метода Mantel-Haenszel, и значения по модулю превышают 2 для t-теста (Zwick R.A., 2012). Такие задания выделены красным цветом.

Таблица 17-Результаты DIF анализа

Задания № 16, 18 и 25 демонстрируют возможное наличие DIF. Причем, с заданием № 18 несколько лучше справляются девочки, а с заданиями № 16 и 25 - мальчики.

По проделанному анализу теста не было обнаружено заданий с сильным DIF. Было выделено 3 задания, которые можно попробовать улучшить, но в целом задания можно оставить без изменений.

По методам обнаружения DIF, 3 задания демонстрируют несправедливое функционирование заданий в отношении одной из групп. ETS (Education Testing Service) использует значение 0,64 для параметра «Разница в трудности», как минимальный порог практической значимости. В анализе установим порог практической значимости на уровне 0,50, таким образом, в анализируемом варианте нет заданий демонстрирующих DIF (ZwickR.A., 2012).

Подводя итог, можно говорить о хорошем качестве психометрических параметров теста и, что тест справляется с поставленными перед ним задачами.

3.2 Психометрический анализ математического теста ЕГЭ

Всего в рамках ГИА 11-х классов был разработан 41 вариант для базового и профильного уровня.Для каждого уровняварианты разработаны по единому кодификатору и единой спецификации для каждого уровня, поэтому имеют одинаковую структуру в рамках уровня. Сами задания различаются лишь данными, поэтому было решено выбрать один вариант для анализа. Был выбран вариант 599 профильного уровня.ВКИМ для базового уровня содержатся только задания с кратким ответом, в КИМ для профильного уровня дополнительно присутствуют задания с развернутым ответом, поэтой причине для анализа был выбран именно профильный уровень. Еще одним аргументов является то, что именно по результатам ЕГЭ по математике профильного уровня принимается решение о поступлении в вуз.

Вариант № 599 выполняло 245 выпускников. Тест состоит из 21 задания, где 14 заданий с кратким ответом и 7 заданий с развернутым ответом.

В таблице 18 приведены сводные характеристики анализируемого варианта, а так же значение статистики Separation и количество групп, на которые тест способен продифференцировать выпускников.

Таблица 18 - Сводные характеристики параметров теста

*здесь и далее КТТ - классическая теория тестирования

**здесь и далее IRT - современная теория тестирования

Тест обладает достаточной надежностью 0,79, что говорит о высокой согласованности вопросов в тесте. Показатель трудности теста указывает на то, что тест имеет трудность ниже среднего и должен хорошо подходить данной выборке. Дифференцирующая способность теста, оцениваемая по среднему коэффициенту дискриминативности и количеству групп, на которые тест разделяет выборку, указывает на то, что тест хорошо дифференцирует учеников по уровню способностей.

В основном баллы распределились среди значений 18-64. Так как анализируется вариант профильного уровня, то минимальный порог устанавливается в 27 баллов. Данный порог определен распоряжением Рособранадзора, как минимальный для поступления в вуз (Распоряжение Федеральной службы по надзору в сфере образования и науки № 794-10 от 23.03.2015 г). Примерно 11% выпускников не достигли минимального порога (28 выпускников). В целом, можно сказать, что выпускники успешно справились с тестом, но не показали высоких результатов.

Общая характеристика анализа теста.

В таблицах 19 и 20 представлены общие статистические данные по тестовым заданиям и выпускникам, принимавших участие в тестировании. Из теста удалено задание № 19 задание, так как ни один выпускник с ним не справился. Надежность теста является достаточно высокой и равна 0,79.

Таблица 19- Общая статистика по заданиям теста

Таблица 20 -Общая статистика по выпускникам

В столбце 2 таблицы 19 представлена оценка трудности заданий теста для выпускников. Все оценки даны в логитах. В соответствии с используемой моделью измерения каждое задание теста характеризуется одним числом - трудностью д. Максимальное и минимальные значения оценки трудности показывают, что тест содержит как очень трудные задания (максимальная трудность заданий равна 6,12), так и очень легкие задания (минимальная трудность -5,73). Средняя оценка подготовленности выпускников равна -0,28. Это означает, что выпускники не очень хорошо справляются с тестом, и он для них достаточно сложен. Средняя ошибка измерения (столбец 3 в таблицах 19 и 20) по заданиям равна 0,62 и по испытуемым 0,22.

В 7-м столбце таблиц 19 и 20 представлены данные о статистиках согласия, характеризующих согласие экспериментальных данных тестирования с используемой моделью измерения. Это - общие статистики согласия MNSQ и их стандартизованные версии ZSTD. В соответствии с моделью математические ожидания значений общих статистик согласия равны 1,13 и 0,98, стандартизованных - примерно 1,19 и 0,98. Из представленных данных видно, что статистики согласия MNSQ выходят за границы допустимых значений (0,8;1,2), что говорит о наличии заданий демонстрирующих несогласие с моделью. Статистики ZSTD так же выходят за границы допустимых значений (-2,00;2,00).

Значение статистики Separation показывает, на сколько групп можно разделить выборку, то есть, как тест дифференцирует испытуемых с учетом ошибки измерения. Количество групп рассчитывается по формуле, приведенной ниже.

Значение strata получилось равным 2,9, таким образом, тест всю выборку делит на 3 группы и в достаточной мере способен продифференцировать испытуемых.

Размерность теста.

Для продолжения работы был проведен анализ размерности теста. Результат представлен в таблице 21, также в таблице приведены результаты по симулированным данным.

Таблица 21 - Процент необъясненной дисперсии

Таким образом, не значительно превышен порог 5% необъясненной дисперсии, что позволяет говорить возможном присутствии второй размерности.

Карта переменных.

Распределение мер испытуемых близко к нормальному, что нельзя сказать о мерах заданий. Задание 2 является очень простым для представленной выборки, все выпускники справились с ним. Значит, оно не несет какой либо информации для оценки способности испытуемых. Такой же вывод можно сделать по заданиям 18 и 20, они являются сложными для выборки и испытуемые не справляются с ними. Исходя из полученной карты переменных, можно сказать, что в тесте присутствует достаточное количество заданий для дифференциации и определения уровня способностей выпускников данной выборке. Задания 19-21 являются самыми сложными и предназначены для отбора выпускников в вузы с повышенными требованиями к математическим навыкам выпускников.

В заданиях 20 и 21 шаги 2-4 находятся на одном уровне сложности, что означает, что если выпускник способен выполнить шаг 2, то он способен выполнить и последующие шаги. Другими словами, начиная с шага 2, задание перестает дифференцировать выпускников и оценивание в 4 шага становится нецелесообразно. В задании 18 по спецификации присутствует вторая категория, но она не представлена на карте переменных. Вероятно, выпускники не смогли выполнить необходимых действий и полностью выполнить корректно задание, для получения второго балла. Данные задания требуют дополнительного внимания, вероятно второй шаг оказался значительно сложнее, чем первый, либо в задании или критериях оценивания присутствует ошибка.

Анализ заданий теста.

В таблице 22 представлены данные по заданиям. Задания, в которых статистики согласия выходят за допустимые значения, выделены цветом. Синим цветом выделены задания демонстрирующие несогласие с моделью и розовым сверх согласие с моделью.

Таблица 22- Анализ заданий

В тесте присутствует7 заданий, демонстрирующих несогласие с моделью (задания № 1, 2, 3, 5, 11, 20, 21) и 7 заданий, демонстрирующих сверхсогласие с моделью (задания №4, 6, 15, 16, 17, 18, 20). Данные задания подробно будут проанализированы в разделе ниже.

Анализ проблемных заданий.

Ниже представлен анализ проблемных заданий с помощью анализа их характеристических кривых. На графике красным цветом показана модельная характеристическая кривая. Синим цветом - эмпирическая характеристическая кривая задания. Модельная характеристическая кривая показывает вероятность правильного ответа на задание в зависимости от уровня подготовленности испытуемых (красная линия). Число крестики на графике демонстрирует количество групп, на которые была разделена выборка и средние значения по заданию в каждой из них. Также на рисунке показаны границы 95%-ного доверительного интервала для точек эмпирического распределения (черный цвет). Если крестики лежат вне границ доверительного интервала, то различия между модельными ожиданиями и эмпирическими данными являются значимыми.

Заключение

тестовый аттестация образовательный аккредитация

Главным исследовательским вопросом было оценка вклада результатов ОГЭ в результаты ЕГЭ. Для этого был проведен анализ качества вариантов ОГЭ и ЕГЭ на примере одного из вариантов. Психометрический анализ показал удовлетворительное качество обоих вариантов. Данный вывод можно перенести на все варианты, так как они разработаны по единым документам (кодификаторы и спецификации), и все варианты будут демонстрировать схожие психометрические показатели. Была проанализирована способность ОГЭ предсказывать результаты ЕГЭ. В Анализ включались как результаты ОГЭ по математике, так и по разным предметам, а так же гендерный признак выпускников и характеристики образовательных учреждений (тип и местоположение).

В среднем коэффициент детерминации (R-квадрат) равен 0,344 на профильном уровне и 0,232 на базовом. Таким образом, результаты ОГЭ по математике способны объяснить 34% результатов ЕГЭ по математике на профильном уровне и 23% результатов ЕГЭ по математике на базовом уровне. При оценке использовались ранние исследования прогностической силы ЕГЭ,в которых данный коэффициент был равен 0,20 (Хавенсон Т.Е., Соловьева А.А., 2012) и 0,34 (Польдин О.В., 2011). К сожалению, мы можем опираться только на них, так как нет работ по оценки ОГЭ.

Таким образом, можно говорить, что предсказательная сила ОГЭ достаточна для предсказания результатов ЕГЭ. Так же данный инструмент можно признать валидным для отбора школьников в классы с углубленным изучением отдельных предметов.

Предсказательная сила ОГЭ варьируется в зависимости от включенных независимых переменных, но для результатов ЕГЭ по математике на профильном уровне она значительно сильнее, чем для результатов ЕГЭ по математике на базовом уровне.

Было показано, что помимо результатов ОГЭ по математике сильную прогностическую силу имеют результаты ОГЭ по информатике. Возможно, это связано с тесной связью учебных программ по данным предметам. Так же, подобный результат может быть связан с учителями. Учителя по информатике, имеют сильную математическую подготовку, особенно в классах профильного или углубленного изучения отдельных предметов. В Хабаровском крае педагогический институт выпускал учителей с квалификацией «учитель математики», так и с квалификацией «учитель математики, информатики». Для проверки данного предположения нужна дополнительная контекстная информация по учителям.

Альтернативным объяснением сильной прогностической силы результатов ОГЭ по информатике может являться то, что для сдачи экзамена по информатике выпускникам требуется некоторая математическая подготовка и без знаний по математике хорошо сдать экзамен по информатике практически невозможно.

Отсутствие контекстной информации является самым серьезным ограничением исследования. Результаты ГИА нацелены на оценку способностей выпускников и не несут в качестве дополнительных целей проведение какого-либо опроса. При наличии дополнительной контекстной информации можно было бы проверить альтернативные объяснения. Например, прогностическая сила результатов ОГЭ по информатике может объясняться наличием компьютера дома и, как следствие, возможностью заниматься дополнительно вне школы. Так же высокий социально-экономический статус семьи может позволить пользоваться услугами репетиторов и тогда тип образовательного учреждения может перестать являться сильным предиктором к результатам ЕГЭ по математике. За рамками исследования остался вклад результатов олимпиад в результаты ЕГЭ.

Было бы неплохо проверить вклад олимпиад в результаты ЕГЭ, возможно, они перетянут на себя часть объясненной дисперсии.

Еще одни ограничением исследования являлось то, что в выборку не попали выпускники профессиональных училищ. Они так же сдают ОГЭ по окончанию 9 классов, часть из них сдает ЕГЭ для поступления в вуз.

В результатах не представлялось возможным отделить выпускников, которые сдавали только базовый или только профильный уровень ЕГЭ по математике. Данный момент вызывает сомнения в однозначности трактовки результатов по базовому уровню.

Результаты анализа нельзя обобщать на всю страну, а только на Хабаровский край. Выборка характерна только для данного региона. Тем не менее, анализ было бы интересно провести на всех результатах ЕГЭ в РФ и сравнить с результатами анализа по Хабаровскому краю. Подобное сравнение позволит однозначно идентифицировать региональные особенности математического образования в субъекте.

Дальнейшее использование представленного анализа возможно в качестве принятия решений о выборе образовательной траектории для обучающихся. Так как результаты ОГЭ способны предсказать результаты ЕГЭ, а по которым производится отбор в вузы, то по результатам ОГЭ можно судить о способности обучающихся к тем или иным предметам, а значит и о возможных траекториях развития.

В своей статье об особенностях ЕГЭ, М. Зелман указывал, что в настоящее время нет инструмента, который бы успешно в себе сочетал функции выпускного и вступительного экзамена. В рамках проделанной работы, мы сделали вывод о том, что ОГЭ справляется с функциями вступительного экзамена. Остается вопрос о валидности инструмента, как выпускного экзамена, что можно проверить в дальнейших исследованиях.

Список литературы

1. Cizek, G.J., Koons, H.K., & Rosenberg, S.L. (2007). Chronicling and questioning validity: Mental Measurements Yearbook as a context for investigating sources of evidence for high-stakes tests. Paper presented at the Buros Institute Invitational Conference honoring Barbara S. Plake, Lincoln, NE.

2. Evers A., Sijtsma K., Lucasses W., Meijer R.R. (2010) The Dutch Review Process for Evaluating the Quality of Psychological Tests: History, Procedure, and Results. International Journal of Testing, 10.

3. Fishman J.A., Pasanella A.K. (1960). College admission selection studies. Review of Educational Research.

4. Hambleton R.K., Jones R.W. (1993) Comparison of Classical Test Theory and Item Response Theory and Their Applications to Test Development. age Publications

5. Hambleton R.K., Swaminathan H., Rogers H.J. (1991) Fundamental of Item Response Theory.

6. Kane M. (2001) Сurrent concerns in validity theory.Journal of educational measurement, vol. 38, no. 4.

7. Kappe F.R., Boekholt L., den Rooyen C. Van der Flier H. (2009) A predictive validity study of the Learning Style Questionnaire (LSQ) using multiple, specific learning criteria. Learning and Individual Differences 19.

8. Kazdin A. E. (1998). Research design in clinical psychology ((3rd ed.). Needham Heights, MA: Allyn& Bacon).

9. Klapproth F., Schaltz P. (2014) Students' immigration background as a moderator of the predictive validity of tracking decisions. Social and Behavioral Sciences 116.

10. Kuncel N.R., Hezlett S.A. (2007) Standardized Tests Predict Graduate Students Success. SCIENCE vol 315.

Размещено на Allbest.ru