Внешняя экспертиза тестов для контроля остаточных знаний

Размещено на http://www.allbest.ru/

Внешняя экспертиза тестов для контроля остаточных знаний

Булгаков Олег Митрофанович

Гривенная Елена Николаевна

Ладыга Антон Игоревич

Аннотация

Показано приоритетное значение внешней экспертизы в процессе априорного оценивания характеристик компьютерного теста. Рассмотрены особенности содержания экспертизы компьютерных тестов для контроля остаточных знаний, обусловленные учетом забывания изученного материала. Сформулированы примерные вопросы экспертизы, учитывающие специфику контроля остаточных знаний. экспертиза компьютерный тест

Ключевые слова: контроль остаточных знаний, компьютерный тест, внешняя экспертиза компьютерных тестов, обучающиеся, верификация.

External examination of tests to control residual knowledge

Priority value of external examination in process of a priori assessment of computer test characteristics is shown. Peculiarities of content of computer tests examination for control of residual knowledge, due to forgetting of studied material, are considered. Exemplary issues of expertise are formulated, taking into account the specifics of the control of residual knowledge.

Keywords: control of residual knowledge, computer test, external examination of computer tests, trainees, verification.

Расширенное применение дистанционных образовательных технологий, обусловленное мерами профилактики СО 7Ю-19, повысило значимость компьютерных тестов как инструмента контроля учебных достижений обучающихся, а перевод части практических занятий в офлайн-формат сделало данный вид контроля доминирующим, а во многих случаях - единственно реализуемым.

Востребованность компьютерных средств тестов в системе контроля учебных достижений обучающихся привела к увеличению объемов и интенсивности разработки тестов и актуализации баз тестовых заданий. Следствием этих процессов стало обострение проблемы обеспечения априорной достоверности оценок знаний и умений обучающихся.

Процесс разработки и эксплуатации компьютерного теста может быть представлен последовательностью следующих этапов:

1) выбор компьютерной оболочки (тестовой программы), определение алгоритма тестирования, структуры теста (минимального числа заданий в базе, количества и сложности заданий в тестовой выборке) и вида тестовых заданий, установление критериев оценок;

2) априорная оценка надежности теста [1] и оптимизация его структуры и (или) корректировка пороговых значений оценок;

3) отбор содержания теста, формирование базы тестовых заданий;

4) авторская проверка работоспособности теста, устранение ошибок, редактирование базы заданий;

1) внешняя экспертиза теста;

2) корректировка теста с учетом результатов экспертизы и рекомендаций экспертов;

3) апробация теста;

4) корректировка теста с учетом результатов апробации, включая внесение поправок в пороговые значения оценок;

5) эксплуатация теста и мониторинг его надежности, текущая актуализация содержания тестовых заданий и пополнение их базы.

Все этапы можно объединить в три группы: разработка (1-3), проверка (4-7) и применение (8). Апробация теста, включая анализ ее результатов, является наиболее трудоемкой и продолжительной по времени операцией этапа проверки. С одной стороны, апробация важна, поскольку дает разработчику достоверные эмпирические результаты. С другой стороны, для обеспечения такой достоверности необходимо не только воспроизвести реальные условия тестирования, но и подобрать контингент экспериментальной группы, максимально сходный по условиям обучения и готовности к проверке знаний и умений с реальным контингентом, и соблюсти условия репрезентативности выборки или общего количества экспериментальных оценок, что в пределах одной образовательной организации является крайне сложной задачей. Возможным решением данной проблемы представляется межвузовская кооперация, наиболее эффективная при синхронности (для минимизации времени апробации) реализации образовательных программ, что, например, имеет место при организации образовательного процесса на основе примерных учебных планов. Однако в большинстве случаев разработчик тестов проводит его апробацию на тех же обучающихся, чьи результаты обучения и должны подвергаться проверке. При нескольких группах обучающихся, изучающих учебную дисциплину, это могут быть одна-две группы в статусе экспериментальных. При относительно малом количестве обучающихся в качестве эмпирических данных для анализа и коррекции теста используются результаты тестирования в предыдущем году или семестре обучения. В обоих случаях, корректно проводя апробацию, разработчик либо теряет не менее учебного семестра времени, либо вынужден считаться с невозможностью обеспечить одинаковые условия оценивания учебных достижений одного курса. С учетом данных трудностей, особенно в контексте увеличения объема применения дистанционных образовательных технологий, важное значение на этапе проверки теста приобретает его внешняя экспертиза.

Среди достоинств внешней экспертизы компьютерных тестов (далее - ВЭКТ) наибольшего внимания заслуживают ее возможности:

формирования группы квалифицированных экспертов с высокой степенью согласованности экспертных мнений [2; 3] с применением средств телекоммуникаций;

придания ВЭКТ системного характера за счет регулярности экспертиз и разнообразия их направленности (содержания);

оперативного проведения ВЭКТ и получения экспертных оценок, в том числе, за счет организации дистанционной работы экспертов;

оперативного варьирования при необходимости составом экспертов и проведения повторных экспертиз для повышения достоверности экспертных оценок;

достижения высокой достоверности экспертных оценок за счет применения зарекомендовавших себя методик организации экспертиз и развитого математического аппарата обработки их результатов;

проведения экспертиз универсального, комплексного характера с последующим многократным использованием их результатов.

Основной задачей ВЭКТ является качественная, а в отдельных случаях и количественная оценка или подтверждение требуемого уровня таких характеристик тестов, которые не могут быть достоверно оценены путем прямых или косвенных измерений или расчетов. Проведение ВЭКТ предпочтительно и в тех случаях, когда экспериментальное получение достоверных оценок характеристик теста чрезмерно трудоемко или занимает слишком много времени.

Комплексный характер и неоднозначность трактовок специалистами ряда таких свойств, включая подходы к их определению, придают ВЭКТ характер приемлемого компромисса в решении задач априорной оценки качества тестов, под которым прежде всего следует понимать потенциальную достоверность оценивания учебных достижений обучающихся. В качестве примера рассмотрим валидность теста, определяемую как "характеристика способности теста оценивать требуемые показатели" [4]. Ввиду того, что создание теста носит многоцелевой характер, валидность и ее оценивание, руководствуясь различными критериями целевой адекватности теста, рассматривают с разных позиций. В частности, отдельно рассматривают диагностическую, прогностическую, эмпирическую, конструктивную, содержательную, критериальную, функциональную валидность [5; 6; 7]. Зачастую, в силу эклектичности подходов к трактовке понятия валидности в него, помимо целеполагающих свойств вкладываются признаки надежности, дифференцирующей способности, меры трудности теста [4; 5; 8; 9]. Очевидно, что валидность как комплексная характеристика теста должна выражаться различными показателями, одни из которых могут оцениваться количественно, а другие - качественно. Однако полагаем, что вопрос о пригодности тех или иных показателей и их оценок для анализа качества теста, который в узком смысле сводится к определению его потенциальной достоверности [1; 4; 6], сам является предметом экспертизы.

Ряд, на первый взгляд, методически относительно просто определяемых экспериментально характеристик теста, таких как его сложность, дифференцирующая способность, оптимальное время тестирования, требуют для достоверности оценивания не только большого объема эмпирических данных, но и их согласованной интерпретации. Три приведенных выше характеристики не являются независимыми: оптимальное время тестирования напрямую связано со сложностью теста, которая определяет и дифференцирующую способность теста, однако более сложным образом. И легкость, и чрезмерная сложность теста снижают его дифференцирующую способность, т. е. существует некий оптимум сложности, определяемый оценочной шкалой и критериями оценок. С другой стороны, сложность теста обусловлена сложностью входящих в него заданий, численно равной доле правильных решений в общем количестве попыток [5; 10], логарифмом отношения доли неправильных ответов на задание, данных испытуемыми, к доле правильных ответов (логитом трудности [6; 10]), в свою очередь зависящих от уровня подготовленности тестируемых, на выявление которой и нацелен разрабатываемый тест.

ВЭКТ в силу ее независимости от разработчика теста, уровня подготовленности обучающихся, полученных ранее эмпирических результатов, подчиненная исключительно целям оценивания учебных достижений испытуемых, представляет собой инструмент преодоления основных методологических трудностей априорной оценки качества теста.

Особое место среди процедур оценивания учебных достижений обучающихся занимает контроль остаточных знаний, являющийся важнейшим средством независимого контроля как в системе внутреннего мониторинга (аудита) качества образовательного процесса, так и в комплексе внешних проверочных мероприятий [11]. Ввиду оперативности контроля остаточных знаний его основным инструментом является компьютерное тестирование, получившее дополнительную актуальность с развитием средств телекоммуникаций и интернет-техно- логий. Особенностью разработки тестов для контроля остаточных знаний и умений обучающихся (далее - ТКОЗУО) является необходимость учета забывания тестируемыми учебного материала, корректность которого зависит от корректности и эффективности применяемых разработчиком теста математических моделей подготовленности обучающихся, в значительной мере определяемых объективностью оценки их знаний и умений на промежуточной аттестации, и математических моделей забывания изученного материала [11; 12], а также выбором подхода к разработке ТКОЗУО. Среди таких подходов можно выделить три основных:

адаптация к фактору забывания критериев оценивания (снижение пороговых значений оценок) тестов, применявшихся для промежуточной аттестации или контроля текущей успеваемости;

адаптация к фактору забывания сложности (исключение трудных заданий) тестов, применявшихся для промежуточной аттестации или контроля текущей успеваемости;

разработка ТКОЗУО "с нуля" преимущественно на основе заданий, предназначенных для проверки усвоения понятийного аппарата, логической структуры содержания учебной дисциплины (компетенции) и дидактических единиц изученного содержания, знание которых позволяет в короткие сроки самостоятельно полностью восстановить данное содержание или в минимально достаточном для решения профессиональных или образовательных задач объеме.

Особенности целеполагания, содержания и методических и математических основ разработки ТКОЗУО обусловливают особенности их ВЭКТ, т. к., помимо вопросов, свойственных для экспертизы тестов, предназначенных для текущего контроля или промежуточной аттестации, экспертам необходимо ответить на дополнительные вопросы, относящиеся исключительно к ТКОЗУО.

Вопросы, задаваемые экспертам, следует формулировать таким образом, чтобы ответ на них был однозначным: "да" или "нет" [2].

Разделим вопросы ВЭКТ на блоки: интерфейс тестовой программной оболочки; структура теста; содержание теста; уровень сложности и дифференцирующая способность теста; надежность теста; аналитическая ценность результатов теста.

Первый из перечисленных блоков, очевидно, должен содержать наиболее общие для любых видов компьютерных тестов вопросы: Достаточно ли прост интерфейс программы? Нет ли задержки при загрузке заданий? Не влияет ли способ ввода ответа на вопрос на увеличение вероятности ошибок оценивания первого рода? [1; 13] и т. п. В контексте применимости теста для контроля остаточных знаний, на наш взгляд, важно выяснить, не содержит ли оформление интерфейса программы неявных подсказок испытуемым, например, в виде символики, логотипов, иных стилизованных графических объектов (формул, элементов схем и пр.), цветовой гаммы.

При экспертизе структуры теста специфика контроля остаточных знаний может быть учтена в вопросах:

1. Достаточно ли количество вопросов для выявления остаточных знаний в тестовой выборке?

2. Достаточно ли количество вопросов для выявления остаточных знаний в базе заданий?

3. Важно ли для выявления остаточных знаний применение в тесте различных видов тестовых заданий?

4. Достаточно ли разновидностей заданий в тесте (при утвердительном ответе на вопрос 3)?

5. Может ли наличие в тесте нескольких разновидностей тестовых заданий привести к увеличению вероятности ошибок оценивания первого рода?

6. Обеспечивает ли выбор разновидностей тестовых заданий объективность оценивания остаточных знаний и умений?

7. Обеспечивает ли соотношение количества тестовых заданий разного вида объективность оценивания остаточных знаний и умений?

8. Адекватна ли тестовая выборка базе заданий по разнообразию, содержанию и трудности заданий?

9. Достаточна ли вариативность заданий при повторной генерации теста?

Присутствие в тесте заданий с множественным выбором правильных вариантов ответа (на установление соответствий, последовательности и др.) способствует повышению дифференцирующей способности теста, однако их применение, наряду с заданиями с единственным выбором или исключая таковые, обусловлено частными задачами оценивания учебных достижений обучающихся или разработки теста (например, повышения его надежности) и зачастую зависит от предметной области тестирования и квалификации разработчика теста.

Наибольшую значимость для оценки валидности, в значительной мере определяющей потенциальную достоверность оценок любого теста, представляет экспертиза содержания тестовых заданий, в рамках которой применимость теста для контроля остаточных знаний может быть выявлена с наибольшей достоверностью. Следует отметить, что при отборе содержания ТКОЗУО действуют две противоположные тенденции: равнозначного представления в базе тестовых заданий (вопросов) или в тестовой выборке всех дидактических единиц содержания обучения (далее - ДЕСО) или ориентация контроля на проверку усвоения понятийного аппарата, базовых умений и основных, наиболее значимых ДЕСО [11]. По нашему мнению, каждый разработчик ТКОЗУО при отборе содержания теста должен достичь компромисса между данными подходами, оптимальность которого компромисса может быть оценена экспертами, например, при ответе на следующие вопросы:

1. Охватывает ли содержание базы заданий теста проверяемое содержание обучения?

2. Достаточно ли в базе заданий вопросов (заданий) для проверки базовых, основополагающих знаний (умений)?

3. Все ли основные (важнейшие) ДЕСО могут быть проверены при тестировании?

4. В достаточной ли мере может быть проверено знание понятийного аппарата содержания обучения?

5. Нет ли в содержании вопросов и заданий чрезмерной привязки к конкретным учебникам и учебным пособиям, авторским трактовкам терминов и понятий?

6. В достаточной ли мере может быть проверено понимание структуры содержания обучения?

7. Учтено ли в содержании забывание изученного материала (деградация умений)?

8. Минимизирована ли вероятность ошибок оценивания второго рода за счет общей эрудиции тестируемых, их профессионального кругозора, использования знаний из смежных предметных областей?

Не менее важное место в ВЭКТ занимает верификация требуемого уровня сложности и дифференцирующей способности теста. На наш взгляд, в этой части ВЭКТ специфика ТКОЗУО проявляется в наибольшей степени. В качестве характерных вопросов ВЭКТ здесь могут быть рассмотрены:

1. Не избыточна ли сложность теста в целом для проверки остаточных знаний и умений?

2. Представлены ли в тесте задания различной сложности?

3. Есть ли в тесте задания, сложность которых выходит за рамки остаточных знаний?

4. Есть ли в тесте тривиальные вопросы и задания, направленные на проверку элементарных знаний (умений)?

5. Корректны ли критерии и алгоритмы начисления баллов за выполнение заданий теста?

6. Однозначны ли критерии оценок (правила перевода набранных баллов в оценки), не допускают ли они вариативности в трактовке обезличенных результатов индивидуального теста?

7. Соответствуют ли балльные пороговые значения оценок сложности тестов?

8. Соответствуют ли балльные диапазоны оценок задачам контроля остаточных знаний?

9. Соответствуют ли балльные диапазоны оценок прецизионности оценочной шкалы?

10. Возможна ли корректура балльных порогов и диапазонов оценок без изменения сложности тестовых заданий и структуры теста?

Наличие в тесте чрезмерно трудных и упрощенных заданий является своего рода индикаторами "взлома" теста, т. к. сопоставление процентов верных ответов на такие задания с процентами верных ответов на задания средней трудности и результатами решения тестов предыдущими группами обучающихся позволяет делать выводы об увеличении ошибок оценивания второго рода, обусловленных предварительной частичной информированностью тестируемых о содержании тестовых заданий и ответах на них.

Нередко, например, при внешнем аудите освоения образовательных программ, тестирование остаточных знаний и умений не преследует целей дифференцированного индивидуального оценивания, а ориентировано на получение усредненных показателей владения контингентом обучающихся ранее освоенными знаниями и умениями на момент их контроля. В этом случае наиболее высокие требования предъявляются к корректности установления порога удовлетворительной оценки, а обоснованность назначения порогов более высоких оценок менее критична. Напротив, в системе внутреннего мониторинга корректность индивидуальных оценок остаточных знаний и умений имеет большое значение. Так, большие расхождения в оценках ТКОЗУО и промежуточной аттестации могут трактоваться как необъективность оценивания конкретным педагогом учебных достижений обучающихся на промежуточной аттестации, выявлять системные проблемы в организации промежуточной аттестации, отсутствие единства требований к оцениванию учебных достижений обучающихся разными педагогами и т. п. Большой интерес для мониторинга представляет сравнение средних баллов и качества знаний (процента хороших и отличных оценок) текущего и предыдущих тестирований остаточных знаний и умений обучающихся, что также повышает требования к достоверности оценок за счет корректного установления их балльных порогов и диапазонов.

Многократное применение ТКОЗУО актуализирует проблему надежности тестов, т. е. стабильного во времени достоверного оценивания знаний и умений обучающихся. Количественно характеризуя надежность тестов вероятностью ошибок оценивания знаний и умений, можно свести соответствующее содержание ВЭКТ к следующему примерному набору вопросов:

1. Имеются ли в базе теста задания с большой вероятностью угадывания верных ответов?

2. Способно ли частичное угадывание верных ответов тестируемыми повлиять на их оценку?

3. Обладает ли тест устойчивостью к деградации, т.е. увеличению вероятности ошибок второго рода за счёт сообщения тестируемым условий заданий или верных ответов их предшественниками?

4. Легко ли изменить задания тестов при помощи редактирования (изменения формулировок вопросов и верных ответов на них, замены дистракторов)?

5. Легко ли менять отдельные тестовые задания, не затрагивая структуру теста и критерии оценок?

6. Способно ли пополнение базы заданий обеспечить снижение вероятности ошибок второго рода при формировании оценки за выполнение теста?

7. Следует ли для сохранения приемлемого уровня достоверности оценок теста вносить изменения в базу тестовых заданий или редактировать задания между сеансами тестирования?

Вопросы к экспертам, относящиеся к надежности теста, являются универсальными для тестов многократного применения и, на первый взгляд, не отражают специфики ТКОЗУО. Однако вопросы (4-7), касающиеся поддержания требуемого уровня достоверности оценок в процессе эксплуатации теста как залога корректности сравнения результатов различных, в том числе отстоящих один от другого во времени, сеансов тестирования, наиболее актуальны для анализа результатов мониторинга качества подготовки специалистов на основе контроля остаточных знаний.

Аналитическая ценность результатов теста напрямую зависит от дифференцирующей способности теста и достоверности оценивания знаний и умений обучающихся. Особенностью ТКОЗУО является то, что результаты тестирования сравниваются с итогами не только предыдущих сессий контроля остаточных знаний и умений, проводимых на аналогичной или идентичной содержательной и технологической основе, но и промежуточной аттестации. Это обстоятельство обусловливает дополнительные требования к соответствию содержания заданий теста и содержания контрольных вопросов и заданий промежуточной аттестации, а также использование при ВЭКТ дополнительных вопросов:

1. Могут ли результаты теста играть самостоятельную роль в анализе качества освоения образовательной программы?

2. Могут ли результаты теста использоваться в мониторинге качества освоения образовательной программы наряду с результатами других форм контроля?

3. Можно ли рассматривать результаты, получаемые с помощью данного теста, в контексте корреляции с результатами промежуточной аттестации?

4. Совместимы ли предполагаемые результаты тестирования с полученными ранее результатами контроля остаточных знаний данного содержания обучения?

5. Могут ли результаты, получаемые с помощью данного теста, быть использованы для сравнения с результатами предыдущих сессий контроля остаточных знаний?

6. Можно ли использовать результаты, получаемые с помощью данного теста, для анализа динамики забывания изученного материала?

7. Можно ли использовать результаты, получаемые с помощью данного теста, для анализа качества освоения отдельных ДЕСО с учетом забывания знаний?

8. Можно ли с помощью данного теста анализировать динамику временной деградации умений по отдельным ДЕСО?

Приведенные нами примеры вопросы экспертизы ТКОЗУО не являются исчерпывающими и могут дополняться с целью выявления или верификации экспертами различных частных свойств теста. Однако не подлежит сомнению, что содержание экспертизы ТКОЗУО должно отличаться от содержания экспертизы тестов для иных видов контроля знаний и умений в целях корректного учета особенностей содержания и методик контроля остаточных знаний и анализа его результатов, обусловленных забыванием тестируемыми ранее изученного материала и важностью получаемых результатов для оценивания качества освоения как отдельных компетенций или учебных дисциплин, так и мониторинга качества и эффективности образовательного процесса в целом. Достоверность оценок ВЭКТ в этом случае будет определяться не только полнотой набора вопросов, предлагаемых экспертам, но и корректностью их формулировок, отражающих особенности целеполагания контроля и детализацию его частных задач.

Литература

1. Модели оценки качества тестов для контроля знаний / О.М. Булгаков, И.Н. Старостенко, А.А. Хромых и др. Краснодар, 2021.

2. Григан А.М. Управленческая диагностика: теория и практика. Ростов н/Д, 2009.

3. Данелян Т.Я. Формальные методы экспертных оценок // Экономика, статистика и информатика. 2015. № 1.

4. Аванесов В.С. Теория и практика педагогических измерений (материалы публикаций в открытых источниках и Интернет). Екатеринбург, 2005.

5. Ефремова Н.Ф. Тестовый контроль в образовании: учеб. пособие. М., 2005.

6. Ким В.С. Тестирование учебных достижений. Уссурийск, 2007.

7. Балыхина ТМ. Словарь терминов и понятий тестологии. М., 2000.

8. Беспалько В.П. Методы оценки результатов тестирования учащихся // Вопросы тестирования в образовании. 2007. № 2.

9. Энциклопедия психологических тестов. Личность. Мотивация. Потребность / под ред. А. Карелина. М., 1997.

10. Летова Л.В. Исследование качества теста как измерительного инструмента // Дистанционное и виртуальное обучение. 2013. № 11.

11. Булгаков О.М., Ладыга А.И., Рябошапко О.Н. Обобщенная модель отбора содержания контроля остаточных знаний // Вестн. Воронеж. ин-та МВД России. 2019. № 2.

12. Буймов АГ Закономерности поведения кривых забывания //Доклады ТУСУРа. 2017. Т 20. № 4.

1. Models for assessing the quality of tests for knowledge control/O.M. Bulgakov, I.N. Starostenko, A.A. Khromykh and et al. Krasnodar, 2021.

2. Grigan A.M. Managerial diagnostics: theory and practice. Rostov-on-Don, 2009.

3. Danelyan T. Ya. Formal methods of expert assessments // Economics, statistics and informatics. 2015. № 1.

4. Avanesov V.S. Theory and practice of pedagogical measurements (materials from publications in open sources and the Internet). Yekaterinburg, 2005.

5. Efremova N.F. Test control in education: textbook. Moscow, 2005.

6. Kim V.S. Testing educational achievements. Ussuriysk, 2007.

7. Balykhina T.M. Dictionary of terms and concepts of testology. Moscow, 2000.

8. Bespalko V.P. Methods of evaluation of student testing results // Issues of testing in education. 2007. № 2.

9. Encyclopedia of psychological tests. Personality. Motivation. Need / ed. by A. Karelin. Moscow, 1997.

10. Letova L.V Test Quality Study as Measuring Tool // Remote and Virtual Learning. 2013. № 11.

11. BulgakovO.M., LadygaA.I., Ryaboshapko O.N. Generalized model of selection of residual knowledge control content // Bull. of the Voronezh Institution of the Ministry of Internal Affairs of Russia. 2019. № 2.

12. Buymov A.G. Patterns of behavior of forgetting curves // Reports of TUSUR. 2017. Vol. 20. № 4.

Сведения об авторах

Булгаков Олег Митрофанович, доктор технических наук, профессор, первый заместитель начальника Краснодарского университета МВД России

Гривенная Елена Николаевна, доктор педагогических наук, доцент, заместитель начальника отдела - начальник отделения учета, анализа и контроля учебно-методической работы кафедр и филиалов Краснодарского университета МВД России

Ладыга Антон Игоревич, кандидат экономических наук, начальник управления учебно-методической работы Краснодарского университета МВД России

Information about authors

O.M. Bulgakov, Doctor of Technics, Professor, First Deputy Head of the Krasnodar University of the Ministry of the Interior of Russia

E.N. Grivennaya, Doctor of Pedagogics, Assistant Professor, Deputy Head of Department - Head of Accounting, Analysis and Control of Educational and Methodical Work of Departments and Branches of the Krasnodar University of the Ministry of the Interior of Russia

A.I. Ladyga, Candidate of Economics, Head of the Department of Educational and Methodical Work of the Krasnodar University of the Ministry of the Interior of Russia

Размещено на Allbest.ru

...