Валидация тестовых заданий в условиях экспорта образования

Размещено на http://www.allbest.ru/

Валидация тестовых заданий в условиях экспорта образования

Селиванова Ирина Анатольевна - д-р фарм. наук, проф.

Марковина Ирина Юрьевна - канд. филол. наук, проф.

Ильясов Игорь Равилевич - канд. фарм. наук, доцент.

Жевлакова Анастасия Константиновна -

Терехов Роман Петрович -

Первый МГМУ им. И.М. Сеченова Минздрава России, Москва, Россия

Аннотация

В условиях экспорта российского образования востребованы специализированные оценочные средства для иностранных студентов. Тестовая форма педа,гогиче- ского контроля является важной составной частью оценочных средств и оптима,льно подходит для этой категории студентов. «Органическая химия» относится к базовым учебным дисциплинам фармацевтического образования и служит фундаментом для изучения многих профильных дисциплин. Цель исследования - разработать нормативно-ориентированную модель тестовой части промежуточной аттестации в письменной форме по дисциплине «Органическая химия» для студентов, обучающихся на английском языке по специа,льности 33.05.01 «Фа,рмация» в соответствии с рекомендациями Ассоциации по медицинскому образованию в Европе - Association for Medical Education in Europe (AMEE). Ба,зой для создания банка экза,менационных тестов был выбран интерактивный тестовый трена,жёр по органической химии на английском языке «Organic Chemistry Test Simulator», ра,зра,ботанный в Сеченовском университете в ра,мка,х совместного проекта Института фармации и Института лингвистики и международной коммуникации. Анализ банка тестовых заданий проводили пять независимых экспертов - преподавателей органической химии. Усреднённые тайминг и проходной ба,лл, определённые методом Ангоффа, составили 90 с и 64% соответственно. При формировании банка оценочных средств итогового тестирования 3% тестовых заданий были признаны нерелевантными, 22% - отправлены на доработку и модифицированы. Тестовые задания, характеризующиеся наибольшей содержательной ва,лидностью, послужили основой для создания банка заданий, пригодных для тестирования на экзамене, общим числом 600 единиц. Предложен алгоритм моделирования тестового этапа экзамена. В каждый экзаменационный тест отобрано по 30 заданий, включающих три ра,зных типа. Разработана стандартизованная нормативно-ориентированная модель варианта тестового этапа экзамена, валиди-рованная по показателям релевантности и репрезентативности, оптимизированная по времени и проходному баллу.

Ключевые слова.: экспорт обра,зовательных услуг, доказательное образование, органическая химия, тестовый контроль, валидация заданий, метод Ангоффа, тайминг, полилинг- ва,льна,яобра,зовательна,я среда

Test Items Validation in the Context ofEducation Export

Abstract. It is necessary to develop special assessment tools for international students, which will comply with the principles of evidence-based education. This is especially important in the context of Russian higher education export. Multiple choice questions (MCQs) are an essential part of the assessment and are suited for assessing the knowledge level of international students. The “Organic chemistry” is a basic course for pharmaceutical students, which is necessary for the understanding of principal subjects. The study objective was to develop a normative-oriented model of the “Organic chemistry” MCQs based examination for international students (the specialty 33.05.01 “Pharmacy”) in accordance with the recommendations of the Association for Medical Education in Europe (AMEE). The previously developed interactive “Organic Chemistry Test Simulator”, created at the Sechenov University, was used as the basis for the examination MSQs bank. It was analyzed by five independent experts, who work as teachers of organic chemistry. The average timing and the cut score were determined by the Angoff method, 90 sec and 64%, respectively. Among analyzed MCQs the 3% were found irrelevant, 22% were recommended for revision and modernization. Valid MSCs (600 items) served as the basis for the creation of extended examination MSQs bank. An algorithm for modeling the “Organic chemistry” MCQs based examination was proposed. The standardized examination test has 30 MSQs of different types. The standardized normative-oriented model of the “Organic chemistry” MCQs based examination for international students (the specialty 33.05.01 “Pharmacy”) was validated in terms of relevance and representativeness, optimized in time and cut score.

Keywords: export of higher education, evidence based education, organic chemistry, Angoff method, multiple choice questions, MSQs bank, validation, timing, multilingual educational environment

Введение

Одним из ключевых направлений учебной деятельности вузов в условиях интернационализации образования является подготовка конкурентоспособных специалистов [1]. Для эффективной оценки усвоения материала требуется создание фондов современных оценочных средств (ФОС), позволяющих контролировать знания, умения, навыки и компетенции будущего провизора. Важным компонентом ФОС являются контрольноизмерительные материалы (КИМ), необходимые для промежуточной аттестации студента по учебной дисциплине на экзамене.

Сеченовский университет является одним из 39 вузов-участников реализации приоритетного проекта Минобрнауки РФ по экспорту российского образования, поэтому в университете большое внимание уделяется предоставлению образовательных услуг на уровне международных стандартов. Преподавание в Сеченовском Университете проводится на русском и английском языках, в том числе по специальности 33.05.01 «Фармация». При создании ФОС для по-лилингвальной образовательной среды нужно учитывать особенности адаптации иностранных студентов, которые находятся в непривычной социально-культурной и психологической обстановке [2]. Наиболее оптимальным способом педагогического измерения знаний таких студентов является тестирование. Этот вид контроля характеризуется простым языковым оформлением и позволяет избежать субъективной оценки преподавателем уровня усвоения студентом материала.

Сеченовский университет активно сотрудничает с международной Ассоциацией по медицинскому образованию в Европе - Association for Medical Education in Europe (AMEE). Деятельность ассоциации связана с продвижением передового опыта в области медицинского образования, в частности методов преподавания и оценки в соответствии с принципами «доказательного образования» (evidence based education). Согласно идеологии АМЕЕ, итоговая оценка знаний является ключевым моментом образовательного процесса [3]. Большое внимание АМЕЕ уделяет тестам как базовой форме оценки знаний в международной системе образования. В разработках АМЕЕ подчёркивается, что процесс подготовки тестовых заданий связан с тщательным отбором материала и проведением процедур стандартизации и валидации [4].

Существенный вклад в фундамент естественнонаучного мировоззрения будущего специалиста фармацевтической отрасли вносит дисциплина «Органическая химия», способствующая формированию его универсальных и общепрофессиональных компетенций [5; 6]. В рамках проектов Института лингвистики и межкультурной коммуникации и кафедры органической химии Сеченовского университета для иностранных студентов фармацевтического профиля были разработаны, зарегистрированы и внедрены в учебный процесс инновационные специализированные учебные пособия по органической химии на английском языке на электронных носителях. Учитывая, что тестовые задания являются обязательным элементом учебно-методического комплекса преподаваемой дисциплины, новый совместный проект связан с созданием КИМ на английском языке для экзаменационного тестирования иностранных студентов.

Цельработы: разработать нормативноориентированную модель тестовой части промежуточной аттестации в письменной форме по дисциплине «Органическая химия» для студентов, обучающихся на английском языке по специальности 33.05.01 «Фармация», в соответствии с рекомендациями AMEE.

Методология исследования

Базой для создания банка экзаменационных тестов служил тестовый тренажёр по органической химии на английском языке «Organic Chemistry Test Simulator». Тестовый тренажёр состоит из 350 тестовых заданий, охватывающих 28 тем курса органической химии [7].

Анализ банка тестовых заданий проводила группа из пяти независимых экспертов - преподавателей органической химии - методом Ангоффа [8]. Каждый эксперт индивидуально оценивал содержательную часть тестовых заданий, точность формулировок, время, затрачиваемое на решение задания (тайминг), и прогнозировал процент студентов, способных его выполнить. Банк стандартизованных и валидированных тестовых заданий, обоснованный проходной балл, оптимальный тайминг и структура экзаменационного тестирования были получены путём сопоставительного анализа результатов экспертной оценки. иностранный промежуточная аттестация студент

Результаты и обсуждение

В связи с внедрением принципов «доказательного образования» в преподавание в Сеченовском университете при формировании банка заданий для экзаменационного тестирования возникла необходимость валидации тестовых заданий и оптимизации проходного балла методом Ангоффа, а также стандартизации тайминга с целью соблюдения процедуры тестирования по продолжительности проведения.

В настоящее время экзаменационный тест принято оценивать по шкале в 100 баллов. Для успешного прохождения экзаменационного тестирования студенту требуется набрать 60 баллов. Данный проходной балл сформировался исторически. Согласно рекомендациям АМЕЕ, требуется обоснование проходного балла. Для этого в нашем исследовании был использован метод Ангоффа Метод Ангоффа(Angoff Method) основан на оценке экспертами вероятности правильного ре-шения каждого тестового задания достаточно подготовленным, так называемым «погранич-ным» тестируемым. Если колебания индивидуаль-ных оценок экспертов не превышают 10-15% от среднего результата, то тестовое задание вклю-чается в тест, в противоположном случае после обсуждения оно корректируется или исключает-ся. Сумма средних результатов всех экспертных оценок каждого тестового задания, включённого в тест, делится на их число. Полученное значение признаётся в качестве проходного балла., имеющий значительную доказательную базу [8]. В контексте использования этого метода вводится понятие «достаточно хороший студент», или «пограничный студент» («good enough student», или «borderline student»). На предварительном совещании экспертов был сформирован образ такого студента в соответствии с положениями профессионального стандарта «Провизор».

В ходе анализа тестовых заданий каждый эксперт оценивал все тестовые задания по 28 темам курса органической химии и прогнозировал, с какой вероятностью «достаточно хороший студент» ответит правильно на это тестовое задание. В таблице 1 на примере темы «Моносахариды» представлены результаты индивидуальных экспертных оценок. После краткого обсуждения каждого тестового задания в группе экспертов результаты усреднялись, если диапазон колебаний не превышал 10-15%. По тестовым заданиям, которые не получили единодушную экспертную оценку, проводилось подробное обсуждение причин разброса, выслушивалось мнение каждого эксперта и вносились коррективы. Так, например, в теме «Моносахариды», было выявлено три тестовых задания, которые нуждались в модификации для включения в банк экзаменационных заданий.

Для валидациитайминга все члены экспертной группы начинали выполнять задания одновременно, и каждый эксперт индивидуально фиксировал временные затратына решение тестового задания. За тайминг в группе экспертов принимали время, которое понадобилось для ответа последнему из пяти членов группы. Далее в аналогичных условиях была протестирована группа из 12

студентов по трём темам с проверкой тайминга. На основании сравнения результатов экспертной и студенческой групп был получен поправочный коэффициент, величина которого составляет 2,5. Итоговый тайминг для каждой темы был рассчитан путём умножения временных затрат, установленных группой экспертов, на поправочный коэффициент.

Таблица 1

Экспертная оценка тестовых заданий по теме «Моносахариды» методом Ангоффа

Table 1

The expert review of “Monosaccharaides” test assignment by Angoff method

Рис. 1.Результаты анализа банка тестовых заданий методом АнгоффаFig. 1.Analysis results oftest assignment bank by Angoffmethod

Рис. 2. Алгоритм разработки модели варианта тестового этапа экзаменаFig. 2.Algorithm ofmodel formulation for examination test stage

Усреднённые параметры тестовых заданий по всем 28 темам, полученные путём экспертизы, приведены на рисунке 1. Средний проходной балл составил 64%, а средний тайминг - 90 с. Интересно отметить, что наблюдается обратная зависимость между таймингом и значением проходного балла. Наиболее сложными темами курса «Органическая химия», по оценке экспертов, были признаны «Простые эфиры и сульфиды» (тема 11, проходной балл - 53%, тайминг - 105 с) и «Угольная и сульфоновая кислоты и их функциональные производные» (тема 18, проходной балл - 52%, тайминг - 102 с). Прогнозируемый результат проходного балла по теме «Кислотность и основность» оказался самым высоким (71%).

Эксперты не только устанавливали обоснованный проходной балл и тайминг, но и оценивали содержательнуювалидность тестовых заданий по показателю релевантности, анализировали содержание тестовых заданий с точки зрения соответствия контролируемых знаний и навыков по органической химии потребностям последующих дисциплин учебного плана, а также профессиональной подготовке студентов по специальности 33.05.01 «Фармация». Кроме того, эксперты обращали внимание на корректность и однозначность формулировок заданий, качество дистракторов и их соответствие принципам «доказательного образования». В ходе обсуждения для формирования банка оценочных средств итогового тестирования 3% тестовых заданий признаны нерелевантными, 22% отправлены на доработку. Во вторую группу были включены тестовые задания, содержащие так называемые «ловушки», которые приводили к ошибкам, связанным не с незнанием предмета, а с невнимательностью или с двойственностью толкования. Также были модифицированы вопросы, содержащие отрицательные формулировки типа «все выражения верны, кроме», поскольку они не соответствуют рекомендациям АМЕЕ.

Тестовые задания, характеризующиеся наибольшей содержательной валидностью, послужили основой для создания банка заданий, пригодных для экзаменационного тестирования, объёмом 600 единиц. Учитывая, что на проведение письменного этапа тестового экзамена отводится 45 мин., а средний временной интервал, необходимый студенту на решение одного тестового задания с учётом поправочного коэффициента, составляет 90 с, то 30 заданий в экзаменационном тесте является оптимальным. Для облегчения восприятия вопросов все тестовые задания в модели варианта экзаменационного тестирования были расположены в следующем порядке: с первого по пятнадцатое - с выбором одного правильного ответа, с 16 по 25 - с выбором нескольких правильных ответов, с 26 по 30 - на установление соответствия. Алгоритм моделирования варианта экзаменационного теста представлен на рисунке 2. Для обеспечения репрезентативности модели тестовые задания были подобраны таким образом, чтобы содержание КИМ было достаточным для проведения контроля, то есть охватывало все темы курса. Кроме того, тестовые задания в варианте были сгруппированы так, чтобы средняя оценка сложности теста, проанализированная методом Ангоффа, стремилась к 64,0% и не выходила за рамки доверительного интервала ± 2,1%.

Заключение

Благодаря наличию программ, реализующихся на английском языке, Россия становится всё более заметной на глобальном рынке образовательных услуг. Особого внимания в связи с этим заслуживают учебные и оценочные материалы, ориентированные на англоязычного потребителя отечественных образовательных услуг.

Разработанная в Сеченовском университете стандартизованная нормативно-ориентированная модель варианта тестового этапа экзамена по дисциплине «Органическая химия» для студентов, обучающихся на английском языке, валидированная по показателям релевантности и репрезентативности, отвечает запросам «доказательной педагогики». Модель включает три группы тестовых заданий, для неё определены оптимизированный тайминг (90 сна решение одного тестового задания) и проходной балл (64%), обоснованный путём экспертной оценки по методу Ангоффа в соответствии с рекомендациями Ассоциации по медицинскому образованию в Европе.

Литература

1. ДеВит Х. Эволюция мировых концепций, тенденций и вызовов в интернационализации высшего образования // Вопросы образования. 2019. № 2. С. 8-34. DOI: https://doi. org/10.17323/1814-9545-2019-2-8-34

2. Мариненко О.П. Роль преподавателя вуза в оказании помощи иностранным студентам // Высшее образование в России. 2019. № 4. С. 124-133. DOI: https://doi.org/l0.31992/0869- 3617-2019-28-4-124-133

3. BousicotK, EtheridgeL, SetnaZ, Sturrock A., Ker J, Smee S, Sambandam E. Performance in assessment: consensus statement and recommendations from the Ottawa conference // Medical teacher. 2011. Vol. 33. No. 5. P. 370-383. DOI: https://doi.org/10.3109/0142159X.2011.565831

4. Norcini J., McKinley D.W. Concepts in assessment including standard setting // Dent J.A., Harden R.M., Hunt D. (Eds). A Practical Guide for Medical Teachers, 5th edition, Beijing: Elsevier Health Sciences, 2017. Р. 252-259.

5. Тюкавкина Н.А., Белобородов В.Л., Зурабян С.Э, Селиванова И.А., Лузин А.П., Артемьева Н.Н.Органическаяхимия: учебник. М.: ГЭОТАР-Медиа, 2015. 640 с.

6. Beletskaya I.P., Lukasev N.V., Vatsadze S.Z, Nenajdenko V.G., Negrebetskii V.V., Bau- kovYu.I, BelavinI.Yu, Butseeva A.A., Beloborodov V.L., Selivanova I.A., Il'yasov I.R., NevskayaE.Yu, Sorokina E.A., Syrbu S.A., Usol'tseva N.V., Danilin A.A., Nechaeva O.N., Purygin P.P., Deryabina G.I., Aksenov A.V., Aksenova I.V., Ovcharov S.N., Gavrilova E.L., Uryadov V.G., Zakharov V.M., Sinyashin O.G., Klochkova I.N., KrylatovaYa.G, Skornya- kovYu.V, Ovchinnikov K.L., Kolobov A.V., Kustova T.P. Some problems of the teaching of organic chemistry in universities of Russia //

Russian Journal of Organic Chemistry. 2017. Vol. 53. No. 10.Р. 1439-1496. DOI: https://doi. org/l0.1134/S1070428017100013

7. Селиванова И.А., Марковина И.Ю., МакФарландДж, Белобородов В.Л., Терехов Р.П., Воронин К.С. Тестовый тренажёр как средство формирования полилингвальной образовательной среды // Фармация. 2017. № 8. С 49-52.

8. McKinley D.W., Norcini J.J. How to set standards on performance-based examinations: AMEE Guide No. 85 // Medical Teacher. 2014. Vol. 36.

N0. 2. Р. 97-100. DOI: https://doi.Org/l0.3109/0142159Х.2013.853119

References

1. DeWit, H. (2019). EvolvingConcepts, Trends, andChallengesintheInternationalizationofHigherEducationintheWorld. Voprosyobrazovaniya= Educational Studies Moscow.No. 2, pp. 8-34. DOI: https://doi.org/l0.17323/l814-9545-2019-2-8-34

2. Marinenko, O.P. (2019). TheRoleofUniversityTeachersintheAssistancetoInternationalStudents. Vyssheeobrazovanie v Rossii= Higher Education in Russia.Vol. 28, no. 4, pp. 124-133. DOI: https://doi.org/10.31992/0869-3617-2019-28-4-124-133 (InRuss., abstractinEng.)

3. Bousicot, K., Etheridge, L., Setna, Z., Sturrock, A., Ker, J., Smee, S., Sambandam, E. (2011). PerformanceinAssessment: ConsensusStatementandRecommendationsfromtheOttawaConference. Medical teacher.Vol. 33, no. 5, pp. 370-383. DOI: https://doi.org/10.3109/014215 9X.2011.565831

4. Norcini, J., McKinley, D.W. (2017). ConceptsinAssessmentIncludingStandardSetting. In:

J.A. Dent, R.M. Harden, D. Hunt (Eds). A Practical Guide for Medical Teachers.5th edition, Beijing: ElsevierHealthSciences, pp. 252-259.

5. Tyukavkina, N.A., Beloborodov, V.L., Zurabyan, S.E., Selivanova, I.A., Luzin, A.P., Artemyeva, N.N. (2015). Organicheskayakhimiya: uchebnik[OrganicChemistry: A Studentbook]. Moscow: GEOTAR-MediaPubl., 640 p. (InRuss.)

6. Beletskaya, I.P., Lukasev, N.V., Vatsadze, S.Z., Nenajdenko, V.G.,Negrebetskii, V.V., Bau- kov, Yu.I., Belavin, I.Yu., Butseeva, A.A., Beloborodov, V.L., Selivanova, I.A., Il'yasov, I.R., Nevskaya, E.Yu., Sorokina, E.A., Syrbu, S.A., Usol'tseva, N.V., Danilin, A.A., Nechaeva, O.N., Purygin, P.P., Deryabina, G.I., Aksenov, A.V., Aksenova, I.V., Ovcharov, S.N., Gavrilova, E.L., Uryadov, V.G., Zakharov, V.M., Sinyashin, O.G., Klochkova, I.N., Krylatova, Ya.G., Skor- nyakov, Yu.V., Ovchinnikov, K.L., Kolobov, A.V., Kustova, T.P. (2017). SomeProblemsoftheTeachingofOrganicChemistryinUniversitiesofRussia. Russian Journal of Organic Chemistry. Vol. 53, no. 10, pp 1439-1496. DOI: https://doi.org/10.1134/S1070428017100013

7. Selivanova, I.A., Markovina, I.Yu., McFarland, J., Beloborodov, V.L., Terekhov, R.P., Voronin,

K.S. (2017). A TestSimulatoras a MeansforFormingthePolylingualEducationalEnvironment. Farmatsiya= Pharmacy.No. 8, pp. 49-52. (InRuss., abstractinEng.)

8. McKinley, D.W., Norcini, J.J. (2014). HowtoSetStandardsonPerformance-BasedExaminations: AMEE GuideNo. 85. Medical Teacher.Vol. 36, no. 2, pp. 97-100. DOI: https://doi.org/ 10.3109/0142159X.2013.853119

Размещено на Allbest.ru