Підготовка та проведення екзамену з фізики в режимі онлайн

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Національний технічний університет України

«Київський політехнічний інститут імені Ігоря Сікорського»

Підготовка та проведення екзамену з фізики в режимі онлайн

Подласов Сергій Олександрович,

старший викладач

Матвійчук Олексій Васильович,

кандидат педагогічних наук, доцент, доцент кафедри загальної фізики та моделювання фізичних процесів

м. Київ

Анотація

Одним з актуальних питань сьогодення в системі вищої освіти є питання проведення контролю знань студентів у режимі дистанційного навчання, зокрема проведення семестрових екзаменів. Метою статті є аналіз методів та засобів проведення підсумкового контролю у формі тестування в умовах дистанційного навчання та оцінка надійності результатів тестування. У роботі сформульовано вимоги до завдань екзаменаційного тесту та розглянуто технологію оцінювання статистичних параметрів якості завдань з використанням математичного пакету, вбудованого в LMSMoodle, та пакетів прикладного програмного забезпечення ltm, eRm, mirtбібліотеки CRANвільно поширюваного середовища програмування R. Досвід засвідчив, що застосування цих програмних засобів є оптимальним та ефективним способом контролю якості тестових завдань у межах класичної та сучасної теорій тестів.

Запропоновано використати тести трьох рівнів, рівень завдань яких визначено за результатами статистичного аналізу. Послідовне виконання таких завдань дозволяє встановити рівень володіння знаннями кожним студентом. Показано, що індивідуалізація тестових завдань, які виконують студенти, урізноманітнення їх форми, зокрема використання завдань множинного вибору з декількома правильними відповідями, завдань відкритого типу з числовою відповіддю, додання графічних даних до завдань суттєво ускладнює можливі прояви академічної недоброчесності під час екзамену.

Обґрунтовано можливість використання LMSMoodleразом з програмою відеоконференції GoogleMeetProабо Zoomдля проведення екзамену без застосування спеціальних програм прокторингу. Підкреслено, що усне спілкування викладача зі студентом дозволяє не тільки робити висновки про самостійність виконання завдань, але й сприяє розвитку у студентів умінь наукового спілкування.

Проаналізовано результати критеріально орієнтованого екзаменаційного тесту і за результатами обчислення коефіцієнтів генералізації, каппа Коена та фі - коефіцієнта кореляції зроблено висновок про надійність оцінювання навчальних досягнень студентів.

Ключові слова: екзамен з фізики; критеріально орієнтований тест; аналіз тестових завдань.

Abstract

Senior Lecturer at the Department of the General Physics and Modeling of Physical Processes National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute», Kyiv, Ukraine

Oleksii V. Matviichuk

PhD of Pedagogical Sciences, Associate Professor, Associate Professor at the Department of the General Physics and Modeling of Physical Processes

National Technical University of Ukraine «Igor Sikorsky Kyiv Polytechnic Institute», Kyiv, Ukraine

One of the topical current issues of higher education is issue of monitoring students' knowledge in the distance learning mode, in particular, conducting semester exams. The objective of the article is analyze of the methods and means of exam control in test form in the conditions of distance learning and assessing the reliability of the test results. We formulated the requirements to the tasks of examination test, considered technology of evaluation of statistical parameters of quality of tasks using built-in LMS Moodle mathematical package and free software application packages ltm, eRm, mirt of the CRAN library of R programming environment. Experience has shown that the use of these software tools is an optimal and effective way to control the quality of test tasks within the framework of classical and modern test theories. We propose to use tests of three levels, where the difficulty of each item is determined by the results of statistical analysis. Consistent performance of such tasks allows you to establish the level of mastery of knowledge by each student. It is shown that individualization of test tasks, that execute students, creations of variety their form, in particular, the use of multiple-choice tasks with several correct answers, open-type tasks with a numerical answer, plugging of graphic data in a task substantially complicates the probab le students' cheating during the exam. We substantiated the possibility of using the LMS Moodle together with the Google Meet Pro or Zoom video conference program to conduct the exam without using special proctoring programs. It is emphasized that the verb al teacher-student communication allows not only to draw a conclusions about the independence of solving the tasks, but also assists to the development of students' scientific communication skills.

The results of the calculation of generalization coefficients, Cohen kappa and correlation phi - coefficient made it possible to conclude about the reliability of assessing the educational achievements of students based on the results of their performance of tasks of a criterion - oriented exam test.

Keywords: physics exam; criterion-oriented test; analyses of test items.

Основна частина

Постановка проблеми. Завданням закладів вищої технічної освіти є підготовка висококваліфікованих конкурентоспроможних фахівців. Важливу роль у цьому відіграє фізика, яка є теоретичною базою більшості інженерних дисциплін. Вивчення фізики студентами першого курсу технічного університету повинно сформувати у них не тільки знання законів природи та їх проявів, але й закласти фундамент для практичного застосування теоретичних знань. Якість засвоєння знань з фізики багато в чому буде впливати на якість фахової підготовки.

Важливим складником підготовки фахівців є контроль знань та вмінь, набутих студентами. В останні роки такий контроль все частіше проводиться у формі тестування. Це зумовлене тим, що тестування є високотехнологічною і методично обґрунтованою формою контролю, яка дозволяє достатньо повно встановити структуру знань студентів та об'єктивно й достовірно оцінити рівень їх навчальних досягнень. Щоправда, за даними М.С. Паккі [1], далеко не всі викладачі поділяють цю точку зору. Незважаючи на це, вимушений перехід на дистанційне навчання змусив викладачів використовувати тестову форму як для поточного контролю, так і для проведення семестрових екзаменів.

На екзамені з фізики кожен студент повинен продемонструвати знання та вміння, набуті протягом семестру відповідно до вимог освітньо-професійної програми спеціальності безвідносно до інших студентів. Це означає, що екзаменаційний тест має бути орієнтованим на критерій (критеріально орієнтований тест - КОрТ).

Проведення екзамену в дистанційній формі із застосуванням критеріально орієнованого тесту зумовлює необхідність розробки процедури відбору валідних завдань, враховуючи їх статистичні параметри та спроможності перешкоджати проявам академічної недоброчесності студентів, а також розробки методики проведення екзамену й аналізу його результатів.

Аналіз останніх досліджень і публікацій. Проблеми застосування тестових технологій для контролю навчальних досягнень учнів та студентів досліджувалися багатьма вітчизняними та зарубіжними вченими. Питанням конструювання тестів та аналізу результатів тестування присвячена величезна кількість робіт, серед яких слід відзначити роботи В.Ю. Бикова із співавторами [2], В.П. Сергієнка та Л.О. Кухар [3] та інші.

Важливе значення при застосуванні тестових технологій контролю навчальних досягнень мають статистичні параметри окремих завдань та тесту в цілому. Алгоритм їх обчислення реалізовано в таких програмних продуктах, як-от MSExel. SPSS, WinSteps [4], а також бібліотеці вільно поширюваного програмного середовища R[5]. Потужні бібліотеки середовища Rдозволяють дуже швидко виконувати обчислення як у моделі класичної теорії тестів (КТТ) [6], так і сучасної ItemResponseTheory - IRT [7] навіть при великих обсягах даних.

Суттєвою проблемою при проведенні іспиту в дистанційній формі є запобігання проявам академічної недоброчесності (шахрайства) студентів. Достатньо повний огляд таких проявів і способів боротьби з ними проаналізовано в роботах [8], [9] та ін. Серед найпоширеніших, які студенти використовують як при дистанційному, так і при традиційному проведенні екзамену, найчастіше називають спроби пошуку інформації в Інтернеті, використання недозволених матеріалів (шпаргалок), спілкування з іншими студентами, спроби залучити сторонніх осіб для відповіді на завдання. Водночас, на думку викладачів та студентів, дистанційна форма проведення екзаменів надає більше можливостей для проявів недоброчесності, ніж традиційна [10], [11]. Особливе занепокоєння викладачів викликає наявність «помічників» при виконанні домашніх завдань на зразок сайту Chegg, з якого студенти можуть дуже швидко одержати «допомогу». Кількість запитів «допомоги» на цьому сайті за період з квітня по серпень 2020 року збільшилася на 196,25% порівняно з аналогічним періодом 2019 року, тобто після введення карантину у зв'язку з Covid-19 [12]. Існує й російськомовний аналог цього сайту «Автор24», який можна завантажити в телефон з GooglePlayMarket. Як пише у коментарях один з користувачів (Надежда Белоножкина), «Отличный помощник, особенно на экзамене».

Для боротьби з шахрайством на іспитах використовуються різні методи та програмні продукти: засоби автентифікації особистості, системи прокторингу, безпечні (екзаменаційні) браузери.

Автентифікація особистості здійснюється за фізіологічними та поведінськими особливостями людини: розпізнавання обличчя, відбитків пальців, особливостями натискання клавіш на клавіатурі тощо.

В основі систем прокторингу лежать психологічні особливості поведінки людини при виконанні шахрайських дій. J. Rangerта ін. [13] на основі експериментальних досліджень виявили 18 ознак таких дій.

Типи систем прокторингу проаналізовані AssessmentSystemsCorporation [14] і виявлено, що найбільш ефективним є спостереження за роботою студентів у режимі реального часу. Приклад реалізації такого спостереження представлений на youtubeканалі [15].

Безпечні (екзаменаційні) браузери дозволяють студентам під час іспиту робити тільки одне - давати відповіді на екзаменаційне завдання. Наприклад, open-sourceSafeExamBrowser, призначений для проведення екзаменів та контрольних тестувань в режимі онлайн, передбачає захист від:

- відкриття сторонніх застосунків (відео - та аудіозв'язку);

- паралельного пошуку інформації у веббраузері;

- запуск застосунків на віртуальній машині;

- перехід на певні сайти;

- збереження інформації в буфері обміну перед входом у програму.

Однак в Інтернеті можна знайти достатньо багато способів обходу цих заборон (див., наприклад, [16]).

Застосування професійних систем автоматичної ідентифікації особистості, системи прокторингу та безпечних браузерів є достатньо коштовним (вартість ліценції Lockdownbrowserтерміном на 1 рік для кількості студентів від 1 до 1000 складає $2795). Можливо, саме тому такі системи прокторингу не є поширеними в Україні за винятком окремих ЗВО, наприклад, Українсько-американського університету Конкордія [17]. Деякі компанії, зокрема Examity, пропонують послуги з ідентифікації особи студента та прокторингу протягом замовленого часу.

Застосування технічних засобів для контролю доброчесності студентів на іспиті не є обов'язковим. Як показали Z. Jiangта J. Huang[18], буває достатньо обмежити в часі можливість роботи студента з кожним завданням та заборонити повернення до завдань, які вже завершені, або вичерпаний час, відведений на їх виконання. K. Linden, P. Gonzalez[19] порівняли результати іспитів з чотирьох предметів, які у 2019 року проводились у традиційній формі, а у 2020 року - online, але при строгому спостереженні за роботою студентів з використанням тільки програма Zoom. Як виявилось, результати цих іспитів дають практично однакові середні бали та ідентичні розподіли успішності. На основі цих результатів автори роблять висновок, що використання онлайн-конференцій, спеціально не розроблених для контролю на іспитах, може бути економічно вигідним і дієвим інструментом.

Вивчення літературних джерел стосовно проведення екзамену в дистанційній формі показало, що основна увага дослідників прикута до питань ідентифікації особистості студента та використання систем прокторингу. Проте не можна вважати достатньо висвітленими питання методики добору тестових завдань для екзаменаційного тесту з фізики та проведення екзамену в дистанційній формі без застосування спеціальних систем прокторингу.

Метю дослідження є

- формулювання вимог до тесту, який використовується для проведення семестрового екзамену з курсу фізики;

- обґрунтування методики добору завдань для екзаменаційного тесту;

- аналіз можливості використання LMSMoodleразом з програмою відеоконференцій GoogleMeetабо Zoomдля проведення екзамену без застосування спеціальних систем прокторингу.

Реалізація поставлених завдань дозволяє створити умови для надійного оцінювання навчальних досягнень студентів при проведенні екзамену з фізики в дистанційній формі.

Екзамен у формі тестування має низку очевидних переваг перед традиційною. До них відносять об'єктивність оцінювання, рівність умов для всіх студентів, більший обсяг навчального матеріалу, володіння яким можна перевірити. До того ж екзамен одночасно може складати достатньо велика кількість студентів, а результати роботи стають відомими одразу по завершенню часу тестування. Недоліками тестової форми екзамену слід уважати: формальність оцінювання, втрату індивідуального підходу, складність перевірки творчих здібностей, необхідність значних зусиль та витрат часу для створення якісного тесту. Одним з найсуттєвіших недоліків є відсутність живого спілкування студент-викладач. Як наголошують N.P. Kalashnikovіз співавторами [20], «…сучасні студенти забули як розмовляти на мові фізики, як пояснювати основи для своїх висновків». Крім того, дуже часто підготовка до екзамену в тестовій формі «.зводиться до елементарного натаскування», до перегляду стислого викладу конкретних фактів в Інтернеті замість вдумливої роботи з матеріалом підручників.

Рівні завдань

Вивчення фізики передбачає не тільки запам'ятовування студентами певної інформації, але й її розуміння та можливе застосування для вирішення практичних завдань. Тому за аналогією з рівнями оцінювання навчальних досягнень учнів, сформульованими в наказі Міністерства освіти і науки України [21], можна запропонувати три рівні засвоєння знань, інакше, «рівнів майстерності» [22] (початковий рівень ми не розглядаємо як такий, що не відповідає рівню університетської освіти) і відповідних рівнів тестових завдань. Завдання рівня 1 відповідають впізнанню та відтворенню знань, рівня 2 - застосуванню знань та вмінь у знайомій ситуації, рівня 3 - застосуванню знань та вмінь у зміненій чи незнайомій ситуації. Такий підхід раніше був запропонований у роботі L. Bilousovaта ін. [23] для педагогічної діагностики із застосуванням комп'ютерних технологій.

Основною метою завдань рівня 1 є перевірка знання студентом базових понять, законів, формул. Завдання рівнів 2 та 3 призначені для встановлення глибини розуміння законів природи та їх застосування. Саме до таких належать «відкриті завдання концептуального типу», які пропонує використовувати М.С. Паккі [1, с. 148].

Запропонований поділ відповідає трьом першим рівням таксономії Блума: знання, розуміння та застосування. Більш високі рівні засвоєння аналізу, синтезу та оцінювання перевірити на екзамені в тестовій формі достатньо складно, хоча вони певною мірою проявляються у студента при відповіді на завдання рівня розуміння та застосування.

Завдання кожної з категорій мають певну трудність. У КТТ рівень складності визначають за відсотком студентів, котрі не виконали дане завдання. Очевидно, що цейпараметр залежить не тільки від об'єктивного чинника - змісту завдання, тобто тих розумових дій, які повинен виконати студент для правильної відповіді, але від ряду суб'єктивних чинників: рівня підготовленості студента, кількості студентів, для яких призначений тест, формою представлення завдання та варіантом вибраної невербальної підтримки [24, с. 158]. Як показали дослідження Ю. Жука і Л. Ващенко [25], за виконання завдань відкритої форми учні та студенти одержували оцінки на 20 - 30% гірші, ніж за завдання такого ж змісту, але закритої форми з однією правильною відповіддю. Причин для цього можуть бути дві: 1) серед дистракторів завдань закритого типу міститься правильне твердження, що може бути підказкою навіть для слабо підготовленого учня чи студента [26]; 2) за наявності обмеженої кількості дистракторів ймовірність угадування правильної відповіді достатньо велика (для завдань закритого типу з однією правильною відповіддю і кількістю дистракторів 4 - 5 з однією правильною відповіддю ймовірність угадування становить 20 - 25%). Це зумовлює все більше широке застосування завдань закритої форми з кількома правильними відповідями, завдання на встановлення відповідності та завдання відкритої форми.

В IRTвводиться ймовірність виконання даного завдання студентом з певним рівнем підготовленості, який не залежить від рівня підготовленості того, хто складає тест. Розвиток IRTБірнбаумом дозволяє враховувати дискримінативність завдань (двохпараметрична модель) та ймовірність угадування відповіді (трьохпараметрична модель) у завданнях закритого типу з однією правильною відповіддю.

Корисним для стратифікації завдань є побудова графіків інформаційної функції, яка показує наскільки конкретне завдання є ефективним для оцінювання студента із заданим рівнем підготовленості. Максимум інформаційної функції в однопараметричній моделі IRTприпадає на значення логіта складності завдання, яке дорівнює логіту підготовленості студента і відповідає ймовірності правильної відповіді 50%.

Надійність тесту

Важливим параметром тесту є його надійність. Під надійністю тесту В.М. Кухаренко та ін. [27] розуміють стійкість (повторюваність) і точність результатів вимірювань. У КТТ надійність тестів, орієнтованих на норму, оцінюють за коефіцієнтом кореляції Пірсона, коефіцієнтом рангової кореляції Спірмана, Кеделла тощо. Однак ці методи не є коректними для нормативно орієнтованих тестів, оскільки тут дисперсія тестових балів може бути невеликою, відтак і кореляційна оцінка надійності буде низькою.

Надійність результатів одноразового критеріально орієнтованого тестування, згідно з рекомендаціями, наведеними в роботах [22], [27], може бути оцінена: 1) для окремих завдань тесту за коефіцієнтом внутрішньої узгодженості Кьюдера-Річардсона KR-20; 2) тесту в цілому за коефіцієнтом генералізації, який визначається за результатами двофакторного дисперсійного аналізу ANOVA[27]; 3) за величинамикаппа функції Коена (к) та ^ - коефіцієнту кореляції (коефіцієнт спряженості), який є аналогом коефіцієнта лінійної кореляції Пірсона для таблиць 22.

Таблиця 1. Таблиця спряженості

Для обчислення кта ф необхідна наявність двох аналогічних тестів, за результатами яких студентів поділяють на дві групи: ті, котрі одержали залік з обох тестів, та тих, котрі не одержали залік хоча б з одного тесту. За цими даними складається таблиця спряженості (інакше - матриця плутаниці), у яку заносяться частки загальної кількості студентів, котрі перевищили критеріальний бал (залік) чи не досягли критеріального балу (незалік) - табл. 1. У цій таблиці А, B, C, D - частки загальної кількості студентів, котрі склали «залік», або «незалік» за результатами тестів. Коефіцієнти ф та к. обчислюються за формулами:

де P= A+ D - частка студентів, котрі склали «залік» та «незалік» за результатами обох тестів, Pc - ймовірність випадкового прийняття узгодженого рішення:

Якщо тест використовується для атестації з певної частини навчального процесу (визначення рівня майстерності [22]), то бажано обчислювати обидва коефіцієнти р та к

Система тестового контролю

Для проведення тестування використовують різні системи підтримки навчального процесу: Blackboard, QuizStar, WISEflow, Inspera, eFrontта інші, серед яких близько 75% є ліцензійними. Однією з вільно поширюваних LMS, яка знайшла широке застосування в усьому світі, є Moodle, у якій можна створити 15 різних типів тестових завдань. Окрім завдань закритого типу з вибором однієї або декількох правильних відповідей, завдань з числовою відповіддю, завдань на встановлення відповідності та послідовності в екзаменаційному тесті з фізики доцільно використовувати і такі завдання:

- «вкладені відповіді», де в одному завданні можуть бути представлені декілька запитань відкритого чи закритого типу, що зручно для складання завдань «концептуального типу»;

- «обчислювальне», створюючи яке укладач задає формулу для обчислення певної величини, діапазони зміни параметрів та кількість «екземплярів» завдання, отже, створюється задана кількість завдань з числовою відповіддю однакового змісту, але з різними значеннями параметрів.

У LMSMoodleзавдання розміщуються в окремих категоріях (теках). Завдання із заданих категорій можуть бути додані в тест у режимі ручного вибору або автоматичного випадкового вибору. Останнє дозволяє сформувати індивідуальний тест для кожного студента.

Безперечною перевагою Moodleє те, що в ній закладений математичний пакет статистичної обробки результатів тестування, у якому обчислюються параметри всього тесту [28] та параметри окремих завдань.

Формування екзаменаційного тесту

Основними вимогами до завдань екзаменаційного тесту ми вважаємо:

- змістову валідність;

- можливість перевірки засвоєння знань студентами на різних рівнях;

- максимальне ускладнення знаходження інформації в Інтернеті - основному «помічнику» сучасних студентів;

- унеможливлення обміну інформацією між студентами.

Змістова валідність характеризує відповідність завдань КОрТ змістовій області, яка підлягає перевірці. Для її дотримання повинна бути складена детальна специфікація предметної галузі [22], до кожного пункту якої підбираються тестові завдання. Їх правильне виконання є свідченням засвоєння студентом необхідної інформації. Така специфікація була складена для проведення екзамену з розділів «Фізичні основи механіки» та «Молекулярна фізика і термодинаміка» курсу фізики для студентів першого курсу Навчально-наукового інституту атомної та теплової енергетики (ТЕФ).

Завдання для екзаменаційного тесту відбиралися у два етапи із завдань, які використовувались при поточному контролі з 2015 по 2020 рік, після визначення їх статистичних параметрів. На першому етапі використовувались дані, обчислені вбудованим математичним пакетом LMSMoodle, на другому - дані обчислень за однопараметричною та двохпараметричною моделями IRTта графіками інформаційної функції окремих завдань.

У математичному пакеті LMSMoodleобчислюються: індекс легкості завдань, стандартне відхилення (дисперсії), розрізнення (інакше - індекс диференціації, або дискримінативність), ефективність розрізнення (інакше - коефіцієнт дискримінації) та деякі інші.

Таблиця 2. Статистичні параметри завдань екзаменаційного тесту