Забезпечення надійності процедур оцінювання здобувачів в умовах онлайн навчання

Размещено на http://www.allbest.ru/

Харківський національний університет імені В.Н. Каразіна

Забезпечення надійності процедур оцінювання здобувачів в умовах онлайн навчання

Паккі Маріанна Сергіївна кандидат педагогічних наук, доцентка кафедри геології

м. Харків, Україна

Анотація

На підставі здійсненого автором аналізу наукового доробку встановлено, що дослідники основними проблемами онлайн оцінювання вважають високий рівень академічної недоброчесності здобувачів (списування та колективну роботу над завданнями), а також складність перевірки в дистанційному режимі досягнутих ними результатів навчання та сформованих компетентностей. На користь цих тверджень свідчить і проведене автором статті опитування науково-педагогічних працівників. Задля вирішення вказаних проблем у статті розглянуто підхід до забезпечення надійності процедур онлайн оцінювання здобувачів, який передбачає методичну та організаційну складові. У межах даного підходу автор пропонує на етапі розробки процедур оцінювання сконцентруватися на підборі тих типів питань, за рахунок яких вдасться унеможливити академічну недоброчесність здобувачів та різнобічно перевірити їх підготовку. У статті дана характеристика низькопорядкових «загальноприйнятих (conventional)» та «концептуальних (conceptual)» типів питань. Розглянуто особливості питань «на впізнавання», «на пригадування», а також «на інтеграцію та використання». Сформульовано рекомендації щодо використання різних типів питань під час онлайн оцінювання здо бувачів відповідно до рівнів таксономії Блума. Зокрема для оцінювання найвищих рівнів запропоновано використовувати кейси та ситуаційні задачі. Проведене опитування показало високий рівень залучення викладачів до процедур оцінювання в умовах онлайн навчання, що зменшує їх переваги в порівнянні з очним контролем. Тому серед організаційних засад проведення онлайн контролю автор пропонує обирати інструменти для оцінювання, які дають змогу використовувати автоматизовану перевірку навіть для завдань з «високопорядковими» типами питань. Наголошено на потребі завчасного ознайомлення здобувачів з процедурою онлайн оцінювання, наданню переваги підходу «low -stakes assessment». Також у статті описано досвід автора з використання гугл-форм та платформи «Online Test Pad».

Ключові слова: онлайн оцінювання; онлайн навчання; онлайн освіта; дистанційна освіта.

Постановка проблеми

Рішенням ЮНЕСКО задекларовано потребу в трансформації освітнього середовища з метою втілення концепції сталого розвитку [1]. Разом із порушеними питаннями щодо змістовного наповнення та підбору педагогічних методик [1] актуальності набуло й питання форми організації освітньої діяльності. Дослідження Рой та ін. [2] виявило, що дистанційне та онлайн навчання (порівняно з традиційним аудиторним) дозволяють зменшити обсяги спожитої електроенергії та викидів вуглекислого газу, тим самим зменшуючи негативний вплив людини на природу, що цілком відповідає концепції сталого розвитку. З огляду на це визначена ЮНЕСКО потреба у змінах освітнього середовища, на нашу думку, може бути досягнута також завдяки розвитку онлайн освіти.

Про значущість онлайн освіти для здобувачів свідчить стрімке зростання популярності масових відкритих онлайн курсів («massive open online courses», далі - МООС). Так, кількість слухачів MOOC «Coursera» протягом весни 2020 року збільшилася майже на 40 % [3]. Така динаміка, а також досвід світових та вітчизняних закладів вищої освіти (далі - ЗВО), змушених перейти на дистанційну форму роботи через пандемію 2020-2021 рр., доводять, що в кризовій ситуації онлайн освіта може стати відповіддю на виклики часу. Додамо, що здійснений нами аналіз Google Trends показав, що такі словосполучення як «e-learning», «education online», «online education system», «online education platform» використовувалися користувачами пошукової системи Google протягом останніх 15 років. Тобто зацікавленість суспільства в онлайн освіті є стійкою, а не лише тимчасовим явищем, зумовленим пандемією. А отже, доречними є і дослідження, присвячені організації онлайн освіти.

Актуальності цим дослідженням додає також винятковість умов їх проведення. Через масовий перехід на онлайн навчання до вибірки учасників, задіяних в «умовному експерименті», потрапили ті, хто ставиться до дистанційної форми роботи як позитивно, так і негативно. Це дає можливість нівелювати похибку, характерну для аналогічних, але штучно ініційованих досліджень, зумовлену тим, що онлайн та офлайн навчання зазвичай обирають різні (за рівнем технічної підготовки, мотивації, професійного досвіду тощо) категорії здобувачів та науково-педагогічних працівників, тому порівняння їх результатів з самого початку не зовсім коректне [4]. Тобто будь -яке дослідження особливостей онлайн освіти наразі відбувається в природних умовах (що зменшує похибку), а задіяна вибірка здобувачів є репрезентативною (оскільки створена не штучно за певним принципом, а є частиною генеральної сукупності).

У звіті ЮНЕСКО зазначено, що пандемія COVID-19 виявила неготовність закладів освіти до повного переходу в дистанційний режим [5]. За результатами дослідження Гуангуль та ін. [6], однією з ключових проблем, з якою зустрілись викладачі та студенти в умовах пандемії, стала відсутність чіткої політики та рекомендацій у сфері онлайн навчання. Все це дає підстави констатувати існування суперечності між потребою суспільства в онлайн освіті та частковою неготовністю закладів до її реалізації. Також встановлено, що особливо вразливим до переведення в режим онлайн став процес оцінювання здобувачів [7]. Проведене нами опитування 81 науково-педагогічного працівника вітчизняних ЗВО показало, що лише 37,0 % респондентів вважають оцінювання здобувачів у дистанційному режимі надійним та якісним; 34,6 % респондентів було складно висловити свою думку з цього приводу;

% - не вважають оцінювання здобувачів у дистанційному режимі надійним та якісним. Також 44,4 % з них не згодні з думкою, що онлайн оцінювання не має жодних відмінностей у порівнянні з традиційним очним; 25,9 % респондентів було складно висловити свою думку. Ці результати дають нам підстави стверджувати, що оцінювання здобувачів в онлайн режимі може вимагати додаткових заходів для забезпечення надійності отриманих результатів. Саме тому ми зосередились на дослідженні шляхів забезпечення надійності процедур оцінювання здобувачів в умовах онлайн навчання. Сформульовані нами у підсумку рекомендації можуть бути використані науково-педагогічними працівниками в освітньому процесі. Зауважимо, що такий фокус наукового пошуку відповідає «Плану дій Європейської комісії в контексті цифрової освіти на 2021-2027 рр.», згідно з яким розробка відповідних рекомендацій належить до переліку ключових питань забезпечення якості освітнього процесу на наступні 5 років [8].

Додамо, що зосередження уваги саме на оцінюванні здобувачів зумовлене тим, що в умовах онлайн навчання це питання вкрай актуальне для зовнішніх стейкхолдерів. На думку роботодавців, додатково пройдені здобувачем онлайн курси на МООС свідчать не про його професійний розвиток, а швидше про високу мотивацію [9]. Звиклі до традиційної процедури в ЗВО, роботодавці не завжди розуміють політику верифікації сформованих у здобувачів компетентностей на таких «курсах підвищення кваліфікації». А з огляду на продовження дистанційної освіти також і в офіційних освітніх установах довіра стейкхолдерів до надійності оцінювання може бути втрачена. академічний недоброчесність навчання компетентність

Аналіз останніх досліджень і публікацій

Насушіон [7], Алрувайс та ін. [10] здійснили ґрунтовний аналіз наукового доробку і виявили, що основні виклики, з якими зустрічаються учасники освітнього процесу під час онлайн оцінювання, зумовлені, з одного боку, їх психологічною та технологічною неготовністю до роботи з інструментами онлайн оцінювання (платформами, програмами тощо), а з іншого - обмеженістю форм роботи, які можна оцінити саме в режимі онлайн.

Також вагомим недоліком онлайн оцінювання дослідники вважають високу вірогідність академічної недоброчесності з боку здобувачів [6], [11], [12], [13]. За статистикою саме в умовах онлайн контролю студенти схильні списувати в 4 рази частіше [11], [12], оскільки викладач фізично не здатний забезпечити нагляд, можливий в аудиторії. Проведене Васкесом та ін. дослідження [13] показало, що здобувачі, які не мали нагляду з боку викладача під час онлайн оцінювання, мали результати на 11% кращі порівняно з результатами подібного офлайн класу (за яким здійснювали нагляд). Проте результати аналогічного онлайн оцінювання з використанням спеціалізованої програми вебконтролю, яка унеможливила списування, були майже тотожні результатам офлайн класу [13]. Тобто академічна недоброчесність здобувачів під час онлайн оцінювання, крім порушення етики, призводить до того, що їх результати не корелюють з реальними результатами навчання та сформованими компетентностями. З іншого боку, проведений Гуангуль та ін. аналіз досліджень впливу «proctored exam» (дистанційний екзамен, під час якого за здобувачем здійснюється нагляд через відеокамеру) показав, що в умовах такого контролю здобувачі відчувають дискомфорт більший, ніж під час очного іспиту [6]. Тобто в стресовій ситуації вони можуть припускатися додаткових помилок, що також матиме вплив на надійність результатів оцінювання.

Підняте Європейською комісією питання надійності результатів навчання [8] корелює з думкою дослідників стосовно того, що науково-педагогічні працівники часом використовують недосконалі методи оцінювання, які дають змогу перевірити лише окремі знання й навички, а не сформованість компетентностей [14], [15], [16], [17], [18].

Проведене нами опитування 81 науково-педагогічного працівника (87,7 % з яких використовували онлайн оцінювання студентів під час пандемії) показало, що до п'яти найбільших недоліків онлайн оцінювання належать: «значні витрати часу викладача на створення завдань» та «висока вірогідність списування студентами» (63,0 %), «низька якість інтернет-зв'язку в окремих регіонах» (51,9 %), «неможливість перевірити практичні навички та вміння» (46,9 %) та «поверхневість перевірки знань та вмінь» (34,6 %).

Узагальнюючи результати проведеного аналізу зазначимо, що під час розробки процедур оцінювання здобувачів в умовах онлайн навчання перед науково - педагогічним працівником постає два завдання: унеможливити академічну недоброчесність студентів та підібрати інструментарій оцінювання, який би дозволив перевірити саме досягнуті здобувачем програмні результати навчання (далі - ПРН) та сформовані компетентності. Тому метою даної статті є запропонувати підхід, який дозволяє виконати ці завдання і тим самим забезпечити надійність процедур оцінювання здобувачів в умовах онлайн навчання.

Результати дослідження

Запропонований нами підхід до розробки процедур оцінювання ґрунтується на аналізі наукового та методичного доробку, спостереженні за освітнім процесом та проведеному нами опитуванні науково-педагогічних працівників.

При розробці процедури оцінювання Ітон [19] рекомендує зосередитись на змісті контрольних питань. Дослідниця наголошує на існуванні практики активного обміну матеріалами між студентами, тому рекомендує раз на семестр оновлювати зміст тестів, питань на іспитах тощо, аби запобігти передачі заготовлених (зокрема контрольних) робіт від старших курсів молодшим, а також радить не використовувати готові тести з відкритих джерел, відповіді на які так само можуть бути доступні широкому загалу.

Ми підтримуємо запропонований спосіб боротьби із академічною недоброчесністю здобувачів. Однак вважаємо, що заборона студентам користуватися допоміжними матеріалами під час контрольного заходу не є універсальним способом вирішення даної проблеми. Практика «open book exam» (проведення контролю з доступом здобувачів до конспектів та інших допоміжних матеріалів) може бути не менш дієвою за традиційний «close book exam» [6], [15].

Проведене нами опитування науково-педагогічних працівників виявило, що 30,9 % респондентів проводили всі контрольні заходи з увімкненою камерою у студентів; 28,4 % просили студентів увімкнути камеру лише під час заліку або іспиту; у 34,6 % викладачів студенти працювали самостійно без нагляду. Уточнимо, що лише

% респондентів зазначили, що відеокамера у студентів працювала протягом усього часу контрольного заходу (відповідно мікрофон - 11,1 % респондентів); про те, що камера була увімкнена лише на початку контрольного заходу для пояснення організаційних моментів зазначили 13,6 % респондентів (відповідно мікрофон - 32,1 %); 14,8 % респондентів зазначили, що камера була увімкнена у студентів лише в момент їх роботи над завданням (відповідно мікрофон - 22,2 %), студенти не вмикали камеру взагалі у 23,5 % респондентів (відповідно мікрофон - 28,4 %).

Такий розподіл є очікуваним, оскільки низька якість інтернет-зв'язку в окремих регіонах, яка часто унеможливлює роботу відеокамери та мікрофона студента під час онлайн спілкування з викладачем, визначена респондентами як один із найбільших недоліків онлайн оцінювання. Тому вважаємо, що забезпечення надійності процедур такого контролю не може ґрунтуватись лише на використанні традиційного нагляду викладача за дотриманням академічної доброчесності здобувачами.

Як зазначають дослідники, якість та надійність оцінювання залежить від типу контрольних питань [14]. Правильно сконструйовані, вони дозволяють перевірити досягнуті здобувачем результати навчання та одночасно унеможливлюють списування. Тому саме в цій площині, на нашу думку, лежить підхід до забезпечення надійності результатів оцінювання. Вибір типів питань належить, на нашу думку, до методичної складової підходу до забезпечення надійності процедур оцінювання здобувачів в умовах онлайн навчання.

До «ненадійних» належать питання з формулюванням «дайте визначення», «опишіть», «розкрийте зміст», оскільки відповіді на них мають суто репродуктивний характер, їх простіше списати і вони одночасно є слабко інформативними інструментами оцінювання. Незважаючи на їх масове використання (порівняно з іншими типами питань) [17], дослідники називають такі питання «низько порядковими» [14]. Відповідно до таксономії Блума [20] відтворення інформації усно або письмово є еквівалентом її найнижчих рівнів - «знання» та «розуміння». Відтак обмежувати оцінювання ними двома означає свідомо вносити похибку в результати. Питання цього типу рекомендуємо застосовувати і доповненням. З цього приводу

Мазур рекомендує надавати перевагу так званим «концептуальним (conceptual)», а не «загальноприйнятим (conventional)» питанням [16]. Тобто, перевіряючи знання, варто орієнтуватись не на здатність здобувачів згадати та відтворити певну інформацію (питання із формулюванням «опишіть», «дайте визначення»), а фокусуватись на перевірці розуміння певних принципів та понять (наприклад, «обґрунтуйте певну теорію», «поясніть певне явище» тощо). У такий спосіб замість перевірки найнижчого рівня «знання» стає можливим перевірити більш високий рівень «розуміння». Однак наголосимо, що такі питання не можуть бути єдиним джерелом інформації про відповідність результатів навчання, досягнутих здобувачем, програмним результатам. Дослідники зазначають, що високий рівень мислення приходить лише з «високо порядковими» питаннями [17, с. 150]. Ось чому процедура оцінювання повинна мати «високо порядкові» питання і загалом бути різнобічною.

«Високо порядковими» є питання, відповіді на які передбачають аналітичну роботу студентів [14]. Згадані вище концептуальні питання також можуть бути високо порядковими, якщо вони передбачають ґрунтовну аналітичну або прикладну роботу студентів. Для встановлення здатності здобувачів до аналізу та синтезу, оцінювання, формулювання висновків та рекомендацій (верхні рівні таксономії Блума) рекомендуємо застосовувати контрольні завдання на основі методів ситуативного моделювання та інших активних та інтерактивних педагогічних технологій. Аналіз ситуаційних задач та кейсів (можливий як під час навчання, так і на контрольному заході), створення проєктів (як одна з форм роботи протягом семестру, яка підлягає оцінюванню) дозволяють перевірити саме динамічне поєднання особистісних та професійних характеристик здобувача, що відповідає концепції його компетентності.

Зосередження уваги на типах питань загалом корелює з думкою опитаних нами науково-педагогічних працівників, які для боротьби з академічною недоброчесністю найчастіше використовували саме питання, відповіді на які передбачають «аналіз, синтез, порівняння, пропозиції і не можуть бути списані» (відповіді 54,3 % респондентів). Серед відповідей у варіанті «інше» окремі респонденти також вказали: «наявність питань різних типів» та «завдання складені так, аби унеможливити списування».

Серед інших найбільш розповсюджених заходів для боротьби з недоброчесністю викладачі обрали: «жорсткі часові обмеження студентів для написання та надсилання робіт» (54,3 %), «різні завдання для студентів» (44,4 %), «контрольні заходи мали усну частину («захист» відповідей) у Zoom, Viber, Google Meets, Skype тощо» (39,5 %), «контрольні заходи проходили з увімкненою камерою у студентів» (30,9 %). Такі результати спонукають нас сфокусуватися на організаційній складовій підходу до забезпечення надійності процедур оцінювання здобувачів в умовах онлайн навчання.

Результати опитування викладачів показали, що фактично ними було адаптовано традиційні форми контролю до нових дистанційних умов:

тестування здійснювалось за допомогою спеціалізованих онлайн платформ;

класичні письмові відповіді на «відкриті» питання студенти надсилали викладачу на електронну пошту, в Google Class, месенджер або передавали на перевірку через інший канал комунікації (28,4 % респондентів вимагали відповіді, написані студентами саме «від руки»);

«захист» студентами робіт та відповідей відбувався наживо при спілкуванні з викладачем у Zoom, Viber, Google Meets, Skype тощо.

Серед перелічених форм роботи особливу увагу звернемо на два останні пункти. Згідно з результатами опитування близько 84 % респондентів використовує «відкриті» питання. Також переважна більшість викладачів (88,9 %) активно поєднує різні форми роботи в дистанційному режимі, з них найбільш розповсюдженими комбінаціями є:

«онлайн тестування + письмові відкриті питання + усне спілкування в Zoom, Viber, Google Meets, Skype тощо» - 39,7 %;

«онлайн тестування + усне спілкування в Zoom, Viber, Google Meets, Skype тощо» - 19,2 %;

«онлайн тестування + письмові відкриті питання» - 20,5 %;

«письмові відкриті питання + усне спілкування в Zoom, Viber, Google Meets, Skype тощо» - 16, 7 %.

У якості освітнього середовища, куди на перевірку студенти могли надсилати виконані поточні, підсумкові контрольні та інші роботи, стали: електронна пошта викладача (34,6 %), месенджери Telegram (16,0 %) та Viber (13,6 %), також активно з цією метою використовувались платформи Moodle (53,1 %) та Google Class (48,1 %). Робота в такому форматі вимагає активного залучення науково-педагогічних працівників. Використання «відкритих питань» у дистанційному режимі, усне спілкування через спеціалізовані програми вимагає часу на перевірку та надсилання зауважень та рекомендацій по кожній роботі, тому втрачається така основна перевага онлайн оцінювання як автоматизований контроль (виключна значущість цієї функції в порівнянні з іншими підтверджена 58,0 % респондентів).

З іншого боку, оптимізація процедури оцінювання за рахунок використання лише тестування не дає змогу повністю оцінити досягнуті здобувачем результати навчання. Дірксен вирізняє три можливі типи контрольних питань, які можуть використовуватись при тестуванні: на впізнавання (класичні закриті тести), на пригадування (відкриті тести та питання «заповніть прогалини»), а також на інтеграцію та використання. Серед перелічених типів найбільш простими є питання на впізнавання, оскільки здобувачу потрібно вибрати певну інформацію із поданої, що вимагає менших зусиль, ніж процес пригадування або практичне застосування. Часте використання питань цього типу сприяє виникненню парадоксу «помилкового знання (fake knowledge)», за якого інформація здається зрозумілою та добре відомою в момент ознайомлення здобувача з нею, однак він не може її повністю відтворити в інший час [21]. Тому така поширена форма онлайн оцінювання як закриті тести, співставлення та встановлення порядку запропонованих об'єктів є зручною для викладача, оскільки дає змогу використовувати машинну (автоматичну) перевірку, але здатна оцінити підготовку здобувача лише на базових рівнях таксономії Блума.

Використання питань «на пригадування» (відкриті тести, які потребують вписування відповіді) підвищує рівень складності, однак вимагає додаткового залучення викладача, оскільки не всі автоматизовані системи оцінювання коректно перевіряють відповіді: використання малої'/великої літери, одрук, інший порядок слів у розгорнутій відповіді тощо можуть бути автоматично зараховані як помилка. Тому викладач має в ручному режимі перевіряти усі тести, що фактично нівелює зручність автоматичного оцінювання у випадку великої кількості здобувачів.

Для вирішення вказаної проблеми рекомендуємо зменшити кількість питань «на пригадування» на користь закритих тестів множинного вибору, які вимагають одночасно кількох відповідей, і зараховувати як правильні лише ті, що мають усі передбачені варіанти. Такий тест складніший за тест «на впізнавання» і не потребує ручної перевірки викладачем вписаних студентами відповідей.

Тімерман та ін. [18] пропонують форму тесту, за якої можливо одночасно ґрунтовно перевірити досягнуті здобувачем результати навчання та використати функцію автоматичної перевірки відповіді програмою. Приклад такого завдання подано на рис. 1.

Рис.1. Приклад ускладненого тесту [18]

Відповідь на питання ярусу 1.1. (item 1.1.) потребує застосування знань та висування припущення відповідно до умов поданої в тесті задачі, і вимагає більше зусиль, ніж пригадування формулювання правила. Відповідь на питання ярусу 1.2. (item 1.2.) потребує обґрунтування попередньої відповіді, причому запропоновані варіанти не є очевидними або можуть бути діаметрально протилежними («а» та «b»), що додатково ускладнює завдання. Цей приклад є типом тестового питання на інтеграцію та використання (за Дірксен) та свідчить про можливість реалізації «концептуального» питання у форматі тесту. Його автори наголошують на тому, що при доборі варіантів відповідей на ярусі 1.2 варто не давати очевидно неправильні або можна використовувати кілька правильних відповідей. Також вони рекомендують вводити у варіанти відповідей такі, що найчастіше помилково обираються студентами (за результатами попереднього досвіду викладача) [18]. За такого підходу під час аналізу результатів тесту студентам буде простіше звернути увагу саме на неправильну відповідь, яку воно помилково вважали правильною, і завдяки такому помилкове уявлення буде виправлене.

Організаційна складова підходу до забезпечення надійності процедур оцінювання здобувачів в умовах онлайн навчання передбачає також підбір інструментарію для його проведення. Залежно від умов та потреб освітнього процесу, як показують результати проведеного опитування, викладачі комбінують різні платформи для онлайн оцінювання. Серед респондентів досвід їх використання мають: «Google Form» (53,1 %), «Moodle» (51,9 %), «Kahoot!» (11,1 %), «Classtime» (4,9 %), «OnlineTest Pad» (3,7 %), «Socrative» (1,2 %), «InClass» (1,2 %), «MS Teams» (1,2 %), «quizizz.com» (1,2 %), спеціалізована платформа, розроблена власне ЗВО (1,2 %). Проте найчастіше науково-педагогічні працівники користувалися «Moodle» (49,4 %), «Google Form» (29,6 %).

Також результати опитування виявили різну вагомість функцій, властивих платформам онлайн оцінювання. За ступенем їх значущості для викладачів нами складено наступну ієрархію (у порядку зменшення значущості):

Безкоштовність (вкрай важливо та скоріш важливо для 86,4 % респондентів).

Простота (зрозумілість) інтерфейсу та наявність питань різних типів (обидві функції вкрай важливі та скоріш важливі для 82,7 % респондентів).

Наявність таймеру проходження тесту та автоматизована перевірка відповідей програмою (обидві функції вкрай важливі та скоріш важливі для % респондентів).

Надійна ідентифікація студента (вкрай важливо та скоріш важливо для 79,0 % респондентів).

Можливість додавати питання з фото-, відео- та аудіоматеріалами (вкрай важливо та скоріш важливо для 75,3 % респондентів).

Функція «блокування вікна» та заборони копіювання тексту питання (вкрай важливо та скоріш важливо для 58,0 % респондентів).

Розглянемо наш досвід. При виборі онлайн-платформи для оцінювання здобувачів загалом ми дотримувались поданої вище ієрархії значимості функцій програм. Однак виключного значення для нас набула функція спрощеного доступу викладача та студентів до платформи. Саме через це, коли на початку карантину навесні 2020 року з'явилася нагальна потреба в онлайн-платформі, ми були змушені відмовитись від використання платформи «Moodle» (для доступу до якої викладач та студенти повинні пройти авторизацію на рівні ЗВО). Не маючи змогу оперативно виконати цю вимогу, ми, як і значна частина науково-педагогічних працівників з нашого опитування, звернулися до гугл-форми: вони є безкоштовними, доступними, інтерфейс інтуїтивно зрозумілий, наявні різні питань («відкриті» питання, тести одиничного та множинного вибору, питання у форматі встановлення послідовності, зв'язків між об'єктами, заповнення прогалин). Однак функція «блокування вікна» (неможливість відкриття паралельної вкладки в браузері) доступна лише за умови, якщо учасники тестування мають гугл-пошту (чого не завжди вдається досягти). Також відсутня можливість встановлення зворотного відліку під час проходження тесту, що знижує зручність інтерфейсу програми для здобувачів.

Під час опитування ми порівняли наш рівень задоволеності функціями «Google Form» з думкою науково-педагогічних працівників, які використовували цю програму. У форматі шкали Лайкерта (де 1 - абсолютно незадоволений, а 5 - вкрай задоволений) респонденти оцінювали такі її функції:

простота (зрозумілість) інтерфейсу;

широта вибору питань різних типів;

безкоштовність;

надійна ідентифікація студентів;

наявна функція «блокування вікна»;

функція неможливості скопіювати текст питання;

функція автоматичної перевірки відповіді;

наявність готових питань від інших авторів;

таймер зворотного відліку;

підтримка програмою декількох мов;

функція перемішування послідовності питань та/або відповідей.

Середній рівень задоволеності функціями «Google Form» становив 3,5 бали з 5 можливих.

У пошуках більш оптимальної для нас програми онлайн оцінювання ми звернулися до «Online Test Pad». Програма є безкоштовною, інтерфейс зрозумілий, більш широкий (порівняно з гугл-формою) вибір типів питань (тести одиничного/множинного вибору; на вписування числа або слова; на встановлення відповідності/послідовності; на введення вільної відповіді; на послідовне скасування; на заповнення прогалин; на пошук у тексті; на збір фрази зі слів або слова з літер), що дає змогу створювати тести різного рівня складності. Програма дозволяє встановлювати зворотний відлік виконання та часові межі доступності тесту для здобувачів. Однак найбільшою перевагою «Online Test Pad» в порівнянні з гугл- формою стала можливість обмеження кількості спроб проходження тесту здобувачами (як за однією і тією самою IP-адресою, так і за «Cookies»). Тобто у випадку, якщо здобувачі перебувають в одному приміщенні (наприклад, у кімнаті гуртожитку), але заходять на онлайн-платформу через спільну вай-фай точку, вони одночасно матимуть доступ до тесту без перешкод. Серед недоліків - програма не має опції «блокування вікна», однак є функція унеможливити копіювання питання з тестів у буфер пам'яті, що (за умови часового обмеження проходження тесту) ускладнить процес пошуку відповіді в Інтернеті в паралельній вкладці.

Опитування, проведене серед студентів медичного факультету одного з університетів Йорданії (Jordan University of Science and Technology), показало, що більше третини опитуваних (загальна кількість респондентів - 1049 осіб) відчували значно більший стрес під час онлайн тестування порівняно з аналогічним у класі, викликаний, зокрема, взаємодією з самою платформою, на якій проходило оцінювання [22]. Тому при забезпеченні надійності процедур оцінювання здобувачів в умовах онлайн навчання слід враховувати також технологічну підготовку студентів. Для її дотримання рекомендуємо створювати пробний варіант контрольної роботи або тесту, доступні студентам протягом семестру. Це дає змогу їм вчасно здійснювати самооцінювання та корегувати прогалини в знаннях та навичках, а також дає їм досвід взаємодії з різними типами питань та конкретною платформою, що знижує напруження в момент реального оцінювання. Додатковому зниженню психологічного дискомфорту здобувачів під час оцінювання сприятиме використання «low-stakes assessments» - низки контрольних завдань замість єдиного іспиту, від якого залежить оцінка [19]. Також постійний поточний контроль мотивує здобувачів перманентно готуватися та виконувати всі завдання, адже лише так можна отримати максимальну оцінку.

Висновки та перспективи подальших досліджень

Розвиток онлайн освіти є закономірною відповіддю на виклики сьогодення і зумовлений не лише пандемією 2020-2021 рр. На цьому наголошено в ряді нормативних освітніх документів, про це свідчить і зацікавленість здобувачів у такій формі навчання (згідно з результатами аналізу гугл-трендів та збільшенням числа користувачів масових відкритих онлайн курсів). Однак проведений нами аналіз нормативних документів та наукового доробку показав, що фактично існує суперечність між потребою суспільства в онлайн освіті та частковою неготовністю закладів до її реалізації. І найбільш критичним та таким, що потребує додаткового дослідження, є процес оцінювання здобувачів в умовах онлайн навчання. Ця проблема мотивувала нас обрати мету дослідження - запропонувати підхід, який сприяє забезпеченню надійності процедур оцінювання здобувачів в умовах онлайн навчання. Запропонований нами підхід фокусується на боротьбі з академічною недоброчесністю студентів та спрямований на вибір інструментарію оцінювання, який би дозволив перевірити саме досягнуті здобувачем результати навчання та сформовані компетентності та знизити ступінь залученості викладачів до процедур оцінювання. Уточнимо, що методична складова запропонованого підходу фокусується на типах питань, коректний підбір яких дозволяє забезпечити академічну доброчесність здобувачів та ґрунтовно перевірити їх підготовку; а на організаційному рівні рекомендуємо зосередитись на такій процедурі оцінювання, яка уможливлює зменшити ступінь залучення викладача до процесу оцінювання. Також рекомендуємо чітко прописувати процедуру оцінювання та пояснювати її здобувачам, надавати чіткі критерії оцінювання. Окрім обізнаності студентів та їх підготовленості до оцінювання, така комунікація дозволяє покласти відповідальність за порушення правил і на самих здобувачів, що мотивує їх дотримуватися визначених викладачем орієнтирів. Для зменшення психологічного дискомфорту студентів, що може вплинути на результати оцінювання, рекомендуємо надавати перевагу декільком контрольним заходам замість єдиного глобального іспиту, від якого залежить фінальний результат.

Узагальнюючи зазначене вище, для проведення онлайн оцінювання пропонуємо використовувати багаторівневу систему. Оцінювання на рівні «знання» рекомендуємо проводити переважно за рахунок закритих тестів на впізнавання, частково з тестами на пригадування та відкритих питань загальноприйнятого (conventional) типу. З переходом на рівень «розуміння» варто ускладнювати закриті тести - використовувати тести з декількома правильними відповідями (із зарахуванням лише всіх правильних), використовувати більше тестів на пригадування та відкриті питання концептуального типу. Не рекомендуємо використовувати відкриті питання загальноприйнятого (conventional) типу. На рівні «використання», крім класичних розрахункових завдань (які так само можна подавати у вигляді тестів із вписуванням відповіді або всього алгоритму розрахунків), рекомендуємо обмежитись відкритими питаннями концептуального типу та складними тестами на пригадування. На рівнях «аналіз», «синтез» та «оцінювання» рекомендуємо зосередитись на кейсах та ситуаційних задачах, які можуть бути оформлені як відкриті питання концептуального типу.

Під час опитування респонденти серед недоліків онлайн оцінювання зазначили також психологічний дискомфорт викладачів та студентів. Тому вважаємо перспективною темою для подальшого наукового пошуку дослідження питання забезпечення психологічного комфорту учасників освітнього процесу при проведенні онлайн оцінювання.

Список використаних джерел

1. Education for sustainable development: a roadmap.

2. R. Roy, S. Potter, K. Yarrow. «Towards sustainable higher education: environmental impacts of conventional campus, print-based and electronic/open learning systems».

3. The digital transformation of higher Education: COVID-19 and beyond.

4. S. Stack, «Learning outcomes in an online vs traditional course», International journal for the scholarship of teaching and learning, vol. 9, no. 1, article 5, 2015.

5. Education in a post-COVID world: Nine ideas for public action.

6. M. Guangul, A.H. Suhail, M.I. Khalit et al. «Challenges of remote assessment in higher education in the context of COVID-19: a case study of Middle East College», Educational assessment, evaluation and accountability, vol. 32, pp. 519-535, 2020.

7. Awal Kurnia Putra Nasution «Higher Education in The Covid-19 Era: Challenges and Assessment».

8. Digital education action plan for 2021-2027.

9. W. Radford, J. Robles, S. Cataylo, L. Horn, J. Thornton, K. Whitfield, «The employer potential of MOOCs: a survey of human resource professionals' thinking on MOOCs».

10. N. Alruwais, G. Wills, M. Wald, «Advantages and challenges of using e-assessment», International journal of information and education technology, vol. 8, no. 1, pp. 34-37, 2018.

11. M. M. Lanier, «Academic integrity in distance education», Journal of criminal justice education, vol. 17, pp. 244-261, 2006.

12. Jr. Moten, A. Fitterer, E. Brazier, J. Leonard, A. Brown, «Examining online college cyber cheating methods and prevention measures», The Electronic Journal of e-learning, vol. 11, pp. 139-146, 2013.

13. Jose J. Vazquez, Eric P. Chiang, Ignacio Sarmiento-Barbieri, «Can we stay one step ahead of cheaters? A field experiment in proctoring online open book exams», Journal of behavioral and experimental economics, vol. 90, pp.101653, 2021.

14. J. Swart, Y. Sutherland, «Student perspectives of open book versus closed book examinations - a case study in satellite communication», International journal of engineering education, vol. 30, pp. 210- 217, 2014.

15. Gharib, W. Phillips, N. Mathew, «Cheat sheet or open-book? A comparison of the effects of exam types on performance, retention, and anxiety», Journal of psychology research, vol. 2, pp. 469-478, 2012.

16. Eric Mazur, Peer Instruction: A User's Manual. New York, USA: Prentice-Hall, Upper Saddle River, 1997.

17. Wilayat Bibi Khan, Hafiz Muhammad Inamullah, «A study of lower-order and higher-order questions at secondary level», Asian social science, vol. 7, no. 9, p. 149-157, 2011.

18. M.D. Timmermann, C.H. Kautz, «Multiple choice questions that test conceptual understanding: a proposal for qualitative two-tier exam questions», in Proc. 122ndASEEAnnual Conf., Seatle, WA, 2015.

19. S. Eaton, «Planning assessment to promote academic integrity online».

20. N. Grebin, S. Grabovska, R. Karkovska, A. Vovk, «Applying Benjamin Bloom's taxonomy ideas in adult learning», Journal of education culture and society, vol. 11, no. 1, pp. 61-72. 2020.

21. Дж. Дирксен, Искусство обучать: как сделать любое обучение нескучным и эффективным. М: Манн, Иванов и Фербер, 2013.

22. L. Elsalem, N. Al-Azzam, A. A. Jum'ah, N. Obeidat, A. M. Sindiani, K. A. Kheirallah, «Stress and behavioral changes with remote E-exams during the Covid-19 pandemic: A cross-sectional study among undergraduates of medical sciences», Annals of medicine and surgery, vol. 60, рр. 271-279, 2020.

References (translate and transliterated)

1. N. Alruwais, G. Wills, M. Wald, «Advantages and challenges of using e-assessment», International journal of information and education technology , vol. 8, no. 1, pp. 34-37, 2018. (in English).

2. M. M. Lanier, “Academic integrity in distance education”, Journal of criminal justice education, vol. 17, pp. 244-261, 2006. (in English).

3. J. Jr. Moten, A. Fitterer, E. Brazier, J. Leonard, A. Brown, “Examining online college cyber cheating methods and prevention measures”, The Electronic Journal of e-learning, vol. 11, pp. 139-146, 2013. (in English).

4. Jose J. Vazquez, Eric P. Chiang, Ignacio Sarmiento-Barbieri, “Can we stay one step ahead of cheaters? A field experiment in proctoring online open book exams”, Journal of behavioral and experimental economics, vol. 90, pp.101653, 2021.

A. J. Swart, Y. Sutherland, “Student perspectives of open book versus closed book examinations - a case study in satellite communication”, International journal of engineering education, vol. 30, pp. 210- 217, 2014. (in English).

A. Gharib, W. Phillips, N. Mathew, “Cheat sheet or open-book? A comparison of the effects of exam types on performance, retention, and anxiety”, Journal of psychology research, vol. 2, pp. 469-478, 2012. (in English).

5. Eric Mazur, Peer Instruction: A User's Manual. New Yourk, USA: Prentice-Hall, Upper Saddle River, 1997. (in English).

6. Wilayat Bibi Khan, Hafiz Muhammad Inamullah, “A study of lower-order and higher-order questions at secondary level”, Asian social science, vol. 7, no. 9, pp. 149-157, 2011.

7. M. D. Timmermann, C. H. Kautz, “Multiple choice questions that test conceptual understanding: a

8. proposal for qualitative two-tier exam questions”, in Proc. 122ndASEE Annual Conf., Seatle, WA, 2015. on: Jan. 08, 2021. (in English).

9. S. Eaton, “Planning assessment to promote academic integrity online”.

10. N. Grebin, S. Grabovska, R. Karkovska, A. Vovk, “Applying Benjamin Bloom's taxonomy ideas in adult learning”, Journal of education culture and society, vol. 11, no. 1, pp. 61-72. 2020.

11. Dzh. Dirksen, The art of teaching: how to make any learning fun and effective. (Design for how people learn). M : Mann, Ivanov i Ferber, 2013. (in Russian).

12. L. Elsalem, N. Al-Azzam, A. A. Jum'ah, N. Obeidat, A. M. Sindiani, K. A. Kheirallah, “Stress and behavioral changes with remote E-exams during the Covid-19 pandemic: A cross-sectional study among undergraduates of medical sciences”, Annals of medicine and surgery, vol. 60, рр. 271-279, 2020.

Размещено на Allbest.ru