(Не)комп’ютерно орієнтоване тестування у вищій школі: погляди учасників освітнього процесу щодо (не)зручності використання

Размещено на http://www.allbest.ru/

(Не)комп'ютерно орієнтоване тестування у вищій школі: погляди учасників освітнього процесу щодо (не)зручності використання

Староста Володимир Іванович, професор, доктор педагогічних наук, професор кафедри загальної педагогіки та педагогіки вищої школи ДВНЗ «Ужгородський національний університет»

Анотація

У статті актуалізуються проблеми використання комп'ютерно-орієнтованого тестування в сучасних умовах прискореного розвитку дистанційного та змішаного навчання.

Метою дослідження є виявлення та порівняння поглядів учасників освітнього процесу у вищій школі (студентів, аспірантів, викладачів) щодо зручності використання комп'ютерно-орієнтованого тестування результатів навчання у порівнянні з паперовим та усним тестуванням. Автор долучив до анонімного онлайн опитування у 2020-2023 рр. 3206 респондентів, з них: 2897 студентів, 140 аспірантів, 169 викладачів університету. Для опрацювання результатів опитування використано комп'ютерну програму IBM SPSS Statistics 23. Встановлено, що зручність тестування покращується у напрямку (наведено середні значення зручності та відповідні відсотки респондентів): комп'ютерно-орієнтоване тестування - студенти (М=3,68; 58,3%) викладачі (М=3,81; 65,7%) аспіранти (М=4,31; 84,3%); паперове тестування - студенти (М=3,21; 42,2%) аспіранти (М=3,28; 44,3%) викладачі (М=3,46; 54,6%); усне тестування - студенти (М=2,49; 19,9%) аспіранти (М=2,84; 31,4%) викладачі (М=3,69; 60,8%). Найменш зручне тестування для студентів та аспірантів - усне, а для викладачів - письмове; всі досліджені групи респондентів мають максимальну зручність під час комп'ютерно-орієнтованого тестування. Розрахунок t-критерію свідчить про наявність у більшості порівнюваних незалежних груп (студенти, аспіранти, викладачі) статистично значущої різниці (p<0,05) щодо зручності тестування.

Аналіз результатів опитування студентів у динаміці за чотири роки для усіх порівнюваних груп за різними ознаками (освітній рівень, стать, спеціальність, форма навчання, рік опитування) показує покращення зручності тестування у напрямку усне паперове комп'ютерно-орієнтоване. Встановлено відсутність статистично значущих відмінностей (p<0,05) щодо зручності тестування між усіма незалежними вибірками студентів у таких випадках: для усіх форм тестування за ознакою «форма навчання», а також за більшістю інших ознак; за ознакою «рівень навчальних досягнень» для комп'ютерно-орієнтованого тестування. З нашого погляду, отримані результати щодо (не)зручності студентів, аспірантів та викладачів в умовах різних форм тестування доречно врахувати у практиці закладів вищої освіти.

Ключові слова: тестування; зручність тестування; комп'ютерно-орієнтоване тестування; паперове тестування; усне тестування; онлайн опитування

Abstract

(Non)computer-oriented testing in higher education: views of the participants of the educational process on (in)convenience using

Volodymyr Starosta, Doctor of Pedagogical Sciences, Professor Department of General Pedagogy and Pedagogy of Higher Education State University «Uzhhorod National University»

The article focuses the problems of using computer-based testing learning outcomes under modern conditions of accelerated development of distance and blended learning. The aim of the study is to identify and compare the views of the participants of the educational process in higher education (students, PhD students, university teachers) on convenience using during computer- based testing as compared to paper-based testing and oral-based testing. The author included 3206 respondents in the anonymous online survey in 2020-2023, including 2897 students (Bachelor and Master students), 140 PhD students, and 169 university teachers; used IBM SPSS Statistics 23 for statistical analyses. There are research results: the convenience of testing improves in the direction (the mean values of convenience and the corresponding percentages of respondents): computer- based testing - students (М=3,68; 58,3%) ^ university teachers (M=3,81; 65,7%) ^ PhD students (M=4,31; 84,3%); paper-based testing - students (M=3,21; 42,2%) ^ PhD students (M=3,28; 44,3%) ^ university teachers (M=3,46; 54,6%); oral-based testing - students (M=2,49; 19,9%) ^ PhD students (M=2,84; 31,4%) ^ university teachers (M=3,69; 60,8%). Oral-based testing is the least convenient for students and PhD students. Paper-based testing is the least convenient for university teachers. Respondents have maximum convenience during computer-based testing for all studied groups. The t-test shows a statistically significant difference (p<0,05) of the convenience testing in the majority of compared independent groups (students, PhD students, university teachers).

The author obtained the results in dynamics over four years: convenience increases in the direction oral-based testing ^ paper-based testing ^ computer-based testing for all groups according to various characteristics (educational level, gender, specialty, form of education, year of the survey). The study shows that in most cases there are no statistically significant differences (p<0,05) of the convenience testing in the following cases: between all independent students groups for all testing forms according to the feature «form of education»; according to the feature «academic performance level» for computer-based testing. We believe that the obtained results regarding the (in)convenience testing of participants in the educational process should be taken into account in the practice of higher education institutions.

Keywords: testing; testing convenience; computer-based testing; oral-based testing; paper-based testing; online survey

Постановка і актуальність проблеми

Сучасне суспільство неможливо уявити без використання інформаційно-комунікаційних технологій (далі ІКТ) у всіляко можливих сферах діяльності. Поєднання освітнього середовища, Інтернету та ІКТ сформувало електронне навчання, яке, згідно дослідження D. Al-Fraihat et al. (2020) [1, С. 81-82], характеризується як нове успішне утворення з високою ефективністю та якістю техніки, інформації, обслуговування тощо. Теза R. Fojtik у 2015 р. [2, С. 402], що дистанційна освіта є найбільш швидкозростаючою сферою освіти, особливо актуальна у теперішній час. Е-системи управління навчанням (наприклад, Moodle, Blackboard, WebCT, Desire2Learn) використовують 99% закладів вищої освіти (D. Al-Fraihat et al., 2020) [1, С. 80]. Світова пандемія Covid-19 значна прискорила цей процес, а дистанційне навчання у таких складних умовах уможливило збереження професійної підготовки у закладах вищої освіти (далі ЗВО) (S. Flynn, J. Collins, & L. Malone, 2022) [3]. Внаслідок інтеграції традиційного/ аудиторного/віч-на-віч (traditional / classroom / face-to-face learning / далі F2FL) та дистанційного (distance learning / далі DL) навчання формувались різні моделі змішаного (blended learning / далі BL) навчання і, як наслідок, розвиток онлайн діагностики результатів навчання, серед яких особливо відзначимо тестування. Зміна освітнього середовища у напрямку зростання онлайн складової F2FL ^ BL ^ DL зумовлює і перехід від традиційних методів контролю результатів навчання, коли переважають різні методи усного та письмового опитування, до онлайн діагностики з домінуванням комп'ютерно-орієнтованого тестування. Оцінювання результатів навчання має важливе значення як в умовах F2FL, DL, так і їх поєднання під час BL.

Зміни в організації та перебігу освітнього процесу в сучасних умовах зумовлюють необхідність дослідження одного із його етапів - контролю результатів навчання методом тестування у найбільш наразі поширеній формі - комп'ютерно-орієнтованого тестування. Виникають питання: «Що більш важливе - процес чи результат діагностики? Яку форму тестування обрати?». З нашого погляду, результат є наслідком процесу, а тому необхідно, аби його учасники відчували зручність, насамперед, під час тестування, а вже потім, зрозуміло, і на етапі аналізу отриманих результатів. Отже, виникає необхідність вивчення стану зручності як організаторів тестування (викладачів), так і здобувачів освіти в умовах (не)комп'ютерно-орієнтованого тестування.

Аналіз актуальних досліджень і публікацій

З даної проблематики показує високу і тривалу в часі дослідницьку активність щодо виявлення діагностичних можливостей різних форм тестування тощо. З нашого погляду, недостатня ефективність традиційних методів контролю та необхідність їх урізноманітнення, підвищення їх об'єктивності сприяла поширенню тестування, яке наразі стає важливим інструментом в освітньому процесі та предметом численних досліджень. Тестування розглядається як метод і результат вимірювання; метод діагностики із застосуванням стандартизованих запитань та завдань, що мають певну шкалу значень (Л. Кухар, В. Сергієнко, 2010) [4, С. 44, 49].

У нашому дослідженні розглядаємо педагогічне тестування, до якого долучають здобувачів освіти. Згідно Н. Болюбаш (2017) [5, С. 117]: «Педагогічне тестування як один із методів контролю набутих знань та сформованих умінь, навичок, особистісних якостей має важливі переваги перед традиційними методами контролю. Перш за все, тестування забезпечує більш високу об'єктивність контролю порівняно з традиційними методами, оскільки виключає вплив на оцінювання таких суб'єктивних факторів, як особистість викладача і студента й характер їх взаємовідносин. По-друге, оцінка, одержана за тест, більш диференційована і забезпечує більш високу точність вимірювання навчальних досягнень».

Огляд вітчизняних праць (І. Булах та М. Мруга, 2006 [6]; Л. Кухар та В. Сергієнко, 2010 [4]) показує, що розрізняють тестування бланкове, комп'ютерне та комп'ютерне адаптоване. Іноземні дослідники A. Tella, & M.T. Bashorun (2012) [7]; Z. Lu, C. Zheng, & Z. Li (2018) [8]; M. R. Ebrahimi et al. (2019) [9] та інші також використовують зазначені поняття «бланкове/паперове тестування» («paper-based testing», «paper and рencil-based testing»; далі PBT), «комп'ютерне тестування» «комп'ютерно орієнтоване тестування» («computer-based testing»; далі CBT). Аналіз джерел виявляє використання поняття «усне тестування/оral-based testing» (далі OBT); додамо, що переважно усне тестування має місце під час вивчення іноземних мов. Наприклад, M. Haggstrom (1994) [10] проведено огляд найбільш поширених методів аудиторного усного тестування, а також оцінювання їх практичності й відповідності цілям комунікативного навчання з метою вдосконалення володіння студентами іноземною мовою; C. Giron-Gartia, & C. Llopis-Moreno (2015) [11] описують проблему розроблення усних тестів з англійської мови для діагностики знань іспанських студентів.

Дослідження літератури показує дотичні та синонімічні поняття до CBT - «електронне навчання» (D. Al-Fraihat et al., 2020) [1]; «електронне тестування»/«:electronic testing»/«:e-testing», «web-testing», «online testing» (C. F. Rogers, 2006) [12]; «електронне тестування» (І. Шахіна та О. Ільїна, 2016) [13]; «автоматизоване тестування»/«:automated testing» (D. Reiss, & W.H. Sheriff, 1970) [14]; (Л. Білоусова та О. Колгатін, 2015) [15] та інші. Нам видається, що менше поширення у джерелах отримало поняття «письмове тестування» / «written testing» (B.L. Erstad, & J.K. Favre, 1999) [16], яке можемо розглядати як синонім до PBT.

Надалі у нашому дослідженні використано поняття «комп'ютерно орієнтоване тестування»/«computer-based testing», «бланкове/паперове тестування»/«paper-based testing», «усне тестування»/«оral-based testing», а під час онлайн опитування респондентів у анкетах також використано відповідні синонімічні поняття «онлайн тестування», «електронне тестування» для CBT, «письмове тестування» для PBT.

Огляд джерел дає можливість зазначити, що пошуки вчених переважно спрямовані на дослідження ефективності окремих платформ та форм тестування, порівняння та поєднання тестування з іншими методами контролю тощо. Наприклад:

- дослідження можливостей тестування на базі інформаційного середовища Moodle (Ю. Триус, І. Герасименко, В. Франчук, 2012) [17]; використання Moodle як тестовий тренінг у вигляді неодноразового проходження тесту (Н. Болюбаш, 2017) [5]; організація та ефективність Moodle (Н. Морзе, О. Буйницька, Л. Варченко-Троценко, 2016) [18]; можливість самонавчання в Moodle (P. Angriani, & H. Nurcahyo, 2019) [19]; покращення мотивації та продуктивності навчання в Moodle (A. Acar, & M.N. Kayaoglu, 2020) [20, С. 74]; застосування Moodle до, під час та після пандемії Covid-19 (В. Староста, 2021) [21];

- порівняння усного та письмового тестування (J.F. Calhoun, 1974) [22]; порівняння PBT та CBT (E.Y. Lim, M.K. Yim, & S. Huh, 2017) [23]; (M.R. Ebrahimi et al., 2019) [9]; поєднання усного опитування та CBT з метою зменшення хвилювання та тривожності студентів під час перевірки результатів навчання (Z. Lu, C. Zheng, & Z. Li, 2018) [8];

- проблеми оцінювання та мотивації навчання під час CBT (A.C. Butler, 2018) [24]; (M. R. Ebrahimi at al., 2019) [9] тощо.

Поряд із дослідженням тестування як методу контролю результатів навчання, вчені також зацікавляться ставленням здобувачів освіти до тестування. Реалізація студентоцентрованого підходу передбачає виявлення думки студентів щодо якості вищої освіти на рівні експертної є поширеною практикою в освіті, що використовується вже більше сто років (В. Мороз та ін., 2018) [25, С. 238]. Погляди студентів щодо тестування досліджували A. Tella, M.T. Bashorun (2012) [7], A.C. Butler (2018) [24], M.R. Ebrahimi at al. (2019) [9] та інші вчені. В [26] на основі опитування 40 аспірантів упродовж 2018-2019 н.р. показано їх ставлення до CBT. Ефективність повторного CBT в Moodle у контексті реалізації студентоцентрованого дистанційного навчання (20202022) в ускладнених умовах (пандемія Covid-19, воєнний стан в Україні) висвітлено в [27]; показано, що такий підхід позитивно сприймається студентами, дає можливість покращити навчальну успішність та психологічну комфортність студентів в умовах CBT.

Безумовно, важливо, аби всі учасники освітнього процесу відчували зручність під час тестування. Словник української мови [28] пропонує кілька варіантів визначень для поняття «зручність» та «рівень». У контексті нашого дослідження, згідно з даним словником, поняття «зручність» розглядаємо як «те, що робить щось зручним у користуванні» [28, Т. 3, С. 718], тобто, зручність учасників освітнього процесу під час перевірки результатів навчання методом тестування у різних формах ОBT, PBT, CBT чи їх поєднання в умовах F2FL, DL, BL. Поняття «рівень» відповідно розглядаємо як «ступінь якості, величина і таке ін., досягнуті у чому-небудь» [28, Т. 7, С. 547]. Отже, у нашому випадку, рівень як ступінь зручності учасників освітнього процесу під час перевірки результатів навчання методом тестування у формах ОBT, PBT, CBT, або/та їх поєднання в умовах F2FL, DL, BL.

Змішане навчання уможливлює використання переваг дистанційного та аудиторного навчання, різних методів, форм та засобів навчання. Згідно К. Бугайчук (2016) [29, С. 5], y вузькому сенсі «під змішаним навчанням слід розуміти цілеспрямований процес здобування знань, умінь та навичок, що здійснюється освітніми установами різного типу в рамках формальної освіти, частина якого реалізується у віддаленому режимі за допомогою інформаційно-комунікаційних технологій і технічних засобів навчання, які використовуються для зберігання і доставки навчального матеріалу, реалізації контрольних заходів, організації взаємодії між суб'єктами навчального процесу (консультації, обговорення) та під час якого має місце самоконтроль учня (студента) за часом, місцем, маршрутами та темпом навчання». Подібна ситуація виникає і під час тестування як «реалізації контрольних заходів» (за К. Бугайчук) в умовах змішаного навчання, коли можна використувати і пропонувати здобувачам освіти окремі форми тестування CBT, PBT чи OBT, або/та їх поєднання з урахуванням зручності під час тестування та залежно від інших чинників (спеціальність, очна/заочна форма навчання, зміст навчальної дисципліни та тривалість її вивчення, матеріально-технічні можливості структурних підрозділів ЗВО, кваліфікація викладачів, навички учасників освітнього процесу використовувати ІКТ тощо).

Таким чином, широке використання комп'ютерно-орієнтованого тестування результатів навчання особливо в сучасних умовах прискореного розвитку дистанційного та змішаного навчання можемо розглядати у контексті невирішеної раніше частини загальної проблеми реалізації студентоцентрованого навчання через пошук комфортних умов для учасників освітнього процесу на етапі його діагностики з урахуванням, що здобувачів освіти долучають і до інших форм тестування, або/та їх поєднання.

Метою дослідження є виявлення та порівняння поглядів учасників освітнього процесу у вищій школі (студентів, аспірантів, викладачів) щодо зручності використання комп'ютерно-орієнтованого тестування результатів навчання у порівнянні з паперовим та усним тестуванням.

Завдання дослідження: з'ясувати сучасний стан проблеми використання комп'ютерно-орієнтованого тестування результатів навчання у порівнянні з паперовим та усним тестуванням; здійснити опитування учасників освітнього процесу (студентів, аспірантів, викладачів), аби проаналізувати їх погляди щодо (не)зручності (не)комп'ютерно-орієнтованого тестування.

Виклад основного матеріалу

Методика емпіричного дослідження. Емпіричне дослідження проводили на базі Державного вищого навчального закладу «Ужгородський національний університет» (далі УжНУ). До анонімного онлайн опитування з використанням Google Forms упродовж 2020-2023 рр. автором долучено 2897 студентів, 140 аспірантів, 169 викладачів університету; разом N=3206 респондентів (тут і надалі використано позначення N - кількість респондентів). Математичне опрацювання отриманих результатів проводили за допомогою комп'ютерної програми IBM SPSS Statistics 23.

Отримані результати та їх обговорення.

Респондентів просили відповісти на питання анкети: «Яке тестування результатів навчання для Вас найбільш зручне?». Далі пропонували оцінити за п'ятибальною шкалою зручність використання кожної з пропонованих форм тестування, а саме:

- паперове (бланкове, письмове) тестування;

- усне тестування;

- комп'ютерно орієнтоване (онлайн, електронне) тестування.

Відповідь за п'ятибальною шкалою; зручність тестування/рівень зручності:

1 (тестування зовсім Не зручне/рівень зручності низький);

2 (тестування скоріше Не зручне/рівень зручності скоріше низький);

3 (тестування зручне наполовину/рівень зручності середній);

4 (тестування скоріше зручне/рівень зручності достатній, скоріше високий);

5 (тестування цілком зручне/рівень зручності високий).

У напрямку OBT ^ PBT ^ CBT, з нашого погляду, зростає частка самостійної роботи здобувачів освіти і зменшується певним чином складова взаємодії здобувач освіти викладач, особливо у контексті впливу викладача на студента під час тестування. Перші дві форми OBT та PBT мають спільну ознаку, оскільки не є комп'ютерно-орієнтованими, тобто, це форми усного та паперового тестування, а третя CBT - комп'ютерно-орієнтована. Нами не деталізувались умови (не)зручності в онлайн анкеті, аби учасники на основі власного досвіду самостійно усвідомлювали і визначали за п'ятибальною шкалою, що для них важливо щодо (не)зручності тестування.

Отримані дані опитування груп респондентів проаналізуємо за ознакою «освітній/науковий рівень» з використанням таких позначень: BcMgr - студенти бакалаврату та магістратури разом; PhDSt (PhD student) - аспіранти; HST (high school teachers) - викладачі вищої школи. Опрацьовані результати представлено на рис. 1 та в табл. 1. Розглянемо зміну зручності як для окремих форм тестування, так і для окремих груп респондентів. Для аналізу отриманих даних поряд із середнім значенням (позначення М) рівня зручності (рис. 1) також надалі подано суму (у %) відповідей «тестування скоріше зручне/рівень зручності достатній» та «тестування цілком зручне/рівень зручності високий». У випадку CBT, - це найзручніша форма тестування результатів навчання для більшої частини усіх респондентів, на що вказують 58,3% студентів бакалаврату та магістратури разом BcMgr, 84,3% аспірантів PhDSt та 65,7% викладачів HST. Отже, покращення зручності відбувається у напрямку BcMg(M=3,68) ^ HST(M=3,81) ^ PhDSt(M=4,31). Отримані дані для BcMgr, з нашого погляду узгоджуються з раніше проведеним дослідженням (В. Староста, 2021) [21], де показано, що більшість студентів бакалаврату та магістратури бажають вивчати половину дисциплін 28,6%, більше половини - 20,0% та переважну більшість/всі дисципліни - 25,6% респондентів на платформі е-навчання УжНУ Moodle.

Табл. 1. Зручність тестування: погляди (у %) учасників освітнього процесу за ознакою: освітній/науковий рівень респондентів (BcMgr, PhDSt, HST)

Позначення: зручність тестування/рівень зручності:

1 (тестування зовсім Не зручне/рівень зручності низький);

2 (тестування скоріше Не зручне/рівень зручності скоріше низький);

3 (тестування зручне наполовину/рівень зручності середній);

4 (тестування скоріше зручне/рівень зручності достатній, скоріше високий);

5 (тестування цілком зручне/рівень зручності високий).

Рис. 1. Рівень зручності тестування (середні значення) учасників освітнього процесу за ознакою: освітній/науковий рівень респондентів (BcMgr, PhDSt, HST)

Зручність під час паперового тестування/PBT покращується у напрямку (рис. 1):

BcMgr(M=3,21; 42,2%) ^ PhDSt(M=3,28; 44,3%) ^ HST(M=3,46; 54,6%).

Аналогічну тенденцію спостерігаємо для усного тестування/OBT:

BcMgr(M=2,49; 19,9%) ^ PhDSt(M=2,84; 31,4%) ^ HST(M=3,69; 60,8%).

Якщо аналізувати наведені дані за ознакою «освітній/науковий рівень», то для студентів та аспірантів чітко виявляємо зростання зручності від OBT до PBT і далі до CBT, у викладачів дещо інша послідовність:

- студенти OBT(M=2,49; 19,9%) ^ PBT(M=3,21; 42,2%) ^ CBT(M=3,68; 58,3%);

- аспіранти OBT(M=2,84; 31,4%) ^ PBT(M=3,28; 44,3%) ^ CBT(M=4,31; 84,3%);

- викладачі PBT(M=3,46; 54,6%) ^ ОВт(м=3,69; 60,8%) ^ CBt(m=3,81; 65,7%).

Представлені дані показують аналогію змін, як у випадку середніх значень, так і відсотків, що свідчить про коректність наших пояснень та висновків. Погляди учасників опитування дещо відрізняться, оскільки для студентів та аспірантів найменш зручним видається усне тестування, а паперове більш зручним. Для викладачів - навпаки, усне тестування зручніше порівняно з паперовим. Можливо, це пояснює реальну практику навчання, коли викладачі, як правило, перевагу надають усному опитуванню, особливо під час іспитів та заліків порівняно з письмовим. Водночас, вважаємо зазначити щодо необхідності формувати належне комфортне середовище під час усної перевірки результатів навчання, оскільки більше половини студентів (52,2%) та значна частина аспірантів (40,7%) не відчувають зручності під час OBT.

Подібний висновок, щодо проблем під час усного опитування формулюють A. Andujar, & M.S. Cruz-Martmez (2020) [30], які провели порівняння усної та комп'ютерної форми іспиту для студентів, виявили помірну й високу когнітивну тривожність з боку учасників і відмінності між двома формами іспитів. Дослідники показали, що рівень тривожності студентів знижується за відсутності екзаменатора, або відсутності відчуття, що за студентами спостерігають чи оцінюють під час усного опитування.

Проведемо деякі інші порівняння. Наведені у табл. 1 дані для аспірантів (CBT - 84,3%, PBT 44,3%, OBT - 31,4%) узгоджуються із раніше проведеним дослідженням (N=40; опитування 2018-2019 н.р.), де виявлено, що високу та достатню зручність мають відповідно під час CBT 85,0%, PBT - 40%, OBT - 37,5% аспірантів (В. Староста, 2021) [26]. В обох випадках зручність зростає у напрямку OBT ^ PBT ^ CBT. У такому ж напрямку покращується зручність під час тестування опитаних студентів УжНУ (рис. 1, табл. 1). Подібні результати виявляємо в інших працях: 55,0% студентів відчувають себе комфортніше під час CBT, 32,5% - PBT (M.R. Ebrahimi, S.M.H. Toroujeni, & V. Shahbazi) [9, С. 139]; згідно Telia A., & M.T. Bashorun (2012) [7, С. 19-20], 58,0% студентів подобається CBT, а 88,1% студентів погоджуються на такий комп'ютерно-орієнтований екзамен (computer-based tests/exams). E.Y. Lim, M.K. Yim, & S. Huh (2017) [23, С. 3] виявили вищу зручність студентів щодо CBT порівняно з PBT, не виявлено статистичної різниці щодо зручності під час тестування за статтю та віком.

Результати розрахунку t-критерію (p<0,05) на основі середніх значень зручності для незалежних вибірок учасників освітнього процесу (табл. 2) показують для шести випадків порівнянь із дев'яти наявність статистично значущих відмінностей щодо зручності під час тестування. Подібність спостерігаємо лише у трьох випадках, зокрема, під час паперового тестування/PBT для групи студентів і аспірантів BcMgr(M=3,21)- PhDSt(M=3,28), аспірантів і викладачів PhDSt(M=3,28)-HST(M=3,46) та комп'ютерно орієнтованого тестування/CBT для студентів та викладачів BcMgr(M=3,68)- HST(M=3,81). Таким чином, погляди студентів, аспірантів та викладачів щодо зручності тестування у більшості досліджених випадків відрізняються як за середніми значеннями окремих форм тестування, так і за їх послідовністю стосовно покращення. Виявлено такі збіги: всі респонденти мають найбільшу зручність під час CBT; для студентів та аспірантів характерне покращення зручності у напрямку OBT ^ PBT ^ CBT, а для викладачів PBT ^ OBT ^ CBT.

Табл. 2. Зручність тестування: результати розрахунку t-критерію (p<0,05) для незалежних вибірок учасників освітнього процесу BcMgr, PhDSt, HST

Позначення: t - t-критерій; f - ступені вільності; Sig. - значущість (двостороння/2-d tailed); MD - середня різниця/Mean Difference.

Достатньо значна кількість опитаних студентів (N=2897) дає змогу детальніше проводити аналіз отриманих даних за кількома ознаками респондентів, для яких наведено наступні позначення та кількість долучених до онлайн анкетування:

- освітній рівень: Bc(N=2176) - студенти бакалаврату; Mgr(N=721) - студенти магістратури;

- BcMgr*(N=2403) - студенти бакалаврату та магістратури разом очної форми навчання; BcMgr**(N=493) - студенти бакалаврату та магістратури разом заочної форми навчання;

- Ped(N=1538) - студенти педагогічних (pedagogical specialties) та OS(N=1358) інших спеціальностей (other specialties);

- стать: M(N=722), W(N=2177) - респонденти чоловічої (man) та жіночої (woman) статі відповідно;

- рівень навчальних досягнень (середні бали успішності у ЗВО): E(N=56; 60-63 б); D(N=419; 64-73 б); C(N=976; 74-81 б); B(N=924; 82-89 б); A(N=522; 90-100 б);

- 2020(N=1071); 2021(N=443); 2022(N=834); 2023(N=549) - роки опитування.

Отримані та опрацьовані результати опитування студентів будемо проводити в такій послідовності: аналіз відповідей за різними ознаками респондентів, а потім у динаміці за чотири роки (2020-2023). У першому випадку дані представлено на рис. 2 і свідчать, що у напрямку: ОВТ(М=2,49; 2,42-2,60) ^ PBT(M=3,21; 2,90-3,30) ^ CBT(M=3,68; 3,55-3,78) для усіх порівнюваних груп за різними ознаками без виключення покращується зручність студентів під час тестування. У дужках зазначено середнє значення зручності за 2020-2023 рр. (згідно рис. 1) та інтервал мінімальних та максимальних значень середніх значень за окремі роки (згідно рис. 2).

У табл. 3 наведено дані t-критерію (p<0,05) і, згідно аналізу, із дванадцять пар незалежних вибірок для семи не виявлено статистично значущих розбіжностей, тобто, середні значення зручності студентів під час тестування статистично подібні (p<0,05) за такими характеристиками і кількістю пар порівнянь/вибірок:

- ознаки респондентів (чотири ознаки; всього три порівняння для кожної ознаки): освітній рівень/Bc-Mgr - 1; стать/M-W - 1; форма навчання/BcMg^-BcMg** - 3; спеціальність/OS-Ped - 2 подібності; разом - 7 подібних порівнянь;

- форма тестування (три форми; всього 4 порівняння для кожної форми): комп'ютерно орієнтоване тестування/CBT - 3 подібності, а саме Bc(M=3,66)- Mgr(M=3,76); BcMgr*(M=3,66)-BcMgr**(M=3,78); OS(M=3,65)-Ped(M=3,71); паперове тестування/PBT - 1 подібність, а саме: BcMgr*(M=3,20)- BcMgr**(M=3,26); усне тестування/OBT - 3 подібності, а саме: М(М=2,56)- W(M=2,46); BcMgr*(M=2,50)-BcMgr**(M=2,42); OS(M=2,50)-Ped(M=2,48);

разом - 7 подібних порівнянь;

Отже, найбільш статистично подібні погляди студенти виявляють за ознакою респондентів «форма навчання» (3 із 3 пар незалежних вибірок), «спеціальність» - (2 із 3), а стосовно форм тестування, найбільша подібність для комп'ютерно орієнтованого тестування/CBT (3 із 4) та усного тестування/OBT (3 із 4).

Цікавим виявилось, з нашого погляду, дослідження респондентів за ознакою «рівень навчальних досягнень», тобто, за навчальною успішністю у ЗВО, які наведено у табл. 4-5 та на рис. 3.

Рис. 2. Рівень зручності тестування (середні бали) студентів за різними ознаками респондентів: освітній рівень Bc, Mgr; стать M, W, форма навчання BcMgr*, BcMgr**; спеціальність OS, Ped (Ресурс: власне дослідження)

Табл. 3 Зручність тестування: результати розрахунку t-критерію (p<0,05) для незалежних вибірок за різними ознаками студентів-респондентів

Аналогічно, як і у попередніх випадках, спостерігаємо у напрямку OBT(2,02-2,75) ^ PBT(2,66-3,34) ^ CBT(3,43-3,69) для усіх порівнюваних груп без виключення покращується зручність студентів під час тестування (у дужках зазначено мінімальні та максимальні значення середніх балів, згідно даних рис. 3).

Розрахунок t-критерію (p<0,05) проводили для незалежних вибірок з полярними рівнями успішності студентів (табл. 3). Обидва порівнювані випадки для OBT показують наявні статистично значущі відмінності; подібність виявляємо двічі для CBT і один раз для PBT. Таким чином, за ознакою «рівень навчальних досягнень» в умовах CBT відсутні статистично значущі відмінності між усіма групами студентів. Це має місце навіть у випадку найбільшої різниці середніх значень зручності Е(М=3,43)-А(М=3,69). Під час PBT така різниця є лише для груп Е(М=2,66)-А(М3,34), а для інших характерна подібність, наприклад, для D(M=3,19)-A(M=3,34). В умовах OBT між дослідженими групами Е-А та D-А виявлено статистично значущу різницю середніх значень зручності тестування.

Табл. 4 Рівень зручності тестування (середні бали) студентів з різним рівнем навчальних досягнень

Табл. 5 Зручність тестування: результати розрахунку t-критерію (p<0,05) для незалежних вибірок студентів за ознакою «рівень навчальних досягнень»

Рис. 3. Графік залежності рівня зручності тестування (середні бали/Mean) студентів від рівня навчальних досягнень: Е (60-63 б); D (64-73 б); C (74-81 б); B (82-89 б); A (90100 б)

Продовжимо огляд результатів нашого дослідження у динаміці за 2020-2023 рр.

Для студентів бакалаврату та магістратури разом BcMgr для кожного року опитування має місце виявлена раніше тенденція покращення зручності у напрямку OBT ^ PBT ^ CBT. Якщо послідовно для кожної форми тестування додамо дані середнього значення зручності за 2020-2023 рр. (рис. 1), інтервал мінімальних та максимальних значень середніх значень за 2020-2023 рр. (рис. 4), а також сумарні відсотки студентів з достатнім та високим рівнем зручності (табл. 6), то отримаємо таку деталізовану послідовність зростання зручності: OBT (М=2,49; 2,38-2,59; 15,2-24,7%) ^ PBT (М=3,21; 3,03-3,37; 35,2 48,2%) ^ CBT (М=3,68; 3,57-3,85; 54,8-65,5%).

Також для кожної форми тестування маємо таку динаміку середніх значень (рис. 4) зручності за окремими роками опитування:

OBT - 2,59 (2020) ^ 2,48 (2021) ^ 2,38 (2022)^ 2,47 (2022);

PBT - 3,37 (2020) ^ 3,27 (2021) ^ 3,03 (2022) ^ 3,12 (2022);

CBT - 3,57 (2020) ^ 3,84 (2021) ^ 3,64 (2022) ^ 3,85 (2022).

У табл. 7 наведено дані t-критерію для незалежних вибірок студентів BcMgr сусідніх років навчання; для п'яти із дев'яти порівнюваних випадків відсутні статистично значущі відмінності (p<0,05) щодо їх зручності під час тестування:

- паперове тестування/PBT - 2 подібності, а саме: для груп BcMgr2020(M=3,37)- BcMgr2021 (М=3,27); BcMgr2022(М=3,03)-BcMgr2023(М=3,12);

- усне тестування/ОBT - 3 подібності, а саме: BcMgr2020(M=2,59)- BcMgr2021 (М=2,48); BcMgr2021(М=2,48)-BcMgr2022(м=2,38); BcMgr2022(м=2,38)-BcMgr2023(М=2,47).

Для комп'ютерно-орієнтованого тестування/CBT всі три порівняння незалежних вибірок сусідніх років статистично відрізняються, що зумовлено коливанням значень зручності окремих років.

Отже, порівняння результатів опитування сусідніх років (2020-2023) студентів BcMgr показує коливання значень зручності комп'ютерно-орієнтованого тестування окремих років та зафіксовано достатньо стабільні погляди студентів щодо зручності тестування для паперового/PBT та усного/OBT тестування.

Табл. 6 Зручність тестування: динаміка поглядів (у %) студентів BcMgr за 2020-2023 рр.

Рис. 4. Рівень зручності тестування (середні бали) студентів BcMgr у динаміці 2020-2023 рр.

Табл. 7 Зручність тестування: результати розрахунку t-критерію (p<0,05) для незалежних вибірок студентів BcMgr сусідніх років навчання

Продовження огляду дослідження у динаміці за 2020-2023 рр. спрямуємо на результати за різними ознаками респондентів. Розглянемо зміну зручності як для окремих форм тестування, так і для окремих груп респондентів. Якщо аналізувати наведені дані (рис. 5), то, як і в попередніх випадках, для студентів та аспірантів, виявляємо зростання зручності від ОBT до PBT і далі до CBT, зокрема:

- студенти бакалаврату ОВТ(М=2,45; 2,26-2,61) ^ PBT(M=3,18; 2,98- 3,40)^CBT(M=3,66; 3,57-3,82);

- студенти магістратури ОВТ(М=2,60; 2,48-2,84) ^ PBT(M=3,30; 3,233,50) ^ CBT(M=3,76; 3,55-4,06).

Аналогічне зростання зручності OBT ^ PBT ^ CBT спостерігаємо і за іншими ознаками респондентів (стать, спеціальність, форма навчання) для кожного року опитування.

Рис. 5. Рівень зручності тестування (середні бали) студентів бакалаврату та магістратури разом BcMgr у динаміці за 2020-2023 рр.

Табл. 6 містить результати розрахунку t-критерію (p<0,05) для незалежних вибірок за різними ознаками студентів-респондентів (2020-2023). Проведено у динаміці аналіз 48 пар незалежних вибірок і подаємо кількість випадків, де не виявлено статистично значущих розбіжностей, тобто, середні значення зручності студентів під час тестування статистично подібні (p<0,05), за такими ознаками:

Табл. 6 Зручність тестування (2020-2023): результати розрахунку t-критерію (p<0,05) для незалежних вибірок за різними ознаками студентів-респондентів

- роки опитування (чотири роки; разом 12 пар незалежних вибірок для кожного року), подібності: 2020 - 10; 2021 - 9; 2022 - 9; 2023 - 9; разом 37;

- ознаки респондентів (чотири ознаки; разом 12 пар незалежних вибірок для кожної ознаки), подібності: BcMgr*-BcMg** - 12; Bc-Mgr - 7; OS-Ped - 10; M-W - 8; разом 37;

- форма тестування (три форми; разом 16 пар незалежних вибірок для кожної форми), подібності: комп'ютерно орієнтоване тестування/CBT - 14; паперове тестування/PBT - 9; усне тестування/OBT - 14; разом 37.

Таким чином, із 48 пар незалежних вибірок сумарно є 37 випадків, де не виявлено статистично значущої різниці (p<0,05) середніх значень зручності під час тестування.

комп'ютерно-орієнтований тестування навчання

Висновки і перспективи подальших досліджень

Проведене тривале емпіричне дослідження (2020-2023) виявлення та порівняння поглядів учасників освітнього процесу у вищій школі (студентів, аспірантів, викладачів) щодо зручності під час комп'ютерно-орієнтованого тестування результатів навчання у порівнянні з паперовим та усним тестуванням. Отримані результати: в сучасних умовах прискореного розвитку дистанційного та змішаного навчання набуло широке використання комп'ютерно-орієнтованого тестування, яке в закладах вищої освіти часто реалізується завдяки системі електронного навчання Moodle. Встановлено, що зручність тестування результатів навчання покращується у напрямку (наведено середні значення зручності та відповідні відсотки респондентів для кожної форми):

- комп'ютерно-орієнтоване тестування - студенти (М=3,68; 58,3%) ^ викладачі (М=3,81; 65,7%) ^ аспіранти (М=4,31; 84,3%);

- паперове тестування - студенти (М=3,21; 42,2%) ^ аспіранти (М=3,28; 44,3%) ^ викладачі (М=3,46; 54,6%);

- усне тестування - студенти (М=2,49; 19,9%) ^ аспіранти (М=2,84; 31,4%) ^ викладачі (М=3,69; 60,8%).

Усі досліджені групи респондентів мають максимальну зручність під час комп'ютерно-орієнтованого тестування. Найменш зручне тестування для студентів та аспірантів - усне, а для викладачів - паперове. Розрахунок t-критерію свідчить про наявність у більшості порівнюваних незалежних груп (студенти, аспіранти, викладачі) статистично значущої різниці (p<0,05) щодо зручності тестування. Аналіз результатів опитування студентів у динаміці за чотири роки показує для усіх порівнюваних груп за різними ознаками (освітній рівень, стать, спеціальність, форма навчання, рік опитування) покращення зручності тестування у напрямку усне паперове комп'ютерно-орієнтоване. Встановлено відсутність ста...