Ставлення аспірантів до комп'ютерно орієнтованого тестування результатів навчання

Размещено на http://www.allbest.ru/

Державний вищий навчальний заклад «Ужгородський національний університет»

СТАВЛЕННЯ АСПІРАНТІВ ДО КОМП'ЮТЕРНО ОРІЄНТОВАНОГО ТЕСТУВАННЯ РЕЗУЛЬТАТІВ НАВЧАННЯ

Староста Володимир Іванович

доктор педагогічних наук, професор,

професор кафедри загальної педагогіки

та педагогіки вищої школи

м. Ужгород



Анотація

комп'ютерний тестування аспірант електронний

У статті розглянуто ставлення аспірантів до тестування в умовах електронного навчання на базі інформаційної системи Moodle, яка є ефективною системою управління навчанням, організації взаємодії між викладачем і студентами. Показано, що при підготовці майбутніх викладачів вищої школи до використання тестування як одного з сучасних методів контролю результатів навчання наявні певні аспекти та відповідні завдання: науково-теоретичний (когнітивний) - ознайомлення аспірантів з науково-теоретичними засадами тестування; науково-методичний (процесуальний) - добір змістової складової тестових завдань, використання методів тестування; оцінювально -рефлексивний - проведення тестування як методу оцінювання результатів навчання, аналіз отриманих результатів, виявлення ставлення студентів до отриманих власних результатів і до методу тестування. Розроблено анкету щодо ставлення до комп'ютерно орієнтованого тестування, проведено анонімне онлайн опитування аспірантів з використанням Google Forms. Доведено, що важливою умовою та резервом широкого запровадження електронного навчання є його більш активне використання викладачами університету. Комп'ютерно орієнтоване тестування аспіранти сприймають позитивно, оскільки більшість із них: легко пройшли реєстрацію на сайті електронного навчання; відчувають психологічний комфорт під час онлайн тестування; вказують на достатність виділеного часу для відповідей на контрольні тести; найбільш зручною формою тестування для себе вважають електронну порівняно з паперовою (бланковою) та усною; виявляють достатній та високий рівень мотивації навчання; вказують на достатній та високий рівень об'єктивності комп'ютерно орієнтованого тестування контролю власних результатів навчання; оцінюють рівень складності пропонованих електронних тестів на середньому та достатньому рівні; успішно виконують пропоновані контрольні тести; вважають тестування більш зручною формою іспиту/заліку порівняно з усною чи письмовою формами.

Ключові слова: електронне навчання; тестування; комп'ютерно орієнтоване тестування; онлайн опитування; аспіранти.



Аннотация

ОТНОШЕНИЕ АСПИРАНТОВ К КОМПЬЮТЕРНО ОРИЕНТИРОВАННОМУ ТЕСТИРОВАНИЮ РЕЗУЛЬТАТОВ ОБУЧЕНИЯ

Староста Владимир Иванович доктор педагогических наук, профессор, профессор кафедры общей педагогики и педагогики высшей школы ГВУЗ «Ужгородский национальный университет», г. Ужгород, Украина

В статье рассмотрено отношение аспирантов к тестированию в условиях электронного обучения на базе информационной системы Moodle, которая является эффективной системой управления обучением, организации взаимодействия между преподавателем и студентами. Показано, что в процессе подготовки будущих преподавателей высшей школы к использованию тестирования как одного из современных методов контроля результатов обучения имеются определенные аспекты и соответствующие задачи: научно-теоретический (когнитивный) - ознакомление аспирантов с научно-теоретическими основами тестирования; научно-методический (процессуальный)

- отбор содержательной составляющей тестовых заданий, использование методов тестирования; оценочно-рефлексивный - проведение тестирования как метода оценки результатов обучения, анализ полученных результатов, выявление отношения студентов к полученным собственным результатам и к самому методу тестирования. Разработано анкету для определения отношения к компьютерно ориентированному тестированию, проведен анонимный онлайн опрос аспирантов с использованием Google Forms. Показано, что важным условием и резервом широкого внедрения электронного обучения является его более активное использование преподавателями университета. Компьютерно ориентированное тестирование аспиранты воспринимают положительно, поскольку большинство из них: легко прошли регистрацию на сайте электронного обучения; чувствуют психологический комфорт во время онлайн тестирования; указывают на достаточность выделенного времени для ответов на контрольные тесты; наиболее удобной формой тестирования для себя считают электронную по сравнению с бумажной/бланковой и устной; проявляют достаточный и высокий уровень мотивации обучения; указывают на достаточный и высокий уровень объективности компьютерно ориентированного тестирования контроля собственных результатов обучения; оценивают уровень сложности предлагаемых электронных тестов на среднем и достаточном уровне; успешно выполняют предлагаемые контрольные тесты; считают тестирование более удо бной формой экзамена/зачета по сравнению с устной формой.

Ключевые слова: электронное обучение; тестирование; компьютерно ориентированное тестирование; онлайн опрос; аспиранты.



Annotation

POSTGRADUATE STUDENTS' ATTITUDE TOWARDS COMPUTER-BASED TESTING OF LEARNING RESULTS

Volodymyr I. Starosta Dосtor of Pedagogical Sciences, Professor, Professor at the Department of General Pedagogy and Pedagogy of Higher Education State Higher Education Institution «Uzhhorod National University», Uzhhorod, Ukraine

The article describes the attitude of postgraduate students to testing in e-learning based on the Moodle information system, which is an effective learning management system, interaction organization between the teacher and the students. There are certain aspects and corresponding tasks in the process of training future high school teachers to use testing as one of the modern methods of control educational process: the scientific and theoretical (cognitive) - to familiarize postgraduate students with theoretical and methodological foundations of testing; scientific- methodical (procedural) - ability to select the content component of the test tasks, as well as the use of the testing methods themselves; the evaluation-reflexive - testing skills as a method for evaluating the results of learning, analyzing the results obtained, identifying the students' attitude towards their own results and to testing. The questionnaire аttitude to computer-based testing has been elaborated, an anonymous online survey of postgraduate students has been conducted using Google Forms. An important condition and reserve for the widespread introduction of e-learning is its more active use by university professors. Postgraduate students apperceive computer-based testing positively, since most of them: easily registered on the e-learning site; they experience psychological comfort during computer-based testing; indicate the sufficiency of the allocated time to respond to control tests; the most convenient form of testing for themselves is considered computer-based testing compared to paper-based testing and verbal; show sufficient and high level of motivation for training; indicate an sufficient and high level of objectivity of computer-based testing in order to control their own learning results; evaluate the complexity of the proposed e- tests on optimal level; successfully perform the proposed control tests; consider testing as a more convenient form of exam compared to verbal form.

Keywords: e-learning; testing; computer-based testing; online survey; postgraduate students.



Вступ

Постановка проблеми. На шляху входження України до єдиного європейського освітнього простору важливою умовою оновлення національної освіти для покращення її якості є відкритість, що забезпечується запровадженням інформаційно- комунікаційних технологій (далі ІКТ), які сприяють вдалому поєднанню традиційних та інноваційних форм і методів навчання, використанню зворотного зв'язку на основі результатів навчання тощо.

Умови реалізації відкритого навчально-виховного процесу в різних типах навчальних закладів. За В.Биковим (2013) [1, c. 11], умови реалізації відкритого навчально-виховного процесу в різних типах навчальних закладів передбачають: 1.створення якісних електронних освітніх ресурсів (ЕОР); 2.забезпечення доступу до ЕОР усіх учасників освітнього процесу; 3. розроблення та впровадження в освітню практику інноваційних комп'ютерно орієнтованих методичних систем навчання, інформаційно-аналітичних систем підтримки наукових досліджень та управління освітою і наукою та інших.

До зазначених умов відкритості для покращення якості вищої освіти також додамо розв'язання питань моніторингу навчальних досягнень студентів закладів вищої освіти (далі ЗВО), використання різноманітних методів контролю та самоконтролю, серед яких у сучасних умовах набуває поширення тестування, а особливо тестування на основі сучасних ІКТ. Проте наше дослідження показує, що в реальних умовах функціонування ЗВО значна частина адміністративних і науково-педагогічних працівників не мають відповідної діагностичної компетентності в галузі сучасних засобів інформаційного моніторингу в освіті, зокрема, тестології, що гальмує запровадження ІКТ для діагностики результатів навчання студентів.

Аналіз останніх досліджень і публікацій. З нашого погляду, недостатня ефективність традиційних методів контролю та необхідність їх урізноманітнення, підвищення їх об'єктивності сприяли поширенню тестування, яке зараз стає важливим інструментом в освітньому процесі та предметом численних досліджень.

Тестування дослідники визначають як метод педагогічної діагностики, за допомогою якого вибір поведінки, що репрезентує передумови чи результати навчального процесу, повинен максимально відповідати принципам співставлення, об'єктивності, надійності та валідності вимірів; він має пройти опрацювання й інтерпретацію та бути прийнятним для застосування в педагогічній практиці (К. Інгенкамп, 1991) [2]; одночасно і метод, і результат вимірювання; метод діагностики із застосуванням стандартизованих запитань та завдань, що мають певну шкалу значень (Л. Кухар та В. Сергієнко, 2010) [3, с. 44, 49].

Педагогічне тестування як один із методів контролю набутих знань та сформованих умінь, навичок, особистісних якостей має важливі переваги перед традиційними методами контролю. Перш за все тестування забезпечує більш високу об'єктивність контролю порівняно з традиційними методами, оскільки на оцінювання не впливають такі суб'єктивні фактори, як особистість викладача і студента й характер їх взаємостосунків. По-друге, оцінка, одержана за тест, більш диференційована і забезпечує більш високу точність вимірювання навчальних досягнень (Н. Болюбаш, 2017) [4, с. 117].

Можливості контролю навчальних досягнень учнів/студентів суттєво зростають під час навчання із застосуванням засобів ІКТ. Стратегічними напрямами розвитку ІКТ у європейських країнах, згідно О. Товканець (2018) [5], є розробка та тестування інноваційних педагогічних підходів, моделей і стратегій виховання і навчання, активізація уваги в ході використання ІКТ на всіх етапах навчання, створення відкритої платформи інформаційних технологій тощо.

Електронне навчання (E-learning) як безпосередній результат інтеграції технологій та освіти стало потужним навчальним середовищем особливо за допомогою Інтернет-технологій. На основі огляду літератури науковцями Великобританії (D. Al- Fraihat et al., 2020) [6] розроблена комплексна модель, яка дає цілісну картину та визначає чинники успіху електронного навчання, серед яких: технічна якість системи (technical system quality), якість інформації (information quality), якість обслуговування (service quality), якість системи підтримки (support system quality), якість навчання (learner quality), якість інструктора (instructor quality) та отримана корисність (perceived usefulness) тощо.

Поділяємо думку авторів R. Byrnes & A. Ellis (2006), що оцінювання є одним із ключових елементів процесу викладання та навчання, засобом визначення якості освіти. Оцінювання в онлайн середовищі не менш важливе, ніж у традиційних умовах віч-на-віч (face to face). Характеризуючи онлайн викладання (опііпє teaching) та онлайн навчання (online learning) як важливі для австралійських університетів, оскільки посилюють їх конкурентоспроможність, автори зазначають, що використанню онлайн оцінювання в університетському секторі Австралії не приділяється достатньої уваги та необхідних ресурсів [7].

За методом тестування розрізняють тестування бланкове, комп'ютерне та комп'ютерне адаптоване (І. Булах та М. Мруга, 2006) [8], (Л. Кухар та В. Сергієнко, 2010) [3]. Поняття «бланкове/паперове тестування» («paper-based testing», «рарег and рencil-based testing»; далі PBT) зустрічаємо також у працях іноземних науковців T. Adeyinka & M. T. Bashorun (2012) [9], M. R. Ebrahimi et al. (2019) [10]. Аналіз джерел показує широке поширення понять «комп'ютерне тестування» та «комп'ютерно орієнтоване тестування» («computer-based testing», далі CBT) у працях авторів Л. Білоусова та О. Колгатін (2015) [11], Н. Юдалевич (2010) [12], T. Adeyinka & M. T. Bashorun (2012) [9], M. R. Ebrahimi et al. (2019) [10]. Науковці Л. Білоусова та О.Колгатін (2015) [11], Н. Юдалевич (2010) [12] та інші також використовують поняття «автоматизоване тестування»/«:automated testing».

Дослідження показує, що аналогічно існуючому поняттю «електронне навчання»/«:e-learning» (М. Кадемія та І. Шахіна, 2011) [13, с. 189-190], (О. Рябков, 2017) [14], (D. Al-Fraihat et al., 2020) [6], (C. Poore-Pariseau, 2010) [15] у літературі зустрічаємо поняття «електронне тестування»/«electronic testing»/«:e-testing», яке використовують О. Рябков (2017) [14], І. Шахіна та О. Ільїна (2016) [16, c. 154], C. F. Rogers (2006) [17] та інші.

Вищенаведені поняття розглядають як синонімічні, наприклад, у праці C. F. Rogers (2006) [17] знаходимо «web-testing», «online testing», «e-testing». Надалі в нашому дослідженні використано поняття «комп'ютерно орієнтоване тестування»/«computer-based testing», а під час онлайн опитування аспірантів використано також поняття «онлайн тестування^^^^ testing».

Порівняння балів, які отримали студенти під час CBT та PBT, засвідчили: згідно з M. R. Ebrahimi et al. (2019) [10], між ними не було статистично значущої різниці. Науковці аналізують різні аспекти використання CBT: програми та інтернет-сервіси для створення тестів широкого призначення - Google Форми, LEARNINGAPPS.ORG, PROPROFS, ClassMarker (І. Шахіна та О. Ільїна, 2016) [16]; тестовий контроль та оцінювання навчальних досягнень студентів на базі інформаційного середовища MOODLE (Ю. Триус, І. Герасименко та В. Франчук, 2012) [18], (Н. Болюбаш, 2017) [4]; доступність онлайн навчання, навчальних матеріалів для різних користувачів (C. Poore- Pariseau, 2010) [15]; проблеми оцінювання та мотивації навчання під час використання тестових завдань із множинним вибором відповіді Multiple-Choice (A. C. Butler, 2018) [19]; переваги та недоліки CBT (І. Шахіна та О. Ільїна, 2016) [16, c. 154], (Н. Юдалевич, 2010) [12], (M. R. Ebrahimi at al., 2019) [10]; систематизація дидактичних завдань, для вирішення яких застосовуються автоматизовані системи педагогічного тестування; система критеріїв вибору автоматизованої системи педагогічного тестування для вирішення завдань педагогічної діагностики (Л. Білоусова та О. Колгатін, 2015) [11].

З нашого погляду, важливо враховувати також думку суб'єктів освітнього процесу вищої школи (студентів, викладачів) щодо навчання та тестування зокрема, оскільки цей аспект не завжди перебуває в центрі уваги науковців, а тому позитивно оцінюємо дослідження, які проводять T. Adeyinka & M.T. Bashorun (2012) [9], M. R. Ebrahimi et al. (2019) [10] та інші автори, аби виявити ставлення студентів до комп'ютерно орієнтованого тестування.

Долучення студентів як експертів якості вищої освіти досить вдало поєднується з принципом студентоцентризму. Практика використання думки студентів щодо якості вищої освіти на рівні експертної не є принципово новою, адже історія її поширення, у сучасному розумінні змісту відповідного феномену, нараховує понад сто років. За дослідженнями вчених, щорічне опитування студентів, проведення якого організовується на національному рівні, було започатковано ще на початку ХХ століття (В. Мороз та ін., 2018) [20, с. 238].

Авторами (А. Ніколаєвська та С. Садрицька, 2013) [21, с. 25] запроваджено загальноуніверситетський моніторинг «Викладання очима студентів» як основну форму контролю якості викладання. Також студенти висловлюють своє ставлення до організації контролю знань та оцінювання.

У праці (В. Староста та Я. Гренцер, 2016) [22] вивчено ставлення студентів до тестування їх результатів навчання; більшості тестування подобається, а певного покращення потребує створення умов для належної мотивації студентів. Дане дослідження є продовженням попереднього і спрямоване на вивчення ставлення аспірантів - майбутніх викладачів вищої школи (далі ВШ) до СВТ.

Це й обумовило мету статті, яка полягає в дослідженні ставлення аспірантів до комп'ютерно орієнтованого тестування як одного з методів контролю результатів навчання в процесі вивчення курсу «Інновації в сучасній педагогіці».



Результати дослідження

При підготовці майбутніх викладачів ВШ (магістрантів та аспірантів) до використання тестування як одного з сучасних методів контролю результатів навчання, на нашу думку, наявні певні логічні аспекти та відповідні завдання:

- науково-теоретичний (когнітивний) аспект тестування: ознайомити з науково- теоретичними засадами тестування (сутність основних понять, види тестових завдань, тестів, тестування і т.п.);

- науково-методичний (процесуальний) аспект тестування: сформувати вміння як добору змістової складової тестових завдань, так і використання самих методів тестування. Під час такої методичної підготовки доцільно також використовувати методи та форми інтерактивного навчання, зокрема роботу в малих групах, дискусію, ділові ігри, мікровикладання, евристичну бесіду, взаємооцінювання, самооцінювання, «метод прес», «взаємообмін завданнями», «акваріум», «коло ідей», «круглий стіл», «мозковий штурм», «кейс-стаді» тощо;

- оцінювально-рефлексивний аспект тестування: сформувати вміння проведення тестування як методу контролю результатів навчання, а також уміння аналізувати результати тестування, виявлення ставлення до отриманих власних результатів та самого методу тестування. Усвідомлення важливості цього аспекту сприяє реалізації зворотного зв'язку для покращення якості навчання, психологічної комфортності всіх його учасників.

Для реалізації визначеної мети дослідження нами використано інформаційну систему Moodle на сайті електронного навчання Ужгородського національного університету (далі УжНУ) (https://e-learn.uzhnu.edu.ua/).

На сьогодні існує досить багато автоматизованих систем тестування, які мають безсумнівні переваги. Наприклад, зазначає Н. Юдалевич (2010), можливість заощадити час при оцінюванні знань студентів. По-перше, викладач один раз вводить питання тестового завдання в базу, а потім багаторазово використовує тест у різних навчальних групах. По-друге, студенти мають можливість проходити тестування в позаурочний час. По-третє, система автоматично перевіряє роботу і підраховує бали. Найважливішим моментом слід вважати те, що всі дані зберігаються в базі і за необхідності можуть бути опрацьовані або вже існуючими програмами, або за допомогою нових програм. Праця викладача полягає в одноразовому внесенні тестових завдань у базу; роз'ясненні завдань тестів на занятті; визначенні термінів виконання тестів; отриманні готових аналітичних результатів [12]. Погоджуючись з цим, також додамо необхідність періодичного оновлення банку тестових завдань.

MOODLE (Modular Object Oriented Distance Learning Environment) - це система управління навчальним контентом (LCMS - Learning Content Management Systems). За допомогою даної системи можна створювати електронні навчальні курси і проводити як аудиторне (очне) навчання, так і навчання на відстані (заочне/дистанційне) (Ю. Триус, І. Герасименко та В. Франчук, 2012) [18, с. 7].

Суб'єктами оцінювання можуть бути всі ті, хто задіяний у проведенні моніторингу, - студенти, викладачі, їх керівники, органи управління різних рівнів, навчальні заклади та їх структурні підрозділи тощо. Об'єктами оцінювання можуть бути внутрішні і зовнішні характеристики якості освіти як процесу, результату чи системи загалом. Найбільш поширеною на сьогодні є практика оцінювання студентами як головними споживачами результатів освіти якості викладання (А. Ніколаєвська та С. Садрицька, 2013) [21, с. 24].

Опитування студентів щодо якості вищої освіти як на університетському, так і на державному рівнях, як зазначають науковці (В. Мороз та ін., 2018) [20, с. 246], може бути розглянуто, з одного боку, на рівні інструментарію моніторингу задоволеності студентів станом освітньо-виховної комунікації (організаційно-педагогічний аспект), а з іншого - на рівні одного з методів контролю якості надання ЗВО освітянських послуг (державно-управлінський аспект). Відповідно до змісту опитування, а також фокусу уваги експертів під час інтерпретації отриманої інформації його результати можуть бути використані для: удосконалення змісту та практики реалізації навчальних програм, а також структури управління університетом; оцінювання рівня професійної майстерності науково-педагогічних працівників та складання їх рейтингу; контролю якості виконання ЗВО державного замовлення на підготовку фахівців з вищою освітою тощо. Найбільш ефективний інструментарій для організації опитування студентів щодо якості вищої освіти, а тим більше онлайн опитування (online survey), міститься в хмарних сервісах (Google Диск, Microsoft OneDrive тощо).

Розглянемо результати проведеного емпіричного дослідження на базі УжНУ. Під час вивчення навчальної дисципліни «Інновації в сучасній педагогіці» аспіранти для підготовки до практичних занять, двох модульних контрольних робіт, підсумкової контрольної роботи мали змогу використовувати в якості тренувальних тестових завдань текстову версію посібника (В. Староста, 2017) [23], а також завдання, які представлені на сайті електронного навчання УжНУ. Попередньо (до онлайн опитування) аспіранти проходили PBT та CBT. Контрольний тест містив 25 завдань, тривалість тестування 35 хвилин, кількість спроб - 2 (у випадку CBT). Після CBT аспірантам пропонували анонімно відповісти на питання анкети «Ставлення до онлайн тестування/online testing».

Поділяємо думку (В. Мороз та ін., 2018) [20, с. 238], що можливість ІКТ, з одного боку, значно розширює коло осіб (респондентів), які залучаються до опитування в режимі реального часу (так званий online survey), а з іншого - мінімізує тиск з боку інтерв'юера щодо змісту відповіді.

Пропонована анкета містить інструкцію, загальні відомості (вік, стать тощо) та розроблені автором наступні питання:

1. Як часто Ви користуєтесь (користувались) сайтом електронного навчання ДВНЗ «УжНУ» (система Moodle)?

Відповідь за п'ятибальною шкалою:

1 (ніколи/дуже рідко); 2 (скоріше рідко); 3 (НЕ знаю, по-різному); 4 (скоріше часто); 5 (дуже часто).

2. Як пройшла Ваша реєстрація на сайті електронного навчання ДВНЗ «УжНУ» (система Moodle)?

Відповідь за п'ятибальною шкалою:

1 (дуже складно); 2 (скоріше складно); 3 (НЕ знаю, по-різному); 4 (скоріше легко); 5 (дуже легко).

3. Оцініть рівень власної психологічної комфортності (уподобання) під час онлайн тестування з певної навчальної дисципліни?

Відповідь за п'ятибальною шкалою:

1 (зовсім НЕ подобається); 2 (скоріше НЕ подобається); 3 (НЕ знаю; по-різному); 4 (скоріше подобається); 5 (дуже подобається).

4. Оцініть:

1) рівень мотивації Вашого учіння (бажання вчитися) завдяки онлайн тестуванню з певної навчальної дисципліни;

2) рівень об'єктивності онлайн тестування щодо контролю Ваших результатів навчання з певної навчальної дисципліни;

3) рівень складності електронного тесту з певної навчальної дисципліни;

4) рівень сприяння розвитку Вашої професійної підготовки завдяки онлайн тестуванню з певної навчальної дисципліни.

Відповідь за п'ятибальною шкалою:

1 (відсутній або дуже низький); 2 (початковий); 3 (середній); 4 (достатній); 5 (високий).

4. Самостійно чи з використанням додаткових засобів (книги, друзі, конспект тощо) проходило Ваше онлайн тестування?

Відповідь за п'ятибальною шкалою:

1 (зовсім НЕ самостійно); 2 (скоріше НЕ самостійно); 3 (НЕ знаю, по-різному); 4 (скоріше самостійно); 5 (повністю самостійно).

5. Чи достатньо було Вам виділеного часу для відповіді під час онлайн тестування?

Відповідь за шкалою:

1 (Ні, часу НЕ достатньо); 2 (достатньо); 3 (надто багато).

6. Яка форма тестування для Вас найбільш зручна?

1) Паперова (бланкова).

2) Усна.

3) Онлайн/Електронна.

Відповідь за п'ятибальною шкалою:

1 (зовсім НЕ зручна); 2 (скоріше НЕ зручна); 3 (НЕ знаю, по-різному); 4 (скоріше зручна); 5 (дуже зручна).

7. Яка форма іспиту/заліку для Вас найбільш зручна?

· Усна (усні відповіді на питання).

· Письмова (письмові описові відповіді на питання).

· Тестування (завдання закритої форми).

· Тестування (завдання закритої та відкритої форми).

Відповідь за п'ятибальною шкалою:

1 (зовсім НЕ зручна); 2 (скоріше НЕ зручна); 3 (НЕ знаю; по-різному); 4 (скоріше зручна); 5 (дуже зручна).

8. Запропонуйте, будь ласка, види контролю під час здобуття вищої освіти, для яких, на Вашу думку, доцільно використовувати онлайн тестування.

· Попередній (на початку вивчення теми).

· Поточний (під час вивчення теми).

· Тематичний (завершення вивчення теми).

· Модульний (завершення вивчення кількох тем).

· Підсумковий (завершення вивчення дисципліни).

Відповідь за шкалою: Так. Частково. Ні.

9. Вкажіть за п'ятибальною шкалою кількість Ваших навчальних дисциплін під час здобуття Вами вищої освіти, коли було використано онлайн тестування.

Відповідь за п'ятибальною шкалою:

1 (нема/дуже мало), 2 (незначна частина); 3 (майже половина); 4 (більша частина); 5 (переважна більшість/з усіх навчальних дисциплін).

10. Ваше побажання для покращення онлайн тестування.

Для виявлення ставлення аспірантів до проведеного тестування проводили анонімне опитування з використанням Google Forms (посилання URL: https://docs.google.com/forms/d/1Fe4pAAqYPAR0neBPWKvsgtk4m6r8rzF79r82TDVTupo/ edit). До опитування долучились 40 аспірантів різних спеціальностей УжНУ в 2019 р. під час вивчення курсу «Інновації в сучасній педагогіці». Результати наведено у табл. 1.

Таблиця 1

Відповіді аспірантів (у %) на питання анкети «Ставлення до онлайн тестування/online testing» (автор В. Староста)

Питання анкети	Варіанти відповідей, %
	1	2	3	4	5
1	12,5	40,0	25,0	10,0	12,5
2	2,5	7,5	17,5	22,5	50,0
3	2,5	0,0	15,0	47,5	35,0
4.1	2,5	5,0	25,0	37,5	30,0
4.2	0,0	7,5	10,0	42,5	40,0
4.3	0,0	12,5	30,0	50	7,5
4.4	0,0	7,5	30,0	37,5	25,0
5	2,5	5,0	27,5	32,5	32,5
6	15,0	75,0	10,0	-	-
7.1	7,5	12,5	40,0	25,0	15,0
7.2	15,0	12,5	35,0	27,5	10,0
7.3	2,5	0,0	12,5	27,5	57,5
8.1	12,5	17,5	25,0	22,5	22,5
8.2	15,0	12,5	32,5	22,5	17,5
8.3	5,0	5,0	17,5	40,0	32,5
8.4	2,5	10,0	15,0	37,5	35,0
9.1	37,5	37,5	25,0	-	-
9.2	35,0	57,5	7,5	-	-
9.3	67,5	30,0	2,5	-	-
9.4	67,5	25,0	7,5	-	-
9.5	60,0	22,5	17,5	-	-
10	22,5	47,5	10,0	7,5	12,5

Зазначимо, що значна частина (майже половина) респондентів-аспірантів досить рідко користуються сайтом електронного навчання УжНУ (питання 1): 12,5% ніколи/дуже рідко; 40% скоріше рідко; 25% по-різному; 10% скоріше часто; 12,5% дуже часто.

Порівняємо вказані дані з результатами дослідження адаптації студентів першого курсу УжНУ до навчання, яке проводили В. Староста та О. Попадич (2018) [24] на основі анонімного онлайн опитування в 2016 р. (200 студентів) та 2018 р. (750 студентів) з використанням Google Forms: https://docs.google.com/forms/d/e/1FAIpQLScz0z8fI52aibs7x_qO1295rhg9Py7jVa1PoGBvE s8AxF9kGw/viewform. Одне з питань анкети: «Чи користуєтесь для підготовки до занять навчальними матеріалами, які розміщені в електронному репозитарії або іншими електронними ресурсами наукової бібліотеки УжНУ?». Відповіді студенти давались за шкалою: так; частково; ні. Відзначимо, що в 2018 р. порівняно з 2016 р. суттєво зросла кількість студентів, які користуються для підготовки до занять навчальними матеріалами, розміщеними в електронному репозитарії бібліотеки, а також іншими електронними ресурсами бібліотеки (табл. 2).

Таблиця 2

Кількість студентів-першокурсників (у %), які використовують електронний ресурс наукової бібліотеки університету

Рік/варіанти відповіді	Так, %	Частково, %	Ні, %
2016	13,0	42,5	44,5
2018	51,3	18,5	30,2

Отже, значна кількість студентів користується електронним ресурсом наукової бібліотеки університету і як наслідок у них сформований достатній потенціал для майбутнього навчання з використанням сучасних ІКТ, який надалі використовується, на нашу думку, недостатньо за результатами анкетування аспірантів. Ймовірно одна з причин, зумовлена тим, що не всі викладачі долучають студентів до електронного навчання. Це засвідчують також відповіді на питання 10 (рис. 1), де аспіранти вказували кількість навчальних дисциплін під час здобуття вищої освіти, коли було використано онлайн тестування: 22,5% (нема/дуже мало), 47,5% (незначна частина); 10% (майже половина); 7,5% (більша частина); 12,5% (переважна більшість/з усіх навчальних дисциплін).

Рис. 1 Розподіл відповідей респондентів щодо кількості навчальних дисциплін під час здобуття вищої освіти з використанням онлайн тестування

У дослідженні (В. Староста та Я. Гренцер, 2016) [22] проводили анонімне опитування 250 студентів УжНУ різних років навчання, аби виявити ставлення студентів до традиційного (бланкового/паперового) тестування (PBT). 40,0% студентів вказали, що тестування проводилось систематично або епізодично з усіх/більшості навчальних дисциплін. У випадку CBT, за результатами проведеного опитування аспірантів, цей показник становить 20,0% (питання 10, рис. 1).

Зазначимо, що вплив самої процедури тестування, а також інших методів контролю на можливі об'єкти тестування (учні, студенти) має бути мінімізований. Тільки за таких умов тестування не вноситиме які-небудь відхилення у значення вимірюваних результатів навчання. Нам було важливо виявити думку аспірантів щодо процедури тестування, зокрема: реєстрація на сайті електронного навчання УжНУ, достатність часу на виконання завдань тесту, психологічна комфортність тощо.

Для переважної більшості аспірантів (72,5%) реєстрація на сайті електронного навчання пройшла легко (разом відповіді «скоріше легко» та «дуже легко»; питання 1). Так само більшість аспірантів 82,5% (разом відповіді «скоріше подобається» та «дуже подобається»; питання 3) відчувають психологічну комфортність під час CBT. На нашу думку, це позитивно впливає на працездатність людини, оскільки особа під час будь-якого випробовування має концентруватися на поставлених завданнях, а не перебувати в стані занепокоєння чи стресу. Аналогічне позитивне ставлення студентів до CBT описують M. R. Ebrahimi et. al. (2019) [10]. Подібний результат наводять T. Adeyinka & M. T. Bashorun (2012) [9: 58,0 % студентам подобається CBT (I like the computer based test).

Отримані дані узгоджуються з відповідями на питання анкети 7 та 8 відповідно (сумарні відповіді «скоріше зручна» та «дуже зручна»): 85,0% аспірантів найбільш зручною формою тестування (носій тесту) для себе вважають електронну порівняно з бланковою (паперовою) та усною формами. Також 72,5% аспірантів надають перевагу тестуванню як формі іспиту/заліку порівняно з усною чи письмовою формами. Подібні результати виявляємо в праці M. R. Ebrahimi at al., 2019] [10], де з 60 респондентів 82,5% віддали перевагу CBT, а 17,5% вважали за краще PBT. Згідно з T. Adeyinka & M. T. Bashorun (2012) [9], 88,1% студентів погоджуються, а 10,2% - не погоджуються на екзаменаційне CBT (computer-based tests/exams).

Для порівняння поглядів респондентів під час нашого дослідження щодо різних форм тестування (7 питання анкети) використали х²-критерій Пірсона. Приймали нульову гіпотезу про відсутність різниці в поглядах респондентів щодо різних форм тестування. Для порівнюваних форм CBT-PBT та CBT-усне тестування отримали xL (21,78) >xiU (9,49) ^і хі (26,21) >х„„о₅ (9,49) шд^п°шд^н°. ^{Тож н}у^{льова гіпотеза} відхиляється, достовірність відмінності порівнюваних форм тестування згідно статистичного критерію х² дорівнює 95 % (рівень значущості а=0,05). Отже, форма онлайн CBT, на думку респондентів, суттєво зручніша порівняно з PBT чи усним тестуванням.

Значення х²-критерію для різних форм проведення іспиту/заліку (8 питання анкети) за результатами опитування наведено в табл. 3. Отримані результати свідчать, що статистично значуща різниця при 95 % довірчій ймовірності спостерігається тільки у випадку порівняння тестового контролю з використанням завдань закритої форми та письмового контролю xLn (10,09) >X„, (9,49). В інших випадках порівнювані форми проведення іспиту/заліку є подібні за зручністю, згідно відповідей респондентів, оскільки отримані емпіричні значення х "критерію не перевищують критичного значення.

Таблиця 3

Значення %2-критерію для різних форм проведення іспиту/заліку за зручністю для аспірантів

Порівнювані форми проведення іспиту/заліку	Еміричне значення 2 X -критерію
Усна - Тестування (завдання закритої форми)	7,07
Усна - Тестування (завдання закритої та відкритої форми)	7,28
Письмова - Тестування (завдання закритої форми)	10,09
Письмова - Тестування (завдання закритої та відкритої форми)	8,85
Тестування (завдання закритої форми) - Тестування (завдання закритої та відкритої форми)	1,07

Важливим чинником професійної підготовки фахівців є мотивація навчання. І. Зимня (2000) [25, с. 218] визначає мотивацію, з одного боку, як складну, багаторівневу неоднорідну систему спонукачів, що передбачає потреби, мотиви, інтереси, ідеали, прагнення, установки, емоції, норми, цінності і т.д., а з іншого, - говорить про полімотивованість діяльності, поведінки людини і про домінуючий мотив у структурі.

На базі загальної мотивації навчальної діяльності (професійної, пізнавальної, прагматичної, соціально-громадської і особистісно-престижної) у студентів (а також і в школярів старших класів) з'являється певне ставлення до різних навчальних предметів. Воно зумовлене: важливістю предмета для професійної підготовки; інтересом до певної галузі знань і до даного предмета як його частини; якістю викладання (задоволеністю заняттями з даного предмета); мірою трудності оволодіння цим предметом, виходячи з власних здібностей; взаємостосунками з викладачем даного предмета (Є. Ільїн, 2002) [26, с. 267].

Отже, цілеспрямоване формування та виявлення різних аспектів навчальної і професійної мотивації дає можливість оперативно реалізувати зворотний зв'язок і покращити умови життєдіяльності молодих людей у ВШ. У нашому випадку достатній та високий рівень мотивації учіння завдяки онлайн тестуванню з певної навчальної дисципліни виявили 67,5% анкетованих (питання 4.1). З метою мотивації та навчального ефекту самого тестування аспіранти попередньо могли проходити тренувальне тестування без обмеження спроб; надалі для виконання контрольного тесту надавались дві спроби, а також аспіранти мали можливість переглядати отримані власні результати для самоаналізу. Подібний підхід знаходимо в праці (О. Рябков, 2017) [14], де респонденти виявили позитивне ставлення до СВТ, більшість із них кілька разів виконували тест, аби покращити свій результат.

Для нас важливо також було дослідити не тільки діагностичну функцію тестування як методу контролю результатів навчання, але й розвивальну, тобто позитивний вплив на професійний розвиток учасників тестування. Згідно з В. Аванесовим (2006) [27, с. 7], саме тестове завдання є одним з видів педагогічного завдання, а останнє можна визначити як засіб інтелектуального розвитку, освіти і навчання. Отримані дані (питання 4.1, мотивація навчання) узгоджуються з відповідями на питання 4.4 щодо сприяння розвитку власної професійної підготовки, оскільки на достатній та високий рівень такого сприяння завдяки СВТ вказують 37,5% і 25,0% анкетованих відповідно (разом 62,5%). Дослідники T. Adeyinka & M. T. Bashorun (2012) [9] ставили подібне питання під час опитування студентів: 43,0% студентів повністю погодились, 18,5% погодились, що СВТ сприяє їх навчанню (разом 61,5 %).

Одним із принципів контролю результатів навчання є його об'єктивність. У нашому випадку переважна більшість аспірантів 82,5% визначають достатній та високий рівень об'єктивності CBT щодо контролю власних результатів навчання (питання 4.2).

Анонімне опитування, як правило, створює умови для щирих відповідей, а особливо ми їх очікували на питання 5, оскільки воно є певним індикатором і якості контролю результатів навчання, і академічної доброчесності. 65,0 % анкетованих визнали, що виконували тест «скоріше самостійно» та «повністю самостійно». На нашу думку, формування в молодих людей академічної доброчесності є важливим завданням ВШ. У даному контексті повністю поділяємо занепокоєння C. F. Rogers (2006) [17] щодо академічної доброчесності під час онлайн тестування. Результати праці [17] свідчать, що більша частина викладачів, які використовують Інтернет-оцінювання, певним чином стурбована щодо можливим обманом (e-cheating) в Інтернеті, проте основна частина не проводять активні заходи для його уникнення. Для покращення мотивації навчання навіть пропонують виконувати тест кілька разів.

Для порівняння деяких із наведених вище даних (питання 3; 4.1; 4.2) додамо, що за наслідками раніше проведеного подібного дослідження (В. Староста та Я. Гренцер, 2016) [22] ставлення студентів до традиційного (бланкового/паперового) тестування (PBT) виявлено наступне: 58,0% студентів відчувають психологічний кофорт під час тестування; 57,6% виявляють достатній та високий рівень мотивації учіння завдяки тестуванню; 48,0% вказують на достатній та високий рівень об'єктивності тестування. У випадку CBT (табл. 1) нами отримано такі відповідні значення - 82,5%, 67,5%, 82,5%, що свідчить про краще сприйняття аспірантами CBT порівняно з думкою студентів про PBT.

Нам цікаво було дізнатись думку аспірантів щодо складності пропонованих тестів з дисципліни «Інновації в сучасній педагогіці». 80,0% анкетованих оцінили складність тестів на середньому та достатньому рівні. Максимум за виконання кожного тесту 50 балів; отримані середні бали за модульні контрольні роботи (МКР): МКР1 - 37,6, МКР2 - 36,6; підсумковий контрольний тест - 35,1, що складає відповідно 75,2%, 73,2% і 70,2% від максимуму. На нашу думку, складність є прийнятною, оскільки аспіранти успішно виконують поставлені завдання, а самі тестові завдання мають достатню розподільну здатність.

Рис. 2 Розподіл відповідей респондентів щодо доцільності використання CBT під час різних видів контролю

Для виконання 25 тестових завдань виділялось 35 хвилин. Більшості аспірантів (75,0%) було достатньо виділеного часу для відповіді, для 10% - надто багато, а для 15,0% - було недостатньо (питання 6). Вважаємо, що такі відповіді опосередковано засвідчують оптимальну складність тестів, а також оптимальний вибір часу для проходження CBT.

Для контролю результатів навчання у ВШ використовуються різноманітні методи. На думку більшості аспірантів, під час здобуття вищої освіти, доцільніше використовувати CBT на етапі тематичного, модульного та підсумкового контролю (питання 9, рис. 2). Для попереднього та поточного контролю кількість позитивних виборів щодо CBT значно менше. Погоджуємось з таким поглядом майбутніх викладачів, оскільки тестування більш ефективне для контролю значного обсягу інформації.



Висновки

Отже, при підготовці аспірантів - майбутніх викладачів вищої школи - до використання тестування як одного з сучасних методів контролю результатів навчання наявні певні аспекти: науково-теоретичний (когнітивний), науково-методичний (процесуальний), оцінювально-рефлексивний - і відповідні завдання, серед яких важливо виявити ставлення аспірантів до отриманих власних результатів навчання та самого методу тестування. Розроблено анкету для дослідження ставлення до комп'ютерно орієнтованого тестування, проведено анонімне онлайн опитування аспірантів з використанням Google Forms. Показано, що важливою умовою і резервом широкого запровадження електронного навчання є активне долучення викладачів університету до його використання. Комп'ютерно орієнтоване тестування аспіранти сприймають позитивно, оскільки більшість з них: легко пройшли реєстрацію на сайті електронного навчання; відчувають психологічну комфортність під час онлайн тестування; вказують на достатність виділеного часу для комп'ютерно орієнтованого тестування; найбільш зручною формою тестування для себе вважають електронну порівняно з паперовою (бланковою) та усною формами; виявляють достатній та високий рівень мотивації навчання; вказують на достатній та високий рівень об'єктивності комп'ютерно орієнтованого тестування контролю власних результатів навчання; оцінюють рівень складності пропонованого електронного тесту на середньому та достатньому рівні; успішно виконують пропоновані контрольні тести; вважають тестування більш зручною формою іспиту/заліку порівняно з усною формою.

Перспективи наукових розвідок вбачаємо в подальшому дослідженні ставлення студентів та аспірантів до комп'ютерно орієнтованого тестування та інших методів контролю результатів навчання, а також у їх залученні до складання професійноорієнтованих завдань у тестовій формі.



Список використаних джерел

1. В. Ю. Биков, “Мобільний простір і мобільно орієнтоване середовище інтернет-користувача: особливості модельного подання та освітнього застосування”, Інформаційні технології в освіті, № 17, c. 9-36, 2013. [Електронний ресурс]. Доступно: http://nbuv.gov.ua/UJRN/itvo_2013_17_3. Дата звернення: Черв. 12, 2019.

2. К. Ингенкамп, Педагогическая диагностика [пер. с нем.]. М.: Педагогика, 1991.

3. Л. О. Кухар, В. П. Сергієнко, Конструювання тестів. Курс лекцій: навч. посіб. Луцьк, 2010.

4. Н. М. Болюбаш, “Педагогічне тестування в системі LMS Moodle”, Інформаційні технології і засоби навчання, т. 60, № 4, с. 116-127, 2017. [Електронний ресурс]. Доступно: https://joumal.iitta.gov.ua/index.php/ittt/artide/view/1726. Дата звернення: Черв. 12, 2019.

5. О. С. Товканець, “Стратегічні напрями розвитку інформаційно-комунікаційних технологій у вищій європейській школі на початку ХХІ століття”, Інформаційні технології і засоби навчання, т. 66, № 4, с. 14-23, 2018. doi: https://doi.org/10.33407/itlt.v66i4.2118. [Електронний ресурс]. Доступно: https://journal.iitta.gov.ua/index.php/itlt/article/view/2118. Дата звернення: Черв. 12, 2019.

6. D. Al-Fraihat, M. Joy, R. Masa'deh & J. Sinclair, “Evaluating E-learning systems success: An empirical study”, Computers in human behavior, vol. 102, pp. 67-86, 2020. doi: 10.1016/j.chb.2019.08.004.

7. R. Byrnes & A. Ellis, “The prevalence and characteristics of online assessment in Australian universities'”, Australasian Journal of Educational Technology, vol. 22, no. 1, pp. 104-125, 2006.

8. І. Є. Булах, М. Р. Мруга, Створюємо якісний тест: Навч. посіб. К.: Майстер-клас, 2006.

9. T. Adeyinka & M.T. Bashornn, “Attitude of Undergraduate Students Towards Computer-Based Test (CBT)”, International Journal of Information and Communication Technology Education, vol. 8, no 2, pp. 33-45, 2012.

10. M. R. Ebrahimi, S. M. H. Toroujeni & V. Shahbazi, “Score Equivalence, Gender Difference, and Testing Mode Preference in a Comparative Study between Computer-Based Testing and Paper-Based Testing”, International journal of emerging technologies in learning, vol. 14, no. 7, pp. 128-143, 2019. [Електронний ресурс]. Доступно: https://online-journals.org/index.php/i-jet/artide/view/10175. Дата звернення: Лют. 02, 2020.

11. Л. І. Білоусова, О. Г. Колгатін, “Проблеми ефективного використання автоматизованих систем тестування”, Інформаційні технології в освіті та науці, vol. 1, no. 1, pp. 8-16, 2015. [Електронний ресурс]. Доступно: https://uesit.org.ua/index.php/itse/article/view/193. Дата звернення: Черв. 12, 2019.

12. Н. В. Юдалевич, “Использование автоматизированных систем тестирования при работе со студентами”, Ярославский педагогический вестник, т. 2, № 2, с. 163-166, 2010.

13. М. Ю. Кадемія, І. Ю. Шахіна, Інформаційно-комунікаційні технології в навчальному процесі: Навчальний посібник. Вінниця, ТОВ «Планер». 2011.

14. А. В. Рябков, “Электронное тестирование как основа электронного обучения”, NovaUm.Ru, № 6, c. 29-31, 2017.

15. C. Poore-Pariseau, “Online Learning: Designing for All Users”, J. Usability Studies, vol. 5, no. 4, pp. 147156, August 2010.

16. І. Ю. Шахіна, О. І. Ільїна, “Організація контролю якості знань студентів із використанням електронного тестування”, Фізико-математична освіта: науковий журнал, вип. 4(10), с. 152-157, 2016. [Електронний ресурс]. Доступно: http://nbuv.gov.ua/UJRN/fmo_2016_4_34. Дата звернення: Черв. 12, 2019.

17. C. F. Rogers, “Faculty perceptions about e-cheating during online testing”, Journal of Computing Sciences in Colleges, vol. 22, no. 2, pp. 206-212, 2006.

18. Ю. В. Триус, І. В. Герасименко, В. М. Франчук, Система електронного навчання ВНЗ на базі MOODLE: Методичний посібник. За ред. Ю. В. Триуса. Черкаси: ЧДТУ, 2012.

19. A. C. Butler, “Multiple-Choice Testing in Education: Are the Best Practices for Assessment Also Good for Learning?”, Journal of Applied Research in Memory and Cognition, vol. 7, no. 3, pp. 323-331, 2018.

20. В. М. Мороз, В. П. Садковий, В. М. Бабаєв, С. А. Мороз, “Онлайн опитування студентів у системі забезпечення якості вищої освіти”, Інформаційні технології і засоби навчання, т. 68, № 6, с. 235-250, 2018. [Електронний ресурс]. Доступно: https://journal.iitta.gov.ua/index.php/itlt/article/view/2415/1426. Дата звернення: Черв. 12, 2019.

21. А. М. Ніколаєвська, С. В. Садрицька, “Моніторинг якості викладання як засіб оцінювання якості університетської освіти”, Проблеми сучасної освіти: збірник науково-методичних праць, вип. 4 / Укл. Ю. В. Холін, Т. О. Маркова. Харків: ХНУ імені В. Н. Каразіна, с. 21-26, 2013. [Електронний ресурс]. Доступно:http://dspace.univer.kharkov.ua/bitstream/123456789/9396/2/Problemy_suchasnoi_osvity_4 2013.pdf. Дата звернення: Черв. 12, 2019.

22. В. І. Староста, Я. Я. Гренцер, “Тестування в системі контролю результатів навчання: ставлення студентів”, Педагогічні інновації у фаховій освіті: збірник наукових праць. Ужгород: ДВНЗ «УжНУ», вип. 1(7), c. 187-193, 2016.

23. В. І. Староста, Тестовий контроль психолого-педагогічної підготовки магістрів та аспірантів: навчальний посібник. Ужгород: Видавництво УжНУ «Говерла», 2017.

24. В. І. Староста, О. О. Попадич, “Деякі чинники адаптації студентів -першокурсників в умовах класичного університету”. Ukrainian Journal of Educational Studies and Information Technology, vol. 6, no. 2, pp. 16-26, 2018. [Електронний ресурс]. Доступно: http://ojs.mdpu.org.ua/index.php/itse/article/view/2456. Дата звернення: Черв. 12, 2019.

25. И. А. Зимняя, Педагогическая психология. М.: Логос, 2000.

26. Е. П. Ильин, Мотивация и мотивы. СПб: Питер, 2002.

27. В. С. Аванесов, Форма тестовых заданий. Учебное пособие. М.: Центр тестирования, 2006.

References

1. V. Yu. Bykov, “The mobile space and mobile targeting environment for Internet users: features of model submission and using in educational”, Informatsiyni tekhnolohiyi v osviti, no 17, pp. 9-36, 2013. [Online]. Available: http://nbuv.gov.ua/UJRN/itvo_2013_17_3. Accessed on: June 12, 2019. (in Ukrainian).

2. K. Ingenkamp, Pedagogical diagnostics [per. s nem.]. Moskva, Rossyia: Pedagogika, 1991. (in Russian).

3. L. O. Kukhar, V. P. Sergiyenko, Testdesign. Course of lectures: textbook. Lucz'k, Ukraina: 2010. (in Ukrainian).

4. N. M. Boliubash, “Pedagogical testing in the LMS Moodle system”, Information Technologies and Learning Tools, vol. 60, no 4, pp. 116-127, 2017. [Online]. Available: https://journal.iitta.gov.ua/index.php/itlt/article/view/1726. Accessed on: June 12, 2019. (in Ukrainian).

5. O. S. Tovkanets, “Strategic directions of information and communication technologies development in the high European school at the beginning of the XXI century”, Information Technologies and Learning Tools, vol. 66, no 4, pp. 14-23, 2018. doi: https://doi.org/10.33407/itlt.v66i4.2118. (in Ukrainian).

6. D. Al-Fraihat, M. Joy, R. Masa'deh & J. Sinclair, “Evaluating E-learning systems success: An empirical study”, Computers in human behavior, vol. 102, pp. 67-86, 2020. doi:10.1016/j.chb.2019.08.004. (in English).

7. R. Byrnes & A. Ellis, “The prevalence and characteristics of online assessment in Australian universities'”, Australasian Journal of Educational Technology, vol. 22, no. 1, pp. 104-125, 2006. (in English).

8. I. Ye. Bulakh, M. R. Mruga. Create a quality test: textbook. Kyiv, Ukraina: Majster-klas, 2006. (in Ukrainian).

9. T. Adeyinka & M.T. Bashorun, “Attitude of Undergraduate Students Towards Computer-Based Test (CBT)”, International Journal of Information and Communication Technology Education, vol. 8, no 2, pp. 33-45, 2012. (in English).

10. M. R. Ebrahimi, S. M. H. Toroujeni & V. Shahbazi, “Score Equivalence, Gender Difference, and Testing Mode Preference in a Comparative Study between Computer-Based Testing and Paper-Based Testing”, International journal of emerging technologies in learning, vol. 14, no. 7, pp. 128-143, 2019. [Online]. Available: https://online-journals.org/index.php/i-jet/article/view/10175. Accessed on: Febr. 02, 2020. (in English).

11. L. I. Bilousova, O. H. Kolhatin, “Problems of efficient use of automated testing systems”, Ukrainian Journal of Educational Studies and Information Technology, vol. 1, no. 1, pp. 8-16, 2015. [Online]. Available: https://uesit.org.ua/index.php/itse/article/view/193. Accessed on: June 12, 2019. (in Ukrainian).

12. N. V. Yudalevich, “Using automated testing systems during working with students”, Jaroslavskij pedagogicheskij vestnik, vol. 2, no 2, pp. 163-166, 2010. (in Russian).

13. M. Yu. Kademiia, I. Yu. Shakhina, Information and communication technologies in teaching: textbook. Vinnytsia, Ukraina: TOV «Planer». 2011. (in Ukrainian).

...