Оцінювання якості електронних навчальних курсів для закладів вищої освіти

Размещено на http://www.allbest.ru/

Оцінювання якості електронних навчальних курсів для закладів вищої освіти

Мельник Оксана Миколаївна, кандидат педагогічних наук, старший дослідник, завідувачка відділу; Заєць Світлана Володимирівна, кандидат економічних наук, доцент, старша наукова співробітниця відділу науково-методичного забезпечення інтеграції у європейський освітній простір ДНУ «Інститут модернізації змісту освіти», Литвинова Світлана Григорівна, доктор педагогічних наук, старша наукова співробітниця, в.о. директора Інститут цифровізації освіти НАПН України

Анотація

Перехід на дистанційну та змішану форми навчання в більшості закладів вищої освіти в період пандемії COVID-19, а потім дії воєнного стану в Україні спонукав викладачів до створення власних електронних освітніх ресурсів та електронних навчальних курсів, за допомогою яких передається зміст навчальної дисципліни. У статті висвітлені підходи до оцінювання якості електронних навчальних курсів. Виокремлено основні структурні компоненти електронного навчального курсу для закладів вищої освіти: техніко-технологічний, нормативно-організаційний, методичний, змістовий, результативно - оцінювальний, які можна вважати факторами або чинниками, що впливають на його якість. Визначено, що техніко-технологічний фактор характеризується можливістю та зручністю встановлення електронного навчального курсу на ПК і мобільні пристрої, сумісністю електронного навчального курсу з різними OC, наявністю та якістю інструкції щодо встановлення/запуску електронного навчального курсу, наявністю опису технічних характеристик електронного навчального курсу і контактів його розробника(ів); критеріями нормативно-організаційного фактора є нормативні акти, що стосуються навчального курсу, рецензії на електронного навчального курсу, анкети для здобувачів вищої освіти та викладача щодо визначення якості електронного навчального курсу; ознаки методичного блоку - інструкції для користувачів електронного навчального курсу, методичні матеріали для здобувачів вищої освіти щодо виконання основних видів завдань, методичні рекомендації для викладача електронного навчального курсу, зворотний зв'язок; змістовий фактор характеризується текстами лекцій, презентаціями до кожної теми, мультиме дійними матеріалами, термінологічним словником, завданнями (практичними, інтерактивними, для самостійної роботи, творчими, дослідницькими), проєктними роботами, довідниковими матеріалами, списком основних і додаткових джерел, додатковими навчальними матеріалами, глосарієм.

Запропоновано базову факторно-критеріальну модель оцінювання якості електронного навчального курсу для закладів вищої освіти, що дозволяє здійснити об'єктивне кількісне оцінювання якості електронного навчального курсу та виявити можливі недоліки з метою їх вчасного усунення, яку можна використати під час розроблення та оцінювання електронних навчальних курсів для закладів вищої освіти з різних навчальних дисциплін.

Ключові слова: дистанційне навчання; електронний освітній ресурс; електронний навчальний курс; фактори і критерії оцінювання якості електронного навчального курсу; експерти; конкордація.

Abstract

Evaluation of the quality of electronic educational courses for higher education institutions

Oksana M. Melnyk, PhD of Pedagogical Sciences, Senior Researcher, Head of the Department; Svitlana V. Zaiets, PhD of Economic Sciences, Associate Professor, Senior Researcher at the Department of Scientific and Methodological Support for Integration into the European Educational Area Institute of Education Content Modernization; Svitlana H. Lytvynova, Doctor of Pedagogical Sciences, Senior Researcher, Acting Director Institute for Digitalization of Education of the NAES of Ukraine

The transition to distance and blended forms of education in most higher education institutions during the period of the COVID-19 pandemic, and then the actions of martial law in Ukraine prompted teachers to create their own electronic educational resources and electronic training courses, with the help of which the content of the academic discipline is transmitted. The article describes approaches to the evaluation of the quality of electronic educational courses. The main structural components of an electronic educational course for higher education institutions are distinguished: technical and technological, normative and organizational, methodical, substantive, result and evaluative, which can be considered factors affecting its quality. It was determined that the technical and technological factor is characterized by the possibility and convenience of installing electronic educational course on PCs and mobile devices, compatibility of electronic educational course with various operating systems availability and quality of instructions for installing/starting electronic educational course, availability of a description of technical characteristics of electronic educational course and contacts of its developer(s).

The criteria of the regulatory and organizational factor are normative acts related to the educational course, reviews of the electronic educational course, questionnaires for applicants of higher education and teachers regarding the determination of the quality of the electronic educational course. Features of the methodological block are instructions for the electronic educational course users, methodological materials for students of higher education on the performance of the main types of tasks, methodological recommendations for the electronic educational course teacher, feedback. The content factor is characterized by lecture texts, presentations for each topic, multimedia materials, a terminological dictionary, tasks (practical, interactive, for independent work, creative, research), project works, reference materials, a list of main and additional sources, additional educational materials, a glossary.

A basic factor-criterion model for evaluating the quality of an electronic educational course for higher education institutions is proposed, which makes it possible to carry out an objective quantitative assessment of the quality of an electronic educational course and to identify possible shortcomings in order to eliminate them in time, which can be used during the development and evaluation of electronic educational courses for higher education institutions in various academic disciplines.

Keywords: distance learning; electronic educational resource; electronic educational course; factors and criteria for evaluating the quality of an electronic educational course; experts; concordance.

Постановка проблеми

Дистанційне та змішане навчання в епоху цифровізації, реформування освіти, пандемії COVID-19 та в період дії воєнного стану стають все більш поширеними формами організації освітнього процесу в Україні. Зміна парадигми в навчанні вимагає зміни ролі викладача, який для організації зазначених форм навчання повинен розробляти як окремі електронні освітні ресурси (ЕОР), так і дистанційні або електронні навчальні курси (ЕНК), що дозволяють віддалено організувати навчання здобувачів вищої освіти задля розвитку їх професійних, ключових і предметних компетентностей, засвоєння теоретичних знань і отримання практичних навичок.

Оцінювання якості ЕНК, який є ключовим засобом навчання під час дистанційної форми здобуття освіти, є актуальним питанням часу, вирішення якого потребує виокремлення його основних структурних компонентів та розроблення відповідного інструментарію.

Якісні ЕНК впливають на ефективність навчання в цілому, роблять освітній процес цікавим і адаптивним, дозволяють враховувати специфічні потреби здобувачів вищої освіти, а також вирішують проблему інформаційного перевантаження, яка стала особливо актуальною в умовах виключно дистанційного навчання.

На сьогодні переважна більшість українських закладів вищої освіти для організації дистанційного навчання користуються платформою Moodle, що вимагає наявності ЕНК або окремих ЕОР. На допомогу організації відкритого та дистанційного навчання на сайті Міністерства освіти і науки України подано перелік ресурсів, зокрема для здобувачів вищої освіти, серед яких платформи з Масовими відкритими онлайн курсами (МВОК): Coursera, edX, Emeritus, Future Learn, OpenupEd, Prometeus, Udemy тощо.

Інноваційним та ефективним методам покращення дистанційної форми здобуття освіти присвячені праці зарубіжних учених, зокрема Sithara H.W. Gamage, Jennifer R. Ayres and Monica B. Behrend. За допомогою бібліометричного аналізу ними було доведено, що для адаптивного та спільного STEM-навчання в університетах здебільшого використовують платформу Moodle [1].

Аналіз останніх досліджень і публікацій

Впровадженню технологій дистанційного навчання присвячені ґрунтовні праці вітчизняних учених: В. Бикова [2], В. Кухаренка, О. Рибалко, Н. Сиротенко [3], В. Олійника [4], та ін. Ними описані теоретичні основи дистанційної форми здобуття освіти. Аналіз наукових джерел з питань дистанційної освіти свідчить про те, що більшість праць, які стосуються цієї проблематики, вийшли друком на початку 2000-х рр., коли в наукових дискурсах лише з'явилися терміни «дистанційне навчання» та «ЕНК».

Дистанційному навчанню та ЕНК присвячені сучасні напрацювання таких зарубіжних учених, як-от: M. Kebritchi, A. Lipschuetz, L. Santiague [5], K. Dolenc, A. Sorgo, M. Ploj Virtic [6], Elsie Sophia Janse van Rensburg [7], S. Cooper, L. Duncan, E.D. Farmer, D. Kobello, Ch. Wiltsher та ін.

Будь-який ЕНК складається з ЕОР загального, навчального, дослідницького та управлінського призначення, які також знаходяться в полі зору вітчизняних учених. Проблемам розроблення, використання та оцінювання ЕОР присвячені дослідження М. Вінник, А. Гуржія, І. Іванюк, О. Коневщинської, Г. Кравцова, Г. Лаврентьєвої, В. Лапінського, С. Литвинової [8], О. Мельник [9], Ю. Тарасіч, М. Шишкіної та ін.

Питання створення та впровадження ЕНК в освітній процес розкрито в працях О. Воронкіна [10], Н. Морзе, О. Глазунової [11], В. Кухаренка, Ю. Триуса та ін.

Класифікаційні критерії масових відкритих онлаин-курсів з інтелектуальної власності, які, по суті, є класифікацією ЕНК, розроблено Р. Кіріним, В. Хоменко, О. Пащенко [12].

У праці [13] представлено метод комплексного оцінювання закладів вищої освіти на основі обчислення узагальненого об'єму m-симплексу та запропоновано враховувати наукову, навчальну та міжнародну складові для інтегральної кількісної оцінки діяльності закладу вищої освіти.

Питанням створення дистанційного курсу присвячені дослідження А. Балендра [14], Л. Гаврілової, Я. Топольник, Л. Кухар, Л. Матвійчук [15].

Учені Ana C. Mancho de la Iglesia, Ana M. L6pez Torres, Maria Luisa Sein-Echaluce Lacleta, досліджуючи питання оцінювання мультимедійних матеріалів відповідно до їх виду, дійшли висновку про необхідність водночас враховувати освітню цінність, доступність, аспекти інтелектуальної власності, правильну інтеграцію різних форматів, технічну якість і зручність їх використання [16].

Різні види навчальних ресурсів, які використовувались під час пандемії COVID-19 у державному університеті Мексики, охарактеризовано та диференційовано за рівнями важливості зарубіжними авторами у праці [17]. Результати проведеного ними опитування студентів показали, що найбільш важливими вони вважають записи занять, пояснення вчителів, навчальні матеріали та онлайн-демонстрації, а найменш - іспити, відео, домашні завдання та проєкти.

Огляд літературних джерел зарубіжними вченими M.Kebritchi, A. Lipschuetz, L. Santiague [5] виявив, що, незважаючи на наявні емпіричні дослідження з питань онлайн-курсів, лише деякі з них надали загальне уявлення про існуючі проблеми, серед яких були виокремлені - роль викладачів та навчальних стратегій у розробленні контенту, інтеграція мультимедіа в контент, забезпечення професійного розвитку викладачів, проведення тренінгів для студентів та надання технічної підтримки для розроблення контенту.

Отже, попри наявність певних вітчизняних та зарубіжних наукових наробок з питань дистанційної форми здобуття освіти та її компонентів, питання визначення якості ЕНК, від якої безпосередньо залежить ефективність дистанційного навчання в закладах вищої освіти в цілому, залишилось недостатньо дослідженим.

Існує два основні підходи до оцінки якості ЕНК: перший - з позиції його життєвого циклу, другий - на основі його компонентів. Обидва підходи використовують показники та критерії якості, вибір яких має здійснюватись на користь учасників освітнього процесу.

Серед науковців немає єдиної думки щодо характеристик, які визначають якість ЕНК. У публікаціях окремих науковців наявні аспекти, які має враховувати система оцінювання якості: технології, навчальний дизайн, освітні ресурси, послуги та підтримка, комунікація, персоналізація, інновації в навчанні, зворотний зв'язок тощо.

Розроблення єдиних підходів до оцінювання якості ЕНК, їх незалежна експертиза є факторами підвищення ефективності дистанційного навчання в закладах вищої освіти.

Метою статті є розроблення інструментарію кількісного оцінювання якості ЕНК для закладів вищої освіти у вигляді базової факторно-критеріальної моделі (ФКМ).

Методи дослідження

Для досягнення поставленої мети було використано комплекс методів дослідження, які включали: аналіз, порівняння вітчизняних та зарубіжних науково-педагогічних джерел, нормативно-правової бази з проблеми дослідження; виокремлення, аналіз і систематизація показників і критеріїв оцінювання якості ЕНК; метод експертного оцінювання; факторно-критеріальне моделювання.

Результати дослідження

У зв'язку з переходом закладів освіти здебільшого на дистанційну форму здобуття освіти, питання оцінки якості ЕНК набуло особливої актуальності. Під час карантину, викликаному пандемією COVID-19, у науковому дискурсі все частіше стали обговорюватися терміни «ЕНК», «електронний навчально -методичний комплекс», «дистанційний курс» [11, 18-20]. Усі зазначені вище терміни є синонімічними по суті та означають окремий продукт, який складається з цілісного комплексу навчально-методичних та нормативних матеріалів. У нашому подальшому дослідженні будемо використовувати термін «ЕНК».

Розглянемо дефініцію зазначеного терміну. За Т. Семаковою та А. Подозьоровою, «ЕНК - це дидактичне комп'ютерне середовище, що містить систематизований матеріал з відповідної дисципліни, об'єднаний єдиною програмною оболонкою» [19, с. 83].

О. Щербина, користуючись Положенням про електронний навчально-методичний комплекс дисциплін та використання технологій дистанційного навчання, затвердженим Вченою радою КНУБА, використовує термін «електронний навчально-методичний комплекс дисципліни». Він визначає його як електронний ресурс, що містить матеріали, які характеризують зміст навчальних дисциплін: навчальну програму дисципліни, конспект чи матеріали лекцій та інші навчально-методичні матеріали для проведення аудиторних, позааудиторних навчальних занять, передбачених робочими навчальними програмами, та організації самостійної роботи студентів, Автор також зазначає, що електронний навчально-методичний комплекс дисципліни створюється з метою змістового наповнення освітньо-інформаційного простору закладу освіти, упровадження сучасних інформаційних технологій, забезпечення рівного доступу студентів до якісних навчальних та методичних матеріалів незалежно від місця їх проживання або форми навчання [21, с. 357].

І. Нищяк під «електронним навчально-методичним комплексом» розуміє «спеціальний педагогічний програмний засіб, який містить взаємопов'язані відповідним предметним змістом навчально-методичні матеріали та призначений для забезпечення системного і безперервного освітнього процесу з можливістю автоматизованого педагогічного контролю його основних етапів з використанням засобів сучасних засобів інформаційних технологій» [22, с. 138-139].

У Положенні про електронний навчальний курс: порядок створення, сертифікації та використання у системі е-навчання Київського університету імені Бориса Грінченка зазначено, що «ЕНК - це комплекс навчально-методичних матеріалів, створених для організації індивідуального та групового навчання з використанням технологій дистанційного навчання» [23, с. 2 ].

Більш детальне визначення подано Н. Морзе та О. Глазуновою. На їх думку, ЕНК охоплює комплекс навчально-методичних матеріалів та освітніх послуг, створених для організації індивідуального та групового навчання з використанням дистанційних технологій під керівництвом викладача. Цей комплекс реалізується засобами Інтернет-технологій, відеоконференцій, інтерактивного телебачення, інших інтерактивних засобів і вимагає активного спілкування викладачів зі студентами, студентів між собою. Крім того, автори зазначають, що навчальний матеріал в ЕНК подається в структурованому електронному вигляді та зберігається на спеціальному навчальному порталі [11].

На жаль, на державному рівні термін «ЕНК» до цього часу не унормований. Положення про дистанційне навчання [24] визначає, що систематизоване зібрання інформації та засобів навчально-методичного характеру, необхідних для засвоєння навчальних дисциплін (програм), яке доступне через Інтернет (локальну мережу) за допомогою веббраузера та/або інших доступних користувачеві програмних засобів, є вебресурсами навчальних дисциплін (програм), зокрема дистанційними курсами. Тобто, згідно з цим визначенням, ЕНК містить вебресурси навчальних дисциплін (програм), але документ не виокремлює структурні компоненти ЕНК та їх зв'язок.

У нашому подальшому дослідженні під ЕНК, який являє собою частину цифрового освітнього середовища закладу освіти, будемо розуміти комплект ЕОР управлінського, навчального та дослідницького призначення з певної навчальної дисципліни, які поєднані в єдину комплексну та цілісну систему.

ЕНК виконує такі функції:

- навчальну;

- консультативну;

- контролюючу;

- супровідну;

- адміністративну.

Навчальна функція ЕНК - забезпечення всіх учасників освітнього процесу необхідним навчальним матеріалом (лекційний, практичний, лабораторний, довідковий тощо) зі зручним інтерфейсом для оперативного доступу, пошуку та опрацювання необхідних розділів, виконання вправ, завдань тощо.

Консультативна функція ЕНК - допомога користувачам ЕНК (здобувачам вищої освіти та викладачам) у пошуку інформації, маршрутизації сервісів, архітектури та структури даних тощо.

Контролююча функція ЕНК - забезпечення можливості проведення всіх видів контролю рівня навчальних досягнень здобувачів вищої освіти, а саме: самоконтролю, поточного, модульного та підсумкового.

Супровідна функція ЕНК - забезпечення всіх учасників освітнього процесу методичними матеріалами та нормативними актами.

Адміністративна функція ЕНК - надання всім учасникам освітнього процесу оперативної інформації щодо рівнів навчальних досягнень здобувачів вищої освіти, зворотного зв'язку, обміну поточною документацією тощо.

Розроблення будь-якого ЕНК починається з його проектування. У праці [25] описано досвід створення дистанційного курсу «Цифрові технології для викладання та дослідження» шляхом використання моделі проєктування педагогічного сценарію навчального курсу для цифрового освітнього середовища, що має п'ять етапів:

- аналіз (змісту, навчального середовища, підтримки програм та електронних інструментів);

- дизайн (визначення очікуваних результатів навчання, методів навчання та методів оцінювання, деталізація змісту з точки зору тем);

- розроблення (підготовка вправ, завдань, тем проєкту тощо), планування організації курсу та її завантаження в систему управління навчанням;

- організація навчання та взаємодії зі студентами;

- оцінювання отриманих результатів (визначення, чи досягнуто цілей навчання, чи правильними є зміст та методи навчання).

Розглядаючи орієнтовну структуру ЕНК для організації навчально-пізнавальної та дослідницької діяльності студентів в умовах змішаного навчання, Г. Ткачук, Н. Стеценко, В. Стеценко виділяють 4 блоки за видами діяльності: теоретичний, практичний, дослідницької діяльності та підсумкового контролю, - кожен з яких передбачає самостійну роботу за відповідними видами діяльності (створення карти знань, робота з глосарієм, проведення майстер-класу, пошук додаткових ресурсів тощо) [26, с. 276-277].

М. Мокрієв, досліджуючи ЕНК, зазначає, що структура ЕНК для заочно - дистанційної форми навчання має відрізнятися від стандартної, поданої в [20], де електронний курс містить структурне групування навчальних елементів. На думку науковця, ЕНК для заочно-дистанційної форми навчання має бути чітко зрозумілим кожному студентові, тому буде дещо відрізнятися за структурою, що досягається лінійним розгортанням навчання, яке забезпечує послідовне проходження електронного курсу. Також, як зазначає автор, він має містити теоретичний матеріал із запитаннями для самоперевірки, підсумковий тест для перевірки засвоєння матеріалу з певного модуля, розроблений за таксономією Блума, та складатися з наступних частин:

1. Настановча

a. Викладачі курсу

b. Інструкція по роботі з курсом

c. Робоча програма

d. Термінологічний словник курсу

e. Форум для запитань та обговорень

2. Домашня робота

3. Сесія

a. Завдання для модульного контролю

b. Іспит (або залік) [20].

У праці [21] пропонується уніфікована типова структура ЕНК, яка має бути зрозумілою для студента, містити загальні підходи для всіх навчальних курсів незалежно від розробників, забезпечувати повноцінне функціонування системи Moodle та не бути абсолютно жорсткою.

І. Нищяк, описуючи структуру авторського ЕНК, серед основних змістових компонентів виділяє наступні: методичний, навчальний, контрольний, довідковий, інформаційно-пошуковий [27].

Досліджуючи ЕНК, автори [11] беруть за основу її модульну структуру та виділяють такі основні складові такого курсу: загальні в/домосш/ про курс (візитка курсу, робоча програма, графік вивчення, шкала оцінювання навчальних досягнень, друковані та інтернет-джерела, глосарій, оголошення); навчальні модулі з дисципліни, що містять теоретичний матеріал, відео та мультимедійні матеріали, практичні завдання, завдання для самостійної роботи та модульного контролю; блок підсумкової атестації та блок «Консультації».

О. Спірін, К. Колос визначають системи навчально-методичних матеріалів та навчальних сервісів як основні компоненти дистанційного курсу. Серед обов'язкових змістових елементів у структурі дистанційного курсу для учнів вони виділяють вступ (назва курсу, мета курсу, загальні відомості, обсяг, тривалість вивчення, результати навчання, вимоги до учнів, короткий опис організації навчання), програму курсу (перелік тижневих занять; анотація теоретичного та практичного матеріалу, методичні вказівки до практичних завдань, лабораторних робіт; перелік основних елементів дистанційного курсу: навчальний посібник, опорний конспект, методичні посібники тощо), сторінка тижневого заняття (назва теми, мета вивчення, план роботи на тиждень, теоретичний матеріал, практичні завдання, тестування, глосарій і бібліотека). Також авторами виділено критерії добору платформ дистанційного навчання та їх показники з відповідним ранжуванням та встановленням коефіцієнтів їх вагомості [28].

Спираючись на зазначені вище дослідження, виділимо п'ять основних блоків (складових) ЕНК для закладів вищої освіти: техніко-технологічний, нормативно- організаційний, методичний, змістовий, результативно-оцінювальний.

Техніко-технологічний блок характеризується можливістю та зручністю встановлення ЕНК на ПК і мобільні пристрої, сумісністю ЕНК з різними OC, наявністю та якістю інструкції щодо встановлення/запуску ЕНК, наявністю опису технічних характеристик ЕНК і контактів його розробника(ів).

Нормативно-організаційний блок - це нормативні акти, що стосуються навчального курсу, рецензії на ЕНК (не менше 2-х), анкета для здобувачів вищої освіти щодо визначення якості ЕНК, анкета для викладача щодо визначення якості ЕНК.

Методичний блок охоплює інструкції для користувачів ЕНК, методичні матеріали для здобувачів вищої освіти щодо виконання основних видів завдань, методичні рекомендації для викладача ЕНК, зворотний зв'язок.

Змістовий блок складається з текстів лекцій, презентацій до кожної теми, мультимедійних матеріалів, термінологічного словника, практичних завдань, інтерактивних вправ, завдань для самостійної роботи, творчих завдань, дослідницьких завдань, проєктних робіт, довідкових матеріалів, списку основних і додаткових джерел, додаткових навчальних матеріалів, глосарію.

Результативно-оцінювальний блок містить завдання для здійснення оцінювання рівня навчальних досягнень здобувачів вищої освіти за ЕНК протягом навчання (поточний контроль), після вивчення кожного модуля (модульний контроль), після завершення курсу (підсумковий контроль) та для самоконтролю.

Основні компоненти кожного з блоків можуть розширюватися або змінюватися залежно від мети ЕНК та/або навчальної дисципліни, для вивчення якої його розроблено.

Виокремлені блоки ЕНК можна вважати факторами або чинниками, що впливають на якість ЕНК. Кожен фактор характеризується певними критеріями або ознаками. Зазначені вище фактори та критерії кожного з них були взяті за основу при побудові базової ФКМ оцінювання якості ЕНК для закладів вищої освіти, що містить основні, загальні для більшості дисциплін, показники (табл. 1). Залежно від навчальної дисципліни, для вивчення якої розроблено ЕНК, кількість критеріїв певних факторів може бути змінено.

Сума вагових коефіцієнтів факторів дорівнює 1:

Kj + K2 + Кз +K4 + K5 = 1 (1)

Сума вагових коефіцієнтів критеріїв для кожного фактора також дорівнює 1:

kj + k2 + кз + ... + kj = 1. (2)

Таблиця 1. Базова факторно-критеріальна модель оцінювання якості ЕНК для закладів вищої освіти

Фактор	Ваговий коефіцієнт фактора K	Критерій	Ваговий коефіцієнт критерію kjm
1. Техніко-технологічний	K1	1.1. Встановлення ЕНК на ПК та мобільні пристрої	kj.j
		1.2. Сумісність з різними OC	kj.2
		1.3. Інструкція щодо встановлення/запуску ЕНК	kj.3
		1.4. Технічні характеристики ЕНК	kj.4
		1.5. Контакти розробників	kj.5
2. Нормативно-організаційний	K2	2.1. Нормативні документи	k2.1
		2.2. Рецензії на ЕНК	k2.2
		2.3. Анкета для здобувачів вищої освіти щодо визначення якості ЕНК	k2.3
		2.4. Анкета для викладача щодо визначення якості ЕНК	k2.4
3. Методичний	K3	3.1. Інструкції для користувачів ЕНК	k3.1
		3.2. Методичні матеріали для здобувачів вищої освіти з виконання основних видів завдань	k3.2
		3.3. Методичні рекомендації для викладача ЕНК	k3.3
		3.4. Зворотний зв'язок	k3.4
4. Змістовий	K4	4.1. Тексти лекцій	k4.1
		4.2. Презентації до кожної теми	k4.2
		4.3. Мультимедійні матеріали	k4.3
		4.4. Термінологічний словник	k4.4
		4.5. Практичні завдання	k4.5
		4.6. Інтерактивні вправи	k4.6
		4.7. Завдання для самостійної роботи	k4.7
		4.8. Творчі завдання	k4.8
		4.9. Дослідницькі завдання	k4.9
		4.10. Проєктні роботи	k4.10
		4.11. Довідникові матеріали	k4.ll
		4.12. Список основних і додаткових джерел	k4.12
		4.13. Додаткові навчальні матеріали	k4.13
		4.14. Глосарій	k4.14
5. Результативно-оцінювальний	K5	5.1. Поточний контроль	k5.1
		5.2. Завдання для самоперевірки	k5.2
		5.3. Модульний контроль	k5.3
		5.4. Підсумковий контроль	k5.4

Підсумкова оцінка якості ЕНК (П<О_енк) обчислюється як сума оцінок кожного з п'яти факторів з оцінками їх критеріїв з урахуванням вагових коефіцієнтів за наступним співвідношенням:

де i, j, m, n, p - номери вагових коефіцієнтів 1-го, 2-го, 3-го, 4-го та 5-го факторів відповідно,

Ki, K2, K3, K4, K5 - вагові коефіцієнти факторів,

kjm - вагові коефіцієнти критеріїв.

Виставлення оцінок Ol.i, О2j О3.m, О4.n, О5.р по кожному з критеріїв кожного фактора може здійснюватись за різними шкалами, наприклад, за п'ятибальною, трибальною чи двобальною шкалою залежно від критерію. Алгоритм обчислення підсумкової оцінки якості ЕНК для закладів вищої освіти (ПОенк) представлено (рис. 1)

Він включає таку послідовність дій:

1) виставлення оцінок Оц, О2.j, О3.m, О4.n, О5.р по кожному критерію кожного фактора;

2) множення оцінки за кожен критерій на відповідний ваговий коефіцієнт ki.i, k2j, k3.m, k4.n, k5.p;

3) складання добутків оцінок kl.iOl.i, k2jО2.j, кз.тОз.т, k4.nО4.n, k5.pО5.p з кожного критерію з подальшим множенням отриманих сум на вагові коефіцієнти факторів Ki для отримання оцінки фактора;

4) складання отриманих оцінок кожного з факторів у підсумкову оцінку якості ПОенк.

Для визначення вагових коефіцієнтів (вагомості) факторів та критеріїв кожного з них було використано метод експертного оцінювання.

Кількість експертів визначали за допомогою методики Е. Райхмана та Г. Азгальдова [29], що ґрунтується на гранично допустимій відносній похибці, яка задається до початку експертного оцінювання, допустимій трудомісткості оціночних процедур, можливостях організації роботи групи експертів.

Отже, було визначено, що для проведення експертної оцінки з довірчою ймовірністю на рівні 95 % і абсолютною похибкою 0,5 % повинно бути не менше 15 експертів [29, с. 65].

У нашому дослідженні експертами виступили 16 науковців і викладачів закладів вищої освіти, які мають досвід розроблення та використання ЕНК у практичній діяльності.

Рис. 1. Алгоритм обчислення підсумкової оцінки якості ЕНК для закладів вищої освіти

Кожен експерт оцінював вагомість (здійснював їх ранжування) факторів та критеріїв техніко-технологічного фактора за п'ятибальною шкалою (оскільки факторів і критеріїв техніко-технологічного фактора - 5), де оцінка 5 означала, що цей фактор чи критерій найбільш вагомий, а оцінка в 1 бал - що це найменш вагомий фактор чи критерій; критеріїв нормативно-організаційного, методичного, результативно-оцінювального факторів - за чотирибальною шкалою (оскільки в кожному з цих факторів по 4 критерії), де оцінка 4 - найбільш важливий критерій, 1 - найменш важливий; змістового фактора - за чотирнадцятибальною шкалою (оскільки критеріїв у цьому факторі 14), де оцінка 14 - найбільш важливий критерій, 1 - найменш важливий.

Дані опитування експертів представлено в табл. 2.

Таблиця 2 Зведена таблиця узагальнених результатів рейтингового оцінювання ЕНК і визначення вагомості факторів і критеріїв

Фактор, критерії	Експерти	Сума балів	Ваговий коефіцієнт
	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15	16
Фактори, які враховуються під час оцінювання ЕНК
Техніко-технологічний	1	1	1	2	1	1	1	2	1	3	1	1	2	2	1	1	22	0,092
Нормативно-організаційний	4	4	4	4	4	3	2	1	2	2	4	4	1	1	4	2	46	0,192
Методичний	2	3	3	1	3	4	3	3	3	1	2	3	4	3	2	3	43	0,179
Змістовий	3	2	2	3	2	2	5	4	5	5	3	2	3	4	3	4	52	0,217
Результативно-оцінювальний	5	5	5	5	5	5	4	5	4	4	5	5	5	5	5	5	77	0,321
Разом	15	15	15	15	15	15	15	15	15	15	15	15	15	15	15	15	240	1,00
Критерії техніко-технологічного фактору
Встановлення ЕНК на ПК та мобільні пристрої	5	3	5	3	5	5	5	5	2	4	3	5	3	3	5	5	61	0,275
Сумісність з різними OC	3	4	4	5	2	4	4	3	3	5	5	4	2	5	4	4	61	0,254
Інструкція щодо встановлення/ запуску ЕНК	2	2	2	2	4	2	2	2	4	3	4	2	4	2	2	2	41	0,171
Технічні характеристики ЕНК	4	5	3	4	3	3	3	4	5	1	2	3	5	4	3	3	55	0,229
Контакти розробників	1	1	1	1	1	1	1	1	1	2	1	1	1	1	1	1	17	0,071
Разом	15	15	15	15	15	15	15	15	15	15	15	15	15	15	15	15	240	1,00
Критерії нормативно-організаційного факто
Нормативні документи	4	3	3	1	4	4	3	4	4	4	4	4	3	4	3	4	56	0,350
Рецензії на ЕНК	3	4	4	4	3	3	4	2	3	3	3	3	4	3	4	3	53	0,331
Анкета для студентів щодо визначення якості ЕНК	2	2	1	3	1	2	1	1	2	2	2	1	1	2	2	2	27	0,169
Анкета для викладача щодо визначення якості ЕНК	1	1	2	2	2	1	2	3	1	1	1	2	2	1	1	1	24	0,150
Разом	10	10	10	10	10	10	10	10	10	10	10	10	10	10	10	10	160	1,00
Критерії методичного фактору
Інструкції для користувачів ЕНК	1	3	1	2	2	1	1	1	1	2	1	2	1	1	1	3	24	0,150
Методичні матеріали для студентів з виконання основних видів завдань	3	2	4	3	4	3	3	3	3	4	3	3	4	4	3	2	51	0,319
Методичні рекомендації для викладача ЕНК	2	1	2	1	1	2	2	2	2	1	2	1	2	3	2	1	27	0,169
Зворотний зв'язок	4	4	3	4	3	4	4	4	4	3	4	4	3	2	4	4	58	0,363
Разом	10	10	10	10	10	10	10	10	10	10	10	10	10	10	10	10	160	1,00
Критерії змістового фактору
Тексти лекцій	13	11	13	10	2	14	13	14	14	14	5	10	13	12	13	8	179	0,107
Презентації до кожної теми	14	8	14	8	10	13	14	13	12	12	6	12	14	13	14	7	184	0,110
Мультимедійні матеріали	9	1	5	9	1	12	10	12	13	2	4	6	12	7	6	4	113	0,067
Термінологічний словник	11	13	10	6	12	11	9	10	4	3	9	7	10	11	8	10	144	0,086
Практичні завдання	12	5	12	14	13	10	12	11	9	13	14	14	11	10	12	12	184	0,110
Інтерактивні вправи	6	4	11	5	5	9	5	1	2	1	7	3	3	9	4	9	84	0,050
Завдання для самостійної роботи	7	6	6	7	8	5	6	6	6	4	11	4	6	5	7	11	105	0,063
Творчі завдання	5	9	7	11	6	6	7	7	5	5	10	5	7	6	9	2	107	0,064
Дослідницькі завдання	8	14	8	12	7	7	8	8	7	8	12	8	8	14	10	13	152	0,090
Проєктні роботи	10	10	9	13	11	8	11	9	8	9	13	13	9	8	11	14	166	0,099
Довідникові матеріали	4	2	1	4	3	4	4	5	3	7	8	11	5	4	5	1	71	0,042
Список основних і додаткових джерел	1	7	3	2	9	3	3	4	11	10	3	9	4	3	2	6	80	0,048
Додаткові навчальні матеріали	2	3	4	1	4	2	2	3	10	6	2	1	2	2	1	3	48	0,029
Глосарій	3	12	2	3	14	1	1	2	1	11	1	2	1	1	3	5	63	0,038
Разом	105	105	105	105	105	105	105	105	105	105	105	105	105	105	105	105	1680	1,00
Критерії результативно-оцінювального фактору
Поточний контроль	1	2	2	3	1	2	2	1	2	1	2	1	2	3	2	3	30	0,188
Завдання для самоперевірки	3	1	1	1	3	1	1	3	1	2	1	2	1	1	1	1	24	0,150
Модульний контроль	2	3	4	2	2	3	4	2	3	3	3	3	4	2	3	2	45	0,281
Підсумковий контроль	4	4	3	4	4	4	3	4	4	4	4	4	3	4	4	4	61	0,381
Разом	10	10	10	10	10	10	10	10	10	10	10	10	10	10	10	10	160	1,00

Відповідні вагові коефіцієнти Ki для факторів та kjm для критеріїв були розраховані в результаті ділення отриманої суми балів на максимально можливу кількість балів (у нашому випадку - відповідно 240, 160, 1680).

Отже, вагові коефіцієнти факторів за ступенем важливості отримали такі значення: результативно-оцінювальний фактор - K5 - 0,321, змістовий фактор - K4 - 0,217, нормативно-організаційний фактор - K2 - 0,192, методичний фактор - Кз - 0,179, техніко-технологічний фактор - Кі - 0,092.

Найбільшу вагу серед вагових коефіцієнтів критеріїв кожного з факторів мають: техніко-технологічний фактор - встановлення ЕНК на ПК та мобільні пристрої (кі.і -- 0,275), сумісність з різними OC (кі.2-- 0,254);

нормативно-організаційний фактор - нормативні документи (к2.і - 0,350), рецензії на ЕНК (к2.2 -- 0,331);

методичний фактор - зворотний зв'язок (кз.4 - 0,363), методичні матеріали для студентів з виконання основних видів завдань (кз.2- 0,319)Ј¬.

змістовий фактор - презентації до кожної теми (к4.2 -- 0,110), практичні завдання (к4.5 -- 0,110), тексти лекцій (к4.і -- 0,107);

результативно-оцінювальний фактор - підсумковий контроль (кз.4 -- 0,381), модульний контроль (кз.з -- 0,281).

Узгодженість експертних висновків при ранжуванні оцінюється за допомогою коефіцієнтів рангової кореляції, конкордації та варіації. Коефіцієнти рангової кореляції оцінюють узгодженість рейтингів двох експертів, коефіцієнти конкордації - загальну узгодженість рейтингів усіх експертів, коефіцієнти варіації - узгодженість думок усіх експертів про ранг одного об'єкта експертизи.

З метою підтвердження ступеня узгодженості думок експертів при оцінюванні показників якості ЕНК використаємо коефіцієнт конкордації W, який розраховується за формулою:

(4)

де S - сума квадратів відхилень суми рангів кожного варіанта від середньої суми рангів; m - число експертів; n - число показників (критеріїв) якості.

Чим ближче значення коефіцієнта конкордації W до 1, тим краща погодженість думокекспертів. Оцінюють значимість коефіцієнта конкордації за критерієм х2 («хі-квадрат» або критерій Пірсона), який розраховується за формулою:

(5)

де W - розрахункове значення коефіцієнта конкордації [30].

Розрахункове значення х2-критерію порівнюється з табличним значенням критерію Пірсона (табл. 3).

Таблиця 3 Значення критерію Пірсона

а	X 2 табл.
	1	2	3	4	5	6	7	8	9	10	11	12	13
0,1	2,7	4,6	6,3	7,8	9,2	10,6	12,0	13,4	14,7	16,0	17,3	18,5	19,8
0,05	3,8	6,0	7,8	9,5	11,1	12,6	14,1	15,5	16,9	18,3	19,7	21,0	22,4

Якщо х2 розр. > х2 табл., то коефіцієнт конкордації значимий.

За результатами опитування експертів щодо ранжування факторів і критеріїв якості ЕНК були визначені коефіцієнти конкордації, значення критерію Пірсона (табл. 4).

Таблиця 4 Показники узгодженості думок експертів

Фактор, критерії	Коефіцієнт конкордації	Коефіцієнт Пірсона х2
		розрахунковий	табличний (а =0,05)
Фактори, які враховуються під час оцінювання ЕНК	0,610	39,1	9,5
Критерії техніко-технологічного фактора	0,606	38,8	9,5
Критерії нормативно-організаційного фактора	0,664	31,9	7,8
Критерії методичного фактора	0,680	32,6	7,8
Критерії змістового фактора	0,508	105,6	22,4
Критерії результативно-оцінювального фактора	0,642	30,8	7,8

Тож робимо висновок, що судження експертів узгоджуються між собою за факторами, які враховуються під час оцінювання ЕНК, та всіма критеріями з ймовірністю в 95%.

Усі рейтингові оцінки факторів та критеріїв, виставлені експертами, враховуються ними під час оцінювання ЕНК і приймаються на рівні помітної узгодженості.

Дещо менший коефіцієнт конкордації (проте середнього рівня узгодженості), отриманий для критеріїв змістового фактора (0,508), свідчить або про відсутність спільної думки, або про наявність серед експертів окремих полярних груп, що характеризуються високою внутрішньою узгодженістю думок.

Перевірені на узгодженість експертні оцінки значно знижують рівень невизначеності при прийнятті рішень в умовах неповноти і навіть неточності інформації.

Для визначення кваліметри...