Цифрові бази даних для освіти і про освіту: досвід Данії

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Кафедра соціальних технологій

Житомирський державний університет імені Івана Франка

Цифрові бази даних для освіти і про освіту: досвід Данії

Надія Павлик

доктор педагогічних наук, доцент

Наталія Сейко

доктор педагогічних наук, професор

Світлана Ситняківська

доктор педагогічних наук, професор



АНОТАЦІЯ

У статті проаналізовано зміст та специфіку відкритих освітніх електронних баз даних Данії з метою адаптації наявного данського досвіду до процесу цифровізації освітньої сфери в Україні. Відзначено, що ці процеси охоплюють сферу державної політики цифровізації сфери освіти (організаційні, методичні, управлінські, моніторингові, акумулятивні механізми): менеджмент освіти (зберігання даних для відображення історії змін, моніторинг наявних сервісів та систем контролю якості освіти, накопичення статистичних даних та їх прогностичний аналіз), методичне забезпечення процесу формування цифрової компетентності суб'єктів освітнього процесу (побудова інформаційних профілів, розвиток цифрових дидактичних підсистем, зростання рівня конкурентоспроможності закладів освіти як провайдерів), наукову сферу (цифровізація відкритого наукового середовища, побудова простору академічної доброчесності, співпраця науковців і стейкхолдерів).

Проаналізовано спільні характеристики Національної електронної науково-інформаційної Системи URIS та данської освітньої бази даних MED. Побудовано модель візії бази даних MED (суб'єкти освітньої діяльності та зміст їхньої діяльності). Представлено структуру моніторингу якості освіти в Данії, покладену в основу відкритих електронних баз; вона передбачає оцінювання професійної діяльності педагогів, відповідність навчальних програм соціальному замовленню, результативність державних/регіональних видів атестації випускників, стандартизацію й уніфікацію системи оцінювання, обов'язковість регіонального аналізу статистичних даних. Відзначено, що значущим спонукальним чинником для створення бази MED стали виявлені проблеми й недоліки комп'ютерного тестування випускників шкіл у контексті оцінювання якості їх діяльності.

Сформульовано висновок про те, що відкрита електронна база дає можливість будувати статистично обґрунтовані кореляційні зв'язки між наявними соціальними характеристиками педагогів і учнів усіх рівнів і типів шкіл. Відзначено основні переваги створеної відкритої бази MED: відповідність світовим вимогам оцінки «доданої вартості вчителя», високочастотність збору даних, прогностичний характер висновків щодо формування освітньої політики держави.

Ключові слова: бази даних; цифрові бази даних; відкриті бази даних; бази освітніх даних; Matched Educational Data (Данія).



DIGITAL DATABASES FOR EDUCATION AND ABOUT EDUCATION: THE DANISH EXPERIENCE

Nadija Pavlyk

Doctor of pedagogical sciences, professor of the chair of social technologies Zhytomyr Ivan Franko State University, Zhytomyr, Ukraine

Nataliia Seiko

Doctor of pedagogical sciences, professor of the chair of social technologies Zhytomyr Ivan Franko State University, Zhytomyr, Ukraine

Svitlana Sytniakivska

Doctor of pedagogical sciences, professor of the chair of social technologies Zhytomyr Ivan Franko State University, Zhytomyr, Ukraine

ABSTRACT

The article analyzes the content and specifics of Denmark's open educational electronic databases with the aim of adapting the existing Danish experience to the processes of digitization of the educational sphere in Ukraine. It was noted that these processes cover the sphere of the state policy of digitization of the educational realm (organizational, methodical, management, monitoring, accumulative mechanisms), education management (data storage to reflect the history of changes, monitoring of existing services and education quality control systems, accumulation of statistical data and their prognostic analysis), methodical support of the process of forming the digital competence of the educational process' subjects (building information profiles, developing digital didactic subsystems, increasing the level of competitiveness of educational institutions as providers), the scientific sphere (digitalization of the open scientific environment, building a space of academic integrity, cooperation between scientists and stakeholders).

The common characteristics of the National Electronic Research and Information System URIS and the Danish educational database MED were analyzed. A vision model of the MED database (subjects of educational activity and the content of their activity) was built. The structure of monitoring the quality of education in Denmark, based on open electronic databases, is presented; it includes evaluation of the professional activity of teachers, compliance of educational programs with the social order, effectiveness of state/regional types of certification of graduates, standardization and unification of the evaluation system, mandatory regional analysis of statistical data. It was noted that the identified problems and shortcomings of computer testing of school graduates in the context of assessing the quality of their activities became a significant motivating factor for the creation of the MED database.

The conclusion was formulated that the open electronic database makes it possible to build statistically substantiated correlations between the existing social characteristics of teachers and students of all levels and types of schools. The main advantages of the created open MED database were noted: compliance with the global requirements for the assessment of the "added value of the teacher", high frequency of data collection, prognostic nature of conclusions regarding the formation of the state's educational policy.

Keywords: databases; digital databases; open databases; databases of educational data; Matched Educational Data (Denmark).



ВСТУП

Постановка проблеми. Домінування інформації в усіх сферах суспільного життя, цифровізація освітніх систем і процесів, розвиток інформаційного суспільства і долучення до нього все більшої кількості користувачів потребують систематизації й обробки накопичених даних, створення можливості для їх зберігання та використання для обґрунтування політичних, наукових, управлінських, освітніх, економічних рішень і процесів.

Цифровізація освітньої сфери, проголошена в Україні віднедавна, викликана не лише глобальними (загальні глобалізаційні процеси у світовому інформаційному просторі, загроза пандемій), але й суто локальними (інформаційні та освітні наслідки російської агресії, потреба в запровадженні різних форм організації освітнього процесу - від суто дистанційної до змішаної) чинниками. Інформаційно-технологічні компетентності введені в зміст освітніх програм закладів загальної середньої та вищої освіти; школи та університети створюють власні віртуальні продукти та ресурси, що мають на меті підвищення ефективності освітнього менеджменту.

Водночас варто констатувати, що зарубіжний досвід розробки та впровадження цифрових технологій у сферу вітчизняної освіти не завжди оцінюється вітчизняними експертами та розробниками реформ як потрібний та актуальний. Для того є як суб'єктивні (недостатній рівень організаційно-управлінської та інформаційно-технологічної мобільності значної частини суб'єктів освітнього простору), так і об'єктивні (суттєві відмінності в змісті організаційно-управлінських моделей в Україні та за кордоном) причини.

Аналіз останніх досліджень і публікацій щодо ролі інформаційних технологій і цифрових баз даних в освіті та науковій діяльності свідчить, що актуалізуються такі напрямки досліджень: створення і використання освітніх даних на основі технології блокчейн; забезпечення відкритості та доступності баз даних щодо освіти для всіх зацікавлених сторін (політиків, журналістів, науковців, освітян, управлінців); створення інструментів для обміну даними та інформацією між усіма суб'єктами освітньої галузі; академічна аналітика освітніх даних для можливості прийняття обґрунтованих політичних і управлінських рішень.

Зокрема сучасні дослідження приділяють увагу не лише цифровій трансформації освіти та її впливу на якість наукової і освітньої сфер, але й питанням забезпечення зв'язаного обміну даними та їх убезпечення від ризиків витоку даних. Пошук рішень для представлених проблем лежить у площині використання технології блокчейн - створенні баз даних, призначених лише для додавання інформації без можливостей її зміни та видалення, де кожний наступний запис даних криптографічно (через хешування) поєднаний з іншими. Відповідно користувачі можуть переглядати історію даних, але не можуть її змінити. Наприклад, у статті [1] обговорюються функції блокчейну в процесі інформатизації освіти та освітніх даних, пропонуючи на основі блокчейну обмін електронними даними в системі вищої освіти, об'єднуючи інформацію про післядипломну підготовку, навчальний менеджмент, освітній менеджмент та управління інформацією. Колективом авторів [2] на основі результатів опитування щодо особливостей використання блокчейну у дослідженнях й інформаційних системах, формульовано висновок, що саме застосування блокчейну за допомогою відкритих баз даних, загальнодоступних бібліотек і відкритих вихідних кодів допоможе повністю розкрити потенціал цієї технології, зокрема через полегшення перевірки та розвиток довіри, а також економію ресурсів (часових, фінансових і фізичних) у процесі управління базами даних.

У монографії «Радикальні рішення та аналітика навчання: персоналізоване навчання та викладання за допомогою великих даних» Ф. Й. Гарсіа-Пеналво розглядає проблему поєднання технічних і методологічних підходів до збору, обробки та використання освітніх даних для прийняття обґрунтованих рішень. Дослідник відзначає, що опосередкована інформаційними технологіями освітня практика потребує академічної аналітики, покращення процесів навчання та викладання з фокусом уваги на конфіденційність суб'єктів освітнього простору. Відповідно в монографії розглядаються еталонні моделі освітніх стратегій, здатних мультиплікувати значущі переваги застосування сучасних інформаційних технологій та протистояти потенційним ризикам, а також можливості їх використання всіма зацікавленими сторонами. Важливо зауважити, що аналітика освітніх процесів потребує рівної участі як автоматизованих систем зі збору, обробки та зберігання даних, так і дослідників, які зможуть на основі візуалізації обробних даних пропонувати рішення для освіти і суспільства [3]. Такі висновки корелюють з результатами іншого дослідження, присвяченого взаємозв'язку інституційного дизайну державних проєктів цифровізації та людського (лідерського) чинника, який і є визначальним на етапі реалізації проєкту (на прикладі Бельгії, Данії, Естонії, Німеччини та Великої Британії) [4].

Саме скандинавські країни, включно з Данією, визначаються як найбільш розвинені у сфері використання інформаційних технологій [5]. Вивчення цифрового досвіду Данії є важливим з огляду на те, що ця країна займає високе місце в розвитку інформаційного суспільства, коли держава сприяє поширенню інформаційних технологій у суспільстві добробуту; у міжнародних опитуваннях Данія оцінюється як найкраще підготовлена країна для вирішення викликів нового мережевого суспільства [6]. Дослідники зауважують, що якщо до 2000-х років зусилля уряду Данії були спрямовані на побудову ІТ-суспільства, то зараз фокус змінено саме на застосування створених інформаційних технологій для суспільних цілей та побудови політики. Цифровізація розглядається дослідниками як ефективний інструмент вирішення соціальних проблем, викликаних прискоренням технологічних і соціальних змін та темпу життя загалом. Демократичні рішення, будучи за своєю природою повільними, можуть прискорюватись за допомогою саме цифрових рішень. Зокрема досвід Данії доводить, що цифрове врядування забезпечує кращі та дешевші послуги і процеси [7].

На основі представлених даних можна сформулювати кілька дослідницьких об'єктів, яким на сьогодні присвячено мало уваги в працях вітчизняних науковців, а саме:

- інформаційно-технологічний ресурс моніторингу якості освіти в окремих європейських регіонах, придатний для вивчення з метою подальшого запозичення перспективного досвіду;

- соціальний контекст інформаційно-технологічного забезпечення сфери освіти (розширення прав і свобод, інклюзія освітнього простору та ін.), притаманний скандинавським країнам;

- науково-аналітичне забезпечення процесу впровадження сучасних інформаційно-комунікаційних технологій на різних освітніх рівнях з використанням досвіду зарубіжних країн.

Мета дослідження: презентація та аналіз досвіду Данії щодо створення й використання електронних баз освітніх даних (а саме, MED - Matched Educational Data) і актуалізація потреби для української науки у створенні відкритих об'єктивних освітніх баз даних для педагогічних і соціальних досліджень у сфері освіти.



ТЕОРЕТИЧНІ ОСНОВИ ДОСЛІДЖЕННЯ

Теоретичну основу дослідження складають наукові праці щодо застосування інформаційних технологій і цифрових баз даних, зокрема у сферах: менеджменту освіти, методичного забезпечення освітніх процесів, цифрової компетентності суб'єктів освітнього простору, наукової діяльності закладів вищої освіти (ЗВО). Усі означені сфери досліджень актуалізуються, з одного боку, освітньою та інформаційною політикою України, але, з іншого боку, визначають ефективність політики у сфері освіти і науки. Охарактеризуємо більш детально визначені сфери наукових пошуків у контексті проблеми нашого дослідження.

Сфера менеджменту освіти. Зміна значення та вимог до інформаційних технологій в освіті зумовлена четвертою промисловою революцією (Industry 4.0), яка визначила нові запити щодо цифрової компетентності фахівців усіх сфер, які можуть бути сформовані саме в системі освіти. Освіта версії 4.0 потребує впровадження таких центральних елементів: нових форматів навчання (е-навчання, змішане навчання), освіти впродовж життя, індивідуальних освітніх програм, доступу до освітнього контенту з будь-якого місця в будь-який час, міждисциплінарністості, зв'язоку вмінь і компетентностей з життям, менторської функції педагогів, індивідуалізованої оцінки досягнень, доступу до нових ресурсів інформації та знань [8]. Доступ до нових ресурсів інформації можуть забезпечити відкриті бази даних, побудовані на засадах захищеного обміну всіма даними, що дозволяє багатьом людям одночасно працювати з тими самими документами. Результати високої кореляції між цифровим розвитком країн та рівнем освіти людей представлені в роботі [9], у якій учені на підставі аналізу 105 країн емпірично доводять значущість такої кореляції.

М. М. Косіюк, К. Е. Більовський, і В. М. Лисак, афілійовані Хмельницьким національним університетом, предметом свого дослідження обрали розробку і впровадження інформаційних систем управління діяльністю ЗВО; учені аргументують важливу роль цифровізації освітніх процесів у побудові ефективного сучасного менеджменту, а також звертають увагу на принципи побудови ефективної структури бази даних. Автори обґрунтовують необхідність зберігання даних для відображення історії змін: отримання зрізу даних для визначення стану інформаційного об'єкту, проведення розрахунків у базі даних з метою моніторингу розвитку процесів, можливість збору статистики в певних інтервалах і часових проміжках [10]. У роботі аргументується відповідність освітніх інформаційних систем базовій вимозі відкритості, що дозволить забезпечити довготривалість їх функціональності з урахуванням нових технологій і даних, які наразі не розроблені. На думку авторів, для цього важливо передбачати існування стандартизованих інтерфейсів для обміну даними з можливістю їх взаємоінтеграції.

Колектив авторів Херсонського державного університету [11] формулює висновок про потребу ЗВО у спеціальних сервісах і системах, здатних акумулювати та надавати доступ до показників наукової і освітньої діяльності ЗВО, що дозволить автоматизувати процеси управління та забезпечити їх відкритість і прозорість.

На нашу думку, основними перевагами використання цифрових баз даних і інформаційних технологій роботи з ними, з огляду на цілі менеджменту освіти, є: моніторинг змін, збір результатів та оцінка ефективності / результативності, оцінка стану освітніх процесів і систем, накопичення об'єктивних статистичних даних, забезпечення стійкості освітніх систем і процесів, оптимізація управлінської праці, автоматизація складних і трудомістких завдань, забезпечення прозорості результатів діяльності закладів освіти.

Методичне забезпечення освітніх процесів для формування цифрової компетентності суб'єктів освітнього простору

Команда науковців Університету Додоми (Танзанія) [12] проаналізувала алгоритми інтелектуального аналізу даних для прогнозування успішності студентів-педагогів за допомогою систематичного огляду літератури та сформувала список найчастіше використовуваних алгоритмів (Наївний Байєс, Метод К-найближчого сусіда, Машина опорних векторів, Випадковий ліс і Дерево рішень).

Т. О. Олійник [13] розглядає соціальний вимір відкритої освіти, зумовлений необхідністю спільних дій на основі єдиної політики створення, обробки та збереження цифрових бейджів (даних про освіту) протягом усього життя.

Водночас колектив авторів (K. Горська, O. Буров і O. Орлюк) зауважує, що нездатність ЗВО ефективно використовувати інформаційні технології знижує їх конкурентоздатність і лідерські позиції на ринку освітніх послуг. У роботі зазначається, що саме інтеграція даних ЗВО у єдину міждисциплінарну систему дозволить оптимізувати обмежені ресурси, підвищити адаптивність і конкурентоспроможність ЗВО як провайдерів освіти в інформаційному суспільстві [14]. У статті [15] підкреслюється нерівність закладів освіти щодо використання інформаційних технологій, що може опосередковано визначатися як рівнем компетентності суб'єктів освітнього простору, так і відсутністю загальнодержавного механізму обміну даними, як описано нами у досвіді Данії щодо цифровізації освіти.

Отже, формування відкритих баз даних щодо діяльності закладів освіти дозволяє впливати на такі освітні показники їх діяльності, як: прогнозування успішності здобувачів освіти залежно від галузі знань і навчальних дисциплін; створення, зберігання та використання цифрових профілів (портфоліо, бейджів) суб'єктів освітнього простору; зміна змісту освіти в умовах інформаційного суспільства; оптимізація ресурсів та зростання конкурентоспроможності закладів освіти; сприяння розвитку педагогічної творчості і цифрової компетентності педагогічних працівників; врахування інтересів та потреб здобувачів освіти; подолання нерівності закладів освіти залежно від типу населеного пункту, регіону тощо.

Наукова діяльність. Роль інформаційних технологій у пошуку та використанні значущих наукових даних дозволяє розширювати можливості дослідницької діяльності, розвивати професійні та м'які навички науковців, полегшувати пошук підходів до проведення досліджень, як емпірично доведено у статті [16].

У публікації М.Г.А. де Састро і Ф.Й. Гарсіа-Пеналво [17] представлено потреби збору, відкритого доступу та застосування електронних баз даних успішних проєктів з дослідницькими цілями; на прикладі Erasmus+ авторами презентовано використання каталогізованої бази даних практик і проєктів (Projects Results Platform), пов'язаних з електронним навчанням, що дозволяє забезпечити легкий доступ незалежно від місця перебування, часу або типу пристрою.

Авторки концепції «Відкрита наука» І. І. Драч, С. Г. Литвинова і О. М. Слободянюк зауважують, що актуальним шляхом розвитку наукової роботи може бути поліпшення обміну інформацією, передача інформації та доступ до наукових фактів, реалізовані за допомогою відкритого доступу до відкритих даних, управління та поширення дослідницькими даними [18]. Базуючись на вивченні досвіду провідних європейських університетів, дослідниці виділили чинники переходу до відкритої науки: наявність відповідної національної політики, дотримання принципів відкритої науки у фінансуванні досліджень, запозичення досвіду інституалізації відкритої науки в європейських університетах. Ґрунтуючись на результатах аналізу документів Європейської комісії, науковиці визначають, що «Відкритість науки дозволяє забезпечити створення середовища для взаємодії громадянського суспільства та університетів» [18, с. 174], що, своєю чергою, допомагає досягти таких прямих переваг:

- зменшення витрат на створення, передачу та використання даних;

- уникнення дублювання даних;

- підвищення прозорості та достовірності висновків дослідження;

- прискорення передачі знань;

- створення умов для швидкого переходу від досліджень до інновацій;

- координація дослідницьких дій і побудова наукового партнерства;

- залучення стейкхолдерів до досліджень і збору даних.

Відкрита наука як передумова ефективного використання інформаційно-комунікаційних технологій представлена в дослідженні [19]. Автори виокремлюють різницю у великих даних (набори даних, які щодня накопичуються в організаціях), SMART (або розумних) даних (які характеризують цільову аудиторію в сегментованому вигляді) та FAIR (або прозорих) даних (відкриті, доступні, сумісні та здатні до повторного використання). Також презентовано структуру залучення дослідників до відкритої науки, що охоплює: суб'єктів (хто - уряд, спонсори, роботодавці, фахівці з підтримки, дослідницька спільнота, промислові партнери), зміст залучення (що - узгодження політики, лідерство, забезпечення ресурсами, компетентності та навчання) і засоби (як - інфраструктура підтримування, технічна інфраструктура, кар'єрні переваги, визнання та винагороди).

У підсумку можна зазначити, що роль інформаційних технологій для розвитку наукової діяльності визначається через: зростання актуальності тем досліджень, підвищення обсягів фінансування наукової роботи та зниження витрат на збір і аналіз даних; зростання практичної орієнтованості досліджень через вплив усіх стейкхолдерів; зростання прозорості, достовірності та валідності наукових праць; розвиток відкритої науки.

Державна політика України щодо цифровізації даних і доступу до них

Розвиток інформаційно-комунікаційних технологій зумовив значущі зміни у формуванні нових підходів створення, зберігання та використання баз даних, зокрема в освіті та освітніх дослідженнях. Сайт Міністерства освіти і науки України [20] пропонує різні напрямки цифрових трансформацій у сфері освіти і науки, які умовно об'єднані нами у декілька великих груп залежно від цілей їх створення та функціонування:

- організаційні - цифрові засоби для організації навчання закладів освіти (Державний е-журнал для ЗЗСО, Міжвідомча платформа для вступу іноземців, Цифрові платформи неформальної освіти);

- методично-змістові - електронні засоби для реалізації змісту освіти на різних рівнях (Всеукраїнська Школа Онлайн, застосунок «Мрія», Цифрові платформи неформальної освіти);

- управлінські - дистанційні інструменти для обліку здобувачів освіти та забезпечення документообігу (е-Позашкілля, Е-звітність, Е-діловодство, е- ліцензування, Замовлення документів про освіту, Додатки європейського зразка до документів про вищу освіту, Система управління для професійної освіти EMIS);

- моніторингові - онлайн-інструменти оцінювання ефективності освітньої діяльності та перевірки рівня компетентностей здобувачів освіти (SELFIE, Вступні кампанії для здобуття фахової передвищої та вищої освіти, а також професійної (професійно-технічної) освіти, Мультипредметний тест для здобуття ступенів молодшого бакалавра і бакалавра, Моніторинг працевлаштування випускників);

- акумулятивні - електронні бази даних сфери освіти (ЄДЕБО як Єдина Державна Електронна База з питань Освіти), Взаємообмін даними ЄДЕБО із зовнішніми системами НАЗЯВО і ДМС, Підключення сторонніх освітніх інформаційних систем до ПАК “АІКОМ”, Довузівська підготовка іноземців, Національна електронна науково-інформаційна система URIS).

В Україні найбільш близькою, згідно з декларованими завданнями, до описаної данської системи збору та використання освітніх даних з метою наукового обґрунтування підвищення ефективності освітніх процесів, є Національна електронна науково-інформаційна система URIS. URIS розробляється Державною науково- технічною бібліотекою України з метою фасилітації наукових досліджень й забезпечення відкритості наукових даних. Можливості застосування URIS обмежуються низкою об'єктивних чинників, найсуттєвішим з яких є відсутність забезпечення вимоги достовірності представлених у базі даних (внаслідок нестачі відцифрування та відсутності контролю за внесеними даними).



РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ

31 січня 2023 року Копенгагенська бізнес-школа у співпраці зі Статистичним управлінням Данії (Statistics Denmark - центральний національний орган офіційної статистики Данії, місія якого полягає у зборі, компіляції та публікації надійних статистичних даних про данське суспільство і для нього, відкритий для ЗМІ, підприємств, органів влади та дослідників) презентували “Matched Educational Data” (MED) - електронну базу освітніх даних для соціальних досліджень. Метою розробки MED визначено створення реєстру, здатного об'єднати дані про навчальну траєкторію учня, професійну активність учителя та діяльність навчальної групи (класу) з початкової до вищої школи. Місія бази: мати матеріали для глибшого розуміння факторів впливу на процес і результати навчання учнів для розробки науково обґрунтованої освітньої політики (див. рис.1).

Рис. 1. Модель візії бази даних MED (A.S. Nielsen and J. Bjerre [21])

освітній електронний цифровізація

Цінності, на яких побудована діяльність Статистичного управління Данії (надійність, прозорість і орієнтація на споживача), визначають стратегію розвитку в трьох основних напрямках: 1) статистика (додана релевантність для охоплення нових сфер, побудови ранніх індикаторів і використання сучасних каналів інформації; відповідність якості статистичних даних вищим міжнародним стандартам); 2) дані (створення єдиної загальної точки доступу до даних для дослідників, аналітиків і органів влади; оновлення джерел даних і їх узгодження з попередніми для отримання соціально важливих знань; гарантія безпеки даних); 3) організація (ініціація та розвиток партнерства з усіма зацікавленими сторонами; застосування нових технологій для підвищення ефективності) [22].

Згідно зі звітом Організації економічного співробітництва та розвитку (OECD, 2011) [23] Данія є країною, яка визначила пріоритетним напрямок оцінки якості обов'язкової освіти і з цією метою налагодила державний моніторинг якості освіти, що передбачає: оцінювання роботи вчителів і їх професійного (та кар'єрного) розвитку; оцінку відповідності навчальних програм і курсів національним стандартам; оцінювання результативності випускних іспитів відповідно до очікуваних компетентностей випускників 9 класів; врахування поглядів усіх зацікавлених сторін та учасників освітнього простору; стандартизацію та уніфікацію системи оцінювання, створення відповідних інструкцій, включно з підготовкою вчителів до реалізації оцінювання за допомогою консультантів з оцінювання; складання індивідуальних планів учнів для документування їх прогресу в навчанні та як основи для спілкування вчителів з батьками учнів; покладання на муніципалітети, які відповідальні за якість освіти, обов'язків аналізу статистичних даних щодо результатів освіти з метою вдосконалення системи.

У Данії поширена децентралізована система оцінювання якості освіти, Міністерство освіти Данії несе відповідальність лише за нормативно-правове забезпечення системи освіти та визначення загальних цілей і пріоритетів освітньої діяльності. Натомість, на муніципалітети Данії покладено відповідальність за якість освіти державних шкіл (приватні школи регулюються вимогами обраних батьками рад) та контролем з боку Міністерства освіти. Оприлюднення узагальнених даних щодо якості освіти у державних закладах освіти включає поширення даних про: щорічні звіти якості освіти, щорічну публікацію національного профілю успішності за результатами державних іспитів (9 клас) і визначається Законом про прозорість 2002 року. З цією метою у Данії з 2011 року функціонують національні органи моніторингу якості освіти: Агентство з якості та нагляду, шкільні ради, Данський інститут оцінювання.

Водночас проведене OECD дослідження засвідчило, що оцінювання та поширення відповідних результатів комп'ютерного тестування у дев'ятому (випускному) класі школи є недостатнім для вивчення ефективності діяльності як окремих шкіл, так і окремих учителів і учнів. Звіти шкіл про якість освіти будувались на централізовано визначених індикаторах, що унеможливлювало врахування якості викладання та формування лідерства конкретних учнів, а також врахування прогресу окремих учнів з певних навчальних предметів. Важливо, що представлена система оцінювання, моніторингу та звітування розглядається з точки зору статистично обґрунтованої бази для подальшого покращення якості освіти, а не як засіб покарання [23].

Відповідно до визначених вище досягнень та труднощів, Статистичне управління Данії розпочало роботу над створенням електронної бази «Matched Educational Data» (MED), яка накопичує дані, які пов'язують між собою як профілі вчителів, індивідуальні плани та результати навчання учнів, так і загалом діяльність закладів освіти (як державних, так і приватних шкіл). Особливістю визначених даних є можливість відслідкувати взаємозв'язок між, наприклад, діяльністю вчителя, кількістю та складом учнів у класі та успішністю окремого учня. Тобто дослідницька робота в такому випадку будується не на узагальнених характеристиках груп, а на індивідуальному рівні вивчення процесу навчання кожного окремого учня. MED створена, щоб об'єднати дані конкретних учнів з вчителями та організаційною і освітньою діяльністю школи; такі великі дані надають можливості для пошуку відмінностей у результатах освітньої діяльності різних шкіл і різних учителів. Для прикладу, у своєму дослідженні А. С. Нільсен і Дж. Бьерр за допомогою MED демонструють, що відмінності між школами пояснюють до 70% оцінок учнів, натомість соціально-економічні характеристики учнів визначають лише 25% кореляції з результатами навчання [24],[25]. Електронна база дозволяє дослідникам, освітянам, політикам та іншим зацікавленим особам будувати статистично обґрунтовані кореляційні зв'язки між наявними соціальними характеристиками педагогів і учнів усіх рівнів і типів шкіл, даючи відповіді, наприклад, на питання:

- З якою кількістю учнів у класі, враховуючи економічну вигоду, можна досягти об'єктивно високих результатів успішності?

- Як соціальний бекграунд і професійні (зокрема кар'єрні) характеристики вчителів впливають на їх взаємодію з учнями?

- За допомогою якої навчальної діяльності вчитель може підвищити результати академічної успішності учнів та на скільки одиниць?

- Як діяльність школи (або вчителя, або позашкільна робота) впливає на формування м'яких навичок учнів?

Відповіді на такі питання дозволяють будувати освітню політику, освітні стратегії, управлінські впливи та загалом визначати напрямки вдосконалення освітньої діяльності. Ці відповіді лежать у площині дослідницької роботи з великими даними, що уможливлюється створенням електронної бази MED. Електронна база MED була започаткована Статистичним управлінням Данії у 2019 році за фінансової підтримки DRDS group (Данські Дослідницькі Дані для Соціальних Наук - Danish Research Data for the Social Sciences).

Наукові співробітники статистичного управління Данії А. С. Нільсен і Дж. Бьерр у 2022 році представили можливості та методи MED на конференції Nord Statistical Meeting [24]. Унікальність електронної бази MED визначається її можливостями створювати, визначати та математично обґрунтовувати кореляційні зв'язки щодо впливу вчителів, однолітків (на індивідуальному та груповому рівнях), батьків, соціального статусу, стану здоров'я тощо на освітні процеси та їх результативність. Відповідно електронна база MED накопичує адміністративні шкільні дані, охоплюючи всі навчальні предмети та позашкільну (виховну) діяльність школи, діяльність закладів неформальної освіти, починаючи з 2020 року. Окрім того, база має доступ до попередньо накопичених реєстрів - Реєстр учнів початкової школи Данії та дані Міністерства дітей і освіти Данії. Задля досягнення означених можливостей наукового аналізу Статистичне управління Данії у травні 2022 запустило роботу обчислювальної змінної на основі складу учнів у класах - Class-ID (або Ідентифікатор класу), яка об'єднує дані в часі (за роками навчання в школі) та просторі (освітнє середовище та педагогічна діяльність школи). Окрім того, база MED використовує дані порталу Aula (започатковано у 2014 році як цифровий інструмент співпраці та комунікації шкіл, учнів і батьків; дані оновлюються закладами освіти кілька разів протягом дня), у якому акумулюються дані про індивідуальні освітні дії, діяльність учителів і діяльність навчальних груп, однак не міститься інформація про особу учня. Для забезпечення індивідуального підходу в роботі електронної бази з інформацією про особу учня Міністерство освіти розробило цифровий інструмент ідентифікації особи UNI-login, який використовується для сервісів у сфері освіти. UNIlogin надає можливість доступу до цифрових засобів навчання в Данії.

У міжнародних наукових публікаціях вже демонструються можливості електронної бази MED для обґрунтування певних освітніх прогалин. Наприклад, у статті [26] за допомогою аналізу великих чисел і статистичних даних доводиться, що зміна вчителів з навчальної дисципліни більше 2 разів на 3 роки має негативний лінійний зв'язок з випускною оцінкою учнів з цієї дисципліни (максимально низькі показники випускних іспитів мають учні, в класах яких учитель-предметник змінювався більше 4х разів за 3 роки); зміна кількості вчителів обраховувалась за допомогою автоматизованого порівняння результативності учнів з певних предметів протягом їх навчання з трьох навчальних дисциплін - математики (найбільший вплив), англійської мови (середній вплив), данської мови (найменший вплив).

Під час публічної презентації MED усім потенційно зацікавленим сторонам (дослідникам, педагогам, освітнім менеджерам та іншим) у січні 2023 року Є. Кюль (J. Kuhl) [27] показав інший приклад використання електронної бази даних, який дозволяє данській системі освіти відповідати світовим вимогам для оцінки «доданої вартості вчителя» (teacher value-added), що відповідає сучасним світовим тенденціям та визначається як внесок окремого вчителя в навчання учнів (у відношенні до середнього рівня продуктивності вчителів). Показник доданої вартості вчителя вимірюється результатами навчальної успішності учнів з данської мови та математики у випускному класі середньої школи і визначається всіма можливими засобами впливу на навчання учнів, як-от: професійні знання, комунікативні вміння, управління класом, поліпшення стосунків у класі, соціальні компетентності та м'які навички учнів [24]. Оцінка доданої вартості вчителя в Данії стала можливою за допомогою розробки та впровадження бази даних MED. Для її підрахунку база ігнорує ряд суттєвих факторів, що впливають на успішність навчальної діяльності учня, а саме: соціальні характеристики учня (стать, вік, вага при народженні, особливості здоров'я), соціальні характеристики сім'ї (освіта батьків, сімейний дохід, сфери зайнятості тощо), тестові бали з інших предметів (бо можливою є віддалена кореляція з вродженими здібностями учня), навчальні характеристики однокласників учня (як-от середні бали успішності у класі). Відповідно додана вартість учителя обраховується як похідна від непояснених іншими факторами тестових балів усіх учнів класів, у яких він викладає; вона порівнюється із результатами «середнього» учителя за цією навчальною дисципліною. За допомогою бази MED було статистично доведено, що вчитель з високим рівнем доданої вартості здатний підвищити рівень навчальної успішності учнів на 0,6-0,8 балів (у порівнянні з учителем з низьким рівнем доданої вартості). Таке зростання випускного балу з предмету перевищує вплив інших статистично обґрунтованих фактів (наприклад, кількість учнів у навчальній групі або більша кількість годин на вивчення навчальної дисципліни). Тож згідно з дослідженням Є. Кюля за допомогою MED [27] учитель з високим рівнем доданої вартості збільшує ймовірність вступу до наступного освітнього рівня на 0,4 бали; збільшує ймовірність учня завершити навчання на наявному освітньому рівні на 0,8 балів. Отже, описане дослідження за допомогою електронних баз даних дозволяє обґрунтувати цінність особистості та професіоналізму вчителів, зокрема, у наданні якісних освітніх послуг у початковій і середній школі, що з високою ймовірністю визначає успішність як подальшої освіти, так і майбутнього працевлаштування і продуктивності життя учнів.

Варто зазначити, що створення бази даних MED є високовартісним науковим проєктом, оскільки передбачає високочастотний процес збору даних та їх структуризацію в реляційній базі даних (у порівнянні з використанням узагальнених даних). Водночас очікувані результати від реалізації програми передбачають отримання ще більш цінних результатів, які дозволять оптимізувати процеси державного управління освітою, управління на рівні навчального закладу та стратегічно важливий напрям забезпечення якості освіти як індикатора подальшого залучення людини до активної частини соціальної політики країни.

Також серед основних труднощів при роботі з базою розробники відзначають наявність розбіжностей між «звичайними» (загальні державні школи) та «спеціальними» (класи для дітей, які потребують створення спеціальних умов для навчання, розвитку та благополуччя) класами [28].

Детальні інструкції щодо користування даними освітньої системи Данії подано у посібниках [28] і [29].



ВИСНОВКИ ТА ПЕРСПЕКТИВИ ПОДАЛЬШИХ ДОСЛІДЖЕНЬ

Описаний досвід Данії демонструє, що відкриті електронні освітні бази даних стають підґрунтям формування освітньої політики, освітнього менеджменту та наукових досліджень у сучасному постмодерному суспільстві. Вивчення індивідуальної освітньої траєкторії кожної людини в данській системі освіти стає можливим завдяки MED із врахуванням впливів як окремих особистостей, груп, навчальних предметів, освітніх заходів, діяльності закладів освіти, так і соціальних характеристик особи (стан здоров'я, місце проживання, склад сім'ї тощо). Тобто електронна база даних MED дозволяє оцінювати ефективність впливу великої кількості зовнішніх факторів на результати навчальної діяльності здобувачів освіти.

Представлений досвід створення відкритої бази великих даних є першим у світі; користування базою дозволено всім зацікавленим особам за умови офіційного звернення до Статичного управління Данії та наявності достатньо потужного комп'ютера для можливості роботи з великими даними (лише у 2020-2021 навчальному році за допомогою адміністративних систем початкових шкіл було згенеровано більше 80 мільйонів заходів).

Створення освітніх баз даних з відкритим доступом для науковців (наприклад, за поданням університетів і наукових організацій) в Україні дозволить забезпечити:

- зростання інтересу, та, відповідно, компетентності науковців у роботі з базами даних, аналізом даних і з «великими даними»;

- можливість аналізувати причинно-наслідкові зв'язки щодо впливу освітніх реформ, освітнього менеджменту, політичних рішень у сфері освіти та якості освітніх процесів;

- валідність, надійність і обґрунтованість, а також можливість відтворення та перевірки результатів педагогічних і соціальних досліджень у сфері освіти;

- прогнозування успішності здобувачів освіти при вивченні ними окремих дисциплін або в певних галузях знань;

- опосередковане підвищення якості освітніх досліджень, що зробить їх більш цікавими для зарубіжних журналів.



СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ

[1] L. Wei, J. Wu, and Ch. Long, “Facilitating Development of Higher Education Informatization Using Blockchain Technology”, in ICBCT'22: 4th Int. Conf. on Blockchain Technology, 2022, pp. 131-136, doi: 10.1145/3532640.3532658.

[2] D. Berdik, S. Otoum, N. Schmidt, D. Porter, and Y. Jararweh, “A Survey on Blockchain for Information Systems Management and Security”, IPM, vol. 58, no. 1, Jan. 2021, Art. no. 102397. doi: 10.1016/j.ipm.2020.102397.

[3] F. J. Garcia-Penalvo, “Learning Analytics as a Breakthrough in Educational Improvement,” in Radical Solutions and Learning Analytics: Personalised Learning and Teaching Through Big Data, D. Burgos, Ed., Singapore: Springer Singapore, 2020, pp. 1-15. doi: 10.1007/978- 981-15-4526-9_1.

[4] J. Breaugh, M. Rackwitz, and G. Hammerschmid, “Leadership and institutional design in collaborative government digitalisation: Evidence from Belgium, Denmark, Estonia, Germany, and the UK”, GIQ, vol. 40, no. 2, Apr. 2023, Art. no. 101788. doi: 10.1016/j.giq.2022.101788.

[5] A. Henten and T. M. Kristensen, “Information society visions in the Nordic countries”, TI, vol. 17, no. 12, Feb.-May. 2000, pp. 77-103. doi: 10.1016/S0736-5853(99)00028-3.

[6] M. Falch and A. Henten, “Digital Denmark: from information society to network society”, TP, vol. 24, no. 5, Jun. 2000, pp. 377-394. doi: 10.1016/S0308-5961(00)00028-8.

[7] K. van Kersbergen and B. Vis, “Digitalization as a policy response to social acceleration: Comparing democratic problem solving in Denmark and the Netherlands”, GIQ, vol. 39, no. 3, Jul. 2022, Art. no. 101707. doi: 10.1016/j.giq.2022.101707.

[8] [8] T. Goldin, E. Rauch, C. Pacher, and M. Woschank, “Reference Architecture for an Integrated and Synergetic Use of Digital Tools in Education 4.0”, PCS, vol. 200, 2022, pp. 407-417. doi: 10.1016/j.procs.2022.01.239.

[9] F. Cruz-Jesus, T. Oliveira, and F. Bacao, “Exploring the Pattern between Education Attendance and Digital Development of Countries”, PT, vol. 16, 2014, pp. 452-458. doi: 10.1016/j.protcy.2014.10.112.

[10] М. М. Косіюк, К. Е. Більовський, та В. М. Лисак, “Автоматизована інформаційна система управління закладом вищої освіти `Електронний університет'”, ІТЗН, вип. 93, вип. 1, са 96-116, Лют. 2023. doi: 10.33407/itlt.v93i1.5107.

[11] О. Співаковський, M. Вінник, M. Полторацький, Ю. Тарасіч, та С. Омельчук, “Інформаційні технології для вимірювання якісних і кількісних показників роботи закладу вищої освіти”, ІТЗН, вип. 89, вип. 3, са 190-208, Чер. 2022. doi: 10.33407/itlt.v89i3.4895.

[12] J. H. Shindo, M. M. Mjahidi, and M. D. Waziri, “Data mining algorithms for prediction of student teachers' performance in ICT: a systematic literature review”, ІТЗН, vol. 96, no. 4, pp. 29-45, Sep. 2023. doi: 10.33407/itlt.v96i4.5246.

[13] Т. О. Олійник, “Особливості реалізації моделей відкритої освіти майбутніх педагогів суспільно- гуманітарного профілю”, ІТЗН, вип. 87, вип. 1, ca 236-254, Бер. 2022. doi: 10.33407/itlt.v87i1.4171.

[14] K. Горська, O. Буров, та O. Орлюк, “Вплив медіатехнологій на цифровий освітній контент у медіасекторі”, ІТЗН, вип. 91, вип. 5, с. 84-97, Жов. 2022. doi: 10.33407/itlt.v91i5.5047.

[15] Н. В. Мосьпан, В. O. Огнев'юк, та С. О. Сисоєва, “Надзвичайна цифрова трансформація вищої освіти: відповідь України на пандемію COVID-19”, ІТЗН, вип. 89, вип. 3, ca 90-104, Чер. 2022. doi: 10.33407/itlt.v89i3.4827.

[16] I. ОЬтук, Y. Bidzilya, Y. Solomin, H. Shapovalova, and H. Hetsko, “The Role of Digital Technologies in Building Research Competencies of Future Doctors of Philosophy”, JECS, vol. 14, no. 2, pp. 268-284, Sep. 2023. doi: 10.15503/jecs2023.2.268.284.

[17] M. G. A. de Castro and F. J. Garcia-Penalvo, “Successful Erasmus+Projects: Some Case Studies”, in LCT 2022: 9th Int. Conf., HCII2022: 24th HCI Int. Conf., 2022, Proceedings, Part I, pp.391-405, Jun. 2022. doi: 10.1007/978-3-031-05657-4_28.

[18] І. І. Драч, С. Г. Литвинова, та О. М. Слободянюк, “Досвід реалізації інституційних політик відкритої науки в європейських університетах”, ІТЗН, вип. 90, вип. 4, са 173-190, Вер. 2022. doi: 10.33407/itlt.v90i4.4945.

[19] М. В. Мар'єнко, М. П. Шишкіна, та О. А. Коновал, “Методологічні засади формування хмаро орієнтованих систем відкритої науки у закладах вищої педагогічної освіти”, ІТЗН, вип. 89, вип. 3, са 209-232, Чер. 2022. doi: 10.33407/itlt.v89i3.4981.

[20] “Цифрова трансформація освіти і науки”, Міністерство освіти у науки України. [Електронний ресурс]. Доступно: https://mon.gov.ua/ua/tag/cifrova-transformaciya-osviti-ta-nauki.

[21] A. S. Nielsen and J. Bjerre, “Matched Educational Data (MED)”, in Public presentation of the database by Copenhagen Business School. Statistics Copenhagen. Denmark, Jan. 2023.

[22] Statistics Denmark, Strategy 2025. [Електронний ресурс]. Доступно: https://www.dst.dk/en/Statistik/nyheder-analyser-publ/Publikationer/VisPub?cid=47814.

[23] C. Shewbridge, E. Jang, P. Matthews, and P. Santiago, “OECD Reviews of Evaluation and Assessment in

Education. Denmark”, OECD, May. 2011. [Електронний ресурс]. Доступно: https://web-

archive.oecd.org/2012-06-14/96713-47696663.pdf.

[24] A. S. Nielsen and J. Bjerre, “Matched Educational Data: Methods for matching and analysis”, in Nord Statistical Meeting (NSM), 2022.

[25] Socio0konomisk reference for grundskolekarakterer. Oct. 2022. [Електронний ресурс]. Доступно: https://uvm.dk/statistik/grundskolen/karakterer-og-test/sociooekonomisk-reference-for- grundskolekarakterer.

[26] A. S. Nielsen, “Flere timer med uddannede larere i folkeskolen”, 2021. [Електронний ресурс]. Доступно: www.dst.dk/da/Statistik/nyheder-analyser-publ/nyt/NytHtml?cid=46850.

[27] J. Kuhl, “Teacher value-added in Danish middle schools'”, Secretariat of the Danish Economic Councils. 2023.

[28] Kobling af larere og fag fra kompetencedata med elever i grundskoleregistret. Danmarks Statistik.

[[Електронний ресурс]. Доступно:

https://www.dst.dk/Site/Dst/SingleFiles/GetArchiveFile.aspx?fi=4918088056&fo=0&ext=uddannelse

[29] E. L. Hansen, Vejledning: Brug af Larer/elevregistret, Danmarks Statistik, 2022. [Електронний ресурс]. Доступно:

https://www.dst.dk/Site/Dst/SingleFiles/GetArchiveFile.aspx?fi=46793106127&fo=0&ext=uddannelse.



REFERENCES (TRANSLATED AND TRANSLITERATED)

[1] L. Wei, J. Wu, and Ch. Long, “Facilitating Development of Higher Education Informatization Using Blockchain Technology”, in ICBCT'22: 4th Int. Conf. on Blockchain Technology, 2022, pp. 131-136, doi: 10.1145/3532640.3532658. (in English).

[2] D. Berdik, S. Otoum, N. Schmidt, D. Porter, and Y. Jararweh, “A Survey on Blockchain for Information Systems Management and Security”, IPM, vol. 58, no. 1, Jan. 2021, Art. no. 102397. doi: 10.1016/j.ipm.2020.102397. (in English).

[3] F. J. Garcia-Penalvo, “Learning Analytics as a Breakthrough in Educational Improvement,” in Radical Solutions and Learning Analytics: Personalised Learning and Teaching Through Big Data, D. Burgos, Ed., Singapore: Springer Singapore, 2020, pp. 1-15. doi: 10.1007/978- 981-15-4526-9_1. (in English).

[4] J. Breaugh, M. Rackwitz, and G. Hammerschmid, “Leadership and institutional design in collaborative government digitalisation: Evidence from Belgium, Denmark, Estonia, Germany, and the UK”, GIQ, vol. 40, no. 2, Apr. 2023, Art. no. 101788. doi: 10.1016/j.giq.2022.101788. (in English).

[5] A. Henten and T. M. Kristensen, “Information society visions in the Nordic countries”, TI, vol. 17, no. 12, Feb.-May. 2000, pp. 77-103. doi: 10.1016/S0736-5853(99)00028-3. (in English).

[6] M. Falch and A. Henten, “Digital Denmark: from information society to network society”, TP, vol. 24, no. 5, Jun. 2000, pp. 377-394. doi: 10.1016/S0308-5961(00)00028-8. (in English).

[7] K. van Kersbergen and B. Vis, “Digitalization as a policy response to social acceleration: Comparing democratic problem solving in Denmark and the Netherlands”, GIQ, vol. 39, no. 3, Jul. 2022, Art. no. 101707. doi: 10.1016/j.giq.2022.101707. (in English).

[8] T. Goldin, E. Rauch, C. Pacher, and M. Woschank, “Reference Architecture for an Integrated and Synergetic Use of Digital Tools in Education 4.0”, PCS, vol. 200, 2022, pp. 407-417. doi: 10.1016/j.procs.2022.01.239. (in English).

[9] F. Cruz-Jesus, T. Oliveira, and F. Bacao, “Exploring the Pattern between Education Attendance and Digital Development of Countries”, PT, vol. 16, 2014, pp. 452-458. doi: 10.1016/j.protcy.2014.10.112.(in English).

[10] M. M. Kosiiuk, K. E. Bilovskyi, and V. M. Lysak, “Automated information management system of the institution of higher education `Electronic University'”, Information Technologies and Learning Tools, vol. 93, vol. 1, pp. 96-116, Feb. 2023. doi: 10.33407/itlt.v93i1.5107. (in Ukrainian).

[11] O. Spivakovskyi, M. Vinnyk, M. Poltoratskyi, Yu. Tarasich, and S. Omelchuk, “Information technologies for measuring qualitative and quantitative performance indicators of a higher education institution”, Information Technologies and Learning Tools, vol. 89, vol. 3, pp. 190-208, Jun. 2022. doi: 10.33407/itlt.v89i3.4895. (in Ukrainian).

[12] J. H. Shindo, M. M. Mjahidi, and M. D. Waziri, “Data mining algorithms for prediction of student teachers' performance in ICT: a systematic literature review”, Information Technologies and Learning Tools, vol. 96, no. 4, p. 29-45, Sep. 2023. doi: 10.33407/itlt.v96i4.5246. (in English).

[13] T. O. Oliinyk, “Peculiarities of implementation the models of open education of future social and humanitarian profile teachers”, Information Technologies and Learning Tools, vol. 87, vol. 1, pp. 236-254, Sep. 2022. doi: 10.33407/itlt.v87i1.4171. (in Ukrainian).

[14] K. Horska, O. Burov, and O. Orliuk, “The influence of media technologies on digital educational content in the media sector”, Information Technologies and Learning Tools, vol. 91, vol. 5, pp. 84-97, Oct. 2022. doi: 10.33407/itlt.v91i5.5047. (in Ukrainian).

[15] N. V. Mospan, V. O. Ohneviuk, and S. O. Sysoieva, “Extraordinary digital transformation of higher education: Ukraine's response to the COVID-19 pandemic”, Information Technologies and Learning Tools, vol. 89, vol. 3, pp. 90-104, Jun. 2022. doi: 10.33407/itlt.v89i3.4827. (in Ukrainian).

[16] I. Oliinyk, Y. Bidzilya, Y. Solomin, H. Shapovalova, and H. Hetsko, “The Role of Digital Technologies in Building Research Competencies of Future Doctors of Philosophy”, JECS, vol. 14, no. 2, pp. 268-284, Sep. 2023. doi: 10.15503/jecs2023.2.268.284 (in English).

...