Вітчизняний досвід використання інформаційно-цифрових технологій для оцінювання результативності науково-педагогічних досліджень

Размещено на http://www.allbest.ru/

Вітчизняний досвід використання інформаційно-цифрових технологій для оцінювання результативності науково-педагогічних досліджень

Вакалюк Тетяна Анатоліївна - доктор педагогічних наук, професор, провідний науковий співробітник відділу відкритих освітньо-наукових інформаційних систем Інституту інформаційних технологій і засобів навчання Національної академії педагогічних наук України

Іванова Світлана Миколаївна - кандидат педагогічних наук, завідувач відділу відкритих освітньо-наукових інформаційних систем Інституту інформаційних технологій і засобів навчання Національної академії педагогічних наук України

Кільченко Алла Віленівна - науковий співробітник відділу відкритих освітньо-наукових інформаційних систем Інституту інформаційних технологій і засобів навчання Національної академії педагогічних наук України

Постановка та обґрунтування актуальності проблеми

Інформаційно-цифрові технології (ІЦТ) наскрізно увійшли в усі сфери сучасного суспільства. Вони істотно впливають на розвиток науки і освіти, декларуючи нові розробки в галузі інформаційних технологій, це і «Інтернет речей», штучний інтелект, доповнена і віртуальна реальність, інфраструктура блокчейн, чат-боти, нейромережі, мобільні пристрої, хмарні обчислення, роботизація та ін.

Особливої актуальності й затребуваності в науково-педагогічних дослідженнях набуло використання наукометричних систем і баз даних для визначення показників результативності як окремого науковця, так і лабораторії/кафедри/відділу, і загалом закладу та установи. Проблема якості й ефективності проведення науково-педагогічних досліджень, оцінювання їх результативності з використанням ІЦТ є важливим напрямом для вітчизняної системи вищої освіти та науки. Цифрова трансформація суспільства, цифрова ера використання комп'ютерних засобів суттєво впливають на вимоги до інструментарію для оцінювання результативності науково-педагогічних досліджень.

У Концепції розвитку цифрової економіки та суспільства України на 2018-2020 роки [5] зазначено, що основною метою цифровізації є досягнення цифрової трансформації наявних та створення нових галузей економіки, а також трансформація сфер життєдіяльності у нові більш ефективні та сучасні. Це безпосередньо стосується і галузі освіти. Розвиток наукової цифрової інфраструктури (для закладів науки та освіти) є також визначальним для забезпечення відкритого доступу до наукових даних та знань, подальшої комерціалізації наукових досліджень, створення інновацій, продуктів та послуг.

Як вказано в Цифровій адженді України 2020 - ключова мета принципу цифровізації полягає у цифровій трансформації усіх сфер діяльності [15]. Окрім того, як стверджується в одному з принципів цифровізації, що прописані в цьому документі, цифровізація має сприяти розвитку інформаційного суспільства, при побудові якого «визначна роль відводиться створенню, поширенню і збереженню змістовної частини».

Аналіз останніх досліджень і публікацій. Проблему оцінювання результативності науково- педагогічних досліджень з використанням ІЦТ вивчали українські дослідники: Г. Асеев (метричні дослідження у наукознавстві), В. Ю. Биков, С. Д. Бушуєв, А. О. Білощицький, В. Д. Гогунський, О. М. Спірін, Л. А. Лупаренко (відкриті цифрові системи для оцінювання результатів і моніторингу науково-педагогічних досліджень), Л. Й. Костенко, О. І. Жабін, Є. О. Копанева, Т. В. Симоненко (використання наукометричних і бібліометричних індикаторів), А. Медведева (оцінювання результативності дослідницької діяльності наукових установ), С. Назаровець, Д. Солов'яненко (відкритий український індекс наукового цитування - Open Ukrainian Citation Index), Л. Л. Фамілярська (використання системи Google Scholar для моніторингу професійного розвитку науково- педагогічних працівників), Л. М. Шаблиста (індикатори якості результатів науково-дослідної роботи) та ін. Проте єдиної системи оцінювання результативності науково-педагогічних досліджень немає. Тому актуальним залишається питання застосування ІЦТ як допоміжного засобу підтримки й оцінювання освітньої діяльності.

Метою статті є аналіз вітчизняного досвіду використання інформаційно-цифрових технологій для оцінювання результативності науково- педагогічних досліджень.

Методи дослідження - теоретичні: опрацювання законодавчих, методичних документів, досліджень науковців, інтернет-джерел з метою аналізу, узагальнення і систематизації, виявлення основних аспектів досліджуваної проблематики.

Виклад основного матеріалу дослідження

Інформаційно-цифрові технології - це інтегративне поняття, в основі якого є поняття інформаційно- комунікаційних та цифрових технологій. Тож розглянемо кожне з них.

Інформаційно-комунікаційні технології (ІКТ, англ. Information and communications technology, ICT) - сукупність методів, засобів і прийомів, що використовуються для збирання, систематизації, зберігання, опрацювання, передавання, подання різних повідомлень і даних за допомогою засобів обчислювальної техніки та зв'язку [4].

Цифрові технології (згідно з аналітичними звітами Давоського економічного форуму): Інтернет речей, роботизація та кіберсистеми, штучний інтелект, великі дані, безпаперові технології, адитивні технології (ЗП-друк), хмарні та туманні обчислення, безпілотні та мобільні технології, біометричні, квантові технології, технології ідентифікації, блокчейн та ін. [14].

Як було встановлено одним з авторів цієї статті раніше, під ІЦТ розуміємо сукупність електронних інструментів, систем, пристроїв та ресурсів, які генерують, зберігають або опрацьовують дані, а також технологій розробки інформатичних систем і побудови комунікаційних мереж [1]. Наукометричні показники ІЦТ є одним із різновидів формального відображення оцінювання результативності науково-педагогічних досліджень.

Під оцінюванням результативності науково- педагогічних досліджень з використанням ІЦТ будемо розуміти визначення загальних показників працівників науково-педагогічної діяльності:

кількість публікацій та цитувань у міжнародних і вітчизняних наукометричних базах даних, наявність авторських ідентифікаторів дослідників у метричних системах, ранжування і рейтингове оцінювання науково-педагогічних працівників,

відділів/лабораторій/кафедр та установ/закладів, моніторинг показників, відомості про здобутки, наявність е-портфоліо, перелік публікацій тощо.

Сьогодні на законодавчому рівні, вітчизняною науковою спільнотою напрацьовано і створено значну кількість методик для оцінювання результативності науково-педагогічної діяльності. Якщо раніше використовувалися терміни «якість» і «ефективність» у соціогуманітарних дослідженнях, то тепер науковий вектор спрямовано на «результативність» і «практичну корисність».

Закон України «Про наукову і науково-технічну діяльність», яким регламентується діяльність наукових установ, передбачає їх державну атестацію не менше, ніж один раз на п'ять років [13].

МОН України розроблено методику оцінювання ефективності наукової, науково-технічної та інноваційної діяльності наукової установи [8], що враховує специфіку різних галузей наук і європейські підходи, особливості діяльності наукових установ різних профілів та їх основні показники: наукову діяльність установи за останні З роки у фокусі результативності, її стратегію розвитку на наступні 5 років, публікаційну активність, ефективність використання ресурсів, рівень міжнародної інтеграції, кадровий потенціал, фінансово- економічну діяльність, матеріально-технічне забезпечення та ін. В результаті оцінювання установи розподіляються на 4 групи за класифікаційною оцінкою за 5-ти бальною шкалою і рейтинговою оцінкою. На жаль, вимога щодо публікації результатів дослідження в провідних міжнародних наукометричних базах даних (Web of Science Core Collection, Scopus) не завжди може бути виконаною. Це залежить від специфіки окремих галузей та може показати переважно результати актуальності та новизни наукових розробок, але не їх вплив та практичне значення для науки. Методика також не враховує чисельність наукової установи: до колективу з 60-ти співробітників і ЗОО-от висуваються однакові вимоги до оцінювання.

На відміну від методики МОН України, методика оцінювання ефективності діяльності наукових установ НАН України [7], оцінює результати наукової діяльності за останні 5 років та в її основу покладено основні принципи Лейденського маніфесту. Методика НАН України включає групу багатьох критеріїв оцінювання, серед яких: загальна характеристика діяльності установ за різними напрямами, врахування додаткових результатів діяльності установи, статистичні дані щодо виконавців наукового дослідження, відповідність міжнародним і національним стандартам, публікаційну активність за загальними наукометричними показниками й окремо за видами публікацій та ін.

Український учений І. Одотюк розробив концепцію оцінювання результатів наукової діяльності [11], в якій систематизував інструментарій і виокремив для оцінювання дві групи критеріїв: показники новизни значення для науки й практики, об'єктивності, доказовості, точності та показники теоретико-методологічного, суспільно-практичного та цінніснокультурного значення.

Погоджуємося з підходом до оцінювання, висвітленим у монографії [9], де авторами досліджено методи оцінювання наукової діяльності за допомогою якісних (експертне оцінювання) і кількісних показників (наукометричні індикатори: кількість публікацій, контент-аналіз, тезаурусний і сленговий методи, цитування та ін.) та обгрунтовано, що доцільно використовувати їх у комплексі.

МОН України у зв'язку з впровадженням нових підходів до освіти загалом, запропонувало Методику оцінювання наукових напрямів закладів вищої освіти під час проведення державної атестації в частині провадження ними наукової (науково-технічної) діяльності [8].

У роботі [6] розглянуто теоретико-методичні основи оцінювання результативності наукової діяльності в Україні, визначено основні підходи й показники та наголошено на відсутності єдиних методологічних підходів і критеріїв оцінювання вітчизняної наукової галузі.

Заслуговує на увагу дослідження основних наукометричних показників з урахуванням кількості публікацій і цитувань у роботі [16]. Автори описали варіації індексу Гірша, висвітлили поняття прихованого і неформального цитування, способи маніпулювання з накручуванням кількості цитувань та підвищення індексу Гірша у договірному цитуванні.

Досліджуючи ІЦТ у контексті соціогуманітарних досліджень, колектив авторів [2] пропонує для оцінювання результатів виконавців наукового дослідження створення його профілю в Google Академії; ранжування науковців за кількістю цитувань у межах напряму досліджень; використання статистичних сервісів електронних наукових бібліотек, сервісів альтметрики.

Цілком погоджуємось з думкою авторів, що статистичні модулі наукових електронних бібліотек, створених на відкритому програмному забезпеченні, можна використовувати для оцінювання результатів науково-педагогічних досліджень [9]. У 2012 р. в Інституті інформаційних технологій і засобів навчання Національної академії педагогічних наук України (ІІТЗН НАПН України) на відкритій програмній платформі EPrints було створено Електронну бібліотеку НАПН України (ЕБ НАПН України) (https://lib.iitta.gov.ua). На квітень 2021 р. в бібліотеці розміщено біля 24 тис. інформаційних ресурсів (наукові статті, посібники, монографії, методичні рекомендації, тези, автореферати та ін.). В ЕБ НАПН України можна дізнатись показники оприлюднення - кількість розміщеної наукової продукції (за автором, підрозділом установи, темою наукового дослідження та ін.). Вбудований до бібліотеки статистичний модуль IRStat2 надає можливість відстежити показники розповсюдження, тобто кількість завантажень внесеної наукової продукції (за номером чи типом інформаційного ресурсу, автором, класифікатором УДК, відділом, темою наукового дослідження, обраним терміном). Ці дані можна враховувати при оцінюванні результативності науково-педагогічної діяльності.

Також ІІТЗН НАПН України започатковано з 2015 р. експеримент зі створення профілів наукового дослідження та колективу його виконавців у системі Google Академія. Даний підхід виявився ефективним для визначення рівня цитування колективу виконавців, а також для здійснення моніторингу наукового дослідження, який проводиться після завершення роботи за бюджетним фінансуванням протягом трьох років.

ІІТЗН НАПН України має й інші напрацювання з цифрових відкритих систем, що можна застосовувати для оцінювання результативності науково-педагогічної діяльності. Насамперед, це розроблена модель інформаційно-аналітичної підтримки педагогічних досліджень на основі електронних систем відкритого доступу, що визначає системне застосування відкритих журнальних систем, електронних бібліотек, програм антиплагіату, відкритих конференційних систем тощо з метою інформаційно-аналітичної підтримки науково- педагогічних досліджень для одержання даних щодо процесів планування, організації, проведення та впровадження результатів досліджень [3]. інформаційний цифровий оцінювання дослідження

На сьогодні найбільш популярними наукометричними показниками для оцінювання науково-педагогічної діяльності є: кількість публікацій, тобто публікаційна активність, цитування, самоцитування, індекс Гірша, який має вже понад тридцять модифікацій, імпакт-фактор журналу тощо.

Публікаційну активність, у тому числі й цитування, самоцитування, індекс Гірша можна визначати за різними наукометричними системами - Scopus, Web of Science, Google Scholar, DBLP тощо. Зазвичай, будь-яка наукометрична база даних містить такі відомості у вільному доступі (мається на увазі загальна кількість публікацій, а не список публікацій).

Окрім того, вітчизняні розробники запропонували систему «Науковці України» [10], яка містить дані відомості про науковців України й формується автоматично за даними авторефератів, починаючи з 1996 р., а також за відповідними публікаціями автора, якщо останній ще не має наукового ступеня. Ця система містить узагальнені дані про науковця і відображає (див. рис. 1):

Прізвище, ім'я та по батькові науковця (у різних варіаціях).

Відомості про місце роботи.

Відомості про науковий ступінь (включно з роком захисту дисертації, спеціальністю, установою, де вщбувся захист).

Відомості про персональні профілі науковця в різних базах даних.

Відомості щодо пов'язаних осіб (науковий керівник та або консультант, аспіранти, докторанти тощо).

Список наукових праць науковця, який формуються автоматично на основі електронних ресурсів Національної бібліотеки України імені В. І. Вернадського.

Рис. 1. Профіль вченого в системі «Науковці України»

Важливим є той факт, якщо науковець не знайшов про себе відомості або вони відображаються некоректно, то наявна форма зворотного зв'язку, де можна вказати необхідні дані, й адміністратори системи їх внесуть.

Ця система є також необхідною для відображення даних про результати науково- педагогічної діяльності науковців України, проте вона має деякі недоліки. Наприклад, список публікацій формується автоматично і може містити публікації інших авторів, в яких однакові прізвища.

Висновки з дослідження і перспективи подальших розробок

Вітчизняний досвід розроблення методик оцінювання результативності науково-педагогічних досліджень можна використати з метою удосконалення та адаптування для подальшого розвитку вітчизняної науки. При розробленні методик оцінювання потрібно брати до уваги багато факторів, значущість наукових розробок для суспільства в цілому, специфіку галузі досліджень та діяльності установ: точні науки, медичні, мистецькі, природничі, соціогуманітарні, бібліотечні та ін. мають значущі відмінності та свої особливості у проведенні науково-педагогічних досліджень. Аналіз методик дозволив встановити, що при оцінюванні не враховується така наукова продукція як підручники, навчальні посібники, хрестоматії, глосарії, словники, наукові довідники, бібліографічні покажчики, наукові каталоги, електронні ресурси, бази даних та ін. Потрібний пошук нових методик, підходів і методів для системного, повного й об'єктивного оцінювання науково-педагогічних досліджень. Оцінювання результативності науково-педагогічних досліджень доцільно здійснювати у поєднанні експертного оцінювання і наукометричних показників інформаційно-аналітичних систем з відкритим доступом.

Перспективи подальших розробок вбачаються у розробленні критеріїв і показників для оцінювання результативності науково-педагогічних досліджень з використанням інформаційно-цифрових технологій, а також для добору власне засобів ІКТ, що доцільно використовувати у цьому процесі.

Список джерел

Вакалюк Т. А., Спірін О. М. Інформаційно-цифрові технології: сутність поняття. Звітна наук. конф. ІІТЗН НАПН України: матеріали наук.-практ. конф., 11 лют. 2021 р., м. Київ / упоряд.: О. П. Пінчук, Н. В. Яськова. К : ІІТЗН НАПН України, 2021. С. 16-17 URL: https://lib.iitta.gov.ua/724023/ (дата звернення 04.04.2021).

Відкриті цифрові системи в оцінюванні результатів

науково-педагогічних досліджень / В. Ю. Биков та ін. Інформаційні технології і засоби навчання. 2020. Вип. 1 (75). С. 294-315. URL:

https://journal.iitta.gov.ua/index.php/itlt/article/view/3589 (дата звернення 06.04.2021).

Інформаційно-аналітична підтримка педагогічних досліджень на основі електронних систем відкритого доступу: посібник / О. М. Спірін та ін. К.: ФОП Ямчинський О. В., 2019. 157 с.

Інформаційно-комунікаційні технології в освіті:

словник. К.: ЦП Компринт, 2019. 134 с. URL:

https://lib.iitta.gov.ua/718706 (дата звернення 04.04.2021).

Кабінет Міністрів України: Концепція розвитку цифрової економіки та суспільства України на 2018-2020 роки. 2018. URL: https://zakon.rada.gov.ua/laws/show/67-2018- %DI%80 (дата звернення 04.04.2021).

Карпенко А. В., Будицька Ю. О. Теоретико-

методичні основи оцінювання результативності наукової діяльності в Україні. Наукові праці Кіровоградського національного технічного університету. Економічні науки: зб. наук. пр. Кропивницький: ЦНТУ, 2017. Вип. 31. 300 с. URL: http://dspace.kntu.kr.ua/jspui/bitstream/123456789/6883/1/6.pdf (дата звернення 06.04.2021).

Методика оцінювання ефективності діяльності наукових установ НАН України. URL: http://www.nas.gov.ua/legaltexts/DocPublic/P-180711-241-1.pdf (дата звернення 05.04.2021).

Методика оцінювання ефективності наукової,

науково-технічної та інноваційної діяльності наукової установи : Наказ М-ва освіти і науки України від 17 верес. 2018 року № 1008. URL :

https://zakon.rada.gov.ua/laws/show/z1504-18#n19 (дата звернення 05.04.2021).

Наукова періодика України та бібліометричні

дослідження : монографія / Л.Й. Костенко, О.І. Жабін, Є.О. Копанєва, Т.В. Симоненко. К.: НАН України. Нац. б-ка України ім. В.І. Вернадського. 2014. 173 c. URL:

http://nbuviap.gov.ua/images/nauk-mon/kostenko.pdf (дата звернення 05.04.2021).

Науковці України. URL: http://irbis-nbuv.gov.ua/cgi-

bin/suak/corp.exe?C21COM= F&I21DBN=SAUA&P21DBN=SAUA (дата звернення

08.04.2021).

Одотюк І. Оцінка результатів наукової діяльності в Україні: нормативно-правовий аспект. Проблеми інноваційно-інвестиційного розвитку. 2012. № 3. С. 38-42.

URL: https://nonproblem.net/wp-

content/uploads/2019/12/2012_0 3_038.pdf (дата звернення 05.04.2021).

Про державну атестацію закладів вищої освіти в

частині провадження ними наукової (науково-технічної) діяльності : Наказ М-ва освіти і науки України від 12 берез. 2019 року N 338. URL:

http://search.ligazakon.ua/l_doc2.nsf/link1/RE33659.html (дата звернення 05.04.2021).

Про наукову і науково-технічну діяльність: Закон України від 26 листоп. 2015 р. № 848-VHL URL: https://zakon.rada.gov.ua/laws/show/848-19 (дата звернення 05.04.2021).

Україна 2030Е - країна з розвинутою цифровою економікою / В. Фіщук та ін. 2020. URL: https://strategy.uifuture.org/kraina-z-rozvinutoyu-cifrovoyu- ekonomikoyu.htm (дата звернення 04.04.2021).

Цифрова адженда України - 2020 («Цифровий порядок денний - 2020). ЕС «ХАЙ-ТЕК ОФІС УКРАЇНА». 2016.

Штовба С. Д., Штовба О. В. Аналіз

наукометричних індикаторів для оцінювання здобутків вченого. Вісник Вінницького політехнічного інституту. 2016. № 1. С. 115-123. URL:

http://nbuv.gov.ua/UJRN/vvpi_2016_1_20 (дата звернення 06.04.2021).

References

Vakaliuk, T.A., Spirin, O.M. (2021) Informatsiino- tsyfrovi tekhnolohii: sutnist poniattia. [Information and digital technologies: the essence of the concept]. Kyiv.

Bykov, V.Yu. ets. (2020) Vidkryti tsyfrovi systemy v otsiniuvanni rezultativ naukovo-pedahohichnykh doslidzhen [Open digital systems in evaluating the results of scientific and pedagogical research]. Kyiv.

Informatsiino-analitychna pidtrymka

pedahohichnykh doslidzhen na osnovi elektronnykh system vidkrytoho dostupu (2019) [Information and analytical support of pedagogical research based on electronic open access systems]. Kyiv.

Informatsiino-komunikatsiini tekhnolohii v osviti (2019) [Information and communication technologies in education]. Kyiv.

Kabinet Ministriv Ukrainy: Kontseptsiia rozvytku tsyfrovoi ekonomiky ta suspilstva Ukrainy na 2018-2020 roky (2018) [Cabinet of Ministers of Ukraine: The concept of development of the digital economy and society of Ukraine for 2018-2020].

Karpenko, A.V., Budytska, Yu.O. (2017) Teoretyko- metodychni osnovy otsiniuvannia rezultatyvnosti naukovoi diialnosti v Ukraini. [Theoretical and methodological bases of evaluating the effectiveness of scientific activity in Ukraine.]. Kirovohrad.

Metodyka otsiniuvannia efektyvnosti diialnosti naukovykh ustanov NAN Ukrainy (2018) [Methods for evaluating the effectiveness of scientific institutions of the National Academy of Sciences of Ukraine].

Metodyka otsiniuvannia efektyvnosti naukovoi, naukovo-tekhnichnoi ta innovatsiinoi diialnosti naukovoi ustanovy : Nakaz M-va osvity i nauky Ukrainy vid 17 veres. 2018 roku № 1008 (2018) [Methods for evaluating the effectiveness of scientific, scientific-technical and innovative activities of a scientific institution: Order of the Ministry of Education and Science of Ukraine of September 17. 2018 № 1008].

Naukova periodyka Ukrainy ta bibliometrychni doslidzhennia: monohrafiia (2014). [Scientific periodicals of Ukraine and bibliometric research: monograph]. Kyiv.

Naukovtsi Ukrainy. [Scientists of Ukraine].

Odotiuk, I. Otsinka rezultativ naukovoi diialnosti v Ukraini: normatyvno-pravovyi aspekt (2012) [Evaluation of the results of scientific activity in Ukraine: normative-legal aspect]. Kyiv.

Pro derzhavnu atestatsiiu zakladiv vyshchoi osvity v chastyni provadzhennia nymy naukovoi (naukovo-tekhnichnoi) diialnosti : Nakaz M-va osvity i nauky Ukrainy vid 12 berez. 2019 roku N 338 (2019) [About the state certification of establishments of higher education concerning their carrying out of scientific (scientific and technical) activity: the Order of the Ministry of Education and Science of Ukraine from March 12. 2019 N 338.].

Pro naukovu i naukovo-tekhnichnu diialnist: Zakon Ukrainy vid 26 lystop. 2015 r. № 848-VIII (2015) [On scientific and scientific-technical activity: Law of Ukraine of November 26. 2015 № 848-VIII].

Fishchuk, V. ets. (2020) Ukraina 2030E - kraina z rozvynutoiu tsyfrovoiu ekonomikoiu [Ukraine 2030E is a country with a developed digital economy].

Tsyfrova adzhenda Ukrainy - 2020 («Tsyfrovyi poriadok dennyi - 2020) (2016) [Digital Agenda of Ukraine - 2020 (Digital Agenda - 2020)].

Shtovba, S. D., Shtovba, O.V. Analiz naukometrychnykh indykatoriv dlia otsiniuvannia zdobutkiv vchenoho. (2016) [Analysis of scientometric indicators to assess the achievements of the scientist].

Размещено на Allbest.ru