Розвиток підходів до оцінювання результатів діяльності науково-дослідних установ

Размещено на http://www.allbest.ru

Розвиток підходів до оцінювання результатів діяльності науково-дослідних установ

І.Ю. Єгоров, член-кореспондент НАН України, доктор економічних наук, професор, завідувач відділу

ДУ«Інститут економіки та прогнозування НАН України»

завідувач відділу ДУ«Центр оцінювання діяльності наукових установ

та наукового забезпечення розвитку регіонів України НАН України»

І.А. ЖУКОВИЧ, кандидат економічних наук, старший науковий співробітник, провідний науковий співробітник

ДУ«Центр оцінювання діяльності наукових установ

та наукового забезпечення розвитку регіонів України НАН України»



I.Yu. Yegorov, corresponding member of NAS of Ukraine, DSc (Economics), professor, head of department

Institute of Economics and Forecasting of the NAS of Ukraine

head of department

Center for Evaluation of Activity of Research Institutions

and Scientific Support of Regional Development of Ukraine of the NАS of Ukraine

I.A. Zhukovych, PhD (Economics), senior researcher, leading researcher

Center for Evaluation of Activity of Research Institutions

and Scientific Support of Regional Development of Ukraine of the NАS of Ukraine

PERFORMANCE EVALUATION IN RESEARCH

ORGANIZATIONS: EVOLUTION OF METHODOLOGIES

The article is devoted to a topical issue of performance evaluation in research organizations. Methodological approaches to the evaluation of research organizations, which results determine the amount of their basic funding, require constant improvement of procedures, being subject of numerous studies. This issue is especially relevant for the National Academy of Sciences (NAS) of Ukraine as the largest R&D center in the research system of Ukraine. Robust and regular performance evaluation of research organizations of the NAS of Ukraine will help increase their efficiency, make distribution of funding more transparent, improve reporting on the use of budget funds, reorganize their network in a rational way.

The article highlights trends in performance evaluation of research organizations of Ukraine, based on foreign experiences and results obtained in the first cycle of the evaluation of research organizations of the NAS of Ukraine (2016--2021), with providing recommendations for further improvements in evaluation methods and procedures. Research methods: analysis, generalization of scientific sources of information, synthesis and comparison. Source base: data on the evaluation of research organizations of the NAS of Ukraine, regulatory framework for the evaluation of research organizations, publications of Ukrainian and foreign specialists.

It is emphasized the presently research organizations of the NAS of Ukraine are evaluated using two official evaluation techniques, which main difference is the method for evaluation: professional assessment of the organization's performance by qualified experts (the methodology of the NAS Ukraine) and formalized self-assessment of the organizations based on quantitative indicators that can be adjusted in a way by a group of experts (the methodology of the Ukrainian Ministry of Education and Science). The problems of constructing a composite indicator to be used for ranking are discussed, with a review of researches' positions.

The conclusions are made about the unreliability of metrics for evaluating the performance of research organizations and the need to adopt expert evaluation methods supplemented by quantitative indicators. It is emphasized that evaluation results can be made more robust through inviting as many as possible foreign researchers as experts. This approach is in line with global trends in the evaluation of research organizations.

Keywords: research organization, methodology for evaluating the performance of research organization, National Academy of Sciences of Ukraine, methodology of evaluating the performance of R&D and innovation activities of research organization, higher education establishments, universities, ranking, Chinese Academy of Sciences.



Стаття присвячена актуальній проблемі -- оцінюванню ефективності результатів діяльності наукових установ. Методологічні підходи до оцінювання наукових установ, за результатами якого визначається розмір базового їх фінансування, потребують постійного удосконалення процедур та є предметом численних досліджень. Особливо актуальним це питання є для Національної академії наук (НАН) України як найбільшого дослідницького центру у науковій системі України. Об'єктивне і систематичне оцінювання діяльності наукових установ НАН України сприятиме підвищенню ефективності їхньої діяльності, більш прозо-рому розподілу фінансування, покращенню звітності щодо використання бюджетних коштів, а також раціональній реорганізації мережі установ.

У статті висвітлено тенденції у підходах до оцінювання результатів діяльності наукових установ України на основі закордонного досвіду та результатів, отриманих у першому циклі оцінювання наукових установ НАН України (2016--2021рр.), та надано рекомендації для подальшого удосконалення методів і процедур оцінювання. Методи дослідження: аналіз, узагальнення наукових джерел інформації, синтез і порівняння. Джерельна база: дані про оцінювання наукових установ НАН України, нормативна база щодо оцінювання, публікації вітчизняних і закордонних фахівців. Визначено, що для оцінювання наукових установ НАН України сьогодні використовуються дві офіційні методики, основною відмінністю яких є підходи до оцінювання -- фахова оцінка результатів діяльності установи кваліфікованими експертами (методика НАН України) та формалізована самооцінка організації на основі кількісних показників, які можуть бути дещо скореговані групою експертів (методика МОН України). Розглянуто проблеми побудови комплексного індикатора та рейтингування на його основі, проаналізовано відповідні погляди науковців. Зроблено висновки щодо ненадійності метрик для оцінювання результатів діяльності наукових установ та необхідності переходу на експертні методи оцінювання з урахуванням кількісних показників. Наголошено, що для підвищення рівня об'єктивності результатів оцінювання в якості експертів бажано залучати якомога більше іноземних науковців. Саме такий підхід відповідає світовим тенденціям в оцінюванні наукових установ.

Ключові слова: наукові установи, Методика оцінювання ефективності діяльності наукових установ, Національна академія наук України, Методика оцінювання ефективності наукової, науково-технічної та інноваційної діяльності наукової установи, заклади вищої освіти, університети, рейтингування, Китайська академія наук.

оцінювання науковий дослідний



Вступ

Упродовж останніх 25 років питання оцінювання результативності наукової діяльності набули нового значення, перетворившись на самостійний важливий напрям досліджень як в Україні, так і й за кордоном. Необхідність постійного наукового пошуку шляхів удосконалення методології оцінювання визначається його головною метою -- сформувати систему об'єктивної інформації для розрахунку розміру базового фінансування наукових установ.

Українська наука переживає важкі процеси реформування з початку 1990-х років. Дещо вже зроблено, але значні проблеми та недоліки все ще залишаються. Важливий крок уперед у подальшому реформуванні вітчизняної наукової сфери загалом і системи Національної академії наук України зокрема полягає в об'єктивному оцінюванні діяльності наукових організацій України на систематичній основі. Саме розгляду цього актуального питання присвячена стаття.

Аналіз досліджень і публікацій. Аналіз літератури за темою дослідження показав, що оцінка результатів наукових досліджень і розробок має кількісну та якісну складові; процедура оцінювання може проводитись за завданням уряду або з ініціативи наукового співтовариства; результати оцінювання не завжди впливають на фінансування установи. Поєднання цих та інших особливостей визначає відмінності національних систем оцінювання.

Дискусії щодо цілей, процедур, показників, критеріїв і результатів оцінювання ведуться на рівні міжнародного наукового співтовариства та науковцями різних країн [1--5]. Деяким аспектам оцінювання діяльності окремих учених і наукових установ, пропозиціям щодо удосконалення методології оцінювання присвячені роботи вітчизняних дослідників [6--9]. Пропонована стаття продовжує цикл попередніх праць її авторів [10--13], де розглядаються методологічні підходи та методики оцінювання діяльності науково-дослідних установ у різних країнах світу.

Метою статті є висвітлення тенденцій у підходах до оцінювання результатів діяльності наукових установ України на основі закордонного досвіду та результатів, отриманих у першому циклі оцінювання наукових установ НАН України (2016--2021 рр.), та надання рекомендацій для подальшого удосконалення методів і процедур оцінювання.

Наукова новизна дослідження полягає в опрацюванні актуальної проблеми, яка на сьогодні в Україні не отримала всебічного та об'єктивного висвітлення. Оскільки методичні основи оцінювання і підготовка відповідних пропозицій та рекомендацій є важливими складовими заходів, визначених у Концепції розвитку НАН України на 2014--2023 роки, їх удосконалення сприятиме підвищенню результативності діяльності наукових установ, а також раціональній реорганізації їхньої мережі.

Методи дослідження та джерельна база. В процесі виконання роботи використано методи аналізу та узагальнення наукових джерел інформації, синтезу та порівняння. Джерельну базу дослідження склали дані про оцінювання наукових установ НАН України, офіційні документи щодо оцінювання наукових установ, публікації вітчизняних і закордонних фахівців.



Результати дослідження та їх обговорення

Безпосереднім поштовхом для підготовки цієї статті стало завершення першого циклу оцінювання наукових установ НАН України за «Методикою оцінювання ефективності діяльності наукових установ НАН України» 1 (далі -- Методика НАН України), виконане у 2016--2021 рр. У процесі підготовки Методики НАН України розробники передусім спиралися на досвід НАН України та підходи, які використовують у провідних країнах світу, зокрема у Німеччині [14]. Найпо- дібнішою до НАН України за структурою виявилася Асоціація Лейбніца Методика оцінювання ефективності діяльності наукових установ НАН України. Затверджена Постановою Президії НАН України від 15.03.2017 р. № 75, зі змінами, внесеними Постановою Президії НАН України від 11.07.2018 р. № 241. URL: https:// www.nas.gov.ua/text/pdfNews/metodyka_text.pdf (дата звернення: 04.05.2022). Leibniz Association. URL: https://www.leibniz-gemeinschaft.de/ (дата звернення: 04.05.2022)., яка має у своєму складі інститути, що належать до практично всіх наукових дисциплін. Адаптація Методики НАН України проводилася за участі консультантів із Німеччини та була визнана експертами з ЄС одним із важливих досягнень на шляху реформування вітчизняної науки Peer Review of the Ukrainian Research and Innovation System. Luxembourg: Publications Office of the European Union, 2017. Р 76. URL: https://op.europa.eu/en/publication- detail/-/publication/adb1f077-dedc-11e6-ad7c-01aa75ed71a1 (дата звернення: 04.05.2022).

⁴ Концепція розвитку Національної академії наук України на період 2014--2023 рр. Схвалена Постановою Президії НАН України від 25.12.2013 р. № 187. URL: https:// zakon.rada.gov.ua/rada/show/v0187550-13#n16 (дата звернення: 04.05.2022)..

Розроблення Методики НАН України здійснювалося відповідно до положень Концепції реформування НАН України на період до 2023 року 4. Основна мета Концепції -- сприяння зростанню ролі вітчизняної науки як важливого чинника модернізації країни, збільшенню внеску НАН України у забезпечення ефективного економічного і соціального розвитку України, її обороноздатності та національної безпеки шляхом: підвищення рівня фундаментальних і прикладних досліджень, посилення їх міждисциплінарного характеру, подальшого розвитку конкурсних і програмно-цільових засад планування науково-дослідних робіт; активізації досліджень і розробок, спрямованих на підвищення наукоємності та конкурентоспроможності вітчизняного виробництва, створення ефективної інноваційної інфраструктури; підвищення ефективності та прозорості використання бюджетних коштів, що спрямовуються на фінансування наукової та науково-технічної діяльності, посилення конкурентних засад фінансування досліджень; розвитку інфраструктури досліджень, поліпшення їх матеріально-технічного та інформаційного забезпечення; зміцнення кадрового потенціалу, підтримки провідних наукових шкіл, залучення талановитої молоді до академічних установ; розвитку освітньої діяльності, розширення участі в підготовці наукових кадрів вищої кваліфікації; подальшої інтеграції у міжнародне наукове співтовариство.

Це висунуло на порядок денний питання щодо необхідності удосконалення підходів до оцінювання діяльності наукових установ та їхніх структурних наукових підрозділів з урахуванням специфіки відповідних галузей науки. Керівництвом Академії було поставлено завдання -- забезпечити за допомогою Методики НАН України проведення комплексного аналізу діяльності наукових установ, результати якого будуть покладені в основу реструктуризації НАН України з метою підвищення ефективності її роботи. Основними критеріями оцінювання перспективності та доцільності подальшої діяльності наукових установ НАН України запропоновано вважати високий рівень отримуваних результатів, що підтверджується авторитетними експертами, в тому числі закордонними, та статистичними показниками, наявність висококваліфікованого кадрового складу і наукової молоді, участь у міжнародних наукових програмах і проєктах, реальний внесок у розв'язання економічних, соціальних і культурних проблем країни. Дані оцінювання наукових установ за Методикою НАН України мають сприяти:

* реалізації заходів з оптимізації мережі наукових установ НАН України за рахунок реорганізації або ліквідації установ, які не відповідають сучасному рівню науки чи мають стабільно низькі показники діяльності порівняно

однопрофільними установами, не мають сучасної наукової інфраструктури, є малочисельними і неефективними;

* зміні у внутрішній структурі наукових установ шляхом реорганізації їхніх наукових підрозділів (злиття, ліквідація тощо) за рахунок тих, що мають низькі показники діяльності [14].

За період 2016--2021 рр. оцінювання за Методикою НАН України пройшли 164 наукові установи. 122 установи (74,4 %) включено до категорії «А» (установи-лідери за багатьма науковими напрямами, наукові та практичні результати діяльності яких визнані на національному та міжнародному рівні, мають винятковий вплив на науково-технічний та соціальний розвиток, інтегровані у світовий науковий простір); 37 (22,6 %) -- до категорії «Б» (установи, що мають сильні позиції на національному рівні, є провідними за певними напрямами, мають вагомі результати у відповідних галузях науки України, виявляють активність щодо інтеграції у світовий науковий простір); 5 (3 %) -- до категорії «В» (установи, що мають стабільні позиції на національному рівні, проводять дослідження у відповідній галузі науки в Україні, але є маловідомими у світовому науковому просторі); до категорії «Г» (установи з низьким рівнем розвитку, відсутністю вагомих результатів діяльності, які не є унікальними у відповідній галузі науки) не включено жодну наукову установу НАН України.

Для проведення оцінювання наукових установ НАН України залучено 938 експертів, з них 36,9 % -- представники позаакадемічних організацій (наукових установ, що не входять до складу НАН України, закладів вищої освіти (ЗВО), органів державної влади, міністерств і відомств Украї- ни),11,8 % --зарубіжні експерти. Кожним шостим експертом була жінка. 78,9 % експертів із позаакадемічних організацій України склали науковці із 72 вітчизняних ЗВО, решту -- вчені з 25 країн світу. Найбільша кількість зарубіжних експертів була з Польщі -- 24 особи (21,4 %).

За результатами оцінювання десять наукових установ НАН України (6,1 % від загальної кількості оцінених установ) припинили діяльність. Зазначимо, що за результатами подібних оцінювань в Асоціації Лейбніца припиняється діяльність 5--8 % установ. Отже, можна вважати, що НАН України «вписалася» у відповідні стандарти. Однак, на відміну від НАН України, в Асоціації Лейбніца постійно створюються нові наукові установи за пріоритетними напрямами досліджень. У НАН України в останні роки внаслідок складної фінансової ситуації поки що вдаються до дещо інших заходів: як правило, це оголошення спеціалізованих конкурсів, створення окремих нових підрозділів, стимулювання участі у міжнародних проєктах.

У 2017 р. Міністерство освіти і науки України ініціювало прийняття Постанови Кабінету Міністрів України № 540 щодо атестації наукових установ України Деякі питання державної атестації наукових установ: Наказ Міністерства освіти і нау-ки України від 17.09.2018 р. № 1008. URL: https://zakon.rada.gov.ua/laws/show/z1504- 18#Text (дата звернення: 04.05.2022)., якою затверджено «Методику оцінювання ефективності наукової, науково-технічної та інноваційної діяльності наукової установи» Про затвердження Порядку проведення державної атестації наукових установ: Поста-нова Кабінету Міністрів України від 19.07.2017 р. № 540, станом на 24.04.2018 р. URL: https://zakon.rada.gov.ua/laws/show/540-2017-%D0%BF (дата звернення: 04.05.2022). (далі -- Методика МОН України). У процесі створення Методики МОН України частково використано напрацювання розробників Методики НАН України щодо показників і критеріїв визначення ефективності діяльності. Тому не дивно, що результати оцінювання установ НАН України за обома методиками (НАН України і МОН України) «збіглися» на 75 %.

Основною відмінністю між методиками НАН України і МОН України є підходи до оцінювання. Методика НАН України ґрунтується на принципах фахового оцінювання діяльності організації кваліфікованими експертами на основі низки узгоджених критеріїв. Саме такий підхід використовується у більшості розвинених країн світу. Це, звичайно, не означає, що кількісні показники не використовуються, але за їх інтерпретацію при оцінюванні конкретної установи відповідають саме експерти. Отже, Методика НАН України передбачає врахування як актуальності тематики досліджень, так і потенціалу наукової установи, вимірюваному результативними показниками публікаційної та патентно-ліцензійної активності, участі у міжнародних проєктах тощо.

Центральне місце в оцінюванні за Методикою МОН України посідає формалізована самооцінка організації на основі кількісних показників, які можуть бути дещо скореговані групою експертів. На основі «згортки» значень показників підраховується узагальнена «рейтингова» оцінка у числовій формі. Значною мірою такий підхід зумовлений тим, що спектр організацій, які оцінюються МОН України, є більш широким. Він включає організації не тільки з різних наукових дисциплін, а й установи, чия активність пов'язана з різними стадіями науково-технічної діяльності та щільно поєднується із освітою. Крім цього, якщо відповідно до Методики НАН України оцінювання відбувається спочатку в наукових підрозділах установи і за його результатами оцінюється установа загалом, то Методика МОН України не спрямована безпосередньо на процеси внутрішньої реорганізації установ, які проходять атестацію. Все зазначене, на наш погляд, зумовило необхідність підвищення рівня формалізації оцінок і певного «спрощення» самого процесу атестації.

Підхід, використовуваний МОН України, дає змогу вирішити актуальну для цього міністерства проблему -- у відносно короткий термін із залученням порівняно невеликих ресурсів на основі отриманих оцінок створити відповідні рейтинги вітчизняних наукових установ та ЗВО України.

Потрібно зазначити, що рейтингування наукових організацій і передусім університетів є нетривіальною проблемою. Існує велика кількість подібних рейтингів, найвідомішими серед яких є The Times Higher Education Ranking, The Academic Ranking of World Universities (Shanghai Rankings), QS World University Ranking. Вони використовуються насамперед для університетів, і їхня «наукова складова» далеко не завжди має вирішальне значення для побудови комплексного індикатора, за яким відбувається рейтингування UniRank. Top 200 Universities in the World. 2021 World University Ranking. URL: https:// www.4icu.org/top-universities-world/ (дата звернення: 04.05.2022)..

Одна з проблем рейтингування пов'язана з посиленням політизованос- ті процедур оцінювання. Так, деякі західні фахівці пропонують визначати рейтинги на основі не тільки суто наукових досягнень, а й враховувати рівень політичної свободи, причому робити це на основі рейтингів свободи преси в тій чи іншій країні [15]. Звичайно, що в такому разі погіршаться позиції деяких азійських університетів (Китаю, Гонконгу, Сінгапуру), які значно просунулися в останні роки в списках кращих університетів світу.

Використання єдиного комплексного індикатора для оцінювання діяльності наукових установ і університетів та побудова рейтингів на його основі викликає багато критики з боку як закордонних, так і вітчизняних науковців. Так, фахівець з оцінювання університетів Д. Гуттенплан зазначає, що застосування рейтингів, які ґрунтуються на суто статистичних індикаторах, має суттєві недоліки. Процедура рейтингування у багатьох випадках призводить до тривіальних результатів: наприклад, очевидно, що англійську літературу найкраще вивчати в Оксфорді чи Кембриджі, а комп'ютерні науки -- у Стен- фордському чи Массачусетському технологічному інституті Guttenplan D. Re-evaluating college rankings game. International New York Times, June 2, 2014. URL: https://www.nytimes.com/2014/06/02/world/europe/re-evaluating-the-college- rankings-game.html (дата звернення: 04.05.2022)..

З іншого боку, рейтинги не враховують специфіку тієї чи іншої установи, тому при їх формуванні зазвичай додатково використовуються різні обстеження, які часто мають відверто замовний характер. Останніми роками окремі країни, наприклад Тайвань, формують власні рейтинги лише національних університетів, відмовляючись від міжнародних класифікацій. Такий підхід посилює орієнтацію абітурієнтів на здобуття вищої освіти в країнах їх походження. Існує велика різниця між державними та приватними ЗВО, зумовлена відмінностями у джерелах фінансування і спрямованості діяльності (що визначає і різницю у підходах до формування змісту освіти). Багато державних університетів орієнтовані на задоволення регіональних потреб у кваліфікованій робочій силі й відтак не прагнуть досягати результатів найвищого світового рівня у сфері досліджень і розробок.

Утім для уніфікації підходів до рейтингування на початку 2010-х рр. було запропоновано технологію U-Multirank, яка включає різноманітні кількісні показники для визначення загального рейтингу U-Multirank. Universities compared. Your way. URL: https://www.umultirank.org/ (дата звернення: 04.05.2021).. Проте багато фахівців не вважають подібну технологію «об'єктивною», зокрема ірландський експерт Е. Хазелкорн звертає увагу на те, що деякі показники не є універсальними для всіх ЗВО. Наприклад, при визначенні якості досліджень використовується показник цитування патентів, який, на його думку, є невдалим, оскільки країни Європи мають важливі відмінності в процедурах патентування [16]. До того ж, показники патентування мають значення далеко не для всіх наукових дисциплін.

Зазначимо, що при впровадженні Методики НАН України виявилося чимало проблем, пов'язаних зі специфікою тієї чи іншої наукової дисципліни. Особливо це стосувалося використання бібліометричних індикаторів. Шляхи формалізованого використання таких індикаторів для потреб оцінювання ґрунтовно розглянуто у багатьох роботах, серед яких можна виділити публікацію українських науковців О.І. Мриглод та С.А. Назаровця [9].

Автори запропонували цікавий підхід до нормалізації значень індикаторів публікаційної активності залежно від тієї чи іншої групи наукових дисциплін. Однак при цьому виникає проблема, які саме дисципліни варто об'єднувати в одну групу. Наприклад, скільки потрібно мати таких груп у фізиці, адже підходи до публікацій (та цитування) у різних «підгалузях» (наукових напрямах) фізики можуть значно відрізнятися. Існує ще одна причина для появи нерівномірності у розподілі публікацій, яка яскраво проявилася у період пандемії COVID-19. Річ у тім, що лише з моменту оголошення про пандемію, зробленого в більшості розвинених країн на початку березня 2020 р., і до початку грудня того ж року у фахових виданнях, індексованих у провідних базах даних, було надруковано понад 29 000 (!) статей з відповідної тематики COVID-19. Open Research Dataset Aims to Speed Up Coronavirus Cure with 29,000+ Articles.

URL: https://www.news18.com/news/tech/covid-19-open-research-dataset-aims-to-speed-up- coronavirus-cure-with-29000-articles-2542873.html (дата звернення: 04.05.2022).. Ці статті отримали пріоритет завдяки узгодженій публікаційній політиці провідних світових наукових видань.

Але тут виникають одразу два запитання. По-перше, як за десять (!) місяців можна зібрати та обробити всю необхідну статистичну інформацію і підготувати таку кількість дійсно якісних, рецензованих статей, та ще встигнути надрукувати їх у періодичних виданнях? Зауважимо, що більш- менш «стандартним» терміном лише для рецензування статті в журналах одного з найбільш популярних серед науковців видавництв Elsevier Brothers є два місяці. Очевидно, що значна частина згаданих публікацій була прийнята до друку за «прискореною процедурою» і не відповідає повною мірою стандартам, проголошеним Scopus та Web of Science. Серед авторів можна зустріти досить багато осіб, які до 2020 р. взагалі не займалися подібною тематикою, а вирішили скористатися її «актуальністю» і можливостями отримання грантів, оголошених після початку пандемії. Чи можна ці відверто «кон'юнктурні» публікації порівнювати із тими, що були прийняті до наукових журналів на загальних умовах? По-друге, як така виняткова увага до проблематики, пов'язаної з пандемією COVID-19, позначиться на загальних показниках різних наукових установ? Очевидно, що далеко не всі наукові організації можуть зайнятися саме цими проблемами, а відносно невелика група установ матиме можливість значно підвищити показники власної результативності завдяки «пільговому» доступу до престижних видань та отриманню додаткового фінансування (іноді за рахунок інших наукових напрямів).

Крім цього, оцінки наукової продуктивності на основі використання показників публікаційної активності вченого та цитування його робіт не дають змогу враховувати мотиви цитування -- високі значення показників цитування пов'язані з критикою робіт ученого чи стали основою для створення великої кількості нових наукових результатів? Натомість збільшення кількості цитувань може бути результатом домовленості між науковцями, які цитують один одного.

Отже, сучасна практика наукометрії постійно стикається з проявом відомого закону (принципу) Гудхарта, сутність якого полягає в тому, що коли соціальний чи економічний показник стає метою проведення соціальної або економічної політики, він перестає бути гідним довіри показником [17]. Тобто коли метрика стає метою, вона перестає бути надійною.

Виникає питання: як запобігти негативним явищам, що супроводжують оцінювання результатів наукової продуктивності кількісними показниками? Відповідь, на наш погляд, є достатньо очевидною: провідну роль в оцінюванні наукових установ мають відігравати експертні оцінки фахівців з бездоганною науковою репутацією, бажано із залученням закордонних учених. Тоді значення кількісних показників неможливо ігнорувати, але вони повинні бути насамперед джерелом об'єктивної інформації для експертів. За Методикою НАН України оцінювання фактично проводиться на трьох рівнях, на кожному з яких перевіряється адекватність оцінок, зроблених на попередньому рівні. Існують процедури оскарження прийнятих рішень та їх узгодження. Звісно, що Методика НАН України не є ідеальною і потребує постійної адаптації до мінливих умов «зовнішнього світу», але основні принципи, закладені в її основу та зазначені в положеннях Лейденського маніфесту [18] (об'єктивність, відкритість і прозорість, пріоритетність якісного оцінювання ефективності над кількісним, обґрунтованість аналізу діяльності з урахуванням завдань і місії наукової установи та перспектив її розвитку, доступ установи до результатів її оцінювання та постійне вдосконалення самої процедури оцінювання), відповідають тенденціям в оцінюванні наукових установ у світі.

Останнім часом перехід до оцінювання діяльності наукових установ експертним шляхом спостерігається у багатьох країнах світу. Як ілюстрацію цього наведемо приклади еволюції підходів до оцінювання в Китаї та Чехії.

У Китайський академії наук (КАН) оцінювання наукових установ відбувається з 1993 р. У часи, коли науково-технологічний рівень Китаю був низьким порівняно з розвиненими країнами світу, застосування міжнародно визнаних кількісних показників розглядалося як спосіб запровадження міжнародних стандартів із метою поліпшення якості досліджень і розробок у Китаї. Застосування порівнянних міжнародних кількісних показників також стало для китайських дослідників ефективним способом інтеграції до міжнародної спільноти. За висновками китайських дослідників, кількісне оцінювання призвело до значного збільшення обсягів і покращення якості результатів досліджень у КАН, а також сприяло посиленню міжнародного впливу КАН. Крім цього, застосування міжнародно визнаних кількісних показників допомогло виявляти потенційні таланти всередині КАН та Китаю, що забезпечило розвиток політики відбору талановитих учених і змінило структуру наукових кадрів [1].

Але ера панування кількісних показників у КАН згодом добігла кінця з двох причин. По-перше, через усвідомлення того, що прийняття єдиної системи кількісних показників призведе до нівелювання особливостей інститутів КАН, що суперечить їхній місії та орієнтації. По-друге, кількісні показники зосереджували увагу наукової спільноти передусім на «кількісних досягненнях», а не на якості досліджень. Отже, кількісні показники мали надто обмежувальний характер, що гальмувало розвиток нових напрямів досліджень і розробок. Враховуючи зазначене, КАН намагалась знайти баланс між кількісними та якісними оцінками, запровадивши у 2012 р. нову систему комплексного оцінювання результатів виконаних досліджень і розробок. Нова система оцінювання КАН включає три процеси: діагностичне оцінювання експертами результатів діяльності наукових установ (раз на п'ять років), загальне оцінювання наукової продуктивності установ (раз на п'ять років) та щорічний моніторинг ключових показників ефективності [1].

Для експертного діагностування запрошуються міжнародні експерти з метою оцінювання стану наукової установи (її переваг і недоліків), якості виконаних нею досліджень і розробок та її інноваційного потенціалу за профільним науковим напрямом. Результатами діагностики мають стати вдосконалення внутрішнього управління, уточнення ключових переваг і наукової спеціалізації оцінюваної установи, чітке розуміння її інноваційного потенціалу.

Для загального оцінювання наукової продуктивності залучають китайських експертів, які роблять обґрунтований висновок щодо поточної наукової продуктивності установи, порівнюючи продуктивність із цілями, заявленими у п'ятирічному плані. У межах цієї процедури експертам надаються дані кількісного аналізу (зокрема, за такими індикаторами: обсяги фінансування, рух персоналу, ключові науково-технічні результати, патентна активність, значущі нагороди, міжнародний обмін і кооперація та ін.). Підсумкові оцінки визначають подальші рішення щодо фінансового та іншого ресурсного забезпечення фінансування оцінюваної установи, виконання нею нових досліджень і розробок. Щорічний моніторинг ключових показників ефективності проводиться з метою спостереження за поточною науковою продуктивністю установи та відстеження її динаміки.

Чеська Республіка запровадила процедуру фінансування досліджень на основі результатів оцінювання ефективності роботи науково-дослідних установ з 2004 р. Методика оцінювання, використовувана для розподілу бюджетного фінансування, спочатку була суто кількісною та орієнтованою винятково на результати досліджень -- публікації, патенти, прототипи.

Прагнучи знеособити та деполітизувати розподіл фінансування в науковій сфері, збільшити ефективність і значущість наукових результатів, Рада з питань досліджень, розробок та інновацій Чехії не раз покращувала зміст методики оцінювання. В результаті майже щороку з'являлась її нова удосконалена версія 11. Попри всі зусилля розробників методики, кількісне оцінювання не враховувало якість досліджень, погано відображало важливість результатів і спонукало наукові організації до «нечесної гри» з «накрученням» значень окремих кількісних показників. Агрегування всіх показників у один комплексний індикатор не дозволяло охарактеризувати ефективність діяльності установи, а бібліометричні показники дуже сильно залежали від культури цитування у тій чи іншій науковій дисципліні. Методологічні підходи, покладені в основу чеської методики оцінювання, постійно зазнавали критики з боку міжнародних аудиторів з компанії «Техно- поліс», які рекомендували розробникам забезпечити врахування у методиці відмінностей та специфіки наукових дисциплін [11].

У 2017 р. було запроваджено нову методику оцінювання (M17+) Technopolis Group International Audit of Research, Development & Innovation in the Czech Republic. Final Report 3. 2011. URL: https://www.technopolis-group.com/wp-content/ uploads/2011/09/1315_CzAudit_FinalRep_3-Quality-of-Research_EM.pdf (дата звернен-ня: 04.05.2022). Methodology for Evaluating Research Organisations and Research, Development and Innovation Purpose-tied Aid Programmes. URL: https://www.vyzkum.cz/FrontClanek. aspx?idsekce=695512 (дата звернення: 04.05.2022)., в якій перевагу надано «інформованому експертному огляду», що передбачає використання сукупності доступних показників разом з іншою інформацією для прийняття рішення щодо загальної оцінки. Мета нової методики -- оцінити результати діяльності наукової установи та скласти загальний прогноз її розвитку; врахувати відомчі особливості та різні місії установ; використати поінформовані та незалежні погляди партнерів у процесі оцінювання; оцінити установу в національному та міжнародному контекстах; надати інформацію для розподілу державних коштів із фонду базового фінансування наукових установ Чехії. Еволюцію методичних підходів до оцінювання ефективності діяльності науково-дослідних установ Чехії авторами статті детальніше розглянуто у [11].



Висновки

На підставі проведеного дослідження можна зробити висновок, що подальше удосконалення методик оцінювання наукових установ в Україні має здійснюватися відповідно до світових тенденцій. Найважливішими серед них є:

застосування в якості основного інструменту оцінювання експертних висновків на основі експертних процедур, особливо в процесі оцінювання установ, що займаються фундаментальними дослідженнями;

відмова від суто кількісних, «механістичних» підходів водночас зі збереженням кількісних показників як ключових джерел інформації для обґрунтування висновків. Значна частина показників має розміщатися на сайтах організацій, які оцінюються. Додаткові показники повинні використовуватися для відображення специфіки діяльності установи;

аналіз можливостей розширення спектра використовуваних для оцінювання показників шляхом включення більшої кількості альтернативних показників (зокрема вебпублікацій тощо) [3];

звернення до закордонних експертів і процедур для запобігання конфлікту інтересів, створення баз даних щодо експертів у окремих наукових напрямах;

проведення оцінювання на регулярній основі;

постійне удосконалення процедур оцінювання з метою їх адаптації до змін у сучасному світі і, відповідно, у пріоритетах наукової діяльності.

У майбутньому автори статті планують більше уваги прицілити вивченню досвіду зарубіжних країн з метою розроблення пропозицій щодо забезпечення прозорого розподілу бюджетного фінансування за результатами оцінювання ефективності діяльності установ НАН України, що відповідає напрямам Концепції розвитку Національної академії наук України на 2021-2025 роки [19].



Список літератури

Xu F., Li X. The changing role of metrics in research institute evaluation undertaken by the Chinese Academy of Sciences (CAS). Palgrave Communications. 2016. № 2. Р. 1--6. https:// doi.org/10.1057/palcomms.2016.78

Yue W, Gao J., Suo W.-L. Efficiency evaluation of S&T resource allocation using an accurate quantificationof the time-lag effect and relation effect: a case study of Chinese research institutes. Research Evaluation. 2020. Vol. 29. Iss. 1. P. 77--86. https://doi.org/10.1093/ reseval/rvz027

Ortiz Nunez R. Altmetrics: alternative metrics for scientific, technological and innovation evaluation. Academia Letters. 2021. Art. 1658. https://doi.org/10.20935/AL1658

Abramo G., D'Angelo C.A. The VQR, Italy's second national research assessment: Methodological failures and ranking distortions. Journal of the Association for Information Science and Technology, 2015. Vol. 66 (11). P. 2202--2214. http://doi.org/10.1002/asi.23323

Franceschet M., Costantini A. The first Italian research assessment exercise: A bibliometric perspective. Journal of Informetrics. 2011. Vol. 5 (2). Р. 275--291. http://doi.org/10.1016/). joi.2010.12.002

Рибачук В.П. Методологічні проблеми оцінювання продуктивності наукової діяльності. Наука та наукознавство. 2013. № 2. С. 46--52.

Карпенко А.В., Будицька Ю.О. Теоретико-методичні основи оцінювання результативності наукової діяльності в Україні. Наукові праці Кіровоградського національного технічного університету. Економічні науки. 2017. Вип. 31. С. 51--57.

Лактіонова ТМ., Парасочка І.Ф., Гаврилова Н.А. Бібліометричні показники публікаційної діяльності наукових підрозділів інституту. Наука та наукознавство. 2021. № 4 (114). С. 74--93. https://doi.org/10.15407/sofs2021.04.074

Мриглод О.І., Назаровець С.А. Наукометрія та управління науковою діяльністю: вкотре про світове та українське. Вісник НАН України. 2019. № 9. С. 81--94. https://doi. org/10.15407/visn2019.09.081

Єгоров І.Ю., Жукович І.А., Артюшенко В.В. Проміжні результати та проблеми впровадження методики оцінювання ефективності діяльності наукових установ НАН України. Вісник НАН України. 2019. № 11. С. 38--44. https://doi.org/10.15407/ visn2019.11.038

Жукович І.А., Єгоров І.Ю. Еволюція методичних підходів до оцінювання ефективності діяльності науково-дослідних установ Чехії. Статистика України. 2020. № 2--3. С. 117--126. https://doi.org/10.31767/su.2-3(89-90)2020.02-03.13

Жукович І.А., Єгоров І.Ю. Еволюція методичних підходів до оцінювання ефективності діяльності науково-дослідних установ в Україні. Статистика України. 2021.

№ 2. С. 4--15. http://doi.org/10.31767/su.2(93)2021.02.01

Жукович І.А., Єгоров І.Ю. Установи НАН України у міжнародному рейтингу SCIMAGO. Наука, технології, інновації. 2019. № 2 (10). С. 15--22. http://doi.org/ 10.35668/2520-6524-2019-2-03

Найкращі рішення приймаються на засадах здорового глузду і позитивного досвіду (інтерв'ю з академіком НАН України А.Г. Загороднім). Вісник НАН України. 2016. № 3. С. 3--11.

Holz C. University Rankings: Comparing Apples and Pears. Academia Letters. 2021. Art.

290. https://doi.org/10.20935/AL290

Hazelkorn E., Mihut G. (Eds.). Research Handbook on University Rankings. Theory, Methodology, Influence and Impact. N.Y. and Northhampton: Edward Elgar Publisher, 2021. 584 p.

Goodhart C. Problems of Monetary Management: The UK experience. Papers in Monetary Economics. 1975. Vol. 1. Р 1--20. URL: https://www.econbiz.de/Record/problems-of-mon- etary-management-the-u-k-experience-goodhart-charles/10002525062 (дата звернення: 04.05.2022).

Hicks D., Wouters P., Waltman L., de Rijcke S., Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015. 520 (7548). http://dx.doi.org/10.1038/520429a

Богданов В.Л., Кубальський О.Н. Про концепцію розвитку Національної академії наук України на 2021--2025 роки. Вісник НАН України. 2021. № 12. С. 38--45.



References

Xu, F., & Li, X. (2016).The changing role of metrics in research institute evaluations undertaken by the Chinese Academy of Sciences (CAS). Palgrave Communications, 2(1), 1--6. http://doi.org/10.1057/palcomms.2016.78

Yue, W, Gao, J., & Suo, W-L. (2020). Efficiency evaluation of S&T resource allocation using anaccurate quantification of the time-lag effect and relation effect: a case study of Chinese research institutes. Research Evaluation, 29(1), 77--86. https://doi.org/10.1093/ reseval/rvz027

Ortiz Nunez, R. (2021). Altmetrics: alternative metrics for scientific, technological and innovation evaluation. Academia Letters. Art. 1658. https://doi.org/10.20935/AL1658

Abramo, G., D'Angelo, C.A. (2015). The VQR, Italy's second national research assessment: Methodological failures and ranking distortions. Journal of the Association for Information Science and Technology, 66 (11), 2202--2214. http://doi.org/10.1002/asi.23323

Franceschet, M. & Costantini, A. (2011) The first Italian research assessment exercise: A bibliometric perspective. Journal of Informetrics, 5(2), 275--291. http://doi.org/10.1016/ j.joi.2010.12.002

Rybachuk, V.P. (2013). Methodological problems of evaluating the productivity of scientific activity. Science and Science of Science, 2, 46--52 [in Ukrainian].

Karpenko, A.V., & Budytska, Yu.O. (2017). Theoretical and Methodological Basics of Evaluating Scientific PracticeEffectiveness in Ukraine. Scientific works of Central Ukrainian National Technical University. Economics, 31, 51--57 [in Ukrainian].

Laktionova, TM., Parasochka, I.F., & Havrylova, N.A. (2021). Bibliometric indicators of publication activities in research units of the institute. Science and Science of Science, 4(114), 74--93. https://doi.org/10.15407/sofs2021.04.074 [in Ukrainian].

Mryglod, O.I., & Nazarovets, S.A. (2019). Scientometrics and management of scientific activities once again about the global and Ukrainian. Visn. Nac. Akad. Nauk Ukr., 9, 81--94. https://doi.org/10.15407/visn2019.09.081 [in Ukrainian].

Yegorov, I.Yu., Zhukovych, I.A., & Artyushenko, VV (2019). Interim results and problems of implementation of the methodology for evaluation of the scientific institutions of the NAS of Ukraine. Visn. Nac. Akad. Nauk Ukr., 11, 38--44. https://doi.org/10.15407/visn2019.11.038 [in Ukrainian].

Zhukovych, I.A., & Yegorov, I.Yu. (2020).The Evolution of Methodical Approachesfor Evaluation the Efficiency of the Activities of Scientific Research Organizations in the Czech Republic. Statistics of Ukraine, 2--3, 117--126. https://doi.org/10.31767/su.2-3(89- 90)2020.02-03.13 [in Ukrainian].

Zhukovych, I.A., & Yegorov, I.Yu. (2021). Evolution of Methodological Approaches to Evaluating the Efficiency of the Activities of Research Organizations in Ukraine. Statistics of Ukraine, 2, 4--15. http://doi.org/10.31767/su.2(93)2021.02.01 [in Ukrainian].

Zhukovych, I.A., & Yegorov, I.Yu. (2019) Organization of the NAS of Ukraine in SCIMAGO institutions rankings (SIR). Science, technologies, innovations, 2(10), 15--22. http://doi. org/10.35668/2520-6524-2019-2-03 [in Ukrainian].

(2016). The best decisions are made on the basis of commonsense and positive experience (interview with academician of the National Academy of Sciences of Ukraine A.G. Zagoro- dny). Visn. Nac. Akad. Nauk Ukr., 3, 3--11 [in Ukrainian].

Holz, C. (2021). University Rankings: Comparing Apples and Pears. Academia Letters. Art.

290. URL: https://doi.org/10.20935/AL290

Hazelkorn, E., & Mihut, G. (Eds.) (2021). Research Handbook on University Rankings. Theory, Methodology, Influence and Impact. N.Y. and Northhampton: Edward Elgar Publisher.

Goodhart, C. (1975) Problems of Monetary Management: The UK experience. Papers in

Monetary Economics, 1, 1--20. URL: https://www.econbiz.de/Record/problems-of-mon- etary-management-the-u-k-experience-goodhart-charles/10002525062 (last accessed:

04.05.2022).

Hicks, D., Wouters, P., Waltman, L., de Rijcke, S., & Rafols, I. (2015). Bibliometrics: The LeidenManifesto for researchmetrics. Nature,520(7548). http://dx.doi.org/10.1038/520429a

Bogdanov, VL.,& Kubalskyi, O.N. (2021).On the concept of development of the National Academy of Sciences of Ukraine for 2021--2025. Visn. Nac. Akad. Nauk Ukr., 12, 38--45 [in Ukrainian].

Размещено на Allbest.ru

...