Еволюція методичних підходів до оцінювання ефективності діяльності науково-дослідних установ в Україні

Размещено на http://allbest.ru

16

Еволюція методичних підходів до оцінювання ефективності діяльності науково-дослідних установ в Україні

І.А. Жукович І.А. Жукович, кандидат економічних наук, старший науковий співробітник, провідний науковий співробітник, Державна установа “Центр оцінювання діяльності наукових установ та наукового забезпечення розвитку регіонів України НАН України”, І. Ю. Єгоров І. Ю. Єгоров,член-кореспондент НАН України, доктор економічних наук, професор, завідувач відділом, Державна установа “Інститут економіки та прогнозування НАН України”, завідувач відділом, Державна установа “Центр оцінювання діяльності наукових установ та наукового забезпечення розвитку регіонів України НАН України”

Анотація

Розглянуто еволюцію застосовуваних в Україні методичних підходів до оцінювання ефективності діяльності наукових установ.

Проведений аналіз чинних нормативних актів та методологічного підходу до державної атестації та оцінки діяльності наукових установ, який використовується з часів набуття Україною незалежності, свідчить про їхню нумерологічну спрямованість, що базується на системі кількісних атестаційних параметрів. Оцінювання ефективності діяльності наукової установи за єдиним індикатором, побудованим на складних і неоднозначно визначених розрахунках, не відповідає міжнародним стандартам, прийнятим у країнах ЄС.

У Національній академії наук України використовується інший підхід до оцінювання діяльності наукових установ з метою реалізації заходів, прописаних у Концепції розвитку НАН України на 2014-2023 роки. Запроваджена Методика оцінювання ефективності діяльності наукових установ НАНУ базується на методології, принципах і підходах до оцінювання, що визначені в Лейденському маніфесті.

Відповідно до зазначеної методики, визначення кількісних показників є лише одним із елементів процедури, а ухвалення результатів оцінювання здійснюється на основі якісного аналізу різних аспектів діяльності установи та її підрозділів незалежними експертами, які є фахівцями за науковими напрямами діяльності установи та мають авторитет і повагу серед своїх колег.

Розглянуто основні відмінності обох методик оцінювання, що використовуються нині для оцінювання діяльності наукових установ НАН України. Проаналізовано та порівняно отримані результати. Визначено позитивні аспекти оцінювання наукових установ НАНУ шляхом експертного судження, визначено проблеми, що виникають під час проведення процедури оцінювання.

Зроблено висновок, що відхід від визначення результатів діяльності наукових установ лише шляхом розрахунку комплексного індикатора надав можливість експертам оцінити установи в цілому та їх підрозділи, зважаючи на унікальність і особливості, відмінності та специфіку залежно від галузі науки й напрямів досліджень, а також дозволив визначити перспективи розвитку та місце установ у національному й міжнародному наукових середовищах.

Ключові слова: науково-дослідна установа, методика оцінювання, критерії оцінювання, експертна оцінка, комплексний індикатор, фінансування за результатами.

Вступ

Постановка проблеми. Оцінювання діяльності у сфері науки - складний і неоднозначний процес, результати наукової діяльності у багатьох випадках важко передбачити і повністю оцінити у короткий період часу. Тим не менш у сучасному світі наукова робота стала сферою, де проводити таку оцінку потрібно, з огляду на потреби суспільства.

Значною мірою це зумовлено необхідністю визначення обсягів фінансування досліджень і розробок як частки загальних витрат у сучасному суспільстві. При розподілі бюджетних коштів серед різних сфер діяльності завжди постає питання щодо результативності, яка може бути досягнута завдяки відповідним витратам.

Наукова сфера конкурує в цьому питанні з освітою, культурою, охороною здоров'я та захистом навколишнього середовища. Перед наукою постає потреба продемонструвати свою цінність як визначального джерела економічного зростання, невід'ємної складової таких сфер суспільної діяльності, як культура та освіта. Традиційно в Україні, на відміну від багатьох розвинених країн світу, велику роль у фінансуванні досліджень і розробок відіграє держава.

Одними з ключових елементів підвищення рівня ефективності наукових досліджень і розробок стало оцінювання діяльності наукових установ, а відтак розподіл державного фінансування відповідно до отриманих результатів. Процедури оцінювання є важливими й актуальними, займають вагоме місце у формуванні науково-технічної політики багатьох держав світу, у тому числі й України, і уможливлюють визначення обсягів фінансових ресурсів, які мають бути спрямовані до тих чи інших організацій. Упровадження результатів оцінювання потребує використання комплексного підходу, що охоплює широкий спектр організаційно-економічних заходів, зокрема проведення реструктуризації, зміну напрямів досліджень, стимулювання нових форм організації дослідницьких процесів тощо.

Як свідчить світовий досвід, проблема оцінювання наукових установ потребує постійного переусвідомлення з урахуванням трансформації науково-дослідної системи, появи нових інформаційних технологій, переорієнтації суспільних потреб та ін. Це цілком природно викликає необхідність змін у методах і процедурах оцінювання.

Проведений аналіз нечисленних публікацій засвідчив, що в науковій літературі представлено ряд робіт, у тому числі й вітчизняних науковців, присвячених питанням побудови системи показників для оцінювання результативності діяльності наукових установ та окремих науковців, удосконаленню методів і підходів до власне процесу оцінювання й формуванню системи заходів щодо забезпечення необхідного рівня фінансування за результатами проведеного оцінювання з огляду на національні особливості наукових систем [1-5]. Водночас багато аспектів, пов'язаних із відсутністю універсальної системи показників для оцінювання, релевантних методів і підходів до аналізу наукових установ у тих чи інших країнах світу, які б ураховували національну специфіку продукування та використання наукових результатів, залишаються недостатньо розглянутими, що спонукає до проведення досліджень у цій сфері.

Мета статті - проаналізувати еволюцію методів оцінювання діяльності науково-дослідних установ з часів набуття Україною незалежності, визначити основні відмінності двох основних методик оцінювання, що використовуються наразі для оцінювання установ Національної академії наук України, проаналізувати отримані результати оцінювання, визначити переваги та складнощі, пов'язані із застосуванням кожної з них.

Результати та обговорення

Із набуттям Україною незалежності зроблено ряд послідовних кроків, спрямованих на адаптацію наукової сфери до нових умов функціонування та забезпечення конкурентоспроможності української науки. Для вдосконалення правових основ державної наукової політики, які базувалися на Декларації про державний суверенітет України та Акті проголошення незалежності України, 13 грудня 1991 р. ухвалений Закон України “Про основи державної політики у сфері науки і науково-технічної діяльності” (далі - Закон) [6]. У Законі проголошувалося, що держава надає пріоритетну підтримку розвитку науки як визначальному джерелу економічного зростання і невід'ємній складовій національної культури й освіти, створює умови для реалізації інтелектуального потенціалу громадян у сфері науково-технічної діяльності, забезпечує використання досягнень вітчизняної та світової науки і техніки для вирішення соціальних, економічних, культурних та інших проблем. Змінами, внесеними законом від 01.12.1998 р. № 284-XIV [7], Закон перейменовано на Закон України “Про наукову і науково-технічну діяльність” [8].

Закон заклав основи державної політики в науково-технологічній сфері, визначив основні механізми її формування й реалізації. Зокрема, ним проголошено, що для “... оцінки ефективності діяльності наукових установ, відповідності одержуваних ними результатів державним науково-технічним пріоритетам та завданням науково-технічного розвитку, а також з метою визначення необхідності надання їм підтримки держави не менше одного разу на п'ять років провадиться державна атестація наукових установ у порядку, встановленому Кабінетом Міністрів України. Державній атестації підлягають наукові установи усіх форм власності, що внесені або претендують на внесення до Державного реєстру наукових установ, яким надається підтримка держави”. Ця норма фактично перейшла в останню версію Закону [9], затвердженого після втрати чинності версії [8].

У незалежній Україні перша державна атестація наукових установ відбувалась у 1998 році на виконання постанови Кабінету Міністрів України від 07.04.1998 р. № 469 “Про затвердження Положення про державну атестацію науково-дослідних (науково-технічних) установ” [10] відповідно до Методичних рекомендацій для проведення атестації науково-дослідних установ [11], розроблених Державним комітетом України з питань науки, техніки та промислової політики України й Міністерством статистики України. Рекомендації надавали типовий інструментарій, необхідний для визначення експертними комісіями, до складу яких залучалися фахівці за відповідними напрямами науково-технічних досліджень, значущості науково-дослідних установ, ступеня впливу їх діяльності на науково-технічну політику в державі, галузі, напрямі та регіоні.

Відповідно до зазначених методичних рекомендацій, наукова (науково-технічна) діяльність установи оцінювалася за кількісним показником, який підраховувався як сума семи часткових показників. Останні відображали різні аспекти діяльності установи будь-якої спрямованості та профілю й характеризували:

1) цільову орієнтацію діяльності організації (наукова та технічна перспективність робіт; рівень відповідності тематики робіт);

2) рівень розвитку науково-технічного потенціалу (наявність в організації фахівців-лідерів, які мають визнання й авторитет (у т. ч. міжнародний) з профільної для організації проблематики; наявність та ступінь використання сучасного наукового обладнання, технічного устаткування; рівень використання сучасних методів досліджень, обробки даних, проектування, конструювання);

3) ефективність роботи організації;

4) рівень отриманих результатів;

5) ступінь використання на практиці отриманих організацією результатів;

6) важливість діяльності організації (унікальність організації, престижність діяльності організації для України з погляду національно-культурного відродження та науково-технічного розвитку, важливість діяльності організації);

7) критерії оцінювання інших специфічних властивостей діяльності організації (показники у бальній формі визначалися членами експертної комісії).

Установи, що атестувалися, розподілялись на чотири групи (категорії): А) організації (фундаментального, науково-технічного, проєктно-впроваджувального спрямування), що можуть визначати та впливати на державну науково-технічну політику; Б) організації, що формують перспективну та науково-технічну політику галузі; В) організації, що формують перспективну та науково-технічну політику розвитку певного напряму і можуть бути головними для досліджень, розробок, впроваджень конкретних видів наукової, технічної, проєктної продукції; Г) організації, що ведуть роботи, пов'язані з розробкою окремих складових частин комплексів, пристроїв, вузлів техніки та виконанням разових замовлень.

При розподілі організацій за категоріями використовувалися сумарний рейтинг (головна ознака), допоміжні критеріальні ознаки та мотиваційні підстави, що містилися в атестаційних матеріалах та “Картці рейтингу”. На основі аналізу такого розподілу формулювалися рекомендації щодо створення в Україні: загальнодержавних наукових та науково-технічних центрів; головних організацій за напрямами досліджень, розробок, проєктування; організацій конкретно-прикладного значення, а також визначалася ступінь бюджетної підтримки їх діяльності (повне чи часткове базове, цільове або контрактне фінансування).

На жаль, подібні оцінки несуттєво впливали на реальний стан науково-технічної сфери. Унаслідок недостатньо продуманих економічних реформ значна частина наукових установ, насамперед так званого галузевого сектору, припинила свою діяльність, відносно високотехнологічні сектори промисловості, які користувалися відповідними результатами досліджень і розробок, просто повністю зникли в Україні. Скорочення наукового потенціалу (чисельність зайнятих у сфері досліджень і розробок, обсяги фінансування тощо) за перші 20 років незалежності за найобережнішими оцінками сягнуло трьох-чотирьох разів [12].

У будь-якому разі з часом поява ринкових елементів у сфері науки в України сприяла утворенню нових форм, джерел фінансування та організацій наукової діяльності, що потребувало удосконалення підходів та заходів, які підтримують розвиток науки й одночасно створюють умови для підвищення її економічної віддачі у тих установах, котрі ще залишилися. Питання оцінювання результативності наукової діяльності набули особливої актуальності, а їх розв'язання спричинило необхідність удосконалювати нормативні акти, що визначали та регулювали процедуру оцінювання й атестації наукових установ. Постановою Кабінету міністрів України від 31.10.2011 р. № 1176 було затверджено оновлену Методику оптимізації (атестації) бюджетних наукових установ, які повністю або частково фінансуються за рахунок коштів державного бюджету, та план оптимізації (атестації) бюджетних наукових установ, які повністю або частково фінансуються за рахунок коштів державного бюджету [13], а Наказом Міністерства освіти і науки, молоді та спорту України від 03.04.2012 р. № 399 р. - Порядок оцінки розвитку діяльності наукової установи [14].

Відповідно до оновленної Методики, категорія та рейтинг наукової установи визначалися з використанням системи атестаційних оцінок, основними складовими яких були: класифікаційна оцінка, оцінка динаміки розвитку та рейтингова оцінка.

Класифікаційна оцінка характеризувала науково-технічний рівень наукової установи за її науковим і науково-технічним потенціалом, визнанням досягнень за попередні десять років діяльності, рівнем впливу на формування наукової та науково-технічної політики в державі. Для визначення цієї оцінки використовували систему показників, що характеризує рівень наукового потенціалу установи, її суспільне значення, рівень діяльності та визнання наукових досягнень в Україні й у світі. Зважені оцінки для кожного локального показника обчислювали шляхом множення значення первинної (бальної) оцінки на відповідний показнику ваговий коефіцієнт. Класифікаційну оцінку наукової установи обчисляли в балах за 5-бальною шкалою як суму зважених оцінок для 15 локальних показників шляхом ранжування абсолютних величин індивідуальних показників.

Оцінка динаміки розвитку розраховувалася з використанням показників за двома напрямами - оцінка динаміки потенціалу та оцінка динаміки результативності. Рейтингова оцінка наукової установи визначалася з урахуванням кількісних оцінок її науково-технічного потенціалу, оцінки динаміки розвитку наукової установи, рівня отриманих результатів досліджень і перспектив їх практичного використання. Залежно від результатів наукові установи, як було зазначено вище, поділяли на чотири категорії, що позначалися буквами А, Б, В, Г [13].

27 червня 2015 р. Верховною Радою України прийнято Закон “Про ратифікацію Угоди між Україною і Європейським Союзом про участь України у програмі Європейського Союзу Горизонт 2020 - Рамкова програма з досліджень та інновацій (2014-2020)” [15]. Україна стала асоційованим членом цієї програми, що дозволило розширити можливості участі українських науково-дослідних установ та університетів у сфері європейських наукових досліджень, сприяючи всебічному розвитку партнерських взаємовідносин між Україною та ЄС. У зв'язку з цим ще більше загострилася проблема вдосконалення законодавчих та інших нормативних актів у сфері наукової і науково-технічної діяльності з метою створення правової бази й методології оцінювання ефективності діяльності наукових установ відповідно до європейських стандартів.

Оновлену версію Методики оцінювання ефективності наукової, науково-технічної та інноваційної діяльності наукових установ [16] було розроблено на виконання Постанови Кабінету Міністрів України від 19.07.2017 р. № 540, що містила оновлений Порядок проведення державної атестації наукових установ [17]. Відповідно до цієї Методики, Міністерством освіти і науки України (МОН) для отримання значень відповідних показників використовується шкала від 1 до 5 балів, далі бали коригуються ваговими коефіцієнтами, визначеними для кожного показника при проведенні згортки.

Для встановлення класифікаційної оцінки показники об'єднують у чотири групи з ваговими коефіцієнтами: рівень кваліфікації наукових кадрів (загальний ваговий коефіцієнт 0,25); бюджет та інфраструктура (0,25); наукова, науково-технічна та інноваційна діяльність (0,25); престиж (0,25). Сукупність зазначених показників разом з даними щодо динаміки зміни їх значень та картками внутрішнього й експертного оцінювання результатів діяльності установи за попередні три роки, що передували оцінюванню, є джерельною базою для визначення бальної рейтингової оцінки наукової установи та наступного віднесення останньої до однієї з чотирьох груп [16].

У новому Порядку проведення державної атестації [17] суттєві зміни відбулись у наслідках залежно від атестаційної оцінки, отриманої установою. Так, введена залежність строку дії атестації (п'ять, три, два або один рік) від класифікаційної групи (однієї з чотирьох), до якої за результатами атестації віднесена наукова установа.

При цьому установа, віднесена до IV класифікаційної групи й атестована, відповідно, на один рік, не має права на повторну атестацію, а засновник установи зобов'язаний протягом року вжити заходів щодо її реорганізації або ліквідації (п. 18 Порядку).

Проведений аналіз методик оцінювання діяльності наукових установ з часів набуття Україною незалежності засвідчив, що всі ці методики спрямовані на отримання остаточної оцінки у чисельному вигляді (єдиний показник). Ефективність діяльності наукової установи визначається через зведення різних результатів діяльності до одного числа в результаті так званої процедури згортки.

Такий підхід викликає низку методологічних питань, які, зокрема, пов'язані з проведенням процедури зважування. Важливою проблемою тут стає суб'єктивізм при визначенні ваг показників. Унаслідок цього значення одних чинників може перебільшуватися, інших - занижуватися, а деякі показники й зовсім не враховуються. Підхід до оцінювання ефективності діяльності наукової установи за допомогою єдиного індикатора, побудованого за нечітко визначеним алгоритмом, не відповідає міжнародним стандартам, які використовуються у розвинених країнах.

Інший підхід до оцінювання наукових установ використано в Національній академії наук України (далі - НАН України або НАНУ). З метою реалізації заходів, прописаних у Концепції розвитку НАН України на 2014-2023 роки, розроблено Методику оцінювання ефективності діяльності наукових установ НАН України (далі - Методика НАНУ) [18]. При розробці методики за основу взято методологію та підходи до оцінювання, що використовує самоврядна наукова організація Асоціація Лейбніца (Німеччина). Саме ця Асоціація, як виявив проведений фахівцями аналіз, за своєю структурою та функціями найбільше подібна до НАНУ. Крім того, окремі положення та показники були запозичені з відповідних методикінших подібних наукових організацій, зокрема Товариства імені Макса Планка, інститути якого спеціалізуються саме на проведенні фундаментальних досліджень.

Методика НАНУ ґрунтується на базових принципах, зазначених в основних положеннях Лейденського маніфесту [19]: об'єктивність, відкритість та прозорість, пріоритетність якісного над кількісним оцінюванням ефективності, обґрунтованість аналізу діяльності з урахуванням завдань і місії наукової установи та перспектив її розвитку, доступ установи до результатів її оцінювання та постійне вдосконалення самої процедури оцінювання.

Кількісні показники розглядаються як один із найважливіших елементів процедури оцінювання, але ухвалення остаточних результатів здійснюється експертами на основі якісного аналізу інформації, що охоплює різні аспекти діяльності установи за п'ять років, які передували оцінюванню.

Результати оцінювання визначаюся відповідно до експертного судження згідно з критеріями оцінювання. До уваги береться: діяльність протягом попередніх років та стратегічне планування роботи на наступні роки; результати діяльності установи /підрозділу (публікаційна активність, створення та комерційна реалізація об'єктів права інтелектуальної власності (патенти, ліцензійні угоди тощо); надання консультативних послуг, експертних оцінок та висновків на договірних за садах; міжнародна співпраця, зокрема участь у міжнародних проєктах, конференціях, участь у діяльності керівних органів міжнародних наукових товариств (організацій) тощо; обсяги коштів, залучених від третіх осіб (фізичних, юридичних) на потреби досліджень, консультацій, послуг тощо, та частки таких коштів у загальному фінансовому забезпеченні установи); наукові заходи та зв'язки з громадськістю; відповідність устаткування, кадрового та фінансового забезпечення; співпраця установи/підрозділу на вітчизняному та міжнародному рівні (співпраця з закладами вищої освіти, співпраця з іншими науковими установами України та за її межами; підвищення рівня кваліфікації працівників установи та кар'єрне зростання молодих науковців.

Процедура оцінювання відбувається у три етапи, на кожному з яких працюють відповідні комісії (експертна комісія (далі - ЕК), постійні комісії за науковими напрямами при секціях НАНУ (далі - ПКНН), постійна комісія НАНУ (далі - ПК НАНУ)), які мають різни функції та повноваження.

За Методикою НАНУ спочатку оцінюються підрозділи установи, які належать до однієї з чотирьох категорій, відповідно до критеріїв, покладених в основу методології оцінювання, а потім із урахуванням отриманих результатів оцінюється установа в цілому [18].

Основні розбіжності між методиками МОН України та НАН України представлені у табл. 1.

Таблиця 1

Порівняння методик оцінювання діяльності наукових установ МОН України та НАН України

Основною відмінністю розглянутих методик є методи оцінювання, покладені в їх основу. Використаний у Методиці МОН України наукометричний метод - розрахунок оцінки на основі агрегування всіх показників в один комплексний індикатор - викликає багато критики як закордонних, так і вітчизняних фахівців, які вважають, що суто кількісна оцінка не враховує якості досліджень, погано відображає важливість результатів і спонукає наукові організації до нечесної гри з накручуванням значень окремих показників. Представлення результатів одним комплексним індикатором не дозволяє адекватно охарактеризувати всі аспекти ефективності діяльності установи й урахувати відмінності та специфіку наукових напрямів. Слід також ураховувати, що бібліометричні показники сильно залежать від культури цитування у тій чи іншій науковій дисципліні.

Крім цього, за недолік методики МОН України можна визначити менш тривалий період оцінювання, що охоплює 3 роки. За результатами атестації установи, віднесені до І групи, отримують свідоцтво про проходження атестації на 5 років. Два роки діяльності установи атестація не охоплює. Це спонукає установи відтерміновувати інформацію про кращі результати своєї діяльності на більш віддалений термін, щоб звітувати про них пізніше.

У методиці НАНУ головним при оцінюванні є експертне судження, тому одним із найважливіших елементів процедури оцінювання стає формування експертної комісії для оцінювання конкретної установи. До її складу мають входити експерти-фахівці за науковими напрямами діяльності установи. Велике значення при цьому мають наукова репутація вченого, авторитет і повага серед своїх колег, а також рекомендації останніх щодо можливості включення до експертної комісії.

Відповідно до Методики НАНУ, умовою зарахування експерта до комісії є відсутність конфлікту його інтересів з установою, що проходить оцінювання. При визначенні потенційного конфлікту інтересів береться до уваги не лише відсутність родинних зв'язків або прямих наукових стосунків типу керівник - аспірант, близьке наукове чи комерційне співробітництво; також передбачається відсутність прямої наукової або комерційної конкуренції, спільних робіт чи участі у спільних проєктах упродовж останніх п'яти років. Для запобігання конфлікту інтересів кожен експерт-кандидат підписує бланк-згоду бути експертом з оцінювання діяльності конкретної установи, чим також підтверджує, що не має конфлікту інтересів відповідно до зазначених вище пунктів.

За період 2016-2020 рр. оцінювання за методикою НАН України пройшли 150 установ, що входять до складу Академії, та 1159 їх наукових підрозділів. За результатами оцінювання, 99,3% підрозділів отримали категорії А (підрозділ займає лідируючі позиції за науковими напрямами своєї діяльності та має вагомі наукові та практичні результати, визнані на міжнародному й найвищому національному рівні) та Б (підрозділ займає сильні позиції на національному рівні, є провідним за певними напрямами наукових досліджень, має вагомі результати для забезпечення розвитку науки і практики відповідної галузі України).

За результатами оцінювання установ НАН України 79,3% з тих, що пройшли процедуру, віднесені до категорії А (установи-лідери за багатьма науковими напрямами), 20,0% - до категорії Б (установи, що займають стабільні позиції на національному рівні). До установ, які проводять дослідження у відповідній галузі науки в Україні та є маловідомими у світовому науковому просторі (категорія В), віднесено одну установу - Державний дендрологічний парк “Тростянець”. До категорії Г (установи, що демонструють низький рівень розвитку та відсутність вагомих результатів діяльності, не є унікальними у відповідній галузі науки) не віднесено жодної установи. Щодо трьох установ НАНУ було надано рекомендації про необхідність їх реорганізації шляхом приєднання до іншої установи, що входить до складу відповідної секції НАНУ.

У розрізі галузей наук найбільшу частку установ, що отримали категорію А, має секція хімічних і біологічних наук (86,1% від загальної кількості оцінених установ секції). Для секції фізико-технічних і математичних наук цей показник становить 83,8%, секції суспільних і гуманітарних наук - 66,7%. Для проведення оцінювання залучено 858 експертів, 36,5% із них - представники позаакадемічних установ (наукових установ, що не входять до складу НАНУ, закладів вищої освіти (ЗВО), органів державної влади, міністерств і відомств України), 12,1% - зарубіжні експерти. 79,6% експертів-науковців із позаакадемічних установ представляли провідні ЗВО України. Найбільша кількість фахівців - це викладачі Київського національного університету імені Тараса Шевченка (67 осіб) та Національного технічного університету України “Київський політехнічний інститут імені Ігоря Сікорського” (33 особи).

Зарубіжні експерти представлені науковцями з 25 кран світу. Найбільша кількість експертів, які оцінювали установи НАН України, були дослідниками з Польщі - 23 особи (22,1% загальної кількості зарубіжних експертів) та Білорусі - 12 (відповідно 11,5%). В оцінюванні також брали участь науковці Молдови та Литви - по 9 експертів, США, Франції та Німеччини - по 5 експертів, Великої Британії, Ізраїлю, Болгарії, Словаччини та Грузії - по 3 експерти, Австралії, Швеції, Австрії та Азербайджану - по 2 експерти. Крім цього в експертні комісії входили вчені з Нідерландів, В'єтнаму, Південної Кореї, Угорщини, Хорватії, Чехії, Сербії, Естонії та Туреччини.

У розрізі галузей наук за найбільшою кількістю зарубіжних експертів, залучених для оцінювання галузі, першість належить секції суспільних і гуманітарних наук НАНУ - 16,0% від загальної кількості експертів секції. Для секції фізико-технічних і математичних наук цей показник становив 12,5%, для хімічних і біологічних наук -7,1%. Кількість жінок у загальній кількості експертів становила 13,7%, тобто майже кожен сьомий експерт була жінка. Серед зарубіжних експертів було 8 жінок. Лідером за кількістю жінок - 46,6% від загальної кількості жінок-експертів, які брали участь у процедурах оцінювання установ НАН України, - є секція суспільних та гуманітарних наук. Відхід від визначення результатів діяльності наукових установ шляхом розрахунку одного комплексного індикатора надав можливість експертам оцінити як установи в цілому, так і їх підрозділи, враховуючі їх унікальність та особливість, відмінності та специфіку залежно від галузі науки й напрямів досліджень, визначити перспективи розвитку і місце установ у національному та міжнародному науковому середовищах тощо. Проходження процедури оцінювання, висновки експертних комісій і розроблені ними рекомендації дозволили установам проаналізувати свої слабкі та сильні сторони, можливості й загрози, сформувати напрями стратегії підвищення конкурентоспроможності на сучасному етапі розвитку науки, економіки та суспільства. Після закінчення оцінювання в багатьох установах відбулись оптимізація структури та ротація кадрового потенціалу.

У 2019 та 2020 роках установи НАН України пройшли також атестацію за методикою МОН України. Зазначимо, що безпосереднє порівняння результатів, отриманих за двома методиками, не є коректним. Оцінювання й атестація багатьох установ відбувались у різні роки, при цьому, як вже було відмічено, охоплені оцінюванням періоди за аналізованими методиками різні - три роки (МОН) та п'ять років (НАНУ). Але якщо розглядати питання загалом, то для 148 установ НАНУ, що пройшли оцінювання за обома методиками, збігання за результатами становило 75%. За обома методиками понад 90% установ НАНУ віднесені до перших двох категорій (кваліфікаційних груп). Це свідчить, що установи НАН України є провідними установами наукової системи України, займають лідируючі позиції за багатьма науковими напрямами, мають вагомі наукові та практичні результати діяльності, визнані на найвищих національному й міжнародному рівнях.

Важливо зазначити, що проведення оцінювання установ за методикою НАН України дозволило виявити ряд проблем як методичного, так й організаційного характеру. Підвищення рівня ефективності наукових досліджень та розподіл фінансування з огляду на отримані результати оцінювання є одними з головних завдань упровадження методики оцінювання НАНУ. Відповідно до неї передбачено чотири варіанти можливого фінансування [18], але розроблення механізму реалізації визначеного для конкретної установи варіанта виходить за рамки методики й забезпечується Президією НАН України. В умовах недостатнього фінансування, коли деякі установи мають лише невелику частину від необхідного базового бюджетного забезпечення, вирішення питання щодо додаткового фінансування стає неможливим.

Крім цього, відповідно до ст. 4 постанови Кабінету Міністрів України від 22.08.2018 р. № 641 “Про використання коштів, передбачених у державному бюджеті Національної академії наук України для підтримки пріоритетних напрямів наукових досліджень” [20], бюджетні кошти надаються науковим установам НАНУ для проведення пріоритетних досліджень і розробок науковими підрозділами, які віднесені до категорії А (мають вагомі наукові та практичні результати широкого національного і міжнародного значення) за результатами оцінювання ефективності діяльності наукових установ Академії з використанням Методики НАН України. Через таке рішення експерти (висококваліфіковані вчені, які пройшли перевірку на відсутність конфлікту інтересів з інтересами оцінюваної наукової установи) іноді намагалися завищити свої оцінки, побоюючись, що прояв принциповості може негативно позначитися на рівні фінансування колег.

Для підвищення об'єктивності при проведенні оцінювання необхідно залучати незалежних іноземних експертів. Однак вирішення цього питання потребує значних фінансових витрат (оплата відряджень, переклад на англійську мову пакета матеріалів для проведення оцінювання тощо). У сучасних умовах постійного недофінансування НАН України не може собі дозволити такі витрати. Вітчизняні й іноземні експерти проводили оцінювання на безоплатній основі. Для вирішення питання робляться спроби залучати як міжнародних експертів більше науковців - представників української діаспори, які охоче погоджувалися брати участь в оцінюванні на безоплатній основі. Також триває робота над створенням спеціальної бази експертів-кандидатів за напрямами та галузями наукової діяльності з метою забезпечення незалежності експертів.

При розгляді та затвердженні результатів оцінювання члени постійних комісій за науковими напрямами при секціях НАН України та постійної комісії НАНУ не завжди мають можливість приділити достатньо уваги оцінкам підрозділів кожної окремої установи. Якщо відбувається зниження категорії установи в цілому, то у підрозділах залишаються ті категорії, що визначила експертна комісія. У цьому випадку отримані результати не відповідають методології, покладеній в основу методики, згідно з якою оцінювання відбувається знизу догори: спочатку оцінюються підрозділи установи, а потім, відповідно до отриманих щодо них результатів, - установа в цілому. Для вирішення цієї проблеми членам комісій (ЕК, ПКНН, ПК НАНУ) при розгляді результатів оцінювання установи в цілому потрібно приділяти більше уваги аналізу результатів діяльності підрозділів (відповідно до критеріїв, визначених у методиці та представлених в описі до кожної категорії оцінювання). При зміні категорії оцінювання установи в цілому рішення слід обґрунтовувати відповідно до зміни результатів оцінювання підрозділів. державний атестація науковий україна

На сьогодні особливо актуальним стає питання створення єдиної інформаційні системи даних щодо наукового потенціалу та результатів діяльності установ НАН України. Наявність такої системи надасть можливість здійснювати щорічний моніторинг основних дослідницьких характеристик кожної наукової установи, допоможе уникати дублювання тематики досліджень та публікацій, покращити наукові комунікації як на національному так і на міжнародному рівнях, відкриє шляхи для наукової кооперації, що сприятиме розвитку наукової сфери країни. Упровадження такої інформаційної системи дозволить генерувати необхідну інформацію при проведенні оцінювання, що скоротить терміни підготовки звітних матеріалів для проведення оцінювання й надасть можливість вітчизняним та іноземним експертам піл час оцінювання мати оперативний доступ до звітної інформації про діяльність установи.

Висновки

Отже, як свідчить проведений аналіз, діяльність наукової установи неможливо об'єктивно оцінити за допомогою лише кількісних параметрів. Кількісні показники мають бути лише одним із елементів оцінювання, а ухвалення рішень слід здійснювати на базі багатостороннього аналізу, що охоплює якісний рівень та низку інших характеристик, які відображають різноманітні аспекти наукової діяльності.

У майбутній роботі актуальним стане зосередження зусиль на досягненні максимальної гармонізації між підходами, що використовується Міністерством освіти та науки України й Національною академією наук України. Якщо акцент у першому випадку робиться на дещо узагальненій оцінці установи в цілому, то у другому основна увага повинна бути зосереджена на структурних змінах всередині організацій Академії. Це дозволить зробити процес реформування всередині НАН України більш обґрунтованим та адресним.

Список використаних джерел

1. Руководство по наукометрии: индикаторы развития науки и технологий / под ред. М. А. Акоева. Екатеринбург: Изд-во Уральского университета, 2014. 250 с.

2. OECD Frascati Manual. Guidelines for Collecting and Reporting Data on Research and Experimental Development. Paris: OECD, 2015. URL: https://doi.org/10.1787/9789264239012-1-en

3. Yue W., Gao J., Suo W.-L. Efficiency evaluation of S&T resource allocation using an accurate quantification of the time-lag effect and relation effect: a case study of Chinese research institutes. Research Evaluation. 2020. Vol. 29, Issue 1. P. 77-86. URL: https://academic.oup.com/rev/article-abstract/29/1/77/5586849

4. Рибачук В. П. Методологічні проблеми оцінювання продуктивності наукової діяльності. Наука та наукознавство. 2013. № 2. С. 46-52. URL: http://nbuv.gov.ua/UJRN/NNZ_2013_2_8

5. Карпенко А. В., Будицька Ю. О. Теоретико-методичні основи оцінювання результативності наукової діяльності в Україні. Наукові праці Кіровоградського національного технічного університету. Економічні науки. 2017. Вип. 31. С. 51-57. URL: http://dspace.kntu.kr.ua/jspui/ bitstream/123456789/6883/1/6.pdf

6. Про основи державної політики у сфері науки і науково-технічної діяльності: Закон України від 13.12.1991 р. № 1977-ХІІ станом на 07.01.1997 р. URL: https://zakon.rada.gov.ua/laws/show/1977-12/ ed19970107

7. Про внесення змін до Закону України “Про основи державної політики у сфері науки і науково- технічної діяльності”: Закон України від 01.12.1998 р. № 284-XIV. URL: http://zakon1.rada.gov.ua/laws/ show/284-14 (дата звернення: 01.05.2021).

8. Про наукову і науково-технічну діяльність: Закон України від 13.12.1991 р. № 1977-ХІІ, втрата чинності від 16.01.2016 р. URL: https://zakon.rada.gov.ua/laws/show/1977-12 (дата звернення: 01.05.2021).

9. Про наукову і науково-технічну діяльність: Закон України від 26.11.2015 р. № 848-VIII, станом на 18.04.2021 р. URL: https://zakon.rada.gov.ua/laws/show/848-19#Text

10. Про затвердження Положення про державну атестацію науково-дослідних (науково-технічних) установ: Постанова Кабінету Міністрів України від 07.04.1998 р. № 469, втрата чинності від 01.08.2017 р. URL: https://zakon.rada.gov.ua/laws/show/469-98-%D0%BF (дата звернення: 01.04.2021).

11. Методичні рекомендації для проведення атестації науково-дослідних установ: затверджено Державним комітетом України з питань науки, техніки та промислової політики та ін. 22.05.1996 р. № n0001221- 96. URL: https://zakon.rada.gov.ua/rada/show/n0001221-96#Text (дата звернення: 01.05.2021).

12. Інноваційна Україна 2020: нац. доповідь / за ред. В. М. Гейця та ін.; НАН України. Київ: ІЕП НАНУ, 2015. 336 с. URL: http://ief.org.ua/docs/nr/4.pdf

13. Про затвердження Методики оптимізації (атестації) бюджетних наукових установ, які повністю або частково фінансуються за рахунок коштів державного бюджету, та плану оптимізації (атестації) бюджетних наукових установ, які повністю або частково фінансуються за рахунок коштів державного бюджету: Постанова Кабінету Міністрів України від 31.10.2011 р. № 1176. URL: http://zakon0.rada.gov. ua/laws/show/1176-2011-%D0%BF (дата звернення: 01.04.2021).

14. Про затвердження Порядку оцінки розвитку діяльності наукової установи: Наказ Міністерства освіти і науки, молоді та спорту України від 03.04.2012 р. № 399. URL: https://zakon.rada.gov.ua/laws/ show/z0629-12#Text (дата звернення: 01.04.2021).

15. Про ратифікацію Угоди між Україною і Європейським Союзом про участь України у Рамковій програмі Європейського Союзу з наукових досліджень та інновацій “Горизонт 2020”. Закон України від 15.07.2015 р. № 604-УШ. URL: https://zakon.rada.gov.ua/laws/show/604-19#Text

16. Деякі питання державної атестації наукових установ: Наказ Міністерства освіти і науки України від 17.09.2018 р. № 1008. URL: https://zakon.rada.gov.ua/laws/show/z1504-18#Text (дата звернення: 01.05.2021).

17. Про затвердження Порядку проведення державної атестації наукових установ: Постанова Кабінету Міністрів України від 19.07.2017 р. № 540, станом на 24.04.2018 р. URL: https://zakon.rada.gov.ua/ laws/show/540-2017-%D0%BF (дата звернення: 01.05.2021).

18. Методика оцінювання ефективності діяльності наукових установ НАН України. Затверджено постановою Президії НАН України від 15.03.2017 р. № 75, зі змінами, внесеними постановою Президії НАН України від 11.07.2018 р. № 241. URL: http://www.nas.gov.ua/ legaltexts/DocPublic/P-180711-241-1. pdf (дата звернення: 01.05.2021).

19. Quality assurance by Scientific Advisory Boards at Leibniz institutions. Leibniz Association. Division Evaluation Committee. URL: http://www.leibniz-gemeinschaft.de/en/about-us/evaluation/quality-assurance-by-scientific-advisory-boards-at-leibniz-institutions/ (дата звернення: 01.05.2021).

20. Про використання коштів, передбачених у державному бюджеті Національної академії наук України для підтримки пріоритетних напрямів наукових досліджень: Постанова Кабінету Міністрів України від 22.08.2018 р. № 641, станом на 27.04.2021 р. URL: https://zakon.rada.gov.ua/laws/show/641- 2018-%D0%BF

References

1. Akoev, M. А. (Ed.). (2014). Rukovodstvo po naukometrii: indikatory razvitiya nauki i tekhnologiyu [Scientometrics Manual: Indicators of Science and Technology Development]. Ekaterinburg: Izd-vo Uralskogo universiteta [in Russian].

2 . OECD Frascati Manual. Guidelines for Collecting and Reporting Data on Research and Experimental Development (2015). Paris: OECD. Retrieved from https://doi.org/10.1787/9789264239012-1-en

3. Yue, W., Gao, J., & Suo, W.-L. (2020). Efficiency evaluation of S&T resource allocation using an accurate quantification of the time-lag effect and relation effect: a case study of Chinese research institutes. Research Evaluation, Vol. 29, Issue 1, pp. 77-86. Retrieved from https://academic.oup.com/rev/article- abstract/29/1/77/5586849

4. Rybachuk, V. P. (2013). Metodolohichni problemy otsiniuvannia produktyvnosti naukovoi diialnosti [Methodological problems of evaluating the productivity of scientific activity]. Nauka ta naukoznavstvo - Science and Science of Science, 2, 46-52. Retrieved from http://nbuv.gov.ua/UJRN/NNZ_2013_2_8 [in Ukrainian].

5. Karpenko, A. V., & Budytska, Yu. O. (2017). Teoretyko-metodychni osnovy otsiniuvannia rezultativnosti naukovoi diialnosti v Ukraini [Theoretical and Methodological Basics of Evaluating Scientific Practice Effectiveness in Ukraine]. Naukovipratsi Kirovohradskoho natsionalnoho tehnichnoho universytetu. Ekonomichni nauky - Scientific works of Central Ukrainian National Technical University. Economic sciences, 31, 51-57. Retrieved from http://dspace.kntu.kr.ua/jspui/bitstream/123456789/6883/1/6.pdf [in Ukrainian].

6. Pro osnovy derzhavnoi polityky u sferi nauky i naukovo-tekhnichnoi diialnosti: Zakon Ukrainy vid 13.12.1991 r. [On the basics of state policy in the field of science and scientific and technical activities. Law of Ukraine of December 13, 1991 No 1977-XII as of January 07, 1997]. zakon.rada.gov.ua. Retrieved from https://zakon.rada.gov.ua/laws/show/1977-12/ed19970107 [in Ukrainian].

7. Pro vnesennia zmin do Zakonu Ukrainy “Pro osnovy derzhavnoi polityky u sferi nauky i naukovo- tekhnichnoi diialnosti”: Zakon Ukrainy vid 01.12.1998 r. № 284-XIV [On Amendments to the Law of Ukraine “On Fundamentals of State Policy in the Sphere of Science and Scientific and Technical Activity”. Law of Ukraine of December 1, 1998 No 284-XIV]. zakon1.rada.gov.ua. Retrieved May 01, 2021 from http://zakon1. rada.gov.ua/laws/show/284-14 [in Ukrainian].

8. Pro naukovu i naukovo-tekhnichnu diialnist: Zakon Ukrainy vid 13.12.1991 r. № 1977-XII, vtrata chynnosti vid 16.01.2016 [On scientific and scientific-technical activity. Law of Ukraine of December 13, 1991 No 1977-XII, was expirated on January 16, 2016]. zakon.rada.gov.ua. Retrieved from https://zakon.rada.gov. ua/laws/show/1977-12 [in Ukrainian].

9. Pro naukovu i naukovo-tekhnichnu diialnist: Zakon Ukrainy vid 26.11.2015 r. № 848-VIII, stanom na 18.04.2021 r. [On scientific and scientific-technical activity. Law of Ukraine of November 26, 2015 No 848- VIII, as of April 18, 2021]. zakon.rada.gov.ua. Retrieved from https://zakon.rada.gov.ua/laws/show/848- 19#Text [in Ukrainian].

10. Pro zatverdzhennia Polozhennia pro derzhavnu atestatsiiu naukovo-doslidnykh (naukovo- tekhnichnykh) ustanov: Postanova Kabinetu Ministriv Ukrainy vid 07.04.1998 r. № 469, vtrata chynnosti vid 01.08.2017 [On approval of the Regulations on state attestation of research (scientific and technical) organizations. Resolution of the Cabinet of Ministers of Ukraine of April 07, 1998 No 469, was expirated on August 01, 2017]. zakon0.rada.gov.ua. Retrieved April 01, 2021 from http://zakon0.rada.gov.ua/laws/ show/469-98-%D0%BF [in Ukrainian].

11. Metodychni rekomendatsii dlia provedennia atestatsii naukovo-doslidnikh ustanov: zatverdzheno Derzhavnym komitetom Ukrainy z pytan nauky, tekhniky ta promyslovoi polityky ta in. 22.05.1996 r. [Methodical recommendations for attestation of research institutions: approved by the State Committee of Ukraine for Science, Technology and Industrial Policy etc. on May 22, 1996 No n0001221-96]. zakon.rada.gov. ua. Retrieved May 01, 2021 from https://zakon.rada.gov.ua/rada/show/n0001221-96#Text [in Ukrainian].

12. Heitz, V. M. et al. (Eds.). (2015). Innovatsiina Ukraina 2020 [Innovative Ukraine 2020]. Kyiv: IEP NAS of Ukraine. Retrieved from http://ief.org.ua/docs/nr/4.pdf [in Ukrainian].

13. Pro zatverdzhennia Metodyky optymizatsii (atestatsii) biudzhetnykh naukovykh ustanov, yaki povnistiu abo chastkovo finansuiutsia za rakhunok koshtiv derzhavnoho biudzhetu, ta planu optymizatsii (atestatsii) biudzhetnykh naukovykh ustanov, yaki povnistiu abo chastkovo finansuiutsia za rakhunok koshtiv derzhavnoho biudzhetu: Postanova Kabinetu Ministriv Ukrainy vid 31.10.2011 r. № 1176 [On approval of the Methodology of optimization (certification) of budget scientific institutions, which are fully or partially financed from the state budget, and the plan of optimization (certification) of budget scientific institutions, which are fully or partially financed from the state budget. Resolution of the Cabinet of Ministers of Ukraine of October 31, 2011 No 1176]. zakon0.rada.gov.ua. Retrieved April 01, 2021 from http://zakon0.rada.gov.ua/ laws/show/1176-2011-%D0%BF [in Ukrainian].

14. Pro zatverdzhennia Poriadku otsinky rozvytku diialnosti naukovoi ustanovy: Nakaz Ministerstva osvity i nauky, molodi ta sportu Ukraini vid 03.04.2012 r. № 399 [On approval of the Procedure for evaluating the development of the scientific institution. Order of the Ministry of Education and Science, Youth and Sports of Ukraine of April 03, 2012 No 399.]. zakon.rada.gov.ua. Retrieved April 01, 2021 from https://zakon.rada. gov.ua/laws/show/z0629-12#Text [in Ukrainian].

15. Pro ratyfikatsiiu Uhody mizh Ukrainoiu i Yevropeiskim Soiuzom pro uchast Ukrainy u Ramkovii prohrami Yevropeiskoho Soiuzu z naukovykh doslidzhen ta innovatsii “Horizont 2020”: Zakon Ukrainy vid 15.07.2015 r. № 604-VIII [On ratification of the Agreement between Ukraine and the European Union on Ukraine's participation in the Framework Program of the European Union for Research and Innovation Horizon 2020. Law of Ukraine of July 15, 2015 No 604-VIII]. zakon.rada.gov.ua. Retrieved from https://zakon. rada.gov.ua/laws/show/604-19#Text [in Ukrainian].

16. Deiaki pytannia derzhavnoi atestatsii naukovykh ustanov: Nakaz Ministerstva osvity i nauky Ukrainy vid 17.09.2018 r. № 1008 [Some issues of state certification of scientific institutions. Order of the Ministry of Education and Science of Ukraine of September 17, 2018 No 1008]. zakon.rada.gov.ua. Retrieved May 01, 2021 from https://zakon.rada.gov.ua/laws/show/z1504-18#Text [in Ukrainian].

17. Pro zatverdzhennia Poriadku provedennia derzhavnoi atestatsii naukovykh ustanov: Postanova Kabinetu Ministriv Ukrainy vid 19.07.2017 r. № 540, stanom na April 24, 2018 [On approval of the Procedure for state certification of scientific institutions. Resolution of the Cabinet of Ministers of Ukraine of July 19, 2017 No 540, as of April 24, 2018]. zakon.rada.gov.ua. Retrieved May 01, 2021 from https://zakon.rada.gov.ua/ laws/show/540-2017-%D0%BF [in Ukrainian].

18. Metodyka otsiniuvannia efektyvnosti diialnosti naukovykh ustanov NAN Ukraini: zatverdzheno Postanovoiu Prezydii NAN Ukrainy vid 15.03.2017 r. № 75, zi zminamy, vnesenymy postanovoiu Prezydii NAN Ukrainy vid 11.07.2018 r. № 241 [Methods for evaluating the effectiveness of scientific institutions of the NAS of Ukraine. Approved by the Resolution of the Presidium of the NAS of Ukraine of March 15, 2017 No 75, as amended by the Resolution of the Presidium of the NAS of Ukraine of July 11, 2018 No 241]. www.nas.gov.ua. Retrieved May 01, 2021 from http://www.nas.gov.ua/legaltexts/ DocPublic/P-180711-241-1.pdf [in Ukrainian].

19. Quality assurance by Scientific Advisory Boards at Leibniz institutions. Leibniz Association. Division Evaluation Committee. www.leibniz-gemeinschaji.de. Retrieved from http://www.leibniz-gemeinschaft.de/ en/about-us/evaluation/quality-assurance-by-scientific-advisory-boards-at-leibniz-institutions/