Оцінювання результатів діяльності дослідників: нові тенденції

Размещено на http://allbest.ru

Оцінювання результатів діяльності дослідників: нові тенденції

І.Ю. Єгоров І.Ю. Єгоров, член-кореспондент НАН України, доктор економічних наук, професор, завідувач відділу ДУ «Інститут економіки та прогнозування НАН України» завідувач відділу ДУ «Центр оцінювання діяльності наукових установ та наукового забезпечення розвитку регіонів України НАН України» , І.А. Жукович І.А. Жукович, кандидат економічних наук, провідний науковий співробітник ДУ «Центр оцінювання діяльності наукових установ та наукового забезпечення розвитку регіонів України НАН України»

Анотація

Стаття присвячена аналізу нових тенденцій оцінювання результатів діяльності дослідників на прикладі процедури оцінювання, використовуваної Лігою європейських дослідницьких університетів (LERU). Викладено авторське бачення доцільності й можливостей її реалізації в Україні. Джерелами інформації для дослідження є публікації вітчизняних і зарубіжних науковців, нормативно-законодавча база України та рекомендації міжнародних структур щодо проведення оцінювання.

Нові тенденції оцінювання результатів діяльності дослідників набувають актуальності в зв'язку з тим, що у низці міжнародних документів, прийнятих у 2022 році, визначено необхідність оновлення підходу до оцінювання, який має ґрунтуватися на багатовимірності оцінок та забезпеченні балансу між якісними і кількісними критеріями з метою отримання об'єктивної інформації.

Визначено, що загальна структура оцінювання результатів діяльності дослідників за методологією LERU включає три види стандартної оцінки (ефективність досліджень, освітня діяльність та служіння суспільству), які характеризуються широким спектром критеріїв і дають змогу оцінити досягнення за минулий період.

Для удосконалення процедури оцінювання LERU розроблено рекомендації щодо доповнення стандартної оцінки трьома характеристиками: багатовимірна перспектива, перспектива розвитку та контекстуальна перспектива. Їхню сутність розкрито в статті. На підставі виконаного дослідження зроблено висновок, що оцінювання результатів діяльності дослідників не повинно зводитися до виявлення недоліків і надання зауважень, а має включати критичний аналіз із подальшим визначенням напрямів удосконалення діяльності та надання відповідних рекомендацій. Головною метою оцінювання стає не фіксація підсумків, а поштовх до нової парадигми розвитку -- покращення результатів роботи окремих дослідників і наукової установи загалом. Висловлено думку, що адаптована методологія LERUможе бути використана для проведення атестації (оцінювання) дослідників в Україні.

Ключові слова: оцінювання результатів діяльності дослідників, експертне судження, критерії оцінювання, наукометрічні показники, Ліга європейських дослідницьких університетів, Національна академія наук України.

Вступ

Проблема оцінювання результатів діяльності дослідників уже не одне десятиліття вважається актуальною в академічних колах та за їхніми межами. З точки зору економічної теорії вона полягає у тому, що результати досліджень і розробок (ДР) можуть бути використані у двох основних формах: як проміжне споживання у виробничих процесах протягом певного періоду часу та як інтелектуальний актив, цінність якого не має часових обмежень і водночас, на відміну від першого випадку, не завжди піддається оцінюванню в грошовій формі. До того ж результати ДР далеко не завжди можна точно «локалізувати» в межах виконання науково-технічних проєктів на потребу того чи іншого замовника: знання розповсюджуються і використовуються різними організаціями та у різних країнах, навіть коли існують формальні обмеження і можливості для захисту інтелектуальної власності [1].

Підтвердженням актуальності та важливості тематики статті є прийняття влітку 2022 р. низки міжнародних документів, спрямованих на покращення процедури оцінювання у науковій сфері. Так, у червні 2022 р. Рада з питань конкурентоспроможності ЄС Science Europe. URL: https://www.scienceeurope.org/our-resources/reaction-coun- cil-conclusions-ra-os/ (дата звернення: 04.01.2023). затвердила «Висновки щодо оцінювання досліджень та впровадження відкритої науки» [2], розроблені Робочою групою Ради ЄС з наукових досліджень Draft council conclusions on research assessment and implementation of open sci-ence policies. URL: https://data.consilium.europa.eu/doc/document/ST-8512-2022- INIT/en/pdf (дата звернення: 04.01.2023). Coalition for advancing research assessment. URL: https://coara.eu/ (дата звернен-ня: 04.01.2023). ^{Agreement on reforming research assessment. CoARA. 20 July 2022. URL: https:// coara.eu/agreement/the-agreement-full-text/ (дата звернення: 04.01.2023).}. У документі визнано необхідність оновлення підходів до оцінювання результатів науково-дослідної роботи та встановлення балансу між якісними та кількісними критеріями оцінювання наукових досліджень; наголошено на необхідності відмовитися від провідної ролі кількісних показників (кількість публікацій та індекс Хірша) та приділяти більше уваги якісним критеріям в оцінюванні роботи окремих дослідників, науково-дослідних колективів і організацій; обґрунтовано необхідність більш комплексного підходу до оцінювання результатів діяльності дослідників, який здатен врахувати різноманітні шляхи побудови наукової кар'єри, включаючи всю додаткову діяльність (навчання, виконання керівних функцій, підприємництво). Рада закликає країни-члени ЄС просувати реформу системи оцінювання наукової діяльності на національному та регіональному рівні у тісному співробітництві з працівниками науки та сприяти її впровадженню в наукових установах.

У липні 2022 р. Коаліція зі сприяння оцінюванню досліджень (CoARA) 3, що об'єднує 399 організацій з 33 країн, опублікувала «Угоду щодо реформування оцінювання досліджень», яка передбачає уніфікований підхід до змін у підходах до оцінювання досліджень, дослідників

1 наукових установ 4. Угода визначає загальний напрям реформи оцінювання з урахуванням автономного статусу організацій та встановлює принципи оцінювання і зобов'язання щодо змін у підходах до його проведення з метою максимального підвищення якості та суспільно-економічної значущості досліджень. У ній наголошено, що оцінювання має передусім ґрунтуватися на експертному судженні, підкріпленому об'єктивними і надійними кількісними показниками.

Аналіз досліджень і публікацій. Постійні дебати щодо цілей, підходів, методів і показників оцінювання результатів діяльності дослідників і наукових установ, на жаль, часто зводяться до обговорення використання наукометричних інструментів, як-от журнальні імпакт-фактори, рівні цитування, індекс Хірша (і його «похідні»). Водночас не приділяється достатньо уваги іншим аспектам наукової діяльності, які важко виміряти кількісними показниками. Хоча в деклараціях стосовно оцінювання наукової діяльності (DORA Аmerican Society for Cell Biology. DORA. Declaration on Research Assessment URL: http://www.ascb.org/dora/ (дата звернення: 04.01.2023)., Лейденський маніфест [3], Гонконгський маніфест [4]) зазначено, що її результати є різноманітними і відтак оцінювання має бути багатовимірним, наукометричні покажчики і комплексні індикатори продовжують зберігати пріоритет і популярність як інструменти оцінювання, в т. ч. у вітчизняній науковій літературі. На нашу думку, це черговий прояв суто бюрократичного підходу до науки, тобто намагання максимально «спростити» процес оцінювання та подати результати у відверто «примітивній» формі посадовцям, які іноді не мають необхідної кваліфікації для керування науковою системою.

Активне використання наукометричних показників як основи для оцінювання обумовило їхнє пріоритетне значення у вимірюванні якості результатів діяльності конкретного дослідника та наукової установи, у змаганні за фінансування, посади та репутацію. Такий підхід звужує результати наукової діяльності та змушує дослідників працювати насамперед заради збільшення кількісних показників, нехтуючи іншими аспектами наукової та освітньої роботи. У деяких випадках самі статті мають відверто кон'юнктурний характер і далеко не завжди є якісними. В одній зі своїх попередніх публікацій [5] ми наводили приклад, що лише за десять місяців від початку пандемії COVID-19 з лютого по листопад 2020 р. згідно з даними Організації економічного співробітництва та розвитку надруковано 29 тисяч (!) «рейтингових» статей у наукових виданнях. Але за цей короткий час потрібно було зібрати та проаналізувати дані, підготувати, прорецензувати і опублікувати статті.

Деяким аспектам оцінювання діяльності окремих учених і наукових установ, пропозиціям щодо удосконалення методології оцінювання присвячені роботи вітчизняних дослідників [6--10]. Представлена стаття продовжує цикл публікацій авторів [5, 11--16], де розглянуто методологічні підходи та методики оцінювання діяльності науково-дослідних установ у зарубіжних країнах, зміни тенденцій у підходах до оцінювання, його особливості в Україні, проаналізовано результати оцінювання наукових установ НАН України та пов'язані з ним проблеми, надано пропозиції щодо їх вирішення.

Мета статті -- представити узагальнений аналіз нових тенденцій в оцінюванні результатів діяльності дослідників на прикладі підходів, запроваджених в університетах Ліги європейських дослідницьких університетів (LERU) League of European Research Universities. URL: https://www.leru.org/ (дата звер-нення: 04.01.2023)., та висловити авторське бачення доцільності й можливості їх реалізації в Україні, аби показати переваги багатовимірного оцінювання результатів діяльності дослідників упродовж усієї наукової кар'єри.

Методи дослідження та джерельна база. В процесі виконання роботи використано методи аналізу та узагальнення наукових джерел інформації, синтезу та порівнянь. Джерельну базу дослідження склали офіційні нормативні документи щодо оцінювання наукових установ, публікації вітчизняних і зарубіжних фахівців.

Результати дослідження та їх обговорення

Оцінювання (атестація) науковців на рівні окремих наукових установ проводиться в Україні на регулярній основі. Але кожна установа має власну методику оцінювання дослідників і підрозділів, яка зазвичай ґрунтується на формальних показниках публікаційної активності, а також враховує наявність наукового ступеня, вченого звання, участь у стажуваннях, освітню діяльність тощо. У багатьох випадках за результатами оцінювання розраховується єдиний комплексний кількісний індикатор, за яким будують рейтинг. оцінювання дослідження інтелектуальний україна

На рівні країни оцінювання (атестація) наукових установ проводиться спеціальним підрозділом Міністерства науки і освіти України згідно з документом, що має назву «Методика оцінювання ефективності наукової, науково-технічної та інноваційної діяльності наукової установи» Про затвердження Порядку проведення державної атестації наукових уста-нов: Постанова Кабінету Міністрів України від 19.07.2017 р. № 540 станом на 24.04.2018 р. URL: https://zakon.rada.gov.ua/laws/show/540-2017-%D0%BF (дата звернення: 04.01.2023).. Результат оцінювання отримують на основі «згортки» значень кількісних показників, які можуть бути скореговані групою експертів, в узагальнену рейтингову оцінку в кількісній формі [5].

Такій підхід дає змогу в короткий термін із залученням порівняно невеликих ресурсів на основі отриманих оцінок створити рейтинги вітчизняних наукових установ і закладів вищої освіти України, поділити їх на групи, проаналізувати їхню діяльність і прийняти відповідні управлінські рішення. Але він зазнає багато критики з боку представників наукової спільноти як такий, що не відповідає сучасним тенденціям оцінювання наукової діяльності та не враховує рекомендації ЄС щодо реформування системи оцінювання. Позитивним кроком на шляху реформування системи оцінювання наукової сфери в Україні стало включення робочою групою за напрямом «Освіта і наука» до «Проєкту плану відновлення України» системи оцінювання наукової діяльності на основі світового досвіду, який передбачає баланс між кількісними та якісними показниками з урахуванням специфіки наукових напрямів і місій наукових установ Проект плану відновлення України. Освіта і наука (станом на 03.08.2022). URL: https://mon.gov.ua/storage/app/media/gromadske-obgovorennya/2022/08/19/HO. proyekt.Planu.vidnovl.Osv.i.nauky-19.08.2022.pdf (дата звернення: 04.01.2023).. На наш погляд, важливим досвідом для України, який можна використати як основу для побудови української методики оцінювання результатів діяльності дослідників, є підхід, використовуваний в університетах LERU. LERU є відомим ініціатором просування фундаментальних досліджень в європейських дослідницьких університетах, до її складу входять 23 університети науково-технічного профілю з 12 країн Європи.

Університети LERU дотримуються положення щодо багатовимірного оцінювання результатів діяльності дослідників та використовують однакову структуру оцінювання для всіх установ [17]. Вона включає три види стандартної оцінки (ефективність досліджень, освітня діяльність та служіння суспільству), які визначаються за широким спектром критеріїв.

Оцінювання ефективності результатів досліджень проводиться в університетах LERU на індивідуальному рівні за шістьма критеріями: науковий внесок у розвиток галузі дослідження; визнання з боку наукової спільноти; послужний список конкурентного фінансування; співпраця та міждисциплінарність; стратегії досліджень; підвищення кваліфікації молодих дослідників.

Науковий внесок у розвиток галузі досліджень є основним критерієм оцінювання дослідника та визначається з урахуванням: провідного міжнародного досвіду у предметній галузі; видатних наукових результатів, визнаних на світовому рівні; внеску в розвиток знань у предметній галузі; впливу визнаних публікацій на предметну галузь, вимірюваного наукометричними показниками; кількості рецензованих публікацій. Зазначимо, що хоча рецензовані публікації враховуються як важливий показник визнання дослідника науковим співтовариством, проте їхня кількість розглядається лише як один із аспектів внеску і дослідник оцінюється за цим показником відповідно до кар'єрного зростання, наукового стажу та можливих перерв у кар'єрі. Крім цього, після перевищення певного порогу значимість публікаційних показників для оцінювання може знижуватися, оскільки вони не охоплюють інших важливих результатів, які також очікуються від дослідників.

Визнання дослідника з боку наукової спільноти оцінюється на основі параметрів, як-от наявність членства у національних і міжнародних наукових товариствах, участь у конференціях (запрошення виступити в якості основного доповідача або лектора), премії та відзнаки за дослідження, редагування або рецензування для визнаних наукових журналів, обрання на керівні посади, пов'язані з науковою або громадською діяльністю тощо.

Послужний список конкурентного фінансування оцінюється виходячи з припущення, що дослідники, які успішно отримують конкурентне фінансування, мають бути висококваліфікованими фахівцями. Але оцінювання за цим критерієм потребує конкретизації, оскільки розмір коштів залежить від предмета дослідження. Крім цього, потрібно враховувати, що фінансування може бути надане під впливом «зовнішніх», не завжди суто наукових міркувань. Наприклад, гранти Європейської дослідницької ради (European Research Council) вважаються ознакою найвищої якості та оригінальності наукової роботи, однак зроблений на цій підставі висновок щодо якості може бути упередженим, так само як на підставі публікацій в журналах з високим імпакт-фактором. Подібний підхід може призводити до так званого ефекту Матвія (англ. Matthew effect) у фінансуванні -- нерівномірного розподілу переваг, коли сторона, яка вже ними володіє, продовжує їх накопичувати і примножувати лише завдяки попереднім досягненням [18]. Співпраця та міждисциплінарність оцінюються за такими параметрами: наявність ініціативи, таланту та наполеглива праця. Цей критерій оцінювання визначає, наскільки успішно дослідник проводить наукову роботу за межами власної дисципліни та розвиває міждисциплінарну дослідницьку діяльність, бере участь у спільних дослідницьких проєктах і міжнародній співпраці. Міждисциплінарність вважається необхідною умовою ефективної взаємодії між дисциплінами шляхом перехресного цитування, запозичення підходів, методів та інструментів на методологічному, концептуальному чи практичному рівні, що уможливлює отримання нового наукового знання, об'єктів і предметів дослідження.

Стратегія досліджень -- критерій, включений до оцінювання виходячи з того, що університети LERU цінують дослідників, здатних не лише виконувати високоякісні дослідження в межах індивідуальних проєктів, а й виходити за ці межі: самостійно ініціювати і складати наукові програми, що забезпечують безперервність досліджень і розвиток університетів.

Підвищення кваліфікації молодих дослідників -- критерій, що визначає участь науковця у навчанні молоді, його лідерські якості, внесок у створення сприятливого робочого середовища, показники студентів, що виконували дослідження під його керівництвом. Цей критерій вказує як на важливість морального авторитету науковця серед молодих дослідників на початку їхньої кар'єри, так і на той факт, що сьогодні результатами наукової роботи є не лише документи та патенти, а й люди.

Результати освітньої діяльності дослідників оцінюються за чотирма критеріями: участь у викладанні, включаючи індивідуальний контроль, зворотний зв'язок зі студентами та успішність їхнього навчання; розроблення засобів і методів навчання; вплив на практику викладання та розроблення навчальних програм; освітня діяльність поза університетом. У процесі оцінювання викладацьких обов'язків враховується різниця між викладанням загальних предметів для великих груп студентів першого курсу та спеціалізованих предметів для невеликих груп студентів магістратури; внесок у розроблення засобів і методів навчання, інноваційного матеріалу як частини навчального процесу. Цей критерій означає, що викладачі активно займаються розвитком власних педагогічних навичок. Вплив на практику викладання та розроблення навчальних програм оцінюється виходячи з того, що викладацька діяльність дослідників передбачає їхню участь у процесах, спрямованих на підвищення якості навчання. Це передбачає взаємодію зі студентськими групами, сприяння підвищенню якості освіти і участь у плануванні та розвитку навчальних програм. Зазначені три критерії оцінювання розглядаються у комплексі, а відтак університети LERU звертаються до своїх дослідників із проханням надавати дані для оцінювання, що охоплюють всі три аспекти викладацької діяльності. Освітня діяльність поза університетом оцінюється з огляду на те, що в сучасному світі освіта не припиняється після його закінчення. На жаль, університетська освіта насамперед охоплює молодь, а участь дослідників у програмах навчання впродовж усього життя часто залишається непоміченою. Університети LERU наголошують на необхідності приділяти більше уваги цьому напряму освіти.

Служіння суспільству означає, що університети надають суспільству послуги не лише в опосередкованому вигляді, тобто через дослідження та освіту, а й шляхом безпосередньої взаємодії. Прикладами, що вважаються частиною основної місії університетів, є догляд за пацієнтами в університетських лікарнях, співробітництво з промисловістю, діяльність із передачі технологій, експертно-консультаційна робота при органах законодавчої та виконавчої влади, спілкування з громадськістю через ЗМІ, участь представників університетів у громадській діяльності.

Важливим аспектом також є обов'язки та відповідальність, які дослідники беруть на себе в установі або у великих наукових колективах. Деякі з них поєднують наукову роботу з виконанням організаційних завдань. Такі обов'язки можуть виконуватися на офіційних посадах в університеті (наприклад декан, завідувач кафедри) або на неформальних підставах (координатор дослідницького проєкту або навчальної програми). Крім цього, обов'язки можуть включати всі види представництва, ведення переговорів зі спонсорами та представниками уряду, участь у призначених університетом комісіях тощо. LERU вважає за необхідне при оцінюванні враховувати внесок дослідника в усіх формах, що має надзвичайно важливе значення для впровадження концепції Open Science в таких складних наукових структурах, як університети. Якщо такий внесок у належний спосіб не відображений у вихідних критеріях, він залишиться непоміченим і, отже, недооціненим. Розглянутий широкий спектр критеріїв, використовуваних університетами LERU для оцінювання продуктивності дослідників з урахуванням профілю діяльності та спеціалізації став значним кроком уперед порівняно з традиційними наукометричними показниками, але ці критерії передусім стосуються отриманих досягнень або «минулого результату». На сьогодні цього недостатньо для переходу до оцінювання дослідників з урахуванням різних видів їхнього внеску в процесі наукової кар'єри.

Експериментуючи з методикою оцінювання, університети LERU визнали необхідність включення до неї показників перспективного розвитку дослідників за трьома характеристиками: багатовимірна перспектива, перспектива розвитку та контекстуальна перспектива [17].

Багатовимірна перспектива визначається з урахуванням різноманітності видів внеску, очікуваних від дослідників у поточний час. Її критерії, розглянуті вище, вже запроваджені в LERU. Однак потреби в багатовимірному оцінюванні дедалі зросли в останні десятиліття. Це пов'язано з тим, що наукова діяльність зараз передбачає більш значну колективну складову. Зміни відбулись і в освіті, що насамперед пов'язано з цифровізацією і навчанням упродовж життя. Зросли очікування суспільства від науки для отримання оперативних відповідей на глобальні виклики (наприклад, пандемія COVID-19), що потребує збільшення інвестицій в наукові дослідження. Наукове середовище створює нові завдання для дослідників і очікує від них нових видів внесків, що потребує здобуття різних додаткових навичок. Цей аспект також слід враховувати в оцінюванні. Перспектива розвитку характеризується особистим зростанням і формуванням лідерських якостей. Важливість лідерства в академічній кар'єрі все більше визнається в науковому співтоваристві. Для його оцінювання в методології LERU передбачено чотири критерії: спроможність бути лідером у партнерстві, мережах, інституційній співпраці, наукових організаціях тощо; бачення напряму майбутніх досліджень, вплив на міжнародну програму досліджень; відповідальність за людей (студентів, дослідників) та їхній розвиток, культура спілкування з людьми та сприятливе робоче середовище; прихильність до університетських цінностей (колегіальність, взаємна повага, чесність у виконанні роботи).

Важливість оцінювання перспективи розвитку пов'язана з тим, що через погане керівництво, роздрібненість, конфлікти, консерватизм і безініціативність співробітників робота стає неефективною і висококваліфіковані фахівці змушені залишати університети. Дослідники, які виявляють лідерські якості, мають навички співпраці та завжди налаштовані на успіх у майбутньому, створюють навколо себе гармонійне дослідницьке середовище. Крім лідерства, важливими для оцінювання визнано такі критерії, як співробітництво та інновації, що є актуальними не лише для проведення досліджень, а й в освіті та служінні суспільству. Співробітництво враховує внесок дослідника у колективну роботу. Це означає, що у нього мають бути сформовані навички стосунків, у т. ч. у конфліктних ситуаціях. Складовою лідерства сучасної дослідницької діяльності також стали висока інноваційна активність і пов'язані з нею ризики, їх передбачення та попередження.

Контекстуальна перспектива означає врахування індивідуального середовища дослідника. Термін «контекст» може стосуватись як професійних умов його праці, так і особистих обставин. Хоча такий підхід викликає суперечки, його прибічники вважають, що врахування контекстуальної перспективи -- єдиний спосіб зробити дослідження більш інклюзивними. Оцінка результатів діяльності дослідників упродовж наукової кар'єри є основою для їх визнання та винагороди. Підхід до оцінювання дослідників, використовуваний університетами LERU, не є формалізованим, а відтак потребує значного часу і є доволі трудомістким, оскільки комісія має провести оцінювання за широким спектром критеріїв. Можна нагадати, що подібні ідеї розвивалися свого часу і київською школою наукознавства під керівництвом Г.М. Доброва. Він і його колеги займались визначенням функцій різних дослідників у межах наукових колективів під час виконання тих чи інших завдань [19]. Процедура оцінювання результатів діяльності дослідників за методологією LERU відбувається через індивідуальну співбесіду, а складене дослідником резюме з описом досягнутих результатів і плану подальшої роботи є лише її відправною точкою. Оцінювання проводиться шляхом експертного аналізу різних аспектів діяльності дослідника висококваліфікованими фахівцями-науковцями, а не на основі суто формальних показників. Нові методики університетів LERU щодо оцінювання результатів діяльності дослідників є результатом багатьох експериментів із новими підходами. Вони свідчать про складність і трудомісткість процесу зміни практики оцінювання, але отримані результати доводять і можливість, і ефективність таких змін.

Основними цілями подальшого удосконалення критеріїв оцінювання в університетах LERU визначено: підвищення статусу освіти та відновлення балансу між навчальною і дослідницькою діяльністю; зміцнення академічного лідерства та поширення найкращих прикладів менеджменту; посилення впливу університетів на суспільство і розширення спектру суспільних послуг; перехід від традиційного підходу до оцінювання дослідника на базі показників, що відображають його особисті досягнення, до визначення його внеску в колективну роботу; підтримка практики відкритої науки; стимулювання рівності та інклюзивності.

Висновки

Під час аналізу великого обсягу інформації про діяльність наукових установ і окремих дослідників виникає спокуса використати прості засоби та звести все до єдиного показника, оскільки такий підхід є більш простим і менш затратним. Але така філософія змінилась, і оцінювання набуло характеру експертного судження, яке можна і потрібно підтвердити об'єктивними даними, але воно не може бути зведене до «спрощених» показників і суто формальних процедур. Про це наголошено у концепції Open Science 9, відповідно до якої використання лише наукометричних показників розглядається як головна перешкода в реалізації принципів відкритої науки, що не дає можливості ані для врахування інклюзивності досліджень і різноманітності результатів, ані для визначення перспектив.

Наразі основний тренд в оцінюванні результатів наукової діяльності в університетах і наукових установах у розвинених країнах світу полягає у зміщенні акцентів із суто кількісних показників на якісні експертні судження. Водночас кількісні показники продовжують виконувати важливі інформаційні функції у процесах прийняття рішень. Звичайно, перехід від спрощених кількісних метрик до обґрунтованих експертних оцінок супроводжується виникненням певних проблем, головною з яких є вибір кваліфікованих експертів для проведення оцінювання.

Проблема підбору незалежних експертів виникла і в НАН України, яка з 2016 р. проводить оцінювання діяльності наукових установ за «Методикою оцінювання ефективності діяльності наукових установ НАН України» UNESCO Recommendation on Open Science. URL: https://en.unesco.org/science- sustainable-future/open-science/recommendation (дата звернення: 04.01.2023). Методика оцінювання ефективності діяльності наукових установ НАН Украї-ни: Постанова Президії НАН України від 15.03.2017 р. № 75, зі змінами, внесе-ними Постановою Президії НАН України від 11.07.2018 р. № 241. URL: https:// www.nas.gov.ua/text/pdfNews/metodyka_text.pdf (дата звернення: 04.01.2023). (далі -- Методика НАН України), яка ґрунтується на експертному судженні. Аналіз результатів першого раунду оцінювання (2016--2021 рр.), проблеми і труднощі, що виникали під час його проведення і потребують вирішення, детально розглянуто авторами в [15]. Після завершення першого раунду оцінювання керівництво Академії відповідно до Постанови Президії НАН України «Про оцінювання діяльності наукових установ НАН України» від 22.10.2022 № 417 ініціювало доопрацювання Методики НАН України та обґрунтувало необхідність подальшого проведення оцінювання, яке є важливим елементом оптимізації мережі та внутрішньої структури наукових установ НАН України.

Нову редакцію Методики НАН України з урахуванням пропозицій і зауважень усіх учасників процесу оцінювання затверджено Постановою Президії НАН України № 33 від 11.01.2023 р.

У зв'язку із запровадженням нових підходів до оцінювання діяльності наукових установ і дослідників особливої актуальності для НАН України набуває створення бази експертів і розроблення процедур залучення іноземних учених до роботи експертних груп на різних рівнях прийняття рішень.

Другий важливий аспект досвіду LERU, який слід застосувати в науковій та освітній сфері України, зокрема у НАН України, пов'язаний з необхідністю подальшої активізації процесів оцінювання діяльності окремих науковців і наукових підрозділів установ, результати якого мають визначати характер внутрішньої реорганізації.

В Україні історично склалося так, що атестація науковців фактично перетворилася на «внутрішню справу» установи, де «зовнішня» оцінка діяльності практично відсутня. Таке становище має змінитися, а процедури оцінювання установи, її працівників і підрозділів повинні бути гармонізовані. Практиці оцінювання, завдяки якій ефективні підрозділи та дослідники «витягують» установу на високі загальні оцінки, має бути покладено кінець. Для цього варто, враховуючи досвід LERU, адаптувати показники та процедури атестації (оцінювання) дослідників до реалій України та чіткіше визначити можливі організаційні заходи за результатами оцінювання.

Оцінювання не повинно зводитися до виявлення недоліків і надання зауважень, воно має включати критичний аналіз ефективності діяльності наукового суб'єкта, за результатами якого визначатимуться напрями вдосконалення та надаватимуться відповідні рекомендації, а в разі необхідності -- обґрунтування реорганізації або припинення діяльності установи, зміни посади дослідника або неподовження контракту з ним. Отже, головною метою оцінювання стає не фіксація підсумків, а поштовх до нової парадигму розвитку -- покращення результатів роботи окремого дослідника і установи загалом.

Зазначимо, що сам процес оцінювання є процедурою евристичною та інтерактивною. Оцінювання як таке не може привести до оптимальних у математичному розумінні результатів, але цілком можливо зробити його більш раціональним, тобто таким, що відповідає потребам соціально-економічного розвитку.

Проведене дослідження процедури оцінювання університетів LERU уможливило розроблення рекомендацій та пропозицій щодо удосконалення атестації (оцінювання) наукових співробітників НАН України. Практичні заходи, спрямовані на підвищення результативності діяльності окремих дослідників і наукових установ із метою раціональної реорганізації НАН України, будуть розглянуті в наступній статті авторів.

Список літератури

1. Ker D., Galindo-Rueda F Frascati Manual R&D and the System of National Accounts. OECD Science, Technology and Industry Working Papers, 2017/06. OECD Publishing, Paris. 27 р. http://doi.org/10.1787/edb6e020-en

2. Reaction to the Council Conclusions on Research Assessment and the Implementation of Open Science Policies. https://doi.org/10.5281/zenodo.7043092

3. Hicks D., Wouters P., Waltman L., de Rijcke S., Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. Nature. 2015. No. 520. Р. 429-431. https://doi. org/10.1038/520429a

4. Moher D., Bouter L., Kleinert S., Glasziou P., Sham M.H., Barbour V. et al. (2020) The Hong Kong Principles for assessing researchers: Fostering research integrity. PLoS Biol. 2020. 18 (7). e3000737. https://doi.org/10.1371/journal.pbio.3000737

5. Єгоров І.Ю., Жукович І.А. Розвиток підходів до оцінювання результатів діяльності науково-дослідних установ. Наука та наукознавство. 2022. № 3 (117). С. 36--50. https://doi.org/10.15407/sofs2022.03.036

6. Рибачук В.П. Методологічні проблеми оцінювання продуктивності наукової діяльності. Наука та наукознавство. 2013. № 2. С. 46--52.

7. Лактіонова Т.М., Парасочка І.Ф., Гаврилова Н.А. Бібліометричні показники публікаційної діяльності наукових підрозділів інституту. Наука та наукознавство. 2021. № 4 (114). С. 74--93. https://doi.org/10.15407/sofs2021.04.074

8. Мриглод О.І., Назаровець С.А. Наукометрія та управління науковою діяльністю: вкотре про світове та українське. Вісник Національної академії наук України. 2019. № 9. С. 81--94. https://doi.org/10.15407/visn2019.09.081

9. Бакуменко В., Чала Н., Цедік М. До питання оцінювання наукових результатів українських учених. Збірник наукових праць Національної академії державного управління при Президентові України. 2021. Вип. 1. С. 15--26.

10. Костенко Л., Симоненко Т. Наукометрия 2.0: концептуальные положения, апробация. Библиотеки национальных академий наук: проблемы функционирования, тенденции развития. 2020. Вып. 18. С. 52--63. https://doi.org/10.15407/ maan2020.18.052

I. Єгоров І.Ю. Індикатори публікаційної активності та критерії якості наукових видань: підходи до визначення. Наука, технології, інновації. 2018. № 3. С. 3--10.

12. Yegorov I. Evaluation of research institutes of the National Academy of Sciences of Ukraine: problems with implementation of the best practices. Fteval Journal. 2019.

No. 47. Р. 89--93. URL: http://repository.fteval.at/id/eprint/421 (дата звернення: 04.01.2023).

13. Жукович І.А., Єгоров І.Ю. Еволюція методичних підходів до оцінювання ефективності діяльності науково-дослідних установ Чехії. Статистика України. 2020. № 2--3. С. 117--126. https://doi.org/10.31767/su.2-3(89-90)2020.02-03.13

14. Жукович І.А., Єгоров І.Ю. Еволюція методичних підходів до оцінювання ефективності діяльності науково-дослідних установ в Україні. Статистика України. 2021. № 2. С. 4--15. http://doi.org/10.31767/su.2(93)2021.02.01

15. Жукович І.А. Особливості оцінювання діяльності наукових установ у деяких країнах колишнього СРСР. Статистика України. 2022. № 2. С. 4--15. https://doi.org/10.31767/su.2(97)2022.02.05

16. Єгоров І.Ю., Жукович І.А., Ступіна Л.В., Артюшенко В.В. Аналіз результатів оцінювання ефективності діяльності наукових установ НАН України в першому раунді оцінювання за період 2016--2022 роки. Вісник Національної академії наук України. 2022. № 11. C. 79--89. https://doi.org/10.15407/visn2022.11.079

17. Overlaet В. A Pathway towards Multidimensional Academic Careers. A LERU Framework for the Assessment of Researchers. LERU position paper. January. 2022.

30 р. URL: https://www.leru.org/files/Publications/LERU_PositionPaper_Frame- work-for-the-Assessment-of-Researchers.pdf (дата звернення: 04.01.2023).

18. Merton R. The Matthew Effect in Science: The reward and communication systems of science are considered. Science. 1968. Vol. 159. Issue 3810. Р. 56--63. https://doi. org/10.1126/science.159.3810.56

19. Dobrov G., Savelyev A., Tonkal V. Studying research utilization in the Ukraine. Science and Public Policy. 1987. Vol. 14. Issue 4. P. 231--235 https://doi.org/10.1093/ spp/14.4.231

20. Cooper M. Research: Women Leaders Took on Even More Invisible Work During the Pandemic. Harvard Business Review. October 27, 2021. URL: https://hbr. org/2021/10/research-women-took-on-even-more-invisible-work-during-the- pandemic (дата звернення: 04.01.2023).

References

1. Ker, D., & Galindo-Rueda, F (2017). Frascati Manual R&D and the System of National Accounts. OECD Science, Technology and Industry Working Papers, 2017/06. OECD Publishing, Paris. http://dx.doi.org/10.1787/edb6e020-en

2. Reaction to the Council Conclusions on Research Assessment and the Implementation of Open Science Policies. https://doi.org/10.5281/zenodo.704309

3. Hicks, D., Wouters, P., Waltman, L., de Rijcke S., & Rafols, I. (2015). Bibliometrics: The Leiden Manifesto for research metrics. Nature, 520, 429--431. https://doi. org/10.1038/520429a

4. Moher, D., Bouter, L., Kleinert, S., Glasziou, P., Sham, M.H., Barbour, V. et al. (2020). The Hong Kong Principles for assessing researchers: Fostering research integrity. PLoS Biol, 18 (7), e3000737. https://doi.org/10.1371/journal.pbio.3000737

5. Yegorov, I.Yu., & Zhukovych, I.A. (2022). Development of approaches to the evaluation of the results of the activity of the scientific and recent establishments. Science and Science of Science, 3, 36--50. https://doi.org/10.15407/sofs2022.03.036 [in Ukrainian].

6. Rybachuk, V.P. (2013). Methodological problems of evaluating the productivity of scientific activity. Science and Science of Science, 2, 46--52 [in Ukrainian].

7. Laktionova, T.M., Parasochka, I.F., & Havrylova, N.A. (2021). Bibliometric indicators of publication activities in research units of the institute. Science and Science of Science, 4(114), 74--93. https://doi.org/10.15407/sofs2021.04.074 [in Ukrainian].

8. Mryglod, O.I., & Nazarovets, S.A. (2019). Scientometrics and management of scientific activities once again about the global and Ukrainian. Visn. Nac. Akad. Nauk Ukr., 9, 81--94. https://doi.org/10.15407/visn2019.09.081 [in Ukrainian].

9. Bakumenko, V, Chala, N., & Tsedik, M. (2021). To the question of evaluating the scientific results of Ukrainian scientists. Journal of Research Papers of the National Academy for Public Administration under the President of Ukraine, 1, 15--26 [in Ukrainian].

10. Kostenko, L., & Symonenko, T. (2020) Scientometrics 2.0: conceptual positions and approbation. Libraries of National Academies of Sciences: Functioning Problems, Development Trends, 18, 52--63. https://doi.org/10.15407/maan2020.18.052 [in Russian].

11. Yegorov, I. (2018). Indicators of public activity and quality criteria of scientific edition: approaches to definition Science, Technologies, Innovations, 3, 3--10 [in Ukrainian].

12. Yegorov, I. (2019). Evaluation of research institutes of the National Academy of Sciences of Ukraine: problems with implementation of the best practices. Fteval Journal, 47, 89--93. URL: http://repository.fteval.at/id/eprint/421

13. Zhukovych, I.A., & Yegorov, I.Yu. (2020). The Evolution of Methodical Approaches for Evaluation the Efficiency of the Activities of Scientific Research Organizations in the Czech Republic. Statistics of Ukraine, 2--3, 117--126. https://doi. org/10.31767/su.2-3(89-90)2020.02-03.13 [in Ukrainian].

14. Zhukovych, I.A., & Yegorov, I.Yu. (2021). Evolution of Methodological Approaches to Evaluating the Efficiency of the Activities of Research Organizations in Ukraine. Statistics of Ukraine, 2, 4--15. http://doi.org/10.31767/su.2(93)2021.02.01[in Ukrainian].

15. Zhukovych, I. A. (2022). Peculiarities of Evaluating the Activity of Scientific Organizations in Some Countries of the Former USSR. Statistics of Ukraine, 2, 41--50. https://doi.org/10.31767/su.2(97)2022.02.05 [in Ukrainian].

16. Yegorov, I.Yu., Zhukovych, I.A., Stupina, L.V., & Artiushenko, V.V. (2022). Analysis of the evaluation the efficiency the results of evaluation the efficiency of the research organizations of the NAS of Ukraine in the first round of the period 2016--2022. Visn. Nac. Akad. Nauk Ukr., 11, 79--89. https://doi.org/10.15407/ visn2022.11.079 [in Ukrainian].

17. Overlaet, В. (2022). A Pathway towards Multidimensional Academic Careers. A LERU Framework for the Assessment of Researchers. LERU position paper. January, 2022. URL: https://www.leru.org/files/Publications/LERU_PositionPaper_ Framework-for-the-Assessment-of-Researchers.pdf (last accessed: 04.01.2023).

18. Merton, R. (1968). The Matthew Effect in Science: The reward and communication systems of science are considered. Science, 159 (3810), 56--63. https://doi. org/10.1126/science.159.3810.56

19. Dobrov, G., Savelyev, A., & Tonkal, V. (1987). Studying research utilization in the Ukraine. Science and Public Policy, 14 (4), 231--235. https://doi.org/10.1093/ spp/14.4.231

20. Cooper, M. (2021). Research: Women Leaders Took on Even More Invisible Work During the Pandemic, Harvard Business Review, October 27. URL: https://hbr. org/2021/10/research-women-took-on-even-more-invisible-work-during-the- pandemic (last accessed: 04.01.2023).

Abstract

Evaluation of the results of researchers' activities: new trends

The article is devoted to the analysis of new trends in evaluating the results of researchers' activities using the example of the evaluation procedure used by the League of European Research Universities (LERU).

The author's vision of the expediency and possibilities of its implementation in Ukraine is also expressed. The sources of information for research are the publications of domestic and foreign scientists, the regulatory and legislative framework of Ukraine and the recommendations of international structures regarding the evaluation. New trends in the evaluation of the results of researchers' activities are becoming relevant due to the fact that a number of international documents adopted in 2022 define the need to update the approach to evaluation, which should be based on multidimensional evaluations and ensure a balance between qualitative and quantitative criteria in order to obtain objective information.

It was determined that the general structure of evaluating the results of researchers' activity according to the LERU methodology includes three types of standard evaluation (effectiveness of research, educational activity and service to society), which are characterized by a wide range of criteria and allow assessing the results of activities over the past period.

To improve the LERU assessment procedure, recommendations were developed to supplement the standard assessment with three characteristics: a multidimensional perspective, a development perspective, and a contextual perspective. '1 heir essence is explored in the article. On the basis of the conducted research, it was concluded that the evaluation of the results of researchers' activities should not be limited to identifying shortcomings and providing comments, but should include a critical analysis followed by the determination of areas for improvement of activities and the provision of appropriate recommendations.

The main goal of the evaluation is not to fix the results, but to push for a new paradigm of development -- to improve the results of the work of both individual researchers and the scientific institution as a whole. The opinion is expressed that the adapted methodology of LERU can be used for the attestation (evaluation) of researchers in Ukraine.

Keywords: evaluation of the results of researchers' activities, peer review, evaluation criteria, scientometric indicators, The League of European Research Universities, National Academy of Sciences of Ukraine.

Размещено на Allbest.ru