Наукометричне та експертне оцінювання: дискусійні питання

Размещено на http://allbest.ru

ДУ «Інститут досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України»

Наукометричне та експертне оцінювання: дискусійні питання

Т.М. Кармадонова, кандидат філософських наук,

старший науковий співробітник

Анотація

Стаття присвячена актуальним питанням оцінювання результатів наукової діяльності. Проаналізовано можливості та проблеми використання наукометричних та експертних методів оцінювання в сучасній науковій сфері. Використано матеріали Сан-Франциської декларації щодо оцінювання досліджень та Лейденського маніфесту щодо наукометрїі як документів, актуальних для вчених і громадськості. Підкреслено, що один із основних висновків, зроблених у зазначених документах, стосується недоречності переоцінки значення кількісних показників і необхідності врахування багатоаспектності завдань науки.

Проаналізовано переваги та недоліки наукометричного оцінювання. Показано можливості та обмеження використання індексів цитування, індексу Хірша, імпакт-фактора та інших індексів для оцінювання продуктивності діяльності вчених, ефективності роботи наукових установ і престижності наукових журналів.

Розглянуто сутність поняття «експертна оцінка» та основні методи її отримання: метод Дельфі, метод мозкового штурму, метод синектики. Висвітлено проблемні аспекти їх використання. Розглянуто моделі експертного оцінювання: одинарне «сліпе» рецензування, подвійне «сліпе» рецензування та відкрите рецензування. Показано, що можливості інтернет-середовища стали детермінантами переходу від моделі закритого допублікаційного рецензування до моделі відкритого постпублікаційного онлайнового рецензування.

На підставі концепції постнормальної науки С. Фунтовича та Дж. Равеца розкрито сутність понять «розширена експертна спільнота» та «розширене експертне оцінювання»; показано, що вони відображають участь громадськості в оцінюванні науки та технологій. Підкреслено, що при розширеному експертному оцінюванні потрібно уникати ідеологічної, політичної та релігійної ангажованості. Проаналізовано формування нового феномену «бета-рідера» при оцінюванні наукових текстів. Розглянуто декілька онлайн-платформ «бета-рідерів». Зроблено висновок, що наукометричні та експертні оцінки мають використовуватись як взаємодоповнюючі аналітичні засоби.

Ключові слова: експертне оцінювання, індекс цитування, індекс Хірша, імпакт-фактор, експертна оцінка, рецензування, експертиза, розширене експертне оцінювання, «бета-рідер».

Вступ

У сучасній науці велика увага приділяється методологічним проблемам вибору показників для оцінювання якості наукових публікацій, а також роботи вчених, дослідницьких груп і науково-дослідних організацій. Наразі актуалізується питання якісних і кількісних підходів до оцінювання наукової діяльності, результати якого найбільш адекватно і об'єктивно відображають картину, що склалася у науковому секторі. Дискусія про це широко розгорнулася в останні десятиліття. Найбільшого резонансу набула прийнята в 2012 р. Сан-Франциська декларація щодо оцінювання досліджень \ у якій наукова громадськість виступила проти використання імпакт-фактора журналів у питаннях, пов'язаних із фінансуванням, працевлаштуванням і кар'єрним зростанням у науковій сфері, наголосивши на необхідності вдосконалення системи оцінювання з метою кращого відображення специфіки науки як сфери людської діяльності [1, с. 10].

Також широко обговорюються принципи Лейденського маніфесту щодо бібліометрії The San Francisco Declaration on Research Assessment (DORA). URL: https://sfdora.org (дата звернення: 05.01.2022). Hicks D., Wouters P., Waltman L., Rijcke S., Rafols I. Bibliometrics: The Leiden Manifesto for research metrics. 2015. URL: http://www.nature.com/news/bibliometrics-the-leiden- manifesto-for-research-metrics-1.17351/ (дата звернення: 05.01.2022)., який отримав цю назву після презентації та затвердження на конференції у 2014 р. в Нідердандах. У маніфесті запропоновано десять принципів оцінювання: 1) кількісне оцінювання повинно доповнюватися експертними оцінками; 2) критерії оцінювання мають відповідати завданням інституції; 3) відстоювання результатів досліджень, важливих для того або іншого регіону; 4) використання прозорих і простих індикаторів для оцінювання; 5) можливість перевіряти дані та результати аналізу; 6) врахування специфіки галузей при оцінюванні; 7) врахування тематичного спектра досліджень; 8) уникнення надмірної конкретизації кількісних показників; 9) врахування впливу формальних показників; 10) регулярна перевірка й удосконалення показників оцінювання. Водночас тривають пошуки можливостей удосконалення методик і принципів експертного оцінювання, які придатні до застосування в міждисциплінарних сферах і безпосередньо пов'язані з практичною діяльністю.

Аналіз досліджень і публікацій. Істотний внесок у розвиток досліджень якісних і кількісних методів оцінювання в науці зроблено вітчизняними науковими центрами (ДУ «Інститут досліджень науково-технічного потенціалу та історії науки ім. Г.М. Доброва НАН України», відділом бібліометрії та наукометрії Національної бібліотеки України ім. В.І. Вернадського та ін.), колективами і окремими вченими. Оцінюванню якості наукових публікацій безпосередньо присвячені публікації [1,2]; різні аспекти використання методів наукометрії у багатьох сферах, зокрема в бібліографічних дослідженнях і створенні баз даних, розглянуто в [3]; питання, пов'язані з теоретичними аспектами наукометричних засобів аналізу інноваційної діяльності, проаналізовано в [4]; чинники наукової ефективності та системи стимулювання і моніторингу публікаційної активності -- в [5]; наукометричний аналіз як метод вивчення таких аспектів, як продуктивність роботи вчених, вплив їхніх ідей на наукову спільноту, діяльність наукових колективів і проблематика наукових видань, використано в [6, 7]; застосування наукометричних показників для оцінювання наукової діяльності досліджено в [8, 9, 10].

Сьогодні існує велика кількість міжнародних систем цитування: Web of Science, Scopus, Index Copernicus, Astrophysics, PubMedта ін. Наукометрич- ні показники також можна відстежувати на ресурсі Google Scholar. Можливості та обмеження прикладного використання web-системи Google Scholar досліджено українськими науковцями в [11]; причини, через які міжнародні рейтинги та індекси не завжди дають правильні оцінки, проаналізовано в [12]; на необхідності та безальтернативності застосування рейтингів на сьогоднішній день наголошено у [13]. Низку досліджень, спрямованих на вирішення проблем експертизи та експертного оцінювання, розглянуто в [14, 15]; метод експертного оцінювання, а саме його історичну експлікацію та сучасну модель, досліджено в [16]; підкреслено, що тільки сукупні результати наукометричного аналізу і професійної якісної експертизи можуть стати основою для оцінювання науковця або наукової установи [17]. Нову модель рецензування наукових публікацій, а саме онлайн-рецензування, розглянуто в [18]; зазначено, що відкрите рецензування стає інструментом підвищення якості соціально-економічних досліджень [19]. Тенденцію до участі громадськості в оцінюванні науки, залучення «розширеної спільноти» (модель розширеної участі) до експертизи в контексті концепції постнормальної науки розкрито в [20]; проблеми участі громадськості в науці обговорено в [21].

Однією з форм відкритого рецензування є рецензування «бета-рідером». Феномен «бета-рідера» як різновид розширеного експертного оцінювання досліджено в [22, 23].

Але деякі аспекти наукометричного та експертного оцінювання залишаються дискусійними, що обумовлює актуальність подальших досліджень у цьому напрямі.

Мета статті -- охарактеризувати особливості наукометричних та експертних методів оцінювання наукових результатів.

Для досягнення поставленої мети в статті надано результати аналізу нових методів експертного оцінювання; показано, що передбачене цими методами розширення функцій експертизи призводить до зміни її традиційного тлумачення як неупередженої професійної оцінки.

Виклад основного матеріалу

В науковій літературі немає єдиного погляду щодо визначення адекватних індикаторів оцінювання результатів діяльності вченого чи наукового колективу. Навіть відзначається наявність певних традиційних пріоритетів, яких дотримуються у тих чи інших країнах. Наприклад, у скандинавських країнах переважають кількісні методи оцінювання, у Франції чи Великій Британії -- експертні, а в таких країнах, як Німеччина і Нідерланди, -- різні комбінації наукометричних і експертних методів [17, c. 13]. Проте в останнє десятиліття простежується і тенденція до переходу від суто кількісних методів до максимізації експертного аналізу, зокрема в Австралії. оцінювання продуктивність хірш індекс вчений

Суттєвий внесок у теоретичні та практичні напрацювання в наукометрії зроблено українськими вченими. Вирішальне значення мала опублікована в 1966 р. у Києві фундаментальна монографія Г.М. Доброва «Наука та наукознавство: Вступ до загального наукознавства», яка фактично поклала початок цьому напряму робіт в Україні. Монографія поглибила інтерес до наукознавчих досліджень загалом і була перекладена багатьма мовами світу [3, c. 286].

Розвиток інформаційно-комунікаційних технологій активізував науко- метричні дослідження, суттєво розширивши їхні можливості. До 2000 р. для спеціалізованих видів аналізу використовувався індекс наукового цитування на CD-ROM, створений Інститутом наукової інформації в 1963 р. під керівництвом Ю. Гарфилда. У 2002 р. Thomson Reuters запустила інтегровану веб-платформу, завдяки чому база даних Web of Science стала широко доступною. Було створено й інші індекси цитування: Scopus та Google Scholar [7]. Одна з груп індикаторів, використовуваних в оцінюванні наукової діяльності, вимірює кількість посилань на роботи одного автора чи групи авторів. Ці індикатори називають індексами цитування. На основі індексу цитування будуються інші індикатори. Потрібно враховувати, що індекс цитування не можна використовувати для оцінювання щойно надрукованих статей. Зазвичай стаття досягає максимуму цитування через 3--5 років після опублікування. Протилежністю цього індексу є індекс нецитування [24, c. 49]. У 2005 р. Х. Хірш, фізик із Каліфорнійського університету (м. Сан- Дієго), запропонував h-індекс, популяризуючи підрахунок цитат для окремих дослідників. Індекс Хірша -- сумарна кількість посилань на роботи вченого, цей критерій ґрунтується на обліку кількості публікацій дослідника та їх цитувань. Як зазначає Т. Кіщак, серед загальноприйнятих показників якості роботи науковця, видання та установи, які стали умовним стандартом оцінювання ефективності роботи та аналізу наукової активності та продуктивності, останнім часом найбільший інтерес викликають індекс цитування, індекс Хірша та імпакт-фактор Кіщак Т. Наукометричні бази даних та їх кількісні показники: необхідність чи вимога часу? URL: https://nubip.edu.ua/node/12785 (дата звернення: 05.01.2022)..

Проте, як підкреслює В. Горовий, популяризація індексу Хірша у визначенні ефективності наукової діяльності стала, крім іншого, даниною особливостям початкового періоду розвитку інформаційного суспільства, для якого характерне різке збільшення обсягів інформаційного виробництва, коли за технократичними параметрами інформаційних обмінів губиться змістовна якість [1]. Цей індекс придатний для оцінювання загального внеску вченого в науку, але не відображає ступінь його активності в конкретний момент [24, с. 53]. Утім дослідження показують, що експертна оцінка та h-індекс дають близькі результати при рецензуванні. Л. Борнманн та Г.-Д. Даніель, провівши у 2005 р. дослідження експертної оцінки комітету з присудження стипендій, виявили, що в середньому h-індекс для успішних претендентів на докторські стипендії був стабільно вищим ніж для неуспішніх [25, с. 392]. Індекс Хірша, безумовно, не бездоганний, адже в багатьох ситуаціях він дає абсолютно невірну оцінку значущості дослідника, зокрема коротка кар'єра вченого може бути причиною недооцінки важливості його робіт [26, с. 378]. Імпакт-фактор -- наукометричний показник, розроблений для платформи Web of Science, його можуть мати лише ті журнали, які індексуються у WOS. Вважається, що роботи, опубліковані вченим у журналі з високим імпакт-фактором, сприйматимуться як якісніші. «Імпакт-фактор встановлюють за трирічний період за допомогою обчислення співвідношення кількості посилань на статті в журналі протягом поточного року до загальної кількості статей, надрукованих у ньому за попередні два роки» Шандра Р. Індекси цитувань наукових праць: особливості та відмінності. URL: https:// osvita.ua/vnz/76790/ (дата звернення: 06.01.2022).. Проте імпакт-фактор не позбавлений недоліків, які останнім часом дедалі частіше обговорюються науковою спільнотою. Сам засновник «фактора впливовості» Ю. Гарфілд зазначав, що залежно від часового проміжку, обраного для розрахунку (класично -- два роки), значення показника можуть істотно змінюватись. На думку інших авторів, «формула імпакт-фактора передбачає середню кількість цитувань на одну статтю протягом певного періоду часу, проте чи можна прирівняти видання, у якому 10 статей процитовано в середньому 40 разів, з виданням, у якому за той самий час 100 статей отримали по 40 посилань?» [27].

Google Scholar -- пошукова система, що індексує повний текст наукових публікацій в усіх форматах і дисциплінах за допомогою трьох індексів: індексу цитування, h-індексу та і10-індексу. Останній індекс запроваджено компанією Google у липні 2011 р. Він показує кількість публікацій, що мають принаймні 10 бібліографічних посилань, оновлюється автоматично у міру того, як пошукова програма знаходить нові посилання на відповідні статті в Інтернеті Connor J. Google Scholar Citations Open to All. Google Scholar Blog. 2011. URL: https:// scholar.googleblog.com/2011/11/google-scholar-citations-open-to-all.html (дата звернен-ня: 21.01.2022).. За обсягами проіндексованих матеріалів система Google Scholar перевищує Web of Science та Scopus. З 2014 р. бібліометрична платформа Google Scholar є єдиною пошуковою системою, яка обробляє весь світовий науковий документальний потік (у тому числі у веб-просторі), за винятком матеріалів з обмеженим доступом [11, c. 89]. Індекс цитування, h-індекс та і10-індекс, використовувані платформою Google Scholar при оцінюванні результативності діяльності кожного дослідника, дають змогу авторам відстежувати бібліографічні посилання на свої статті, переглядати, хто цитував їхні публікації, досліджувати графіки цитувань у часі та розраховувати одразу декілька наукометричних показників.

Однак застосування тільки цих показників не достатньо для отримання адекватної оцінки внеску у вітчизняну та світову науку. Зрозуміло, що високе значення h-індексу -- безперечний доказ авторитету вченого, міжнародного визнання його робіт та їх приналежності до переднього фронту світової науки, хоча використання цього показника для порівняння внеску окремих учених, суворо кажучи, є цілком правомірним лише в межах одного наукового напряму [4, c. 16].

Як зазначають Ю.В. Діденко та А.І. Радченко, публікаційна активність не є єдиним чи абсолютно пріоритетним показником розвитку наукової діяльності у загальнонаціональному і тим більше в міжнародному масштабі. Публікаційна активність є частиною комплексу наукометричних показників, використовуваних для оцінювання загальнонаціонального наукового потенціалу та його порівняння з потенціалами інших країн. Хоча опублікування роботи у відомому виданні та велика кількість посилань на неї може стати підставою для отримання науковцем надбавок до зарплати, додаткового фінансування для продовження досліджень, коштів на участь у престижній конференції, творчої відпустки для підготовки наступної публікації тощо [5, c. 94].

Узагальнюючи наведені міркування, не можна не погодитися з висновком Т. Кіщак: «Всі ці показники не є досконалими, тож мають певні недоліки, що впливають на їх об'єктивність, однак наукометричні бази даних, в яких вони використовуються, є осередками трансформації знань і каналами подальшого застосування наукових результатів як головної інформаційної та соціальної характеристики країни, університету, наукового колективу або окремого науковця» Кіщак Т. Наукометричні бази даних та їх кількісні показники: необхідність чи вимога часу? URL: https://nubip.edu.ua/node/12785 (дата звернення: 05.01.2022).. Також потрібно мати на увазі, що бібліометричні показники -- це хороший інструмент для наукознавства, але в інших випадках він може бути небезпечною зброєю [28].

Рейтинги та індекси, напевно, є зручними засобами, оскільки їх легше інтерпретувати та порівнювати, ніж аналізувати безліч окремих показників. Представники бізнесу створюють рейтинги країн для оцінювання їхньої інвестиційної привабливості. Науковцям і дослідникам потрібні дані у стислому форматі про різні країни за довгі періоди часу. Уряди прагнуть створити взірець найкращих практик і виправдати необхідність реформ. Однак неякісно розраховані або неправильно інтерпретовані агреговані показники можуть надсилати оманливі сигнали та призводити до надто спрощених або помилкових висновків [12].

Паралельно з появою рейтингів, основаних на бібліометричних даних, великої популярності набули і ранжування, побудовані на експертних оцінках. Так, у 1973 р. вийшла робота Р. Хокінса, Л. Ріттера та І. Уолтера, в якій автори, використовуючи метод Дельфі, під час двоетапного опитування 160 економістів проранжували 87 американських науково-економічних журналів. Мета цього дослідження полягала в тому, щоб консолідувати думки економістів про журнали, які вони зазвичай висловлюють у кулуарних бесідах, та визначити основні розбіжності в оцінках того чи іншого журналу [13, с. 32]. Одним із відносно нових підходів до експертного ранжування журналів є дослідження, що ґрунтується на методі оцінювання активних учених (Active Scholar Assessment, ASA). Його сутність полягає в тому, що для побудови рейтингу так само використовуються дані веб-опитувань авторів, які часто публікуються у провідних журналах, але автори ASA не проводять ранжування журналів так, як це відбувалося на ранніх етапах побудови експертних рейтингів, а дають оцінки якості журналів та їхній важливості за шкалою від «цілком згоден» до «повністю не згоден» (шкала Лайкерта), які в подальшому обробляються самими авторами [13, с. 33]. В результаті журнали поділяються на 4 групи (A, B, C, D). На додаток до рейтингу на основі цитування результати дослідження ASA можуть надати авторам і редакторам корисну інформацію та рекомендації щодо сприйняття науковцями якості та важливості журналів [29]. Серед науковців немає одностайності щодо використання наукометричних методів. Дехто з них, порівнюючи якісні та кількісні методи, вважає більш доцільним використання останніх. На думку А.І. Вялкової та К.А. Глухова, наукометричні методи ґрунтуються на об'єктивних кількісних оцінках, є економічними, простими у реалізації, тоді як експертні оцінки є суб'єктивними, вимагають багато часу та витрат [10, c. 3].

Інші дослідники сходяться в тому, що використання, наприклад, лише кількісних показників має низку недоліків для вимірювання рівня наукової продуктивності. О.В. Москальова вважає, що використання наукометричних даних для порівняння наукової продуктивності та ефективності наукової діяльності є цілком виправданим, але не може бути єдиним критерієм для ухвалення адміністративних рішень [9, c. 107]. Натомість Б.А. Маліцький зазначає, що проблема об'єктивного оцінювання якості роботи дослідника виходить далеко за межі спрощених наукометричних індексів [8, c. 43].

Погоди більшість дослідників визнає, що якісні та кількісні методи оцінювання мають використовуватись у взаємодоповненні. Висока результативність, виражена в кількісних показниках, не має великої цінності без якісного аналізу робіт ученого іншими науковцями та можливості застосувати його результати в практичній діяльності. Якісні методи допомагають отримати ширше уявлення про досліджувані процеси та їхні особливості, надаючи важливу інформацію, яку неможливо отримати кількісними оцінками. Найбільш відомі якісні методи-- панельне та експертне оцінювання. Рецензування чи експертиза, які ми розглядаємо як синоніми, має довгу історію. Процес рецензування вперше описав лікар на ім'я Ісхак бін Алі аль-Рахві із Сирії, який жив у 854--931 рр. н. е., у книзі «Етика лікаря». Він зауважив, що лікарі повинні робити записи про стан здоров'я пацієнтів при кожному відвідуванні. Після лікування записи мають ретельно вивчатися місцевою медичною радою, аби визначити, чи дотримувався лікар необхідних стандартів медичної допомоги. Якщо медична рада визнає, що стандарти не дотримано, лікар має одержати позов від пацієнта [30]. Організація експертизи та отримання експертної оцінки, які відображають особливості епохи, народу, традицій та звичаїв, мали забезпечити оцінку конкретних ситуацій та допомогти в прийнятті ефективних рішень. Практика експертного оцінювання набувала дедалі більшого поширення в процесі розвитку технологій [16, c. 29].

У 1665 р. англійський журнал «Philosophical Transactions of the Royal Society» став першим науковим журналом, який не лише регулярно публікував результати наукових досліджень, а й заснував процес рецензування. Важливо зазначити, що спочатку рецензування було запроваджено як допоміжний засіб для редакторів для прийняття рішення, які саме рукописи публікувати у журналах. Процес рецензування швидко розвивався і незабаром статті стали надаватися рецензентам для підтвердження достовірності дослідження. Сьогодні рецензування є стандартною практикою більшості наукових журналів, а також важливою частиною процедури визначення достовірності та якості представленої роботи [30].

Поняття «експертна оцінка» є полісемантичним. Наведемо деякі його визначення:

• судження знавців, що пропонують процедуру порівняння об'єктів та їхніх властивостей відповідно до визначених критеріїв;

• судження висококваліфікованих спеціалістів-професіоналів, зроблені у вигляді змістовної, якісної або кількісної оцінки об'єкта та призначені для використання при прийнятті рішень, середня або модальна характеристика, висловлена групою компетентних спеціалістів, думки про який-небудь процес за умови, що їм вдалося досягти узгодженості чи близькості поглядів [16, c. 34]. Експерт виступає авторитетом, який має неверифікований компонент знання, насамперед нетипового. Це робить його незамінним для такого дослідження, в якому важливо посилити продуктивну, а не репродуктивну функцію культури. Передусім це стосується експертизи наукової діяльності [14, c. 47].

Експертне знання наразі використовується в різних сферах людської діяльності для винесення оціночного судження, прогнозних висновків тощо. Компетентному знанню експертів притаманна особлива пошукова здатність, евристика. Експерт -- не тільки носій компетентного знання, він виступає як творчий суб'єкт, що постійно експериментує у ході своєї практичної діяльності. В результаті експерт здатен не тільки виконувати предметні завдання, а й відкривати нові соціальні форми, властивості та відносини, які можуть бути кваліфіковані як соціальні винаходи [30, c. 239].

Основними видами експертного оцінювання є метод Дельфі, метод мозкового штурму, метод синектики. Вважається, що досконалим методом колективного оцінювання є метод Дельфі, оскільки він передбачає не прямі колективні обговорення, а програму індивідуальних опитувань, які здебільшого проводяться у формі таблиць експертного оцінювання. Метод мозкового штурму -- це метод вирішення завдань, коли учасники обговорення генерують максимальну кількість ідей щодо розв'язання задачі без будь-яких обмежень, тож приймаються навіть фантастичні, абсурдні та нестандартні ідеї. Метод синектики, навпаки, допускає конструктивну критику ідей, що висуваються, дозволяє їх розвивати і змінювати. Його сутність полягає у використанні інтуїтивно-образного мислення, аналогій та асоціацій із уже вирішеними завданнями в інших сферах життя.

Одним із варіантів експертного оцінювання є «сліпе» рецензування. Це процес, що забезпечує неупередженість рецензента. Існують два популярні його різновиди: одинарне «сліпе» рецензування, коли автори не знають, хто їхні рецензенти, а рецензенти знають, хто автори, та подвійне «сліпе» рецензування, коли ані автори, ані рецензенти не знають один одного. Одинарне «сліпе» рецензування є традиційною моделлю, але для запобігання упередженості в експертному оцінюванні використовують обидві моделі. Модель закритого («сліпого») рецензування має низку недоліків: занадто тривалий період очікування рецензій; брак часу (а подекуди й бажання) у рецензентів для ретельного прочитання та аналізу наукових статей; можливість блокування публікації статті, якщо рецензент працює над аналогічною темою, упередженого ставлення рецензента до статті через суб'єктивні причини [18, с. 170].

Інший варіант рецензування -- відкрите рецензування, коли і автор, і рецензент володіють інформацією один про одного. Пропонуємо називати його «відкрите рецензування з обмеженим доступом». Таке рецензування дає змогу уникнути недоліків, обумовлених «сліпим» рецензуванням, утім ставить рішення щодо публікації у залежність не лише від якості поданого на рецензування рукопису, а й від відносин між автором і рецензентом чи інституціями, які вони представляють, відтак знижуючи ефективність рецензування як інструмента забезпечення якості наукових досліджень [19, c. 30]. Можливості інтернет-середовища стали детермінантами переходу редакцій окремих наукових електронних журналів від моделі закритого допуб- лікаційного рецензування до моделі відкритого постпублікаційного онлайнового рецензування [18, с. 170]. Відкрите онлайнове рецензування, яке передбачає створення на сайті електронного журналу постпублікаційних рецензій, доступних для перегляду не лише авторам наукових публікацій, а й усім читачам журналу, є прогресивною зарубіжною моделлю наукового рецензування, яка сприяє підвищенню якості наукової праці та заслуговує на впровадження у практику редакційної підготовки українських фахових часописів [18, с. 171]. Отже, інформаційно-комунікаційні технології сприяють посиленню прозорості та якості відкритого рецензування, забезпечуючи розширення кола рецензентів аж до всіх зацікавлених осіб. Використання експертних оцінок має низку недоліків і проблем, що можуть бути спричинені неадекватним поданням експертної інформації; відсутністю стандартних шкал вимірювання; суб'єктивністю, заангажованістю або некомпетентністю експерта; впливом емоційних і психологічних чинників; помилками в організаційному і технічному забезпеченні експертизи. Застосування методів експертного оцінювання дозволяє використовувати досвід фахівців різних галузей. Ці методи поділяються на просте та розширене експертне оцінювання. Просте експертне оцінювання ґрунтується на врахуванні думок компетентних спеціалістів із тієї галузі, в якій знаходиться поле інтересів науковця. Цей метод не потребує суттєвих витрат, проте його недолік полягає у суб'єктивності отримуваних експертних оцінок. Розширене експертне оцінювання Extended peer review. Вікіпедія. URL: https://360wiki.ru/wiki/Extended_peer_review (дата звернення: 20.01.2022). проводиться групою компетентних експертів із долученням зацікавлених сторін. У разі систематичного проведення таке оцінювання здатне забезпечити більш надійні та суспільно значущі результати, ніж експертне оцінювання, що проводиться лише фахівцями.

Як зазначає С. Фунтович, вимога щодо «надійної науки», яка вважається необхідною для прийняття раціональних політичних рішень, може затьмарювати ціннісні аспекти у висновках досліджень і політичних рекомендаціях. Адже тлумачення «істини» як мети науки в наш час означатиме відволікання або навіть відхилення від реальних завдань. Найактуальнішим і надійним керівним принципом є якість, яка розглядається як контекстуальна властивість наукової інформації. За таких умов забезпечення якості наукових внесків у політичний процес потребує залучення «розширеної спільноти», яка охоплює всіх суб'єктів, зацікавлених у діалозі з цього питання Funtowicz S.O., Ravetz J.R. Peer review and quality control. International Encyclopedia of the Social and Behavioral Sciences, 2015. P. 11179--11183.. Згідно з концепцією «постнормальної науки» С. Фунтовича та Дж. Равца, залучення «розширеної спільноти» до обговорення пов'язаних із наукою питань (модель розширеної участі) має бути відмінною рисою науки. На їхню думку, у критичних ситуаціях необхідно створювати концептуальні структури і політичні інститути, які забезпечують можливість творчого діалогу; «традиційні» експерти мають бути доповнені «розширеною експертною спільнотою», тобто тими, кого зачіпає певна проблема, або тими, хто володіє спеціальними знаннями про неї. Беручи участь у діалозі, така спільнота зможе надати «розширені факти» -- локальні знання, розуміння контексту, неопубліковані матеріали тощо. Вплив цієї спільноти здійснюється як через знання, яких немає у традиційних експертів, так і через сам процес її участі [20]. Вивчення емпіричних прикладів того, як принципи «постнормальної науки», а саме використання розширеного оцінювання, впливають на вирішення складних проблем, сприятиме вдосконаленню експертних методів вирішення проблем у наукових дослідженнях.

Світова тенденція залучення суспільства до науки та діалогова наукова комунікація знаходять відображення у національних практиках. Наприклад, у Японії із середини 2000-х років уряд став впливовим гравцем у науковій комунікації. Багато починань, у тому числі наукові кафе, що сприяють діалогу і розвитку неформальної наукової комунікації, було включено в ін- ституційну культуру японських університетів і науково-дослідних центрів, часто з відверто рекламним духом [21, c. 165].

Залучення громадськості як до розгляду політичних питань, так і до опитувань громадської думки зростає і дедалі більше набуває дорадчого характеру. Респонденти беруть участь у вирішенні різноманітних практичних питань -- від визначення місць зберігання ядерних відходів у Британії до доцільності використання нових технологій [21, c. 309]. Такий підхід називають «участю в оцінюванні технологій» і він набув поширення в Європі під егідою організацій, що займаються оцінюванням технологій. Це свідчить про визнання того факту, що наука і техніка ставлять перед суспільством «кляті проблеми» (wickedproblems), вирішення яких потребує ширших, соціально розподілених форм експертизи [31]. З'являються нові форми партнерства у вигляді «наукових магазинів», «наукових кафе», фестивалів, наукових і художніх виставок, дискусійних майданчиків у Інтернеті, через які громадськість може звернутися до різних організацій, наприклад університетів, за допомогою у дослідженні проблем, що хвилюють людей, -- від забруднення джерел води до оцінювання якості роботи центрів для людей похилого віку або інвалідів [ 21, c. 319].

Однією з форм розширеного оцінювання вважають рецензію «бета-рі- дера». Термін «бета-рідер» у перекладі з англійської означає «другий читач» і запозичений з індустрії інформаційних технологій. «Бета-рідер» тлумачиться за аналогією з бета-тестерами, за допомогою яких виявляються проблеми в комп'ютерному програмному забезпеченні перед його випуском. Рецензія «бета-рідера» призначена лише для автора: вона включає глибокий аналіз тексту та рекомендації автору щодо доопрацювань.

Загальноприйнятою нормою у науковій літературі є попереднє ознайомлення кількох колег автора з матеріалами його нової праці. Дуже часто автор вважає, що інші науковці «знаходяться з ним на одній хвилі» і мають розуміти слова, вирази, сленг, що прийнятий у вузьких колах, але це не завжди так. «Бета-рідери» такі недоліки завжди знайдуть і покажуть автору. Варто зауважити, що «бета-рідер» виступає не в ролі критика чи коректора -- це помічник, який свіжим поглядом побачить недоліки в «сирому» варіанті та підкаже, чого, на його думку, бракує в тексті. Погляд «бета-рідера» завжди суб'єктивний. «Бета-рідери» не повинні виправляти текст або переписувати його, їхнє завдання -- дати автору пораду та звернути увагу на присутні неточності [22, c. 180]. Якщо ж «бета-рідер» не є експертом у тій галузі, де працює автор, тоді «бета-рідерів» може бути декілька [23, c. 180]. Не кожен «бета-рідер» має бути експертом. Проте гарне поєднання редакторів, авторів і досвідчених рецензентів забезпечує конструктивний зворотний зв'язок, що дає змогу покращити рукопис перед публікацією. Знання того, як створити цю початкову групу, принесе велику користь авторові у довгостроковій перспективі. Сьогодні практика рецензування «бета-рідером» частіше зустрічається при написанні художніх творів, а робота «бета-рідера» зазвичай відзначається у вступі або в особливому розділі, наприклад у розділі «Подяка», де автор тексту висловлює подяку всім, хто допомагав йому при створенні тексту. Однак залучення «бета-рідерів» під час роботи над науковими текстами заслуговує на окрему увагу.

Існує декілька онлайн-платформ, на яких збираються «бета-рідери»: Fiverr -- ізраїльський онлайн-майданчик для фрілансерів, він комерційний та доступний англійською, іспанською, французькою, голландською, португальською, італійською та німецькою мовами. Ця платформа працює так: автор тексту заходить на сторінку, де відображаються пропозиції «бета-рідерів» (ціни, терміни виконання, рейтинги). На цьому етапі автор може поставити «бета-рідеру» будь-які питання, обговорити умови. Під час виконання замовлення автор може спілкуватися онлайн з обраним «бета-рідером» у спеціальному чаті. Після завершення замовлення кожен клієнт залишає відгук про якість роботи та виставляє оцінку -- ця інформація також відображається в профілі «бета-рідера» та на її підставі формується рейтинг кращих «бета-рідерів» на платформі.

Українським ресурсом, де автори діляться своїми текстами та думками про них, є літературна спільнота «Litota». Користування платформою здійснюється на платній основі за таким алгоритмом: автор додає текст на платформу, інші учасники («бета-рідери») читають його та діляться враженнями, що дає змогу автору зрозуміти слабкі та сильні сторони його тексту.

Зважаючи на перспективність практики розширеної експертизи слід звернути увагу на те, що при розширеному експертному оцінюванні потрібно уникати ідеологічної, політичної та релігійної складової. На сучасному етапі, після падіння тоталітарних режимів та ідеологій, швидко змінюється роль релігії та політики у суспільстві. Суспільство повинно мати можливість захистити свій світогляд, освітні та наукові потреби, оскільки наука, на відміну від ідеології, релігії та політики, прагне залишатися нейтральною та вільною від нормативних висловлювань. Науковці та наукові школи здатні вбирати в себе ідеологічні та негативістські підходи, відтак перешкоджаючи розвитку наукового знання. А ідеологічна позиція при рецензуванні наукових текстів веде до тотальної ірраціоналізації науки. Експерти, даючи оцінку, не повинні зосереджувати увагу на якихось політичних чи релігійних аспектах, тобто мають робити неупереджені висновки.

Голландські дослідники вивчали роботу рецензентів у Нідерландській дослідницькій раді з економічних і соціальних наук. Виявилося, що експертна оцінка грантових заявок має слабку позитивну кореляцію з минулими заслугами авторів, такими як кількість публікацій та їхніх цитувань. Якщо обмежити порівняння успішних і невдалих заявок лише найкращими вченими, то позитивна кореляція зникає: навіть кращі «відкинуті» автори мають вищі попередні показники, ніж ті, чиї заявки було прийнято. Це може означати, що рецензування може однаково відсіювати і найслабші, і найкращі тексти. Отже, рецензування потрібне не тільки для підвищення ймовірністі прориву в нові галузі знання, а й для захисту статусних позицій учених, оскільки нові відкриття можуть зруйнувати існуючі наукові ієрархії [24, c. 60]. Крім того, рецензування піддається критиці за затримку поширення нових знань у науковому співтоваристві, а також за неоплачувану діяльність, що забирає у вчених час, який вони могли б присвятити дослідженням або викладанню, за які їм платять [30].

Для вирішення проблеми суб'єктивності експертних оцінок останнім часом активно розробляються технології, які ґрунтуються на нових досягненнях машинного навчання і тому дають змогу автоматизувати процес експертного оцінювання та знизити залежність результатів від інтуїтивних суджень, сприяючи прийняттю виважених управлінських рішень. Вважається, що експертні системи розроблено в рамках Стенфордського проєкту з евристичного програмування на чолі з Е. Фейгенбаумом, і саме він першим описав їх необхідність 9. За якістю та ефективностю рішень експертні системи не поступаються рішенням експерта-людини, оскільки їхню основу складає база знань, отриманих від експертів, і база даних про предметну галузь. Сьогодні експертні системи використовуються для вирішення різних типів завдань у багатьох проблемних напрямах: фінансах, енергетиці, транспорті, фармацевтичному виробництві, космосі, хімії, освіті, телекомунікаціях і зв'язку та ін. Новим перспективним напрямом досліджень може стати визначення адекватних індикаторів оцінювання якості виконання наукової роботи та створення експертної системи для аналізу наукових публікацій у конкретних галузях досліджень.

Висновки і перспективи подальших досліджень

Для отримання об'єктивної картини наукових досліджень наукометричні та експертні оцінки мають використовуватись як взаємодоповнюючі інструменти. Найбільш кваліфіковану оцінку можуть забезпечити спеціалізовані експертні методи.

Впровадження так званого розширеного експертного оцінювання має сприяти максимальному використанню творчого потенціалу та кваліфікації фахівців із різних галузей у випадку міждисциплінарних досліджень. В умовах невизначеності (через COVID-19 та інші виклики) будь-які прогнози стають ненадійними, тому розширене експертне оцінювання має збільшити варіанти та вдосконалити вибір методів вирішення проблем, зробити експертні оцінки більш виваженими та актуальними для суспільства.

Інструментом оптимізації роботи науковців можуть стати експертні системи, які мають важливе значення для автоматизації процесів аналізу даних і значно спрощують виконання багатьох завдань.

Список літератури

1. Горовий В. Критерії якості наукових досліджень у контексті забезпечення національних інтересів. Вісник НАН України. 2015. № 6. С. 74--80.

2. Кириченко И.В., Шелюбская Н.В. Система оценки качества научных исследований в странах Европы. Университетское управление: практика и анализ. 2019. № 23 (4). С. 9--20. https://doi.org/10.15826/umpa.2019.04.025

3. Костенко Л., Симоненко Т. Наукометрія: від нумерології до Лейденського маніфесту. Наукові праці Національної бібліотеки України імені В.І. Вернадського. 2016. № 43. С. 285--295.

4. Малицкий Б., Рибачук В., Корецкий А., Попович А. Наукометрия: новые функции и проблемы адекватности. Наука и инновации. 2013. № 1 (119). С. 11--17.

5. Діденко Ю.В., Радченко А.І. Публікаційна активність як спосіб наукової комунікації та гонитви за рейтингами. Вісник НАН України. 2017. № 9. С. 82--98. https://doi. org/10.15407/visn2017.09.082

6. Рыбачук В.П. Библиометрический портрет академика Владимира Ивановича Вернадского: известность в мире. Библиотеки национальных академий наук: проблемы функционирования, тенденции развития. 2013. № 11. С. 22--33.

7. Кавуненко Л.П., Хоревін В.І., Костриця О.П., Левченко О.Г Наукометричний моніторинг наукових періодичних видань соціогуманітарної сфери України. Наука України у світовому інформаційному просторі. 2010. № 3. С. 71--79.

8. Малицкий Б.А. Кто и как должен оценивать научные результаты ученого. Наука та наукознавство. 2017. № 3. С. 34--53. https://doi.org/10.15407/sofs2017.03.034

9. Москалева О.В. Использование наукометрических показателей для оценки научной деятельности. Науковедческие исследования. 2013. № 13. C. 85--109.

10. Вялков А.И., Глухова Е.А. Оценка качества научно-исследовательской деятельности медицинской организации с помощью наукометрических показателей. Здравоохранение РФ. 2013. № 3. C. 3--6.

11. Костенко Л.И., Симоненко ТВ., Грачев О.А., Рыбачук В.П. Библиометрика отечественной науки: возможности и ограничения прикладного использования web-системы Google Scholar. Наука та наукознавство. 2017. № 3. C. 87--96. https://doi.org/ 10.15407/sofs2017.03.087

12. Алексинська М. Обережно, індекс! Чому міжнародні рейтинги неякісно оцінюють український ринок праці. Економічна політика. 2016. URL: https://voxukraine.org/ osterigaites-reityngiv-ua/ (дата звернення: 21.03.2022).

13. Балацкий Е.В., Екимова Н.А., Третьякова О.В. Методы оценки качества научных экономических журналов. Journal of Institutional Studies. 2021. № 2. С. 27--52.

14. Оболкина С.В., Попова Н.Г. Экспертиза vs экспертная оценка: понятийные основания компетенций. Социология науки и технологий. 2019. Т 10. № 4. С. 38--50. https://doi.org/10.24411/2079-0910-2019-14003

15. Масленников Е.В. Возможности использования экспертного знания в качестве источника концепций развития организаций. Вестник Московского университета. 2017. № 2. С. 229--249.

16. Журавлева В.А. Метод экспертного оценивания: историческая экспликация и современная модель. Вестник Российского университета дружбы народов. Серия: Социология. 2012. № 2. C. 28--38.

17. Павлюк К.В. Проблеми оцінювання наукової діяльності. Наукові праці НДФІ. 2019. № 4. C. 5--19. https://doi.org/10.33763/npndfi2019.04.005

18. Женченко М. І. Нова модель рецензування наукових публікацій у цифровому середовищі. Держава та регіони. 2016. № 1. С. 169--172.

19. Герасименко А.Г., Мазаракі Н.А., Дугінець Г.В. Відкрите рецензування як інструмент підвищення якості соціально-економічних досліджень. Економічний простір. 2019. № 141. С. 25--35. https://doi.org/10.30838/P.ES.2224.100119.25.343

20. Funtowicz S.O., Ravetz J.R. A new scientific methodology for global environmental issues. Ecological economics: The science and management of sustainability. New York: Columbia Univ. Press. 1991.

21. Букки М., Тренч Б. Пособие по общественным связям в науке и технологиях. Москва: Альпина нон-фикшн, 2018. 588 с.

22. Jenkins H. Convergence Culture: Where Old and New Media Collide. NYU Press., 2006.

23. Hellekson K., Busse K. Fan Fiction and Fan Communities in the Age of the Internet: New Essays. McFarland, 2006.

24. Григорьев В.Е. Социология науки. Москва: Проспект, 2018. 384 с.

25. Bornmann L., Daniel H.-D. Does the h-index for ranking of scientists really work? Sciento- metrics. 2005. Vol. 65. P. 391--392. https://doi.org/10.1007/s11192-005-0281-4

26. Шостак А.В., Лукач В.С., Борис М.М., Купчук І.М. Індекс Хірша та імпакт-фактор як інструмент наукометрії у дослідницькому університеті. Збірник наукових праць Вінницького національного аграрного університету. 2012. № 11 (65). С. 375--380.

27. Чайковський Ю., Сілкіна Ю., Потоцька О. Наукометричні бази та їх кількісні показники. Ч. І. Порівняльна характеристика наукометричних баз. Вісник НАН України. 2013. № 8. C. 90--94.

28. Попович О. Наукометричне невігластво (щодо манії бюрократій запровадити цифрове оцінювання науки). Граніт науки. 2020. URL: https://un-sci.com/ru/2020/02/06/ naukometrichne-neviglastvo-shhodo-mani'i-byurokratij-zaprovaditi-czifrove-oczinyuvan- nya-nauki/ (дата звернення: 21.01.2022).

29. Currie R.R., Pandher G.S. Finance journal rankings: Active scholar assessment revisited. Journal of Banking & Finance. 2020. Vol. 111. P. 1--14. https://doi.org/10.1016/j.jbank- fin.2019.105717

30. Jacalyn Kelly, Tara Sadeghieh, Khosrow Adeli. Peer Review in Scientific Publications: Benefits, Critiques, & A Survival Guide. The Journal of Internaitonal Federation of Clinical Chemistry and Laboratory Medicine. 2014. № 25 (3). P. 227--243. URL: https://www. ncbi.nlm.nih.gov/pmc/articles/PMC4975196/ (дата звернення: 21.01.2022).

31. Funtowicz S.O, Ravetz J.R. Science for the post-normal age. Futures. 1993. Vol. 25. P. 739-- 755. https://doi.org/10.1016/0016-3287(93)90022-L

References

1. Horovy, V. (2015) Criteria for the quality of scientific achievements in the context of the security of national interests. Visn. Nac. Akad. Nauk Ukr., 6, 74--80 [in Ukrainian].

2. Kirichenko, I.V., & Shelyubskaya, N.V (2019). The system for assessing the quality of scientific research in European countries. University Management: Practice and Analysis, 23(4), 9-20. https://doi.org/10.15826/umpa.2019.04.025 [in Russian].

3. Kostenko, L., & Simonenko, T. (2016). Scientometrics: from numerology to the Leiden Manifesto. Scientific Periodicles of Vernadsky National Library of Ukraine, 43, 285-295 [in Ukrainian].

4. Malitsky, B., Ribachuk, V., Koretsky, A., & Popovich A. (2013). Scientometrics: new functions and problems of adequacy. Nauka innov., 1 (119), 11-17 [in Russian].

5. Didenko, Yu.V., & Radchenko, A.I. (2017). Publication activity as a way of scientific communication and pursuit of ratings. Visn. Nac. Akad. Nauk Ukr., 9, 82-98. https://doi. org/10.15407/visn2017.09.082 [in Ukrainian].

6. Rybachuk, V.P. (2013). Bibliometric portrait of academician Vladimir Ivanovich Vernadsky: fame in the world. Libraries of National Academies of Sciences: Problems of Functioning, Development trends, 11, 22-33 [in Russian].

7. Kavunenko, L.P., Khorevin, V.I., Kostrytsya, O.P., & Levchenko, O.G. (2010). Scientometric monitoring of scientific periodicals in the socio-humanitarian sphere of Ukraine. Science of Ukraine in the Global Information Space, 3, 71-79 [in Ukrainian].

8. Malitsky, B.A. (2017). Who and how should evaluate the scientific results of a scientist. Science and Science of Science, 3, 34-53. https://doi.org/10.15407/sofs2017.03.034 [in Russian].

9. Moskaleva, O.V (2013). The use of scientometric indicators for the evaluation of scientific activity. Science Policy Research, 13, 85-109 [in Russian].

10. Vyalkov, A.I., & Glukhova E.A. (2013). Evaluation of the quality of scientific research activities of a medical organization using scientometric indicators. Healthcare of the Russian Federation, 3, 3-6 [in Russian].

11. Kostenko, L.I., Simonenko, T.V., Grachev, O.A., & Rybachuk, V.P. (2017). Bibliometrics of domestic science: opportunities and limitations of the application of the Google Scholar web system. Science and Science of Science, 3, 87-96 [in Russian].

12. Aleksinska, M. (2016). Beware the index! Why international ratings cannot properly assess the Ukrainian labor market. Economic policy. URL: https://voxukraine.org/osterigaites- reityngiv-ua/ (last accessed: 01.21.2022) [in Ukrainian].

13. Balatsky, E.V., Ekimova, N.A., & Tretyakova O.V. (2021). Methods for assessing the quality of scientific economic journals. Journal of Institutional Studies, 2, 27-52 [in Russian].

14. Obolkina, S.V., & Popova, N.G. (2019). Expertise vs peer review: conceptual foundations of competencies. Sociology of Science and Technology, 4, 38-50. https://doi.org/10.2441 1/2079-0910-2019-14003 [in Ukrainian].

15. Maslennikov, E.V (2017). The possibility of using expert knowledge as a source of concepts for the development of organizations. Bulletin of the Moscow University, 2, 229-249 [in Russian].

16. Zhuravleva, V.A. (2012) Expert assessment method: historical explication and modern model. Bulletin of Peoples' Friendship University of Russia. Series: Sociology, 2, 28-38 [in Russian].

17. Pavliuk, K.V. (2019). Problems of evaluation of scientific activity. RFIScientific Papers, 4, 5--19. https://doi.org/10.33763/npndfi2019.04.005 [in Ukrainian].

18. Zhenchenko, M.I. (2016). New model of reviewing scientific publications in the digital environment. State and Regions. Series: Social Communications, 1, 169--172 [in Ukrainian].

19. Gerasimenko, A.G., Mazaraki, N.A., & Duginets, G.V (2019). Reviewing as a tool for promoting social and economic achievements. Economic Space, 141, 25--35. https://doi.org/ 10.30838/P.ES.2224.100119.25.343 [in Ukrainian].

20. Funtowicz, S.O., & Ravetz, J.R. (1991). A new scientific methodology for global environmental issues. Ecological economics: The science and management of sustainability. New York: Columbia Univ Press.

21. Bucchi, M., & Trench, B. (2018). Handbook of Public Communication of Science and Technology. Trans. from English. Moscow: Alpina non-fiction [in Russian].

22. Jenkins, H. (1958). Convergence Culture: Where Old and New Media Collide. NYU Press.

23. Hellekson, K., & Busse, K. (2006). Fan Fiction and Fan Communities in the Age of the Internet: New Essays. McFarland.

24. Grigoriev, V.E. (2018). Sociology of science. Moscow: Prospekt [in Russian].

25. Bornmann, L. & Daniel, H.-D. (2005). Does the h-index for ranking of scientists really work? Scientometrics, 65(3), 391--392. https://doi.org/10.1007/s11192-005-0281-4

26. Shostak, A.V., Lukach, V.S., Boris, M.M., & Kupchuk, I.M. (2012). Hirsch index and impact factor as a tool for scientometrics at the previous university. Collection of Scientific Works of the Vinnitsa National Agrarian University, 11(65), 375--380 [in Ukrainian]

27. Chaikovskiy, Yu., Silkina, Yu., & Pototska, O. (2013). Scientometric bases and their quantitative indicators (Part I. Comparative characteristics of scientometric bases). Visn. Nac. Akad. Nauk Ukr., 8, 90--94 [in Ukrainian].

28. Popovich, O. (2020). Scientometric ignorance (the mania of bureaucracies in implementing digital assessment of R&D). Granite of Science. URL: https://un-sci.com/ru/2020/02/06/ naukometrichne-neviglastvo-shhodo-manii-byurokratij-zaprovaditi-czifrove-oczinyuvanny a-nauki/ (last accessed: 21.01.2022) [in Ukrainian].