Критерии оценки научной деятельности в библиотечно-информационной сфере

Размещено на http://www.allbest.ru/

Критерии оценки научной деятельности в библиотечно-информационной сфере

Рассмотрены особенности оценки научной деятельности и ее результатов в библиотечноинформационной сфере. Освещены критерии оценки значимости деятельности ученого в библиотечно-информационной сфере и его трудов по количеству публикаций с использованием индексов цитирования и Хирша. Сделана попытка выявить отношение ученых, занимающихся исследованиями в данной области, к принятым критериям оценки результатов научной деятельности. Приведены результаты анонимного опроса ученых, занимающихся исследованиями в области библиотековедения, библиографоведения и книговедения, цель которого - анализ эффективности различных направлений оценки научной деятельности в библиотечно-информационной сфере. В разработанной анкете предложены количественные и качественные критерии оценки научной деятельности. Результаты опроса показали, что отношение к критериям оценки во многом связано с ролью ученого (исследователь, руководитель научного подразделения и т. д.), а также с особенностями развития самой области научных исследований.

Ключевые слова: библиотечно-информационная наука, научно-исследовательская деятельность, научный труд, критерии оценки научной деятельности, публикационная активность, научная репутация, индекс цитирования, индекс Хирша, категории научных журналов, благодарности в научных трудах библиотечный информационный хирш публикация

Tatyana V. Zakharchuk, Anastasiya Е. Breslav

Criteria for evaluating scientific activity and its results in library and information science

The features of the assessment of scientific activity and its results in the library and information sphere are considered. Criteria for evaluating the significance of the activities of a scientist in the library and information sphere and his works by the number of publications using citation and Hirsch indices are highlighted. An attempt was made to identify the attitude of scientists involved in research in this area to the accepted criteria for evaluating the results of scientific activity. The results of an anonymous survey of scientists involved in research in the field of library science, bibliography and book science are presented, the purpose of which is to analyze the effectiveness of various areas of evaluation of scientific activity in the library and information sphere. In the developed questionnaire, quantitative and qualitative criteria for evaluating scientific activity are proposed. The results of the survey showed that the attitude to the evaluation criteria is largely related to the role of a scientist (researcher, head of a scientific department, etc.), as well as to the peculiarities of the development of the field of scientific research itself.

Keywords: library and information science, research activity, scientific work, criteria for evaluating scientific activity, publication activity, scientific reputation, citation index, Hirsch index, categories of scientific journals, acknowledgments in scientific works

Оценка научного труда - одна из форм социального контроля в научных сообществах, определение вклада научных работников в конечный результат их труда. Оценка научного труда, с точки зрения современных социологов науки, представляет собой «совокупность социальных процессов, непосредственным эффектом которых является признание индивида или коллектива локальным партнером по обмену деятельностью» [1; 2].

Феномен оценки научной деятельности и ее результатов в последние годы становится заметно обсуждаемым в исследовательском сообществе. С одной стороны, организаторы науки настаивают на использовании количественных и формальных критериев, что вполне объяснимо, так как им необходимы конкретные оценки в виде баллов и цифр для аттестации научных кадров, премирования научных сотрудников, предоставления грантов. С другой

стороны, исследователи, непосредственно занимающиеся научными исследованиями, требуют отказа от установления часто абсурдных требований, связанных с необходимостью выдавать публикации «по графику». Для них гораздо более важной при оценивании научной деятельности коллег является научная репутация, в которую они включают, прежде всего, соблюдение правил и принципов научной этики. Во многом представления о критериях оценивания связаны также с особенностями развития конкретной области науки и структурой в ней научного сообщества.

В проведенном исследовании была сделана попытка выявить отношение ученых, занимающихся исследованиями в области библиотечно-информационной науки, к принятым критериям оценки результатов научной деятельности. Для этого был использован метод анонимного опроса в формах Google, участие в котором принимали в значительной степени доктора наук (58,8%), защитивших диссертации по специальности 05.25.03 (Библиотековедение, библиографоведение и книговедение), кроме того, приглашение к участию в опросе получили также и кандидаты наук по этой же специальности (37,5%), чья научная деятельность представляется наиболее продуктивной. 95,8% опрошенных имеют стаж в области исследовательской деятельности в библиотечно-информационных науках более десяти лет, для них исследования являются основной сферой деятельности, у одного респондента научный стаж составляет более пяти лет. Исходя из сказанного, можно утверждать, что в опросе участвовали специалисты, которых можно считать экспертами в исследуемой области.

Всего было разослано 32 приглашения респондентам из всех ведущих вузов культуры и национальных библиотек страны. 24 респондента ответили на вопросы анкеты. Выборку можно считать репрезентативной, так как научное сообщество (т. е. сообщество людей, занимающихся именно научными исследованиями теоретического и прикладного характера) в библиотечноинформационной сфере представляется достаточно узким. Официальных цифр в открытом доступе, но можно с уверенностью говорить, что 14 докторов наук представляют вполне представительную выборочную совокупность, позволяющую судить об отношении научного сообщества в библиотечно-информационной сфере к критериям оценки собственной деятельности.

Распределение респондентов по областям исследований показало, что большинство из них проводит исследования в области библиотековедения (66,7%) и библиографоведения (37,5%), книговедческими исследованиями занимаются 25% респондентов, а 16,7% респондентов отметили, что их основные научные интересы лежат в области информатики. Часть респондентов сочла важным определить область своих исследований более узко, выделив такие направления как докумен- тология и библиокультура (4,2%), а также науковедение (4,2%).

Последние ответы являются чрезвычайно интересными, так как исследователи не ассоциируют себя ни с одной из наук, входящих в научную специальность 05.25.03, хотя из их ответов очевидно, что предлагаемые ими направления исследований (исключение - науковедение) естественным образом относятся к одной из трех научных дисциплин.

В анкете респондентам был задан ряд вопросов, посвященных эффективности использования критериев оценки результатов научной деятельности в библиотечно-информационной науке.

Оказалось, что более 90% респондентов считают наиболее эффективным использование комплекса количественных и качественных методов. Из количественных методов оценки предпочтение научное сообщество отдало использованию индекса цитирования. Около 10% согласны с оценкой своей деятельности только через количественные показатели. При этом 8% считают наиболее эффективным использование индекса цитирования, а по одному ответу приходится на варианты «количество публикаций», «индекс Хирша», «импакт-фак- тор журнала, в котором опубликована статья». И, наконец, один человек дал ответ: «Я разработал собственный подход к количественной оценке».

Таким образом, большинство исследователей указывает на необходимость сочетания количественных и качественных методов оценки научной деятельности. С этим можно было бы согласиться, если бы не ярко негативное отношение к количественным методам, выявляемое науковедами [3; 4].

Представляется, что необходимость использования количественных критериев оценки связана с тем, что в настоящее время большинство российских научных организаций предпочитают использовать именно количественные показатели для оценки научного труда. Такой подход связан, прежде всего, со структурой отчетов, ежегодно предоставляемых подразделениями вузов и учреждений науки. Эти отчеты, как правило, имеют жесткую структуру, которая мало связана с реалиями научноисследовательской деятельности, с одной стороны, и игнорирует специфику отдельных областей науки - с другой [4].

Если вернуться к ответам исследователей в области библиотечно-информационной науки, то в целом можно говорить о том, что они вполне адекватно оценивают роль и место количественных критериев в оценке научной деятельности.

Респондентов, выбравших качественные критерии, также просили выбрать из 14 показателей наиболее приемлемые, с их точки зрения, для оценки труда ученого в библиотечно-информационной сфере. Наиболее популярными критериями оказались наличие статей в рецензируемых журналах (77,3%) и участие с докладами на научных мероприятиях (68,2%). Ответ «наличие диссертаций, защищенных под руководством ученого» выбрали 63,6%. По 54,5% респондентов считают важными критериями наличие у ученого монографий и участие в экспертных советах профессиональных международных организаций, а половина ответивших отметила как приемлемые показатели оценки труда ученого «участие в работе редакционных коллегий рецензируемых отечественных и зарубежных журналов» и «наличие у исследователя научных степеней и званий». 45,5% респондентов считают возможным оценивать труд ученого в том числе и через «участие в работе по грантам научных фондов».

При этом менее трети участников опроса считают возможными такие подходы к оценке научной деятельности, как членство в ученых и диссертационных советах, наличие научной школы, участие в деятельности невидимого колледжа, наличие благодарностей в трудах коллег, а наличие биобиблиографий,биографических трудов, юбилейных статей как показатель признания профессиональным сообществом выбрали только 3 человека. Такое соотношение ответов стоит прокомментировать, исходя из науковедческих представлений о развитии и структуре научного сообщества.

Представляется, что выбор количества статей в журналах из Перечня ВАК связан, прежде всего, с существующими требованиями к оценке труда ученого, с которой все исследователи сталкиваются в своей непосредственной деятельности. Однако этот критерий можно назвать отчасти формальным и не связанным с качеством научного труда по следующим причинам:

Во-первых, очевидным является формальный подход ВАК к определению перечня журналов, в которых должны быть опубликованы статьи диссертантов и членов диссертационных советов. Особенно наглядно это проявилось сейчас, когда все журналы из Перечня разделены по категориям, присвоение которых вызывает много вопросов в библиотечно-информационном сообществе. Почему, например, ведущим научным журналам в области библиотековедения и библиографоведения («Библиотековедение» и «Библиография и книговедение») присвоена категория К3? Как устанавливались категории для Вестников вузов культуры? Ответов на эти вопросы у нас пока нет.

Во-вторых, многие статьи (что не секрет) публикуются с использованием имеющихся профессиональных связей. Таким образом, чем шире круг специалистов, с которыми коммуницирует ученый, тем с большей вероятностью его статья будет опубликована в журнале первой категории.

В-третьих, необходимость публикации статей ежегодно значительно влияет на их качество. Исследователи вынуждены ежегодно публиковать некие тексты под своим именем, не имея новых результатов и часто переиначивая уже вышедший в свет материал.

В-четвертых, определенное значение в библиотечно-информационной сфере имеет и проблема соавторства. В ряде случаев статья, написанная аспирантом, подписывается его научным руководителем, для того чтобы «открыть» ей дорогу в рецензируемый журнал. В других случаях ученые ставят фамилии своих коллег в качестве соавторов для того, чтобы те смогли отчитаться за наличие статей [5].

Кроме того, оценка деятельности ученых на основании, например, одного лишь суммарного числа публикаций наносит большой вред науке, особенно если используется как ключевой KPI. Из того, что сильные ученые публикуют много работ, совершенно не следует, что любой автор, опубликовавший много работ, внес серьезный вклад в науку. Конечно, организаторам науки проще всего оценить результативность научного труда, например, по количеству опубликованных работ. И для социально-гуманитарных дисциплин (к которым относится и библиотечно-информационная наука) такой подход, возможно, и целесообразен, так как в них значительна доля статей, написанных одним автором.

Другой популярный критерий оценки научной деятельности в библиотечно-информационной сфере, связанный с участием в различных научных мероприятиях, представляется более корректным. Важно понимать, что количество научных мероприятий в рассматриваемой области чрезвычайно мало, хотя, на первый взгляд, проводится огромное количество конференций. Однако подавляющее большинство этих мероприятий носит в лучшем случае научно-практический, а часто и вовсе практический характер. В качестве примера можно привести закрытие научной секции под руководством Ю. Н. Столярова на Крымской конференции. Просто не набиралось докладов для ее полноценной работы. Поэтому, говоря о критерии участия в научных мероприятиях, надо четко понимать, с одной стороны, какой статус у этих мероприятий (локальные, региональные, всероссийские, международные), а, с другой - носят ли эти мероприятия действительно научный характер. Надо признать, что в настоящее время статус научных мероприятий нивелируется тем, что к участию в них часто формально привлекаются специалисты из других стран для повышения статуса конференции, семинара, конгресса, что позволяет в некоторых случаях назвать даже локальное мероприятие международным.

Значительная часть исследователей также отметила в качестве одного из возможных критериев оценки научного труда наличие у него учеников, защитивших диссертации под его руководством. Этот критерий, действительно, часто используется научным сообществом наряду с другими, так как ни один серьезный ученый не возьмется руководить диссертацией, не связанной с его научными интересами. А в библиотечно-информационной сфере именно руководитель, как правило, формулирует тему, предлагая ее своему аспиранту. Кроме того, ни один научный документ не оценивается и не проверяется так тщательно на наличие актуальности и новизны, как диссертация.

Наличие монографий как критерий оценки отметили более половины экспертов. Несомненно, монография обобщает результаты проведенного исследования и является во многом результатом многолетнего труда. В идеале на каждую монографию должно быть представлено две рецензии. Однако на практике рецензенты выбираются часто самим автором, что снижает возможность оценки качества научной работы. С другой стороны, положительные рецензии в профессиональных научных журналах могут стать подтверждением значимости проведенного исследования и полученных в его ходе результатов.

Участие в редакционных советах отечественных и зарубежных рецензируемых журналов достаточно давно используется как качественный критерий оценки качества научной деятельности того или иного ученого. Это связано с тем, что выдвижение в такие редсоветы напрямую связано с репутацией ученого в профессиональном сообществе, которое выдвигает тех, кому доверяет экспертизу результатов собственных исследований. Тот факт, что около половины экспертов считают этот критерий значимым, говорит о достаточно развитом в библиотечно-информационном научном сообществе института научной репутации.

Интересными представляется то, что очень небольшое количество респондентов считает, что критериями оценки могут быть благодарности в трудах коллег и наличие биобиблиографических указателей. Очевидно, институт благодарностей слабо развит в российской науке вообще и в библиотечно-информационной науке, в частности. На наш взгляд, именно эти критерии являются показателем признания со стороны научного сообщества. Благодарность является единственным компонентом «треугольника награды» (цитирование, соавторство, благодарность), который фиксирует размер и значение того вклада, который внес тот или иной человек. При этом по тексту благодарности можно определить и объем, и характер вклада в научные исследования [6]. Использование благодарностей в трудах исследователей в области библиотечно-информационной науки как одного из критериев оценки научного труда дало бы возможность выявить и оценить тех, кто внес вклад в развитие различных направлений исследований как своей поддержкой, так и критикой научной работы.

Далее респондентам был задан ряд вопросов относительно недостатков оценки научной деятельности при использовании количественных методов и вопрос можно ли (вообще) использовать количественные показатели для оценки деятельности ученых.

Основной проблемой при использовании количественных критериев респонденты назвали различные способы искусственного наращивания цитирования 75%, значительная зависимость от журнала, в котором публикуется статья (58,3%), а также зависимости индексов цитирования и индекса Хирша от области науки, в которой работает ученый (58%).

Более половины респондентов (54,2%) подчеркнули важность проблемы отказа от цитирования пионерских работ, когда такие работы незаслуженно забываются, а цитируются вторичные работы, основанные на материалах оригинала и опубликованные позже. В половине полученных анкет отмечена была и важность личных взаимоотношений и других факторов, влияющих на цитирование.

О критериях оценивания научного труда, так или иначе связанных с наукометрическими показателями цитирования, сегодня в научном сообществе не говорил только ленивый. В профессиональной печати имеется огромное количество критики индекса цитирования, индекса Хирша, им- пакт-фактора журнала и др. Методики, основанные на цитируемости, имеют серьезный недостаток: цитирование публикаций не возникает мгновенно, а накапливается определенное время. Для организаторов и руководителей науки это неприемлемо. Им нужны показатели здесь и сейчас. Но, тем не менее, нельзя не признать, что именно эти критерии оценки играют важную роль при выдаче грантов на исследования, аттестации научных кадров и т. д. Кроме того, на наш взгляд, наихудшим результатом использования ко-личественных критериев оценки является то, что ученых приучают оценивать через них труд друг друга. На научных мероприятиях, совещаниях и даже в личных беседах ученые представляют количество публикаций, индекс цитирования и индекс Хирша как показатель значимости собственного вклада.

Результаты проведенного экспертного опроса наглядно показывают, что научное сообщество в библиотечно-информационной сфере вполне осознает риски, возникающие при использовании количественных критериев при оценке научной деятельности. В частности, на вопрос «В каких областях, на Ваш взгляд, можно использовать количественные показатели для оценки деятельности ученых» большинство респондентов (62,5%) выбрали вариант «Ни в каких ситуациях нельзя опираться только на количественные показатели труда ученого».

Однако 29,2% исследователей допустили, что количественные показатели можно использовать при аттестации научных и педагогических кадров, а четверть респондентов считает, что количественные показатели можно использовать для прогнозирования востребованности работ конкретного ученого у целевой аудитории. 8,3% опрошенных рассматривают возможность использования количественных методов при экспертизе заявок на финансирование в рамках федеральных целевых программ и других конкурсов.

Рассматривая необходимость совершенствования системы количественных критериев, 45,8% экспертов выбрали ответ «нет», считая, что никакие количественные показатели не позволяют оценить качество исследовательской деятельности и ее результатов. Но большинство респондентов 54,2% высказалось за совершенствование системы, так как это дало бы возможность более точной оценки научного труда в библиотечно-информационной сфере.

Такое отношение к количественным критериям связано скорее всего с тем, что исследователи понимают, что количественные критерии все равно будут использованы для оценки их труда организаторами и руководителями науки, и считают необходимым хотя бы усовершенствовать систему количественной оценки. При этом те эксперты, которые отрицали необходимость совершенствования этой системы, видимо, понимают различия в оценке научного творчества со стороны государственных институтов и со стороны самого научного сообщества.

Направлениями совершенствования количественных критериев эксперты выделяют:

1. Создание новых информационных ресурсов, позволяющих более глубоко анализировать различные количественные показатели деятельности ученого (46,2%).

2. Создание собственного ресурса в библиотечно-информационной науке, где будут учтены все особенности ее развития (38,5%).

3. Разработка новых, более точных, наукометрических индексов (23,1%).

Оценивая результаты проведенного опроса, можно утверждать, что библиотечно-информационное научное сообществе в лице ведущих экспертов вполне адекватно подходит к оценке творчества ученого. Большинство оценок совпадает в принятыми в научном сообществе в целом [7]. Однако понимание особенностей развития библиотечно-информационной науки (узость научного сообщества, комплексный характер научной области, прикладной характер большинства исследований, молодость самих научных дисциплин) накладывает определенный отпечаток на подходы к оценке научной деятельности, связанный с большим принятием количественных критериев оценки.

Список литературы

1. Зиновьева Т. В. Оценка научного труда // Зиновьева Т. В. Основные социологические термины: учеб. пособие. Челябинск: Изд-во ЮУРГУ, 2006. URL: https://voluntary.ru/termin/ocenka-nauchnogo-truda. html (дата обращения: 11.12.2022).

2. Игнатьев А. А. Оценка научного труда // Российская социологическая энциклопедия / под общ. ред. Г. В. Осипова. Москва: НОРМА-ИНФРА М, 1998. С. 369-370.

3. Гринев А. В. Использование наукометрических показателей при оценке публикационной активности в современной России // Вестник Российской академии наук. 2019. Т. 89, № 10. С. 993-1002.

4. Кирчанов М. В. Количественные и качественные методы учета результативности научно-исследовательской работы // Вестник Воронежского государственного университета. Сер. Проблемы высшего образования. 2018. № 1. С. 71-75.

5. Захарчук Т. В. Оценка научного труда в библиотечно-информационной сфере // Научные и технические библиотеки. 2017. № 8. С. 18-26.

6. Панкратова А. В. Сравнительный анализ характера авторских благодарностей в монографических исследованиях различных областей науки // Проблемы деятельности ученого и научных коллективов: междунар. ежегодник / под ред. С. А. Кугеля. Санкт-Петербург: Изд-во СПбГТУ, 2001. Вып. 16, ч. 2. С. 155-159.

7. Зусьман О. М. Методы выявления современной научной элиты в Санкт-Петербурге // Интеллектуальная элита Санкт-Петербурга. Санкт-Петербург: Изд-во СПбГУЭФ, 1993. С. 28-37.

References

1. Zinovieva T. V. Evaluation of scientific work. Zinovieva T. V. Basic sociological terms: tutorial. Chelyabinsk: Publ. house of URGU, 2006. URL: https:// voluntary.ru/termin/ocenka-nauchnogo-truda.html (accessed: Nov.12.2022) (in Russ.).

2. Ignatiev A. A. Evaluation of scientific work. Russian sociological encyclopedia / ed. G. V. Osipova. Moscow: NORMA-INFRA M, 1998. 369-370 (in Russ.).

3. Grinev A. V. The use of scientometric indicators in evaluating publication activity in modern Russia. Bulletin of the Russian Academy of Sciences. 2019. 89 (10), 993-1002 (in Russ.).

4. Kirchanov M. V. Quantitative and qualitative methods of accounting for the effectiveness of research work. Bulletin of the Voronezh State University. Ser. Problems of higher education. 2018. 1,71-75 (in Russ.).

5. Zakharchuk T. V. Evaluation of scientific work in the library and information sphere. Scientific and technical libraries. 2017. 8, 18-26 (in Russ.).

6. Pankratova A. V. Comparative analysis of the nature of author's thanks in monographic studies of various fields of science. Problems of the activities of scientists and scientific teams: intern. yearbook / ed. S. A. Kugel. Saint-Petersburg: Publ. house of Saint- Petersburg State Technical University, 2001. 16 (2), 155-159 (in Russ.).

7. Zusman O. M. Methods for identifying the modern scientific elite in Saint-Petersburg. Intellectual elite of St. Petersburg. Saint-Petersburg: Publ. house of Saint-Petersburg State Univ. of Economics, 1993. 28-37 (in Russ.).

Размещено на Allbest.ru