Нулевое цитирование в российской медицинской науке, 1990-2017 гг.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Нулевое цитирование в российской медицинской науке, 1990-2017 гг.

A.В. Немцов, Е.А. Кузнецова-Морева, B.В. Шеин

ABSTRACT

ZERO CITATION IN RUSSIAN MEDICAL SCIENCE, 1990-2017

A scientometric study of 51 research institutes of the Ministry of Health of the Russian Federation was carried out. 139,342 publications registered in the Russian Science Citation Index in 1950-2017, were the material of the study. We studied the distribution of publications by year of publication and the number of citations. The publications were divided into two groups: 1) cited one or more times (n = 65395 or 46.9%) and 2) with zero citation (n = 73946 or 53.1%). In 2001-2016 the total number of publications increases linearly (regression coefficient 721 publications or 10% per year). At the same time, the share of cited publications decreased from 72% in 2001 to 46% in 2014, and later, to 4% in 2017. During the period of the highest publication activity (2000-2013), the proportion of cited publications ranged from 17 % to 81% in different institutions (median 61%). The proportion of cited publications may be an indicator of the effectiveness of institutions.

Keywords: scientometrics, publications, citation, medical research institutes, Ministry of Health of the Russian Federation

ВВЕДЕНИЕ

Публикации - главный продукт науки. За пределами содержательной стороны публикации ее главная функция - установить связи и распространить содержание как внутри науки, между учеными, так и за ее пределами - с обществом, производством и государством.

Свидетельством установления связи с научным сообществом и мерой востребованности публикации является цитирование [1].

Ранее при анализе 51 научно-исследовательского института, подчиненного Министерству здравоохранения Российской Федерации (МЗ РФ), было показано, что половина их публикаций, взятых как целое, не была процитирована ни разу [2], иначе говоря, имела нулевое цитирование.

Однако для цитирования публикации требуется некоторое время для того, чтобы новый автор ее прочел и процитировал в своей новой статье, а эта статья была опубликована.

В российских условиях на это уходит 2-3 года, что делает нулевое цитирование в этот период естественным явлением и требует учета.

И до этого срока многие обстоятельства могут повлиять на процесс цитирования, что требует дифференцированного отношения к разным периодам публикационной деятельности. Это определило задачу нового исследования.

Задачи исследования

Дать общую картину динамики публикационной деятельности и цитирования публикаций научных медицинских учреждений в России на основе исследования 51 медицинского научно-исследовательского института.

Материал и методы

Источником данных явился Российский индекс научного цитирования (РИНЦ). Выкопировка информации на еИВ1ЗД1?У. 1^11 [3] произведена в октябре 2017 г.

Выбор институтов сделан на сайте МЗ РФ в разделе «Научные учреждения Министерства здравоохранения РФ», которые в 2017 г. составляли 51 учреждение.

Таблица 1Распределение публикаций по количеству цитирования

В РИНЦ [3] на персональной странице каждого научного учреждения в разделе «Статистические отчеты» выбраны два показателя: «Распределение публикаций по годам» и «Распределение публикаций по числу цитирований», в боковом окне - список всех публикаций с указанием года издания и количеством цитирований. Это позволило рассортировать публикации по годам и количеству цитирования для каждого института. Публикации, зарегистрированные в РИНЦ без указания года выпуска, исключены из исследования.

Общее число публикаций 51 научного учреждения МЗ РФ, включенных в исследование, составило 139 342, а их цитирование 591190.

Динамически по годам анализировались следующие показатели:

1) общее количество публикаций,

2) количество публикаций, процитированных 1 и более раз,

3) количество публикаций с нулевым цитированием,

4) доля процитированных публикаций в общем их количестве.

РЕЗУЛЬТАТЫ

Общая характеристика

С 1957 г. по октябрь 2017 г. в РИНЦ проиндексировано 139 342 публикации 51 института МЗ РФ. Их распределение по объему цитирования представлено в таблице 1.

С 1957 г. по 1989 г. только 1806 или 1,3% опубликованных работ были проиндексированы в РИНЦ. Из-за малого числа на протяжении большого периода они были исключены из анализа.

Распределение публикаций по годам с 1990 г. представлено на рисунке 1. В дальнейшем эти публикации были разделены на две группы: 1) цитированные хотя бы один раз (от 1 до 3446 раз, всего 65 397 публикаций или 46,9%) и 2) с нулевым цитированием (всего 73946 или 53,1%).

Как видно на рисунке 1, общее количество публикаций с 2001 по 2016 г. линейно нарастает:

Примечание: Ц - публикации, цитированные один и более раз,

НЦ - нецитированные публикации, Об - общее количество публикаций.

Рисунок 1.Распределение публикаций по годам 51 института МЗ РФ с 1990 по 2017 гг.

у = 3059,7 + 721,3 х (р = 0,0000, г = 0,989, г² = 0,978), где у - количество публикаций, х - годы.

Увеличение на 721 публикацию соответствует приросту в 9,7% в год. В 2017 г. количество публикаций, проиндексированных в РИНЦ, резко сократилось.

Стоит отметить, что с 2000 по 2012 г. нарастание цитированных и нецитированных публикаций происходило линейно с одинаковой скоростью: 395 и 393 публикации в год (г = 0,99 и 0,98, р = 0,000). Соответственно этому снижалась доля процитированных работ в общем количестве публикаций (рисунок 2). До 2000 г., с 1990 по 2000 г. происходило прогредиентное, с небольшими колебаниями нарастание этой доли с 50% (1990 г.) до 72% (2001 г.) вместе с ростом количества публикаций.

у = 46,5% + 1,80%*х (р = 0,0002, г = 0,880, г² = 0,775), где у - доля процитированных публикаций, х - годы.

После 2000 г. при продолжающемся линейном росте количества публикаций происходило снижение доли процитированных работ до 45,7% в 2014 г.

у = 72,5% - 1,72%*х (р =0,0000, г = - 0,943, г² = 0,890),

где у - доля процитированных публикаций, х - годы.

В последние три года (2015-2017 гг.) происходило особенно резкое уменьшение цитируемых публикаций: в 2015 г. процитировано всего 35% публикаций, в 2016 г. 20% на фоне продолжающегося роста публикаций. В 2017 г. процитировано только 4%, уже на фоне резкого снижения количества публикаций, учтенных в РИНЦ (рисунок 2).

Институты

Вслед за Ю. Гарфилдом [4, 5] можно считать, что в первом приближении качество публикации определяется ее востребованностью, показателем чего является количество цитирований. При таком подходе доля процитированных публикаций может служить показателем качества работы учреждения, и появляется возможность оценить институты по цитируемости их публикаций. Для этого, ориентируясь на рисунки 1 и 2, выберем 2000-2013 гг., как период максимальной публикационной активности, и рассчитаем среднюю долю процитированных публикаций. Для 51 института разброс показателя составил от 16,7% до 81,0% (средняя 59,5%, медиана 61,0%). В качестве иллюстрации такого выбора на рисунке 3 представлены данные трех институтов, каждый из которых лучший в своей трети списка всех институтов. Доля цитируемых публикаций этих институтов в 2000-2013 гг. составила 47,6%, 62,2% и 74,8% (снизу вверх). Если судить по плавающей средней, то снижение цитируемости в институтах началось в 2001-2003 г.

Примечание: Цифры - проценты процитированных публикаций в 2001, 2007 и 2014 гг.

Рисунок 2. Общее количество публикаций, проиндексированных в РИНЦ (1), количество процитированных (2) и непроцитированных публикаций (зона 3), а также доля процитированных публикаций в общем количестве (4)

Примечание: Вертикальный пунктир отмечает период анализа.

Рисунок 3.Доляцитируемыхпубликацийтрехинститутов в 1995-2017 гг. (тонкиелинии). Толстые линии - плавающая средняя (LOWESS, Stiffness 0,4)

Следует решить, для всех ли институтов характерно снижение цитируемости и какова скорость этого снижения у разных институтов с начала 2000-х гг. Это было сделано на основе линейной регрессии процитированных публикаций отдельных институтов в 2002-- 2014 гг. У 16 институтов снижение доли цитируемых публикаций начиналось в 1999-- 2001 гг., у 14 - в 2003-2004 гг. Во втором случае регрессия рассчитывалась с начала снижения. Линейная регрессия имела отрицательный знак у 47 институтов, однако значимыми коэффициенты регрессии были только у 23 институтов (-1,4% т -10,8% в год, р = 0,050^0,000).

Положительный знак регрессии наблюдался в 4 случаях, но только у одного института эта регрессия была значимой (+2,7% в год, р = 0,017).

Высокоцитируемые публикации

Для характеристики материала важно знать не только объемы нулевого цитирования, но и характеристики высокоцитируемых работ. Из всего массива были выделены 20 публикаций с наибольшим цитированием. Авторами были проанализированы: год публикаций, количество авторов, язык статей и другие показатели (таблица 2).

Таблица 2Публикации с наибольшим цитированием, проиндексированные в РИНЦ для 51 института

Примечание: аР - русский, А - английский, б«-» в Scopus и/или в Web of Science журналы не индексируются

Как видно, практически все публикации процитированы более 1000 раз. Важно отметить, что 70% работ опубликованы и были процитированы за последние 6 лет. 18 из 20 публикаций напечатаны в англоязычных журналах, две монографии написаны по-русски. Все публикации написаны несколькими авторами (от 3 до 415) и являются многоцентровыми исследованиями (от 2 до 143). Цитирование этих работ за один год выросло на 11%, при этом пропорционально показателям предыдущего года (цитируемость двух русских монографий выросла сходным образом, на 8% и 13%).

ОБСУЖДЕНИЕ

Публикации, как сказано выше, главный продукт науки, а поэтому, главный объект наукометрии. Содержание публикации становится значимым только тогда, когда она вошла в научный оборот. Объективным показателем этого является цитирование, которое обозначает, что публикация стала средством научной коммуникации. У науки есть другие формы общения, которые сейчас активно расширяются, но главным остается научная публикация. Вот почему при наукометрической оценке деятельности ученого или учреждения используется показатель цитирований. В этом контексте другой объективный показатель, количество публикаций, имеет вторичное значение, поскольку в общем количестве публикаций могут быть работы с нулевым цитированием, которые только поэтому не имеют практической значимости, даже будучи содержательными. Соотношение этих двух показателей, количества публикаций и цитирования, были исследованы в динамике на материале 51 института МЗ РФ, проиндексированных в РИНЦ.

Для этих публикаций характерен прогредиентный рост их количества, который резко ускорился в начале 2000-х гг. (рисунок 1). Ускорение, скорее всего, обусловлено техническим фактором, и связано с тем, что РИНЦ, организованный в 2005 г., только с начала 2000-х гг. начал более полно индексировать публикации. С этих пор и до 2016 г. нарастание происходило прямолинейно, увеличиваясь в среднем на 720 публикаций в год или на 10%. Такой прирост следует оценить как высокую продуктивность институтов МЗ РФ, превышающую среднемировой показатель (5%, [5]). Резкое снижение количества публикаций в 2017 г. объясняется тем, что РИНЦ учитывает новые выпуски журналов с задержкой в несколько месяцев (сбор материал закончен в октябре 2017 г.). Важно отметить, что прямолинейный рост публикаций в 2001-2016 гг. можно считать свидетельством полноты учета публикаций в РИНЦ в этот период.

Ранее уже была показана высокая доля нецитируемых работ институтов МЗ РФ (53% [6]). В 2017 г. С.А. Трущелев при анализе 350 тысяч российских публикаций по психиатрии, неврологии и кардиологии, получил сходный результат: только 41%, 55% и 42% публикаций в этих отраслях медицины были процитированы [7]. Это значит, что в среднем более половины публикаций не были процитированы. Но это поперечный срез проблемы цитирования, и его необходимо дополнить срезом продольным. В связи с этим возник вопрос, как 53% непроцитированных работ [2] распределяются во времени. Это явилось задачей настоящего исследования.

На фоне линейного роста количества публикаций с начала 2000-х гг. также линейно, вплоть до 2012 г., увеличивалось количество процитированных и непроцитированных работ, практически по 400 в год (рисунок 2). За это время в РИНЦ учтено 83768 публикаций, из которых 49151 или 58,7% процитированы один и более раз, а 34617 или 41,3% не процитированы ни разу. Скорее всего, большинство из них уже не будут процитированы.

К 34,6 тысячам публикаций, не востребованных ни разу за 18 лет, можно добавить публикации, процитированные однажды или 2-3 раза, которые трудно назвать широко востребованными, а вместе с нецитированными они составляют почти 80% продукции институтов МЗ РФ. Эти институты составляют почти половину всех НИИ в области медицины, а поэтому могут считаться репрезентативными для российской медицинской науки. Остальные институты подчинены Министерству науки и высшего образования РФ, отраслевым агентствам или региональным ведомствам. По-настоящему востребованными условно можно считать работы, процитированные 10 и более раз, а они составляют около 20% от всех публикаций. Следует осторожно относиться к цитированию, как показателю качества научной работы, однако несомненно, что среди публикаций, процитированных 10 и более раз, вероятность найти по-настоящему содержательные работы высока в отличие от малоцитированных работ. Представляется, что такой вероятностный подход содержит ответ, в какой степени цитирование отражает качество публикации.

Публикации, оцениваемые на основе цитирования, можно соотнести с результатами более тщательного анализа, например, на основе экспертных оценок. Так, были проанализированы 27 публикаций по психиатрии, а среди них только 3 (11%) можно было признать приемлемыми на основе международных критериев [8]. В другом исследовании более глубоко была проанализирована 51 статья из 13 журналов по психиатрии и наркологии, и только 2 работы были безупречны по всем наукометрическим параметрам (4%). Иначе говоря, экспертные оценки оказываются ниже наукометрических, хотя учреждения этого профиля по цитированию в лучшей трети институтов. По экспертным оценкам наиболее уязвимыми оказались характеристики статей, самые важные для доказательности результатов: описание методики, статистический анализ, учет систематических ошибок и побочных эффектов, а также рандомизация больных по группам [9]. К сожалению, работы по экспертной оценке российских публикаций в медицине всегда были единичными, а в настоящее время приоритет отдается наукометрическим оценкам, в основном, по количеству российских публикаций, проиндексированных WebofScienceили Scopus[10, 11], а российские медицинские публикациями там представлены слабо.

Важно отметить, что с начала 2000-х гг. на протяжении последующих 15 лет происходит снижение цитируемости публикаций (с 72% до 46% в 2014 г., рисунок 2). Снижение охватило практически все институты. Пока можно высказать только предположения, опираясь на [12]. Возможно, снижение цитирования связано с порочной установкой на количество публикаций в качестве главного показателя работы ученых и учреждений. В связи с этим в РИНЦ стали активно загружать тезисы, которые мало или никогда не цитируются. Возможно, в погоне за числом публикаций научные сотрудники начали плодить скороспелые, низкого качества работы или дублировать результаты одной работы в разных журналах. Есть и третье предположение: снижение цитирования является следствием снижения квалификации научных работников, результатом чего может стать как продукция некачественных работ, так и отсутствие интереса к научной литературе.

Тренд на снижение цитируемости - доминирующий показатель последних 20 лет, но он не одинаков у разных институтов, и составляет от 1,4% до 10,8% в год, однако только половина из них статистически значима, хотя для институтов в целом тренд на снижение цитируемости высоко значим.

В отличие от оценки тренда на снижение, доля цитируемых работ за определенный период времени вполне жизнеспособный показатель, и он отражает эффективность работы институтов в отличии количества публикаций, отражающего продуктивность учреждений.

Проблема нулевого цитирования малозначима в англоязычной науке, но велика в науке развивающихся стран, которые наращивают количество публикаций по 15-20% в год (Китай, Египет, Пакистан), а Китай в ближайшие годы может догнать США по количеству публикаций [6].

В наукометрической оценке качества научной работы помимо нулевого цитирования есть другая сторона проблемы - большая ци-тируемость, в частности 1000 и более раз. Однако среди 20 самых цитируемых публикаций, зарегистрированных в РИНЦ, 18 англоязычные, многоцентровые, со множеством авторов, иногда более 400. Их учет в РИНЦ обусловлен тем, что среди авторов есть один, который указывает адреса двух учреждений, один российский. Такие публикации встречаются также в интервале 500-1000 цитирований. По сути дела, эти работы имеют мало отношения к российской медицинской науке, однако они вносят значительный вклад в суммарное цитирование российских институтов: только 18 (0,01%) работ из таблицы 2 приносят 36,4 тыс. цитирований (6,2%).

В заключение следует сказать, что оценка продукции научно-исследовательских учреждений на основе цитирования вынужденная мера. Это обусловлено огромным (1,6 млн. в 2018 г.) и все нарастающим количеством публикаций в мире (5% в год) [6]. Нулевое цитирование следует понимать как первый фильтр для совсем негодных работ, а цитирование в целом, как приблизительную и косвенную оценку качества публикаций. Сейчас входят в практику новые методы второго поколения [13]. Примером может служить альтметрия(«altmetrics» или alternative metrics, термин предложен в 2010 г. [14]). Эта метрика основана на разнообразном наборе веб-источников и дополняет традиционные метрики, основанные на цитировании [15].

ВЫВОДЫ

1.За время анализа, с 1990 г. происходило прогредиентное и значительное увеличение количества публикаций институтов, подчиненных МЗ РФ.

2.Увеличение роста числа публикаций в начале 2000-х гг., проиндексированных в РИНЦ, обусловлено полнотой учета публикаций в этой организации РИНЦ. Скорость прироста составляет 720 работ или 10% в год (2001 -- 2016 гг.).

3.На протяжении 2000-2014 гг. происходит снижение цитируемости публикаций российских ученых-медиков, с 70% в 2001 г. до 46% в 2014 г.

4.Институты существенно различаются по цитируемости публикаций: в период наибольшей публикационной активности (2000-2014 гг.) в разных институтах доля цитируемых работ колебалась от 16,7% до 81,0%.

5.Выдвигается предположение, что для характеристики деятельности научных учреждений показатель цитируемости важнее показателя количества публикаций

ЛИТЕРАТУРА

цитирование научный здравоохранение публикация

1. Михайлов О.В. (2017) Цитирование и цитируемость в науке / URSS.Москва. 200 с.

2.Немцов А. В.,Кузнецова-Морева Е.А. (2018) Публикационная деятельность научных медицинских организаций Министерства здравоохранения РФ // Электронный научный журнал «Социальные аспекты здоровья населения», 15.08.2018.

3. Научная электронная библиотека (2020) eLIBRARY.RU.

4. Garfield E.(1964) "Sciencecitationindex" - a newdimensioninindexing// Science. 144(3619):649- 654. DOI:10.1126/science.144.3619.649.

5. Garfield E. (1955) Citationindexesforscience - a newdimensionindocumentationthroughassociationofideas. Science. 122(3):108-111.

6. Makri A. (2018) PakistanandEgypthadhighestrisesinresearchoutputin 2018 // Nature. News. https:// www.nature.com/articles/d41586-018-07841-9.

7. Трущелев С.А.(2017) Управление научно-исследовательской деятельностью медицинских работников на основе наукометрического подхода: автореф. Дис. д-ра мед.наук. Москва. 46 с.

8. Зорин Н.А., Калинин В. В.,Немцов А. В. (2001) Методика оценки качества исследовательских публикаций в психиатрии // Журнал неврологии и психиатрии им. С. С. Корсакова. 101(2):62-67.

10. Голенков А. В.,Кузнецова-Морева Е.А, Менделе- вич В.Д, Немцов А. В., Разводовский Ю.Е, Симонов А.Н., Шелыгин КВ. (2017) Качество исследовательских публикаций в психиатрии - экспертная оценка // Журнал неврологии и психиатрии им. С.С. Корсакова. 117(11):108-113.

11. BolotovV., Kvelidze-Kuznetsova N., Laptev V., Morozova S. (2014) The h-IndexintheRussianScientificCitationIndex// EducationalStudies. 1:241258. DOI: 10.21045/2071-5021-2018-62-4-11.

12. Sterligov I., Enikeeva A. (2014) 25 YearsAftertheFall: IndicatorsofPost-communistScience//HigherEducationinRussiaandBeyond. 2014. No. 2. P. 15-18.

13.БалацкийЕ.,Юревич М.(2016) Деформация научной этики в России. Можно ли ее измерить? // Капитал страны. С. 5-15. kapital-rus.ru/ articles/article/deformaciya_nauchnoi_etiki_v_rossii.

14. Rousseau R, Ye F.Y. (2013) A multi-metricapproachforresearchevaluation// ChineseScienceBulletin. 58(26):3288-3290.

15. Priem J, Taraborelli E>, Groth P, Neylon C. (2010) Altmetrics: A manifesto, 26.10.2010.http://altmetrics.org/manifesto.

16. Галявиева М.С.(2013) Altmetricsи библиотеки: тенденции, возможности и проблемы // Вестник Казанского университета культуры и искусства. 4(1):27-32.

REFERENCES

1. Mikhailov O.V. (2017) Citations and citations in science / URSS. Moscow. 200 p.

2. Nemtsov A. V., Kuznetsova-Moreva E.A. (2018) Publication activities of scientific medical organizations of the Ministry of Health of the Russian Federation // Electronic scientific journal "Social aspects of population health", 15.08.2018.

3. Scientific electronic library (2020) eLIBRARY.RU.

4. Garfield E. (1964) "Science citation index" - a new dimension in indexing // Science. 144(3619):649- 654. DOI:10.1126/science.144.3619.649.

5. Garfield E. (1955) Citation indexes for science - a new dimension in documentation through association of ideas. Science. 122(3):108-111.

6. Makri A. (2018) Pakistan and Egypt had highest rises in research output in 2018 // Nature. News. https://www.nature.com/articles/d41586-018-07841-9.

7. Truschelev S.A. (2017) Management of research activities of medical workers based on a sciento- metric approach: author. Dis. Dr. med. sciences. Moscow. 46 p.

8. Zorin N.A., Kalinin V. V., Nemtsov A. V. (2001) Methodology for assessing the quality of research publications in psychiatry // Journal of Neurology and Psychiatry. S.S. Korsakov. 101 (2): 62-67.

9. Golenkov A. V., Kuznetsova-Moreva E.A., Mendelevich V.D., Nemtsov A.V., RazvodovskyYu.E, Simonov A.N., Shelygin KV. (2017) Quality of Research Publications in Psychiatry - Expert Assessment // Journal of Neurology and Psychiatry. S.S. Korsakov. 117 (11): 108-113.

10. Bolotov V., Kvelidze-Kuznetsova N., Laptev V, Morozova S. (2014) The h-Index in the Russian Scientific Citation Index // Educational Studies. 1:241-258. DOI: 10.21045/2071-5021-2018-62-4-11.

11. Sterligov I., Enikeeva A. (2014) 25 Years After the Fall: Indicators of Post-communist Science // Higher Education in Russia and Beyond. 2:15-18.

12. Balatsky E., Yurevich M. (2016) Deformation of scientific ethics in Russia. Can you measure it? // Capital of the country. Pp. 5-15. kapital- rus.ru/articles/article/deformaciya_nauchnoi_ etiki_v_rossii.

13. Rousseau R, Ye F.Y. (2013) A multi-metric approach for research evaluation // Chinese Science Bulletin. 58(26):3288-3290.

14. Priem J, Taraborelli D, Groth P, Neylon C. (2010) Altmetrics: A manifesto, 26.10.2010. http://altmet- rics.org/manifesto.

15. Galyavieva M.S. (2013) Altmetrics and Libraries: Trends, Opportunities and Challenges // Bulletin of Kazan University of Culture and Art. 4 (1): 27-32.

Размещено на Allbest.ru