Публикационная деятельность научных медицинских организаций Министерства здравоохранения РФ

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Публикационная деятельность научных медицинских организаций министерства здравоохранения РФ



Библиометрические показатели - это только инструмент,

а любой инструмент, от кувалды до атомной энергии,

должен использоваться по назначению

ЮджинГарфилд

Проведено наукометрическое исследование 51 научно-исследовательского института, подчиненных Министерству здравоохранения РФ. Изучены суммарно два показателя: общее количество публикаций и общее число цитирований. В основу исследования положено 860 тысяч цитирований, 200 тысяч публикаций и 27 тысяч авторов, зафиксированных в Российском индексе научного цитирования. Показано, что количество публикаций и их цитирования пропорционально количеству авторов (сотрудников), при том, что институты по количеству сотрудников различаются 150-кратно. Чтобы нивелировать это обстоятельство, дальнейшая работа проводилась на основе стандартизации абсолютного числа публикаций и цитирования количеством авторов (относительные показатели). Стандартизация привела к перестройке рейтингов институтов по публикациям и цитированию. Относительные показатели публикаций не зависят от абсолютного количества авторов, публикаций и цитирования. Эти показатели выравнивают институты по продуктивности авторов. Для институтов Министерства здравоохранения РФ характерно сравнительно низкое цитирование: 93% всех публикаций процитированы не более 10 раз. В том числе 112 тысяч публикаций или 53% от общего количества публикаций не были процитированы ни разу (нулевое цитирование). Значительное количество цитирований вносят публикации, процитированные более 50 раз: на 1,3% этих публикаций, приходится 41,2% цитирований. В институтах с небольшим количеством авторов (менее 400) относительный показатель цитирования существенно ниже, чем в институтах с большим количеством сотрудников.

Ключевые слова:наукометрия; институты; Минздрав РФ; публикации; цитирование; авторы

Abstract

A scientometric research of 51 scientific research institutes subordinate to the Ministry of Health of the Russian Federation has been conducted. The authors studied two indicators cumulatively: the number of publications and citations. The research was based on 860 thousand citations, 200 thousand publications and 27 thousand authors, recorded in the Russian index of scientific citation. The research showed that the number of publications and their citations is dependable upon the number of authors (employees), while the institutes differ in the number of employees 150-fold.

In order to neutralize this circumstance, further work was carried out on the basis of standardization of the absolute number of publications and citations by the number of authors (relative indices). Standardization resulted in reorganized ratings of institutes by publications and citations. The standardized indices of publications do not depend on the absolute number of authors, publications and citations. These indicators level the institutes by the authors' productivity. The institutes of the Ministry of Health of the Russian Federation are characterized by a relatively low citation: 93% of all publications are cited no more than 10 times, including 112 thousand publications or 53% of the total number of publications have not been cited at all (zero citation). The number of citations is mainly made up by publications cited over 50 times: 1.3% of such publications account for 41.2% of citations. In institutes with a small number of employees (less than 400), the relative citation rate is significantly lower compared to institutes with a large number of employees.

Keywords:scientometrics; research institutes; Ministry of Health of the Russian Federation; publications; citation; authors.



Введение

В результате индустриальной революции наука перестала быть только описательной и превратилась в мощную производительную силу. Ее продукт, трансформированный промышленностью, в значительной степени изменил форму существования людей и повлиял на окружающую среду, иногда, правда, опасным и даже драматическим образом. Помимо таких внешних обстоятельств, потребовавших контроля, у науки, как у сложного и многомерного явления, существуют внутренние задачи по организации, управлению и прогнозу собственной деятельности. Эти задачи привели к формированию науки о науке - науковедению, и ее составляющей - наукометрии, одна из задач которой количественная характеристика эффективности науки. Как показала многолетняя практика, лучшим способом такой оценки, как науки в целом, так и научных учреждений и их сотрудников, стал метод учета цитирования. Такое значение цитирования определяется тем, что главный продукт науки - публикация, которая позволяет донести до научного сообщества и практических учреждений результаты научной деятельности. Цитирование публикации позволяет учесть, во-первых, ее вхождение в научный оборот, и, во-вторых, широту и глубину этого вхождения. На основе изучения цитирования родилось много производных оценок, идет создание новых для более полного учета и оценки научной активности, и эта линия успешно развивается, преодолевая первоначальные трудности и ограничения.

Метод цитирования для оценки продуктивности науки обязан утверждением Юджину Гарфилду (EugeneGarfield, 1925-2017), который организовал Институт научной информации (США, 1961, ScienceCitationIndex, ныне WEB ofScience). Вслед за этим в мире возникло несколько мощных научных центров по изучению цитирования и других наукометрических показателей. В 2005 г. такой центр создан в России -- Российский индекс научного цитирования (РИНЦ), который предоставляет большие возможности для изучения научной активности, научных сотрудников, журналов и научных учреждений в целом.

Оценка цитирования остается главным методом наукометрии, однако этот метод, как и всякий метод, имеет ограничения, что заставляет искать новые подходы в этом направлении. Признавая целесообразность наукометрического метода, Статистический институт ЮНЕСКО в качестве измерения научной деятельности предложил следующие показатели: общее количество публикаций, их цитируемость, количество полученных патентов.

В последнее время в области медицины и здравоохранения все чаще стали обращаться к широкому набору наукометрических показателей, определяя публикационную активность как инструмент капитализации научных достижений [10]. Вместе с тем отмечалось, что пока что мало публикаций, анализирующих научные тенденции в отечественной медицине, дающих полную картину медицинской науки, редко приводятся аналитические данные о публикационной активности научных коллективов [4,8].

Цель исследования

Дать общую картину состояния публикационной деятельности медицинских научных учреждений в России.

Задачи исследования

Описать и выявить свойства и особенности публикационной активности 51 медицинского научно-исследовательского учреждения по трем наукометрическим показателям: публикации, цитирование (точнее цитируемость), авторы.

публикационный цитируемость научный медицинский



Материал и методы

Объектом исследования были все научно-исследовательские учреждения, подчиненные Министерству здравоохранения РФ, перечень которых получен в РИНЦ на странице «Реестр организаций - Научные организации Министерства здравоохранения РФ (51)». Их список представлен названиями по РИНЦ, ранжированными по числу цитирований в РИНЦ (Приложение А). Половина организаций являются научными центрами, остальные институтами. Далее все будут именоваться институтами и обозначаться ради краткости числом в соответствие с порядковым номером в Приложении А, а Министерство здравоохранения РФ как Минздрав РФ.

Материалом для анализа послужили данные РИНЦ, где у каждого из институтов есть своя страница в РИНЦ, на которой более 100 показателей. В настоящей публикации анализировались четыре показателя:

Число публикаций,

Число цитирований публикаций.

В процессе работы важным для анализа оказался третий показатель в РИНЦ:

Число авторов в институтах,

и выявился новый:

Нулевое цитирование.

За пределами анализа остался ряд важных показателей, например, индекс Хирша и динамика публикационной активности.

В РИНЦ есть три источника данных: elibrary.ru, РИНЦ и ядро РИНЦ. Для настоящего исследования выбраны показатели, содержащиеся на elibrary в разделе «СТАТИСТИЧЕСКИЕ ОТЧЕТЫ - распределение публикаций по числу цитирований». Материал работы составила исходная таблица 3927*51, три производные таблицы первого порядка того же объема и более 10 таблиц второго порядка, но меньшего размера (например, 51*102).

Первая зафиксированная публикация в РИНЦ относится к 1950 г. Последнее обращение 03.10 2017.

В качестве методов исследования служили: описательная статистика (сумма, минимум, максимум, медиана (Ме), средняя, квартили (LQ и UQ), корреляция по Спирмену и коэффициент детерминации в %, линейная и нелинейная регрессия, сравнение двух рядов по Манн-Уитни, сравнение нескольких групп по Крускел-Уоллису, медианный тест, кластерный анализ (единичные связи, эвклидовы расстояния).

Результаты

1. Абсолютные показатели

Общая характеристика основных показателей приведена в табл. 1.

Таблица 1

Основные характеристики публикационной деятельности 51 института, подчиненного Минздраву РФ.

Показатели	n	Сумма	Мин.	Макс.	Средняя	Медиана
Количество публикаций	51	203215	175	25162	3984,6	2000
Количество цитирований	51	861793	176	78827	16897,9	6017
Количество авторов	51	26941	23	3655	528,3	287

Существенное несовпадение средней и медианы обусловлено тем, что распределение всех показателей резко асимметричны, а это значит, что медиана точнее обозначает центральную тенденцию (середину распределения) в сравнении со средней арифметической.

Первое, что обращает внимание в табл. 1, это большой разброс показателей отдельных институтов: 450-кратный в случае цитирований, почти 150-кратный по количеству публикаций и 150-кратный по числу авторов (условно сотрудников).

Такой разброс в первую очередь выдвигает вопрос, на основе чего описывать институты, строить их ряды или группировать? Первый и естественный ответ - на основе абсолютных показателей по образцу РИНЦ при составлении рейтингов институтов по цитированию (Приложение А). Для этого, однако, есть препятствие: корреляция количества публикаций (r=0,956, коэффициент детерминации 91%) и цитирований с (r=0,879 и 77%, рис. 1) с количеством авторов в институтах.

Рис. 1. Соотношение количества публикаций (темные кружки) и цитирований (светлые кружки) с количеством авторов в институтах (n=51). Сплошная линия и пунктир - линии регрессии публикаций и цитирований на автора.

Иначе говоря, главные показатели публикационной деятельности институтов - количество публикаций и цитируемость, напрямую зависят от количества авторов (условно сотрудников). Можно ли при этом сопоставлять институты, ориентируясь на абсолютные показатели? Например, как сравнивать публикационную активность двух институтов, где 23 и 3655 авторов (табл. 1)? Чтобы нивелировать различие, дальнейшая работа проводилась на основе стандартизации числа публикаций и цитирования количеством авторов, то есть на основе количества публикаций и цитирования, приходящихся на одного автора (относительные показатели).

2. Относительные показатели

Публикационная деятельность институтов, стандартизованная количеством авторов, представлена в табл. 2.

Таблица 2

Характеристики публикационной деятельности институтов (n=51), нормированные количеством авторов.

Показатели	Средняя	Медиана	Мин.	Макс.
Количество публикаций на автора	7,30	7,10	2,80	14,28
Количество цитирований на автора	28,7	23,6	1,13	107,70

2а. Публикации

После стандартизации количества публикаций количеством авторов в институтах разброс резко сократился: со 150-кратного до 5-кратного (табл. 2), также пятикратно увеличилась однородность институтов по показателю (UQ-LQ)/Me. При этом форма распределения приблизилась к нормальной и, соответственно, сблизились медиана и средняя (таблица 2). Важно, что корреляция абсолютного и относительного количества публикаций была очень слабой (r=0,397, p=0,004, коэффициент детерминации 16%, n=51), а корреляция количества публикаций на одного автора с количеством авторов в институтах была незначимой (r=0,152, р=0,288). Рис. 2 иллюстрирует приведенные выше закономерности, но главным образом показывает, что публикационная продуктивность сотрудников многих малых институтов сравнивается или превосходит по этому показателю крупные институты. Это более всего коснулось институтов с количеством авторов мене 500.

Рис. 2. Абсолютное количество публикаций (серые столбики, ордината слева) и количество публикаций на одного автора (черные квадраты и тонкие столбики). Названия институтов по номерам в Приложении А. Кривые - сплошная и пунктирная - кубический полином для абсолютного и относительного количества публикаций.

Распределение институтов по количеству публикаций на одного автора после разделения на четыре группы соответственно медиане и двум квартилям представлено в табл. 1 (Приложение Б).

2б. Цитирование

Суммарно показатели институтов по цитированию представлены в табл. 1, из которой следует, что 4,2 цитирований приходится на одну публикацию и 32 - на одного автора. Распределение публикаций по цитированию всех институтов представлено в табл. 3, которая показывает, что по мере нарастания количества цитирований от 0 до 50 количество соответствующих публикаций прогредиентно уменьшается. Еще быстрее уменьшается это количество после значения 50 цитирований. Однако именно эти публикации приносят основное количество цитирований: на 1,3% публикаций, процитированных более 50 раз, приходится 41,2% цитирований.

Таблица 3

Распределение публикаций всех институтов (n=51) по количеству цитирований.

Количество цитирований	Количество публикаций	Доля публикаций %	Количество цитирований	Доля цитирований %
0	111835	53,07	0	0,00
1-10	83969	39,85	254782	29,38
11-20	7843	3,72	112720	13,00
21-30	2642	1,25	65453	7,55
31-40	1326	0,63	46297	5,34
41-50	658	0,33	30842	3,56
>50	2439	1,25	357224	41,19
Сумма	210739	100,0	867318	100,0

Как и в случае с публикациями исходные данные цитирования были стандартизованы количеством авторов, в результате чего разброс сократился почти в пять раз (табл. 1 и 2), хотя и оставался большим, 100-кратным (табл. 2). При этом размеры цитирования на автора зависят от количества авторов в институте (r=0,289, p=0,040, 8%). Эта зависимость выразилось также в том, что рейтинг институтов до и после стандартизации изменился мало (табл. 2, Приложение Б, корреляция рангов значима, r=0,670, p=0,000, 45%). Иначе говоря, публикации сотрудников больших институтов цитируются несколько чаще в отличие от сотрудников малых институтов.

Рис. 3. Количество цитирований (серые столбики, ордината слева) и количество цитирований на одного автора (черные квадраты и тонкие столбики). Названия институтов по номерам в Приложении А. Кривая сплошная и пунктирная - кубический полином для абсолютного и относительного количества цитирований.

В результате кластер-анализа все институты распределяются в три группы, более чётко по соотношению цитирования на одного автора с общим количеством цитирований (группы А, Б и В, рис. 4).



Рис. 4. Кластеризация институтов по соотношению цитирования на одного автора с общим количеством цитирований. А, Б и В - три группы институтов. Номера институтов в соответствие в Приложением А обозначены для группы А и Б, группа В - на рисунке не обозначены: 15, 16, 18, 20, 21, 22, 23, 24, 25, 26, 27, 28, 29, 30, 31, 32, 33, 34, 35, 36, 37, 38, 39, 40, 41, 42, 43, 44, 45, 46, 47, 48, 49, 50, 51.

Все три группы имели статистически значимые различия по трем исходным параметрам (публикации, цитирование, авторы; Крускал-Уоллис, р=0,000-0,021). Важно, что исключение составил один показатель - нулевое цитирование (р=0,220). Не было различий по цитированию на автора между группами А и Б, и это позволило объединить эти группы для последующего анализа. Это допустимо еще и потому, что медианный тест для этой характеристики показал четкое отличие группы В от А и Б (р=0,001). Характеристика институтов трех кластеров в табл. 4.



Таблица 4

Характеристика институтов в трех группах (А, Б и В), полученных в результате кластеризации.

Показатель (медиана)	Группы институтов
	А n=4	Б n=12	В n=35
Общее число	Публикаций	11937	7581	1487
	Цитирований	69646	34052	3556
	Авторов	1571	943	203
	0-цитирований %	50,9	53,3	56,4
На одного автора	Публикаций	6,2	8,3	6,7
	Цитирований	45,1	47,2	17,7

Таблица 4, как и рис. 4, показывает, что группы А и Б различаются сравнительно мало, только количественно и с небольшим разрывом. Большинство институтов (35 из 51 или 69%) составили третью компактную группу В (рис. 4). В этой группе 31 учреждение имели менее 400 авторов (от 23 до 377, четыре: 406, 605, 640 и 1253). В группах А и Б (суммарно 16 институтов или 31%) таких институтов было только два (335 и 336, р=0,000). Помимо количества сотрудников и связанных с этим показателей (публикации, цитирование) существенным отличием институтов группы В было низкое количество цитирований на одного автора (17,7 vs. 46,7 и табл. 4; статистического обоснования различия не требуется, так это свойство генеральной совокупности).

Распределение суммарного количества цитирований и публикаций всех институтов представлено на рис. 5. Первую позицию занимают публикации с нулевым цитированием. Вот почему на рис. 5 эта позиция пуста по цитированию (столбики) и заполнена по публикациям (кружки, n=111835). На вторую позицию приходятся публикации, процитированные однократно (29953 статей и 14,2% от всех цитирований). Максимум распределения приходится на 3-ю позицию - 2-кратное цитирование, 29953 публикаций, 7,9% от всех цитирований. После этого начинается равномерное снижение количества публикаций и цитирования. Медиана распределения приходится на 31 позицию, на которой зарегистрировано 190 публикаций, процитированных 30 раз (всего 190*30=5700 цитирований или 0,1% от общего).

Рис. 5. Распределение публикаций (кружки, правая логарифмическая шкала) и цитирования (столбики, левая шкала) всех институтов в зависимости от их цитирования (абсцисса, шкала неравномерная).

Подъем цитирования в правой половине графика определяется почти исключительно единичными публикациями с большим числом цитирований и, как правило, с большим количеством авторов. Последняя в этом ряду статья, процитированная 3927 раз, опубликована в TheLancet. У нее 102 автора, для одного из которых указано место работы в Москве (86 позиция в безалфавитном списке), а также в Оксфорде, где работает большинство его соавторов. Размеры цитирования этой одной статьи сравнимо со 101 статьей, каждая из которых процитирована 38 раз (3838 в сумме). Следует сказать, что сходную структуру авторов имеет бульшая часть статей с очень высоким цитированием.

Кумулятивное распределение публикаций по количеству цитирований представлено в табл. 2 (Приложение Б). Таблица показывает, что 93% всех публикаций всех институтов процитированы не более 10 раз.

3. Нулевое цитирование

111835 или 53% от общего объема публикаций всех институтов не были процитированы ни разу (таблица 3). Разброс институтов по этому показателю был значительным: от 34,7% до 87,7% (таблица 3, Приложение Б), однако три группы институтов, выделенные ранее кластер-анализом (таблица 5) статистически не различаются по доле публикаций с нулевым цитированием, ни по Крускел-Уоллису (р=0,363), ни по медианному тесту (р=0,220). В попытке объяснить феномен нулевого цитирования на основе корреляции доли нулевого цитирования с другими показателями этого исследования представлены в таблице 5.

Таблица 5

Корреляция нулевого цитирования (доля в %) с другими показателями (n=51).

Показатели	r	р=
Общее число публикаций	-0,146	0,306
Общее число авторов	-0,074	0,607
Публикации на автора	-0,219	0,122
Общее число цитирований	-0,281	0,046
Цитирование на автора	-0,435	0,001

Все корреляции отрицательные, но значимые только с показателями цитирования (общим числом и на автора): чем меньше цитирование, тем больше публикаций с нулевым цитированием.

Обсуждение

Прежде всего, необходимо уяснить значение и смысл исходных и производных показателей, выбранных для описания публикационной деятельности научных институтов Минздрава РФ. Важно понять, какое отношение они имеют к оценке эффективности научной деятельности. Главной в этом должна была бы быть экономическая и/или социальная эффективность, но не нашлись источники, содержащие материалы для такой оценки институтов Минздрава РФ. Поэтому приходится пользоваться косвенными показателями, главными из которых являются публикации, а также их цитируемость. За отсутствием экономического и социального показателя эффективности примем информационный эффект научной работы. Условно будем считать количество публикаций продуктивностью, а цитируемость эффективностью публикационной деятельности институтов.

В работе выявилось, что число публикаций и цитирований жестко закоррелировано с количеством сотрудников, точнее, авторов, зарегистрированных в РИНЦ. Сделано это на основе корреляции, которая обычно выявляет только степень связи, но не зависимость переменных. Однако, в некоторых ситуациях коэффициент корреляции можно интерпретировать как показатель зависимости. Так, например, при корреляции количества публикаций с количеством авторов публикации могут зависеть от количества авторов, но не наоборот. Такая зависимость - тривиальная находка: чем больше авторов (сотрудников), тем больше публикаций (рис. 1, коэффициент детерминации 91%).

На первый взгляд было бы правильнее работать с показателем количества сотрудников, но, во-первых, получить его не удалось, ни в отдельных институтах, ни в Минздраве, а, во-вторых, состав сотрудников переменный, тем более на протяжении длительного времени (с 1950 г.), тогда как количество авторов четко привязано к публикации: фиксация нового автора происходит с регистрацией первой статьи с его участием. За пределами исследования остаются сотрудники институтов, которые никогда не публиковались, но это, скорее всего, относится к молодым, с небольшим научным стажем.

Нельзя быть уверенным, что все публикации, цитирования и авторы институтов учтены в РИНЦ, и не представляется, как это проверить для большого массива данных институтов, но персональные данные РИНЦ нескольких авторов показывают, что не учтены 4-6% публикаций.

Теперь следовало бы решить, что отражают размеры научного коллектива в учреждении. Только ли важность проблем, решаемых институтом? В условиях значительной бюрократизации науки трудно ответить на этот вопрос однозначно, на основе показателей РИНЦ это решить невозможно, а других научных данных по такому поводу нет. В этих условиях пришлось пойти по другому пути - нивелировать разницу в размерах коллективов посредством стандартизации количества публикаций количеством авторов. Этот относительный показатель более адекватно отражает публикационную деятельность учреждений, о чем раннее писали в [2]. Стандартизованный показатель условно можно обозначить как продуктивность авторов в отличие от продуктивности институтов (общее количество публикаций).

Стандартизация имела два важных последствия. Первое - резкое сокращение размаха варьирования: со 100-кратного до 5-кратного (таблица 2). Эта трансформация специально не исследовалась, но, несомненно, она привела к увеличению однородности совокупности и устойчивости значений признака, а это важно для дальнейшего исследования.

Второе - после стандартизации произошло изменение соотношения институтов по продуктивности. Это выразилось в том, что ранговая корреляция количества публикаций до и после стандартизации оказалась незначимой. О чем это свидетельствует? Количество публикаций в целом зависит от количества сотрудников в институтах, но продуктивность сотрудников не зависит от количества сотрудников (рис. 2 и табл. 1 в Приложении Б). Приходится признать, что продуктивность институтов более всего отражает размеры кадрового состава, иначе говоря, больше сотрудников, больше публикаций и наоборот. Отсюда следует, что оценивать продуктивность научного учреждения по суммарному количеству публикаций недостаточно, а может быть и неправильно. Тем более, что размеры научного коллектива не влияют на продуктивность отдельных сотрудников, хотя в большом учреждении можно было бы ожидать рост публикационной активности за счет увеличения внутренних горизонтальных связей. По-видимому, на продуктивность сотрудников влияют какие-то другие факторы, которые еще предстоит изучить. Такими факторами могут быть: творческий потенциал коллектива, организация научного производства, адекватная материальная оценка труда научных сотрудников. В качестве контрпродуктивных факторов могут выступать такие как негативная психологическая атмосфера в коллективе, сильная бюрократизация учреждения, а также занятость сотрудников в диагностической и лечебной работе, обязательной для институтов Минздрава РФ. Это важная функция институтов, но к науке она, как правило, не имеет отношения.

Прежде чем перейти к анализу цитируемости примем тезис - самое важное в научной публикации новое и доказательное знание. Оценку этого лучше всего делает независимое экспертное сообщество, состоящее из квалифицированных специалистов по теме научных публикаций. Первый автор имеет опыт организации такой работы [3] и знает трудности этого дела в наших условиях и то, что производительность такого сообщества невелика. В других условиях к этому прибавляется высокая стоимость работы. Ю.Гарфилд был первым, кто догадался сделать экспертным сообществом всех заинтересованных в теме научных работников, а мерой оценки - размеры цитирования (цитируемость). Идея оценки качества научного продукта посредством цитирования настолько прочно вошла в научный обиход, что уже невозможно игнорировать это явление, хотя возможности наукометриинебезграничны.

Издержки наукометрии велики, но достоинства значительно превосходят издержки: за счет утраты большой точности и глубины анализа появилась возможность оперировать большими числами, которые снижают влияние случайных факторов. Эти преимущества наукометрии особенно значимы в работе с публикациями институтов. Материал настоящей работы составили 860 тыс. цитирований, 200 тыс. публикаций и 27 тыс. авторов - это еще не bigdata, но на пути к ним.

Большой объем данных институтов нивелирует такое случайное явление как фальсификации. А скептикам и критикам наукометрии, которые на словах или в печати пугают фальсификацией цитируемости, следует знать, что РИНЦ предоставляет широкие возможности для выявления этого порока. Опорой для этого может служить раздел РИНЦ для институтов «СТАТИСТИЧЕСКИЕ ОТЧЕТЫ - Распределение публикаций по: тематике, типу, журналам, организациям, авторам, годам, ключевым словам, числу цитирований и числу соавторов». Аналогичные разделы есть и на персональных страница РИНЦ. Все публикации, выявляющие фальсификации цитируемости, построены на основе данных РИНЦ (например, 5), которые доступны всем. При этом не следует забывать, что фальсификация потребует у фальсификатора не только времени, но и значительных организационных усилий, отчего такие фальсификации среди российских ученых в ближайшее время не станут массовым явлением в отличие от предприимчивых китайских коллег [6]. Но в Китае начинается борьба с этим явлением: 30 мая 2018 г. Государственный совет Китая объявил о новой радикальной системе повышения стандартов исследований в стране и правил публикаций [11]. Министерство науки Китая работает над составлением черного списка «хищных» журналов (predatory journal), публикация в которых закрывает доступ финансированию исследований и будет препятствовать работе в академической науке [12]. Пора начинать борьбу с фальсификацией науки и в России. Но пока что за пределами финансирования главная беда российской медицинской науки не фальсификации, а низкое качество публикаций, слабость их доказательной базы [4], в основе которых - низкая квалификация ученых. Это проблема не только российской медицинской науки [13], но в нашей стране она выступает более острее, чем в западной науке, где более остро стоит ответственность за фальсификации.

Цитируемость - разносторонняя характеристика научного процесса. Она, во-первых, объективный показатель внедрения в науку за счет включения публикации в научный оборот, и это «практически единственный «видимый» след научной коммуникации и механизма рождения нового знания» [5]. Одно-два-три цитирования за 5-7 лет не стоит обозначать высоким словом «внедрение», но более широкое цитирование повышает вероятность того, что содержащаяся в статье информация сгенерирует новую, а такая информация представляет наибольшую ценность. Во-вторых, частота цитирования - показатель широты или наоборот узости этого внедрения. Тем самым, в-третьих, цитирование - косвенный показатель эффективности научной работы. Тут требуется осторожность в понимании «эффективность» - не социальная или экономическая, но только информационная эффективность, как интерес научного сообщества к теме или результатам конкретной работы. Часто этот интерес обозначается словом «востребованность». Иначе говоря, цитирование отражает не столько качество публикации, сколько ее значимость для научного сообщества. Это в равной степени относится к публикациям научных сотрудников и научных учреждений.

Стандартизация цитирований количеством авторов вызвало уменьшение вариативности, но не столь значительное, как по публикациям (5-кратное vs. 30-кратного). Это может означать, что показатель числа цитирования на автора обладает большей чувствительностью к дифференциации институтов по значимости своих публикаций в сравнении с числом публикаций на автора (эффективность vs. продуктивность). Анализ такой дифференциации не входит в задачу настоящего исследования, это потребовало бы учета большого ряда дополнительных факторов, таких, например, как область медицинских исследований, количество специалистов и/или исследовательская активность в том или другом разделе медицины. Уже многократно показано, что все это влияет на количественные показатели цитирования [например, 4] и соответственно делает не вполне корректным сравнение учреждений разных профилей по цитированию. Задача упрощается, когда сравниваются профессионально сходные учреждения, как это было сделано в отношении шести психиатрических институтов [7].

Как сказано выше в задачу работы не входило сопоставление отдельных институтов. Предполагалось дать только общую картину публикационной активности научных учреждений Минздрава РФ, и только на основе трех показателей - количества публикаций, цитирования и авторов. Это важные, но далеко не единственно значимые характеристики. С методической точки зрения главным в общей картине были два обстоятельства. Первое - зависимость количества публикаций и цитирования от количества сотрудников в институтах. Размер сотрудников института не является научным феноменом, что потребовало исключить его из анализа с помощью относительных показателей. Второе - очень большая вариативность показателей, только отчасти обусловленная различием в количестве сотрудников. Это заставило произвести кластеризацию. При этом выделялись две, иногда три группы институтов. При самых разных наборах переменных в эти группы, как правило, входили одни и те же институты. Группы различались как по количеству институтов, так и по дисперсии: большая (компактная - группа В) и меньшая, но диспергированная (группа А+Б, рис. 4). Эти группы существенно различались также по количеству публикаций, цитирований и авторов (таблица 4). По результатам кластеризации самым существенным было то, что группа институтов с малым количеством авторов (до 400, медиана 203 автора, 35 из 51 института или 70%) имела низкий показатель цитируемости на одного автора (18 цитирований) по сравнению с крупными учреждениями (47 цитирований). При этом продуктивность была близкой (6-8 публикаций на одного автора, таблица 4). Факт вроде бы не красит малые институты, однако оценить его по-настоящему трудно - нужны дополнительные данные, например, степень нагрузки клинической работой, а главное - специализация институтов, как сказано выше.

В процессе работы пришло осознание большой правоты Ю.Гарфилда, сделавшего ставку на цитируемость в качестве главного наукометрического показателя эффективности работы ученых и научных учреждений. Именно цитирование наилучшим образом дифференцировало институты по их эффективности. К сожалению этого нельзя сказать про нулевое цитирование, результаты анализа которого не стали неожиданностью. Ранее высокая доля таких работ была обнаружена в публикациях 6 психиатрических институтов [6]. Недавно С.А.Трущелев при анализе 350 тысяч публикаций по психиатрии, неврологии и кардиологии, получил по сути дела сходный результат: 59%, 45% и 58% публикаций в этих отраслях медицины не были процитированы (обратная величина от доли процитированных в [9]).

В настоящей работе количество таких публикаций составило половину от всех (53%), а это 112 тысяч публикаций. Иначе говоря, половина работ научных сотрудников институтов Минздрава РФ не была процитирована. Это значит, что эти работы не вошли в научный оборот. Можно ожидать, что часть этих публикаций еще будет процитирована, но как показал анализ цитирования психиатрических учреждений [6], эта доля невелика (около 5%), и она будет перекрыта новыми публикациями с нулевым цитированием, количество которых, как правило, прогредиентно нарастает вместе ростом числа публикаций (Приложение В). Более того, по соотношению нарастания тех и других можно судить об эффективности работы институтов (Приложение В). Этот процесс для всех институтов Минздрава РФ еще предстоит исследовать, но уже сейчас видно, сколь важным является соотношение цитирования и нулевого цитирования для оценки деятельности научных учреждений. В этом контексте важно оценить роль индекса Хирша, который «смотрит» только вперед, притом близоруко, и «не видит», что у него «за спиной», а за спиной у него подавляющая часть публикаций и цитирования, в том числе нулевое.

Тут следует оговориться: в западных исследовательских учреждениях в области медицины также довольно высока доля нулевого цитирования. Дляпримераможновыбрать National Institute on Alcohol, Abuse and Alcoholism (NIAAA, США, Бетесда, одинизинститутов National Institutes of Health). В этом институте нулевое цитирование составляет 21,0%, из которых 5% приходятся на 2017-2018 гг. Это много, но все-таки не половина, и снижение цитирования началось только в 2018 г., что естественно, а до этого оно прогредиентно увеличивалось вплоть до 2017 г. (для сравнения см. Приложение В). Есть еще важное отличие NIAAA от среднестатистических показателей российских институтов (таблица 6). При этом следует отметить, что NIAAA «середняк» среди NationalInstitutesofHealth.

Таблица 6

Соотношение показателей публикаций, процитированных более 50 раз, из двух источников.

	Доля публикаций %	Доля цитирования %
НИИ медицинские учреждения России	1,3	41,2
NIAAA	25,1	81,0

В отличие от цитирования нулевое цитирование существенно не различало группы (кластеры) институтов (таблица 4), хотя диапазон показателя был велик: от 35% до 88% (Приложение Б). Это связано с тем, что основная масса институтов (42 или 82%) по нулевому цитированию различалась сравнительно мало - от 40% до 60%. Нулевое цитирование не было связано с общим числом публикаций или авторов. Иначе говоря, низкая цитируемость - довольно устойчивый показатель научных медицинских учреждений, и с помощью наукометрических показателей не удалось объяснить этот феномен.

Переходя к выводам, следует помнить, что исходный материал настолько обширен и разнообразен, что любые обобщения, сделанные в работе, невольно будут содержать некоторые огрубления.



Выводы

Для научных институтов Минздрава РФ характерен большой разброс абсолютных показателей количества публикаций, цитирования и авторов: 450-кратный для цитирований, почти 150-кратный для публикаций и 150-кратный по числу авторов.

Объем публикаций институтов прямо пропорционален количеству авторов (условно сотрудников), зафиксированных в РИНЦ, а поэтому только условно может служить показателем публикационной деятельности институтов.

Объем цитирования (цитируемость) публикаций институтов прямо пропорционален количеству авторов (сотрудников), зафиксированных в РИНЦ, а поэтому только условно может служить показателем публикационной деятельности институтов.

Более адекватным показателем публикационной деятельности институтов служит количество публикаций и цитирований, стандартизованное количеством авторов.

Стандартизация резко сокращает разброс показателей отдельных институтов: в 30 раз для публикаций и в 5 раз для цитирования.

Стандартизованные показатели публикаций не зависят от абсолютного количества авторов, публикаций и цитирования. Эти показатели выравнивают институты по продуктивности авторов.

Для научных институтов Минздрава РФ характерно сравнительно низкое цитирование: 93% всех публикаций процитированы не более 10 раз.

В 93% публикаций входят 112 тысяч публикаций или 53% от всех, которые не были процитированы ни разу (нулевое цитирование).

Основное количество цитирований приносит небольшое количество публикации с большим цитированием. Так, на 1,3% публикаций, процитированных более 50 раз, приходится 41,2% цитирований.

В институтах с малым количеством сотрудников (меньше 400) относительный показатель цитирования существенно ниже, чем в институтах с бульшим количеством сотрудников.

Состояние публикационной деятельности институтов Минздрава РФ нельзя признать удовлетворительным.



Библиография

Балацкий Е., Юревич М. Деформация научной этики в России. Можно ли ее измерить? Капитал страны. 2016, 27 мая. С. 5-15. URL: kapital-rus.ru/articles/article/deformaciya_nauchnoi_etiki_v_rossii/ (Дата обращения 17 июня 2018 г.)

Варшавский А., Маркусова В. Оценку эффективности российских фундаментальных учёных следует скорректировать. Науки и технологии РФ. [Интернет] 2009. URL: http://www.courier-edu.ru/cour0901/800.htm (Дата обращения 17 июня 2018 г.).

Голенков А.В., Кузнецова-Морева Е.А., Менделевич В.Д., Немцов А.В., Разводовский Ю.Е., Симонов А.Н., Шелыгин К.В. Качество исследовательских публикаций в психиатрии - экспертная оценка. Журнал неврологии и психиатрии им. С.С. Корсакова. 2017; 117 (11): 108-113.

Ивушкин А.А., Немцов А.В. Наукометрический анализ материалов российского и европейского съездов психиатров. Журнал неврологии и психиатрии им. С.С. Корсакова. 2009. 109 (8): 63-67.

Михайлов О.В. Цитирование и цитируемость в науке: Общие принципы цитирования. Современные количественные показатели цитируемости. Цитируемость и качество научной деятельности исследователя. Москва: ЛЕНАНД; 2017. 208 с.

Немцов А.В., Кузнецова-Морева Е.А. Публикационная деятельность и цитирование статей сотрудников институтов в области психиатрии и наркологии. Журнал неврологии и психиатрии им. С.С. Корсакова. 2016. 116 (10): 47-53. doi: 10.17116/jnevro2016116101

Немцов А.В., Трущелёв С.А., Краснов В.Н. Публикационная деятельность научно-исследовательских институтов в области психиатрии и наркологии в 2006-2013 гг. Журнал неврологии и психиатрии им. С.С. Корсакова. 2015. 115 (1): 85-90.

Стародубов В.И., Куракова Н.Г., Цветкова Л.А. Новые критерии результативности академической и вузовской медицинской науки в России. Социальные аспекты здоровья населения [электронный научный журнал]. 2011; 18 (2). URL: http://vestnik.mednet.ru/content/view/277/27/lang,ru (Дата обращения 17 июня 2018 г.)

Трущелев С.А. Управление научно-исследовательской деятельностью медицинских работников на основе наукометрического подхода: автореф. дис. д-ра мед.наук. Москва. 2017. 46 с.

Цветкова Л.А., Куракова Н.Г., Маркусова В.А. Публикационная активность как инструмент капитализации результатов исследований в области медицины и здравоохранения. Врач и информационные технологии. 2010; (6): 47-54.

Размещено на Allbest.ru

...