Проблемы оценивания результатов научной деятельности

Размещено на http://www.allbest.ru/

проблемы оценивания результатов научной деятельности

Осипов М.Ю.

к.ю.н., с.н.с. Института законоведения и управления Всероссийской Полицейской Ассоциации, г. Тула

osipov11789@yandex.ru

Одной из актуальных проблем, стоящих перед российской наукой является проблема оценки научной деятельности. В настоящее время существует множество показателей, позволяющих оценить научную деятельность ученого. К числу таких показателей можно отнести: количество научных публикаций, индекс цитирования, импакт-фактор журнала, где публикуются статьи ученого, индекс Хирша и его модификации и ряд других показателей. Бедный Б.И. Сорокин Ю.М. О показателях научного цитирования и их применении // Высшее образование в России. - М., 2012. - № 3. - С. 17-27; Как определить свой индекс Хирша // Новое и старое. - http://www.l1957.ru/2013/05/05/kak-opredelit-svojj-indeks-khirsha; Мотрошилова Н.В. Система РИНЦ применительно к философским наукам // Высшее образование в России. - М., 2012. - № 3. - C. 3-16$ Arnold D.N., Fowler K.K. Nefarious Numbers // Notices of the American Mathematical Society. 2011. - Vol. 58, N 3. - P. 434--437 (перевод С. Кузнецова // Игра в Цифирь или как теперь оценивают труд ученого. - М., 2011. - С. 52 -62. - http://www.ispras.ru/ru/preprints/archives/prep_22_2010.php. Рассмотрим некоторые из этих показателей более подробно.

1. Количество публикаций ученого. Данный показатель показывает, сколько ученый подготовил публикаций за определенный период времени и на какую тему. Основным достоинством данного показателя является то, что он показывает продуктивность ученого. Недостаток же данного показателя заключается в том, что он не позволяет выявить степень востребованности публикаций научным сообществом.

2. Импакт-фактор журнала. В наукометрике выделяют следующую методику расчета импакт-фактора журнала. Он определяется исходя из отношения количества цитирований статей, опубликованных в данном журнале к общему количеству статей, опубликованных в данном журнале за определенный период времени.

3. Индекс цитирования. Данный показатель определяется как суммарное количество ссылок в научных публикациях на работы автора. Там же.

4. Индекс Хирша. Данный показатель определяется следующим образом.

Индекс Хирша (h-index) ученого, опубликовавшего N статей, равен h, если: h его статей получили не менее h цитирований, остальные N-h его статей получили не более h цитирований. Цыганков А.В. Краткое описание наукометрических показателей, основанных на цитируемости // Управление большими системами. Специальный выпуск 44. - http://eqworld.ipmnet.ru/ru/info/UBS4413.pdf; Штобова С.Д., Штобова Е.В. Наукометрия и экспертиза в управлении наукой // Управление большими системами. Специальный выпуск 44. - С.269. - http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf. Существует целый ряд модификаций индекса Хирша, к числу которых можно отнести:

- g-индекс - то есть максимальное число g самых популярных статей, получивших совместно не меньше g2 ссылок. Учитывает превышение суммарного цитирования ядра Хирша по сравнению с минимальными требованиями. Штобова С.Д., Штобова Е.В. Наукометрия и экспертиза в управлении наукой // Управление большими системами. Специальный выпуск 44. - С.269. - http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf; Schreiber M. A modification of the h-index: The h(m)-index accounts for multi-authored manuscripts // Journal of Informetrics. 2008. - Vol. 2, N 3. - P. 211-216.

- Среднее геометрическое h-индекса и g-индекса - hg-индекс;

- hб-индекс. Штобова С.Д., Штобова Е.В. Наукометрия и экспертиза в управлении наукой // Управление большими системами. Специальный выпуск 44. - С.269. - http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf. Индекс равен hб, если на каждую из hб публикаций приходится не менее б* hб ссылок, а на каждую из оставшихся публикаций - меньше б* hб ссылок б ? {1, 2, 3, …}; Мотрошилова Н.В. Система РИНЦ применительно к философским наукам // Высшее образование в России. М., 2012. - № 3. - C. 3-16; Шестак В.П. Шестак Н.В. Этос, рейтинг вуза и публикационная активность преподавателя вуза // Высшее образование в России. - М., 2012. - № 3. - С. 29-39.

- Индивидуальный индекс Хирша (hI-индекс): hI = h/N_A, где N_A - среднее количество соавторов статей из ядра Хирша. Там же.

- e-индекс - квадратичный корень из избыточного цитирования ядра Хирша. Штобова С.Д., Штобова Е.В. Наукометрия и экспертиза в управлении наукой // Управление большими системами. Специальный выпуск 44. - С.269. - http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf; Alonso S., Cabrerizo F., Herrera-Viedma E., Herrera F. hg-index: a new index to characterize the scientific output of researchers based on the hand g- indices // Scientometrics. 2010. - Vol. 82, N 2. - P. 391-400; Egghe L. Theory and practice of the g-index // Scientometrics. 2006. - Vol. 69, N 1. - P. 131-152; Eck N.V., Waltman L. Generalizing the h- and g-indices // Journal of Informetrics. 2008. - Vol. 2, N 4. - P. 263-271; Schreiber M. A modification of the h-index: The h(m)-index accounts for multi-authored manuscripts // Journal of Informetrics. 2008. - Vol. 2, N 3. - P. 211-216.

- A-индекс - Среднее число цитирований ядра Хирша. Штобова С.Д., Штобова Е.В. Наукометрия и экспертиза в управлении наукой // Управление большими системами. Специальный выпуск 44. - С.269. - http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf; Schreiber M. A modification of the h-index: The h(m)-index accounts for multi-authored manuscripts // Journal of Informetrics. 2008. - Vol. 2, N 3. - P. 211-216.

- R-индекс - Квадратный корень из суммарного цитирования ядра Хирша;

- m-индекс - Медиана количества цитирований ядра Хирша, m-quotient

- Относительный индекс Хирша: mq=h/y где y - возраст первой статьи автора. i10= Количество статей, каждая из которых получила не менее 10 цитирований. Бедный Б.И. Сорокин Ю.М. О показателях научного цитирования и их применении // Высшее образование в России. 2012. - № 3. - С. 17 -27; Штобова С.Д., Штобова Е.В. Наукометрия и экспертиза в управлении наукой // Управление большими системами. Специальный выпуск 44. - С.269. - http://eqworld.ipmnet.ru/ru/info/UBS4414.pdf.

Основным недостатками индекса Хирша и всех его модификаций является сложность методики расчета данного индекса, а также последующих индексов.

На наш взгляд ни один из существующих индексов не отражает в полной мере действительную продуктивность ученого и результативность его труда. Необходим иной подход к определению основного наукометрического показателя деятельности ученого. Предположим, один ученый опубликовал 1 статью, которую процитировали 25 раз. Каков у него будет индекс Хирша? Ответить на данный вопрос весьма затруднительно. К тому же расчет индекс Хирша - весьма сложное занятие, требующее использования специальных алгоритмов расчета. Кроме того, как справедливо отмечается в литературе, индекс Хирша и все его модификации во многом зависят от длительности научной карьеры ученого и от количества опубликованных статей. Более того индекс Хирша на самом деле абсолютно не учитывает продуктивность и значимость работы ученых. «Рассмотрим трех ученых. Если первый опубликовал 5 публикаций, одна из них процитирована 100 раз, вторая - 50 раз, третья - 2 раза, четвертая и пятая - 1 раз, то индекс Хирша будет равен 2. Второй опубликовал тоже 5 публикаций, одна из них процитирована 1000 раз, вторая, третья, четвертая и пятая - 1 раз, то индекс Хирша будет равен 1. Если третий опубликовал тоже 5 публикаций, одна из них процитирована 9 раз, вторая - 8 раз, третья - 7 раз, четвертая и пятая -6 раз, то индекс Хирша будет равен 5». Как определить свой индекс Хирша // Новое и старое. - http://www.l1957.ru/2013/05/05/kak-opredelit-svojj-indeks-khirsha. Хотя очевидно, что значимость работ 2 ученого намного выше, чем у всех остальных ученых.

Поясним это на приведенном примере.

Иными словами нелепость данного показателя слишком очевидна, поскольку налицо сильная отрицательная корреляция между индексом Хирша и средним числом цитирований на 1 публикацию, равно как имеется сильная отрицательная корреляция между количеством цитирований и индексом Хирша в данном примере.

А раз имеется сильная отрицательная корреляция между индексом Хирша и количеством цитирований, то соответственно точно такая же отрицательная корреляция имеется среди всех модификаций индекса Хирша, и в силу этих причин он должен быть исключен из наукометрических показателей оценки деятельности ученого.

Каким же образом в действительности необходимо оценивать деятельность ученого? Для решения данной проблемы воспользуемся стандартной экономической моделью рыночной экономики.

В чем заключается продукция ученого? В том, что он пишет статьи и публикует монографии. Какова полезность продукции ученого? Она определяется востребованностью его статей, иными словами числом цитирований его работ. С другой стороны, продуктивность ученого определяется количеством опубликованных работ. Объединяя два этих показателя, мы можем получить новый показатель - индекс научной востребованности ученого. Индекс научной востребованности ученого должен определяться по формуле INM = k* (q1*q2), где INM - индекс научной востребованности; q1 - число цитируемых публикаций q2 - число цитирующих публикаций k - коэффициент пропорциональности, который определяется как 1- (nсамцит.+ nдцит)/nцит. где nсамцит - число самоцитирований, nдцит - число дружественных (взаимных) цитирований, nцит - общее число цитирований. Поясним это на конкретном примере.

Предположим, что у нас имеется 3 ученых. Первый опубликовал 5 публикаций, одна из них процитирована 100 раз, вторая - 50 раз, третья - 2 раза, четвертая и пятая -1 раз, второй опубликовал тоже 5 публикаций, одна из них процитирована 1000 раз, вторая, третья, четвертая и пятая -1 раз, 3 ученый опубликовал тоже 5 публикаций, одна из них процитирована 9 раз, вторая - 8 раз, третья - 7 раз, четвертая и пятая -6 раз. Там же. Но при этом 1 ученый процитировал сам себя 4 раза, 5 раз его процитировал 2 ученый, 3 ученый его процитировал 4 раза. Второй ученый процитировал сам себя 1 раз, 2 раза его процитировал 1 ученый и 1 раз 3 ученый. 3 ученый процитировал сам себя 2 раза, 1 раз его процитировал 2 ученый, 1 раз его процитировал 1 ученый. Каков же индекс научной востребованности ученого.

Поясним это в следующей таблице

научный деятельность показатель цитирование

Таким образом, мы видим сильную положительную корреляцию между количеством цитирований и индексом научной востребованности ученого. В отличие от всех других индексов индекс научной востребованности устроен таким образом, что его показатели в принципе невозможно «накрутить», поскольку увеличение числа самоцитирований и дружественных цитирований уменьшит коэффициент пропорциональности и снизит данный показатель. Возникает, однако, вопрос, что представляет собой индекс научной востребованности ученого, и не являются ли многочисленные ссылки друг на друга в одном журнале проявлением научной дискуссии. Конечно, это возможно, но если дискуссия ведется только между собой, то возникает закономерный вопрос, не является ли подобного рода цитирование осуществленным под влиянием некоторых побочных факторов, о которых достаточно подробно говорилось в специальной литературе Arnold D.N., Fowler K.K. Nefarious Numbers // Notices of the American Mathematical Society. 2011. - Vol. 58, N 3. - P. 434--437 (перевод С. Кузнецова // Игра в Цифирь или как теперь оценивают труд ученого. - М., 2011. - С. 52 -62. - http://www.ispras.ru/ru/preprints/archives/prep_22_2010.php. Принципиальное отличие предложенного индекса от всех других индексов состоит в том, что данный индекс является аналогом экономической модели спроса и предложения, при этом количество работ, которые процитированы, является аналогом объема продаж, а количество работ которые цитируют - аналогом цены работы. Дружественные же или взаимные цитирования - являются аналогом бартера на рынке, осуществляемого по принципу «ты мне - я тебе» (по принципу сегодня я цитирую тебя, а завтра ты цитируешь меня). Подобного рода цитирования очень вредно сказываются на развитии науки в целом. Конечно, при определенных условиях можно попытаться накрутить и данный показатель, однако для этого существуют и другие показатели, такие как импакт-фактор. При этом если импакт-фактор журнала достаточно высокий, а индекс научной востребованности достаточно низкий, то есть очень много цитирований внутри самого журнала (авторы ссылаются друг на друга) и очень мало цитирований статей в других журналах, возникает обоснованное подозрение, что журнал представляет собой своеобразный междусобойчик.

На наш взгляд введение подробного индекса, безусловно, положительно скажется на состоянии нашей науки, поскольку автор публикации будет освобожден от бремени несения обязанности цитировать статьи из данного журнала, в качестве обязательного условия опубликования своих статей, ибо это будет снижать индекс научной востребованности издательства. Введение подобного индекса избавит ученого от необходимости цитировать работы своих сотрудников для того, чтобы его публикация была зачтена в качестве публикации, ибо подобная практика также снизит индекс научной востребованности организации или, во всяком случае, не будет этому способствовать, что самым благоприятным образом скажется на состоянии отечественной и мировой науки в целом.

Для уменьшения сильного разброса индекса научной востребованности можно применить так называемый логарифмический индекс научной востребованности. Он определяется по формуле Ln k* (q1*q2); q1 - число цитируемых публикаций q2 - число цитирующих публикаций k- коэффициент пропорциональности, который определяется как 1 (nсамцит.+ nдцит)/nцит. где nсамцит - число само цитирований, nдцит - число дружественных (взаимных) цитирований, nцит - общее число цитирований.

Данный логарифмический индекс показывает степень значимости научных работ ученого, а также степень востребованности научных журналов. В самом деле, пусть у одного ученого имеется 2 работа с 1 цитированием. Тогда логарифмический индекс научной востребованности будет равен 0,67. Если же у человека имеется 1000 работ, каждая из которых процитирована не менее 1 раза, то есть общий индекс научной востребованности равен 1000000, то логарифмический индекс научной востребованности равен 13,6.

Помимо индекса научной востребованности одной из проблем, стоящих перед наукометрикой, является проблема научной значимости тех или иных научных мероприятий.

Для оценки их значимости можно использовать такой показатель, как индекс научной значимости научных мероприятий.

Для расчета данного индекса может быть использована формула INЗ = (1- Nвнут./Nобщ)*Nобш; где INЗ - индекс научной значимости, Nвнут- число заявленных докладов внешних участников конференции, не работающих в данной организации, Nобщ - общее число заявленных докладов участников конференции.

Данный индекс показывает, насколько данная конференция привлекла к себе внимание внешних участников

Возьмем к примеру, две конференции:

XV Международную научную конференцию, проводимую Национальным исследовательским университетом «Высшая школа экономики» по проблемам развития экономики и общества, и XIV Международную научную конференцию: «Модернизация России: ключевые проблемы и решения», проводимую Институтом научной информации по общественным наукам РАН. Наукометрический анализ этих программ, произведенных по секциям, позволил прийти к следующим выводам, которые представлены в следующей таблице

Сравнительный анализ программ XV Международной научной конференции, проводимую Национальным исследовательским университетом «Высшая школа экономики» по проблемам развития экономики и общества и XIV Международной научную конференцию: «Модернизация России: ключевые проблемы и решения», проводимой Институтом научной информации по общественным наукам РАН Программа Международной научной конференции, проводимой Национальным исследовательским университетом «Высшая школа экономики» по проблемам развития экономики и общества. - http://conf.hse.ru/2014/news/112560159.html; Программа XIV Международной научную конференцию: «Модернизация России: ключевые проблемы и решения». - http://www.inion.ru/files/File/conf_Russia_2013_program.pdf.

Проведение подобного рода анализа позволяет оценить научную значимость той или иной конференции, которая определяется по числу внешних участников принимающих участие по той или иной секции и подсекции и таким образом выявлять формально открытые а фактически скрытые конференции информируя об этом научную общественность.

Размещено на Allbest.ru