Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

Высшая аттестационная комиссия (ВАК) - это своего рода отдел технического контроля (ОТК), оценивающий «качество продукции» не только Министерства образования и науки, но и всех других министерств и ведомств, в которых есть свои вузы и НИИ. В качестве продукции вузов и НИИ выступают не только их разработки, но и сами ученые. ВАК, как и ОТК, обеспечивает обратную связь, информируя управляющую систему о результатах ее работы. Из теории управления известно, что если информация обратной связи неадекватна, то и управляющие решения, принимаемые на ее основе, также будут неадекватными. Понятно, что оценивающая структура не должна находится в подчинении у той структуры, качество работы которой она оценивает. В противном случае нетрудно догадаться, как она будет оценивать. В СССР ВАК с 1975 и до самого распада СССР подчинялась не Министерству образования и науки, а непосредственно Совету министров СССР, что соответствует этой логике. Однако с тех пор существует устойчивая тенденция постепенного снижения статуса ВАК. Сегодня ВАК уже не просто входит в Минобрнауки, а является всего лишь одним из подразделений одной из его структур: Рособрнадзора. Снижение статуса ВАК неизбежно приводит к снижению как статуса, так и адекватности присваиваемых им ученых степеней и научных званий. Этот процесс обесценивания традиционных ученых степеней и званий, присваиваемых ВАК, дошел до того, что несколько лет назад отменили надбавки к заработной плате за них. Теперь вместо традиционных ученых степеней и званий, присваиваемых ВАК практически каждым вузом и НИИ разрабатывается свои локальные, т.е. несопоставимые друг с другом наукометрические методики оценки результатов научной и педагогической деятельности. При всем разнообразии этих методик общим для всех них является несоразмерно большая роль, которая отводится в них индексу Хирша. Значение индекса Хирша начинает играть важную роль при защитах, при рассмотрении конкурсных дел на замещение должностей, а также при определении величины ежемесячного материального поощрения за результаты научной и педагогической деятельности. Сам по себе этот индекс теоретически вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую авторы называют «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, а также к некорректному манипулированию его значением, т.е. к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса.

Возникают естественные вопросы:

1. Возможно ли как-то количественно оценить степень манипулирования индексом Хирша, т.е. то, в какой степени его значение «целенаправленно организовано»?

2. Возможно ли получить гипотетическое значение индекса Хирша каким оно было бы в случае отсутствия манипулирования им?

В данной работе делается попытка найти конкретные ответы на эти вопросы путем:

- конструирования количественной меры для оценки степени некорректного манипулирования значением индекса Хирша;

- разработки научно-обоснованной модификации индекса Хирша, нечувствительной (устойчивая) к попыткам манипулированию им.

Кроме собственно самих идей предлагается также методика всех численных расчетов, достаточно простая, чтобы ее мог применить каждый автор.

1. Что такое индекс Хирша

Рисунок 1. Распространенное в Internet пояснение к понятию: «индекс Хирша»

Если ранжировать все публикации ученого в порядке убывания числа их цитирований («ранжированный список публикаций»), то индекс Хирша h - это просто номер публикации в этом списке, процитированной h раз. За этой публикацией идут публикации, процитированные менее h раз, а до нее - более h раз.

Таким образом, индекс Хирша является абсциссой точки пересечения графика числа цитирований для ранжированного списка публикаций с биссектрисой первого квадранта. Пусть f(h) - число цитирований публикации ранга h (т.е. публикации с номером h в ранжированном списке публикаций). Тогда для индекса Хирша h0 справедливы неравенства:

f(h) > h при h < h0 и f(h) < h при h > h0.

2. Манипулирование индексом Хирша при малом числе публикаций

2.1 Способ сформировать максимальное значение индекса Хирша при малом числе публикаций

Из приведенного выше нехитрого алгоритма вычисления значения индекса Хирша вполне понятно, как получить максимальное значение индекса Хирша h при минимальном числе публикаций h+1. Для этого достаточно опубликовать h+1 статей, в каждой из которых сослаться на все остальные.

2.2 Первый интегральный критерий манипулирования индексом Хирша

хирша ранжированный индекс биссектриса

Наверное приведенный выше простой и доступный способ сформировать любое заданное значение индекса Хирша первым приходит всем авторам на ум.

И это дает нам в руки первый наиболее простой критерий манипулирования индексом Хирша: «Чем более пологим является линейный тренд числа цитирований, построенный по ранжированному списку публикаций, тем более вероятно, что был применен описанный выше способ максимизации индекса Хирша при малом числе публикаций».

Максимальный теоретически возможный угол наклона линейного тренда, достижимый лишь асимптотически, равен 90°, а минимальный, естественно, равен нулю: 0°. Количественно этот 1-й частный критерий по сути должен быть какой-то простой функцией от коэффициента наклона линейного тренда ранжированного списка.

Естественным было нормировать 1-й частный критерий манипулирования индексом Хирша таким образом, чтобы при наклоне тренда 90° он имел минимальное значение равное 0 (нет манипулирования), а при наклоне 0° имел максимальное значение, равное 1 (полное манипулирование).

Уравнение линейного тренда выгладит следующим образом:

С учетом всех этих соображений предлагается следующее выражение для 1-го частного критерия манипулирования индексом Хирша K1 при малом числе публикаций:

,

где:

k - коэффициент при x в линейном тренде ранжированного списка публикаций;

ArcTg(k) - арктангенс коэффициента наклона - угол наклона линейного тренда ранжированного по числу цитирований списка публикаций (в градусах).

Понятно, что чем более пологим является линейный тренд графика числа цитирований, тем ближе коэффициент b в линейном тренде к значению индекса Хирша h:

Предлагается следующее выражение для 2-го частного критерия манипулирования индексом Хирша K2 при малом числе публикаций:

,

где:

b - свободный член в линейном тренде графика числа цитирований;

he - эмпирическое значение индекса Хирша, т.е. полученное непосредственно из ранжированного списка публикаций и построенного по нему графика числа цитирований.

Естественным было нормировать 2-й частный критерий манипулирования индексом Хирша таким образом, чтобы при эмпирическом индексе Хирша he=0 он был равен нулю (нет манипулирования), при свободном члене b равном эмпирическому индексу Хирша he он был равен 1 (полное манипулирование), и при увеличении разницы между ними стремился к нулю (уменьшение степени манипулирования) (таблица 1 и рисунок 2):

Таблица 1 - Зависимость 2-го частного критерия манипулирования индексом Хирша от эмпирического значения индекса Хирша при постоянном свободном члене b=7

Рисунок 2. Зависимость 2-го частного критерия манипулирования индексом Хирша от эмпирического значения индекса Хирша при постоянном свободном члене b=7

Если считать, что оба эти частные критерия K1 и K2 имеют равный вес 0.5, то можно предложить следующее выражение для 1-го интегрального критерия манипулирования индексом Хирша при малом числе публикаций:

.

Все обозначения, использованные в данном выражении, описаны выше.

Данный 1-й интегральный критерий принимает значение равное 0 при отсутствии манипулирования и равное 1 при максимальном, т.е. полном манипулировании. Ниже приведена его вербальная формулировка:

Конечно, понятно, что часть цитирований могут естественными, не организованными автором, и они вместе тоже могут формировать достаточно пологий тренд, т.е. понятно, что максимальное значение индекса манипулирования еще не означает самого факта манипулирования, а лишь является его признаком. Аналогично и заимствования сами по себе не означают плагиата, т.к. могут быть снабжены ссылками на источники, а могут быть и заимствованиями из работ самого автора, которые уже по главам порезаны на рефераты и разошлись по всему интернету.

3. Манипулирование индексом Хирша при большом числе публикаций

3.1 Способ увеличить значение индекса Хирша при большом числе публикаций

Если у автора большое число публикаций, то очевидно, использовать способ формирования максимального значения индекса Хирша, который использовался при малом числе публикаций, т.е. ссылаться во всех публикациях на все, не представляется возможным по ряду причин. Понятно, что статья, у которой в списке литературы приведено десятки источников и в основном автора самой этой статьи, будет выглядеть несколько странно. Во многих журналах просто есть ограничение и на суммарное число источников в списке литературы и на число источников автора публикации. Но цитирование всех публикаций данного автора в каждой его публикации не только невозможно технически, но и не имеет особого смысла, т.к. увеличение числа цитирований статей, находящихся в ранжированном списке далеко от значения индекса Хирша, не окажет влияния на его значение ни в ближайшее время, ни в перспективе (за исключением может быть каких-то научных «бестселлеров», которые сразу становятся очень цитируемыми и сохраняют популярность длительное время).

Поэтому многие авторы, у которых большое количество публикаций, приходят к тому, чтобы увеличивать число ссылок не на все публикации, а только на те, которые оказывают самое непосредственное влияние на значение индекса Хирша, т.е. на публикации в окрестности индекса Хирша в ранжированном списке публикаций. В результате вблизи значения индекса Хирша, причем как текущего, так и перспективного с точки зрения этих авторов, формируется характерная «ступенька» или «полочка», показанная на рисунке 10 красным цветом.

В результате такого манипулирования индекс Хирша приобретает вместо значения h некоторое большее значение h2. При этом площадь под кривой числа цитирований, соответствующая суммарному числу цитирований автора, увеличивается совершенно незначительно, а значение индекса Хирша за счет этого возрастает довольно заметно, т.е. затраты на это повышение оказываются весьма эффективными.

3.2 Научно-обоснованная модификация индекса Хирша, нечувствительная (устойчивая) к попыткам манипулированию им

Идея второго критерия манипулирования индексом Хирша, применяемого при большом числе публикаций, основана на том, что при цитирования статей в окрестностях текущего значения индекса Хирша площадь под кривой числа цитирований, соответствующая суммарному числу цитирований автора, увеличивается очень незначительно. А это в свою очередь означает, что, по-видимому, если аппроксимировать эту кривую с использованием метода наименьших квадратов (МНК), то эта аппроксимация окажется малочувствительной или устойчивой к появлению в результате манипулирования этой небольшой «полочки».

Это позволяет сформулировать гипотезу о том, что значение индекса Хирша, определенное не по классическому алгоритму, а посчитанное на основе аппроксимации кривой числа цитирований, окажется менее чувствительным и более устойчивым к попыткам манипулирования, чем классический индекс Хирша.

Но откуда взять эту аппроксимацию кривой числа цитирований и как определить значение индекса Хирша на ее основе? В общем виде все это довольно просто. Непосредственно из самого определения классического индекса Хирша следует, что если аппроксимации кривой числа цитирований выражается в виде уравнения:

то теоретическим значением индекса Хирша h будет корень уравнения:

.

Такого рода уравнения обычно легко решаются численно итерационным методом, реализованным в частности, в MS Excel.

Сам вид функции f() предлагается определять с использованием аппарата аппроксимации трендов функциями различных видов в MS Excel.

В принципе можно было бы каждый раз выбирать для аппроксимации тот вид монотонной функции, который обеспечивает наивысший коэффициент детерминации R2, т.е. наиболее хорошее приближение (наилучший тренд). В данном случае для аппроксимации графика числа цитирований ранжированного списка публикаций уместно использовать лишь монотонно возрастающие или убывающие функции: линейную, логарифмическую, степенную, экспоненциальную, но не полиномиальную, т.к. она может иметь точки перегиба и даже нарушения монотонности и является чувствительной к особенностям графика, обусловленными манипулированием индексом Хирша.

Но можно выбрать какой-то один вид функции, который чаще других обеспечивает наилучшее приближение. В результате многочисленных численных экспериментов по аппроксимации кривых числа цитирований различных авторов, проведенных по данным РИНЦ, было выявлено, что наилучшее приближение с коэффициентом детерминации около 0,9 и выше, как правило обеспечивается трендом в виде степенной функции:

Поэтому предлагается находить теоретическое значение индекса Хирша h путем решения уравнения:

.

При этом само уравнение тренда предлагается формировать в MS Excel непосредственно на основе данных РИНЦ, как описано выше в разделе 2.3 при формировании линейной регрессии (примеры приведены ниже).

Решение этого уравнения легко находится аналитически:

.

3.3 Второй интегральный критерий манипулирования индексом Хирша

Аналитически 2-й интегральный критерий манипулирования индексом Хирша, т.е. относительное превышение эмпирического значения индекса Хирша над теоретическим, может быть выражен по-разному. Авторы предлагают измерять это превышение в долях от теоретического значения, как более близкого к истинному:

где:

he - классическое эмпирическое значение индекса Хирша;

ht - теоретическое значение индекса Хирша.

4. Согласованность 1-го и 2-го интегральных критериев манипулирования индексом Хирша

Рассмотрим сводную таблицу 2, в которой приведем все просчитанные в данной статье частные и интегральные критерии по всем авторам:

Таблица 2 - Частные и интегральные критерии по всем авторам

Мы видим, что и частные критерии, и оба интегральных критерия манипулирования индексом Хирша дают согласованные, совпадающие по смыслу результаты, т.е. когда мы не видим манипулирования по 1-му частному критерию, то не видим его и по 2-му, т.е. эмпирический индекс Хирша практически совпадает с теоретическим. Возможно это объясняется тем, что авторы, не занимавшиеся манипулированием индексом Хирша, когда у них было мало публикаций, не начинают занимаются этим и когда публикаций у них становится большое количество. Это повышает степень обоснованности и достоверности этих критериев.

Заключение

Итак, на основе вышеизложенного можно считать, что:

1) существует некое неизвестное «истинное значение индекса Хирша»;

2) есть «эмпирическое (классическое) значение индекса Хирша», которое является истинным значением, измененным в результате совместного действия факторов манипулирования (рассматривались в данной статье) а также естественного шума и несовершенства алгоритма Хирша (в данной статье эти факторы только упоминаются);

3) есть «теоретическое значение индекса Хирша», - это решение уравнения наилучшего тренда графика числа цитирований ранжированного списка публикаций.

«Теоретическое значение индекса Хирша» - это новое научное понятие из области наукометрии, которое авторы предлагают ввести в научный оборот и практику наукометрии по следующим причинам:

- теоретическое значение индекса Хирша является устойчивым к манипулированию и другим факторам, искажающим истинное значение индекса Хирша и может обоснованно считаться значительно более близким к истинному значению индекса Хирша, чем классическое эмпирическое значение;

- технология получения теоретического значения индекса Хирша (путем решение уравнения наилучшего тренда графика числа цитирований ранжированного списка публикаций) проста и доступна авторам и организациям.

Предлагаются два убедительных количественных частных критерия манипулирования индексом Хирша при малом числе статей и основанный на них аддитивный интегральный критерий, основанные на линейном тренде графика числа цитирований ранжированного списка публикаций.

Степень различия между эмпирическим и теоретическим значениями индекса Хирша можно считать устойчивым интегральным критерием манипулирования индексом Хирша при любом числе публикаций.

Литература

1. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета.

2. Чеботарев П.Ю., “Наукометрия: как с её помощью лечить, а не калечить?”, УБС, 44 (2013), 14-31.

3. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013а. - Ч. 2. - С.528-533.

Размещено на Allbest.ru