Количественная оценка степени манипулирования индексом Хирша и его модификация, устойчивая к манипулированию

Индекс Хирша как абсцисса точки пересечения графика числа цитирований для ранжированного списка публикаций с биссектрисой первого квадранта. Методика определения уравнения линейного тренда. Методика формирования максимального значения индекса Хирша.

Рубрика Экономико-математическое моделирование
Вид курсовая работа
Язык русский
Дата добавления 26.05.2017
Размер файла 154,4 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Введение

Высшая аттестационная комиссия (ВАК) - это своего рода отдел технического контроля (ОТК), оценивающий «качество продукции» не только Министерства образования и науки, но и всех других министерств и ведомств, в которых есть свои вузы и НИИ. В качестве продукции вузов и НИИ выступают не только их разработки, но и сами ученые. ВАК, как и ОТК, обеспечивает обратную связь, информируя управляющую систему о результатах ее работы. Из теории управления известно, что если информация обратной связи неадекватна, то и управляющие решения, принимаемые на ее основе, также будут неадекватными. Понятно, что оценивающая структура не должна находится в подчинении у той структуры, качество работы которой она оценивает. В противном случае нетрудно догадаться, как она будет оценивать. В СССР ВАК с 1975 и до самого распада СССР подчинялась не Министерству образования и науки, а непосредственно Совету министров СССР, что соответствует этой логике. Однако с тех пор существует устойчивая тенденция постепенного снижения статуса ВАК. Сегодня ВАК уже не просто входит в Минобрнауки, а является всего лишь одним из подразделений одной из его структур: Рособрнадзора. Снижение статуса ВАК неизбежно приводит к снижению как статуса, так и адекватности присваиваемых им ученых степеней и научных званий. Этот процесс обесценивания традиционных ученых степеней и званий, присваиваемых ВАК, дошел до того, что несколько лет назад отменили надбавки к заработной плате за них. Теперь вместо традиционных ученых степеней и званий, присваиваемых ВАК практически каждым вузом и НИИ разрабатывается свои локальные, т.е. несопоставимые друг с другом наукометрические методики оценки результатов научной и педагогической деятельности. При всем разнообразии этих методик общим для всех них является несоразмерно большая роль, которая отводится в них индексу Хирша. Значение индекса Хирша начинает играть важную роль при защитах, при рассмотрении конкурсных дел на замещение должностей, а также при определении величины ежемесячного материального поощрения за результаты научной и педагогической деятельности. Сам по себе этот индекс теоретически вполне обоснован. Однако в связи с практикой применения индекса Хирша в наших условиях в сознании научного сообщества возникла своеобразная мания, которую авторы называют «Хиршамания». Эта мания характеризуется повышенным нездоровым интересом к самому значению индекса Хирша, а также к некорректному манипулированию его значением, т.е. к искусственному неадекватному преувеличению этого значения, а также рядом негативных последствий этого интереса.

Возникают естественные вопросы:

1. Возможно ли как-то количественно оценить степень манипулирования индексом Хирша, т.е. то, в какой степени его значение «целенаправленно организовано»?

2. Возможно ли получить гипотетическое значение индекса Хирша каким оно было бы в случае отсутствия манипулирования им?

В данной работе делается попытка найти конкретные ответы на эти вопросы путем:

- конструирования количественной меры для оценки степени некорректного манипулирования значением индекса Хирша;

- разработки научно-обоснованной модификации индекса Хирша, нечувствительной (устойчивая) к попыткам манипулированию им.

Кроме собственно самих идей предлагается также методика всех численных расчетов, достаточно простая, чтобы ее мог применить каждый автор.

1. Что такое индекс Хирша

Рисунок 1. Распространенное в Internet пояснение к понятию: «индекс Хирша»

Если ранжировать все публикации ученого в порядке убывания числа их цитирований («ранжированный список публикаций»), то индекс Хирша h - это просто номер публикации в этом списке, процитированной h раз. За этой публикацией идут публикации, процитированные менее h раз, а до нее - более h раз.

Таким образом, индекс Хирша является абсциссой точки пересечения графика числа цитирований для ранжированного списка публикаций с биссектрисой первого квадранта. Пусть f(h) - число цитирований публикации ранга h (т.е. публикации с номером h в ранжированном списке публикаций). Тогда для индекса Хирша h0 справедливы неравенства:

f(h) > h при h < h0 и f(h) < h при h > h0.

2. Манипулирование индексом Хирша при малом числе публикаций

2.1 Способ сформировать максимальное значение индекса Хирша при малом числе публикаций

Из приведенного выше нехитрого алгоритма вычисления значения индекса Хирша вполне понятно, как получить максимальное значение индекса Хирша h при минимальном числе публикаций h+1. Для этого достаточно опубликовать h+1 статей, в каждой из которых сослаться на все остальные.

2.2 Первый интегральный критерий манипулирования индексом Хирша

хирша ранжированный индекс биссектриса

Наверное приведенный выше простой и доступный способ сформировать любое заданное значение индекса Хирша первым приходит всем авторам на ум.

И это дает нам в руки первый наиболее простой критерий манипулирования индексом Хирша: «Чем более пологим является линейный тренд числа цитирований, построенный по ранжированному списку публикаций, тем более вероятно, что был применен описанный выше способ максимизации индекса Хирша при малом числе публикаций».

Максимальный теоретически возможный угол наклона линейного тренда, достижимый лишь асимптотически, равен 90°, а минимальный, естественно, равен нулю: 0°. Количественно этот 1-й частный критерий по сути должен быть какой-то простой функцией от коэффициента наклона линейного тренда ранжированного списка.

Естественным было нормировать 1-й частный критерий манипулирования индексом Хирша таким образом, чтобы при наклоне тренда 90° он имел минимальное значение равное 0 (нет манипулирования), а при наклоне 0° имел максимальное значение, равное 1 (полное манипулирование).

Уравнение линейного тренда выгладит следующим образом:

С учетом всех этих соображений предлагается следующее выражение для 1-го частного критерия манипулирования индексом Хирша K1 при малом числе публикаций:

,

где:

k - коэффициент при x в линейном тренде ранжированного списка публикаций;

ArcTg(k) - арктангенс коэффициента наклона - угол наклона линейного тренда ранжированного по числу цитирований списка публикаций (в градусах).

Понятно, что чем более пологим является линейный тренд графика числа цитирований, тем ближе коэффициент b в линейном тренде к значению индекса Хирша h:

Предлагается следующее выражение для 2-го частного критерия манипулирования индексом Хирша K2 при малом числе публикаций:

,

где:

b - свободный член в линейном тренде графика числа цитирований;

he - эмпирическое значение индекса Хирша, т.е. полученное непосредственно из ранжированного списка публикаций и построенного по нему графика числа цитирований.

Естественным было нормировать 2-й частный критерий манипулирования индексом Хирша таким образом, чтобы при эмпирическом индексе Хирша he=0 он был равен нулю (нет манипулирования), при свободном члене b равном эмпирическому индексу Хирша he он был равен 1 (полное манипулирование), и при увеличении разницы между ними стремился к нулю (уменьшение степени манипулирования) (таблица 1 и рисунок 2):

Таблица 1 - Зависимость 2-го частного критерия манипулирования индексом Хирша от эмпирического значения индекса Хирша при постоянном свободном члене b=7

B

H

2-й частный критерий

B

H

2-й частный критерий

B

H

2-й частный критерий

7

0

0,000000

7

13

0,700000

7

26

0,424242

7

1

0,250000

7

14

0,666667

7

27

0,411765

7

2

0,444444

7

15

0,636364

7

28

0,400000

7

3

0,600000

7

16

0,608696

7

29

0,388889

7

4

0,727273

7

17

0,583333

7

30

0,378378

7

5

0,833333

7

18

0,560000

7

31

0,368421

7

6

0,923077

7

19

0,538462

7

32

0,358974

7

7

1,000000

7

20

0,518519

7

33

0,350000

7

8

0,933333

7

21

0,500000

7

34

0,341463

7

9

0,875000

7

22

0,482759

7

35

0,333333

7

10

0,823529

7

23

0,466667

7

36

0,325581

7

11

0,777778

7

24

0,451613

7

37

0,318182

7

12

0,736842

7

25

0,437500

7

38

0,311111

Рисунок 2. Зависимость 2-го частного критерия манипулирования индексом Хирша от эмпирического значения индекса Хирша при постоянном свободном члене b=7

Если считать, что оба эти частные критерия K1 и K2 имеют равный вес 0.5, то можно предложить следующее выражение для 1-го интегрального критерия манипулирования индексом Хирша при малом числе публикаций:

.

Все обозначения, использованные в данном выражении, описаны выше.

Данный 1-й интегральный критерий принимает значение равное 0 при отсутствии манипулирования и равное 1 при максимальном, т.е. полном манипулировании. Ниже приведена его вербальная формулировка:

Конечно, понятно, что часть цитирований могут естественными, не организованными автором, и они вместе тоже могут формировать достаточно пологий тренд, т.е. понятно, что максимальное значение индекса манипулирования еще не означает самого факта манипулирования, а лишь является его признаком. Аналогично и заимствования сами по себе не означают плагиата, т.к. могут быть снабжены ссылками на источники, а могут быть и заимствованиями из работ самого автора, которые уже по главам порезаны на рефераты и разошлись по всему интернету.

3. Манипулирование индексом Хирша при большом числе публикаций

3.1 Способ увеличить значение индекса Хирша при большом числе публикаций

Если у автора большое число публикаций, то очевидно, использовать способ формирования максимального значения индекса Хирша, который использовался при малом числе публикаций, т.е. ссылаться во всех публикациях на все, не представляется возможным по ряду причин. Понятно, что статья, у которой в списке литературы приведено десятки источников и в основном автора самой этой статьи, будет выглядеть несколько странно. Во многих журналах просто есть ограничение и на суммарное число источников в списке литературы и на число источников автора публикации. Но цитирование всех публикаций данного автора в каждой его публикации не только невозможно технически, но и не имеет особого смысла, т.к. увеличение числа цитирований статей, находящихся в ранжированном списке далеко от значения индекса Хирша, не окажет влияния на его значение ни в ближайшее время, ни в перспективе (за исключением может быть каких-то научных «бестселлеров», которые сразу становятся очень цитируемыми и сохраняют популярность длительное время).

Поэтому многие авторы, у которых большое количество публикаций, приходят к тому, чтобы увеличивать число ссылок не на все публикации, а только на те, которые оказывают самое непосредственное влияние на значение индекса Хирша, т.е. на публикации в окрестности индекса Хирша в ранжированном списке публикаций. В результате вблизи значения индекса Хирша, причем как текущего, так и перспективного с точки зрения этих авторов, формируется характерная «ступенька» или «полочка», показанная на рисунке 10 красным цветом.

В результате такого манипулирования индекс Хирша приобретает вместо значения h некоторое большее значение h2. При этом площадь под кривой числа цитирований, соответствующая суммарному числу цитирований автора, увеличивается совершенно незначительно, а значение индекса Хирша за счет этого возрастает довольно заметно, т.е. затраты на это повышение оказываются весьма эффективными.

3.2 Научно-обоснованная модификация индекса Хирша, нечувствительная (устойчивая) к попыткам манипулированию им

Идея второго критерия манипулирования индексом Хирша, применяемого при большом числе публикаций, основана на том, что при цитирования статей в окрестностях текущего значения индекса Хирша площадь под кривой числа цитирований, соответствующая суммарному числу цитирований автора, увеличивается очень незначительно. А это в свою очередь означает, что, по-видимому, если аппроксимировать эту кривую с использованием метода наименьших квадратов (МНК), то эта аппроксимация окажется малочувствительной или устойчивой к появлению в результате манипулирования этой небольшой «полочки».

Это позволяет сформулировать гипотезу о том, что значение индекса Хирша, определенное не по классическому алгоритму, а посчитанное на основе аппроксимации кривой числа цитирований, окажется менее чувствительным и более устойчивым к попыткам манипулирования, чем классический индекс Хирша.

Но откуда взять эту аппроксимацию кривой числа цитирований и как определить значение индекса Хирша на ее основе? В общем виде все это довольно просто. Непосредственно из самого определения классического индекса Хирша следует, что если аппроксимации кривой числа цитирований выражается в виде уравнения:

то теоретическим значением индекса Хирша h будет корень уравнения:

.

Такого рода уравнения обычно легко решаются численно итерационным методом, реализованным в частности, в MS Excel.

Сам вид функции f() предлагается определять с использованием аппарата аппроксимации трендов функциями различных видов в MS Excel.

В принципе можно было бы каждый раз выбирать для аппроксимации тот вид монотонной функции, который обеспечивает наивысший коэффициент детерминации R2, т.е. наиболее хорошее приближение (наилучший тренд). В данном случае для аппроксимации графика числа цитирований ранжированного списка публикаций уместно использовать лишь монотонно возрастающие или убывающие функции: линейную, логарифмическую, степенную, экспоненциальную, но не полиномиальную, т.к. она может иметь точки перегиба и даже нарушения монотонности и является чувствительной к особенностям графика, обусловленными манипулированием индексом Хирша.

Но можно выбрать какой-то один вид функции, который чаще других обеспечивает наилучшее приближение. В результате многочисленных численных экспериментов по аппроксимации кривых числа цитирований различных авторов, проведенных по данным РИНЦ, было выявлено, что наилучшее приближение с коэффициентом детерминации около 0,9 и выше, как правило обеспечивается трендом в виде степенной функции:

Поэтому предлагается находить теоретическое значение индекса Хирша h путем решения уравнения:

.

При этом само уравнение тренда предлагается формировать в MS Excel непосредственно на основе данных РИНЦ, как описано выше в разделе 2.3 при формировании линейной регрессии (примеры приведены ниже).

Решение этого уравнения легко находится аналитически:

.

3.3 Второй интегральный критерий манипулирования индексом Хирша

Аналитически 2-й интегральный критерий манипулирования индексом Хирша, т.е. относительное превышение эмпирического значения индекса Хирша над теоретическим, может быть выражен по-разному. Авторы предлагают измерять это превышение в долях от теоретического значения, как более близкого к истинному:

где:

he - классическое эмпирическое значение индекса Хирша;

ht - теоретическое значение индекса Хирша.

4. Согласованность 1-го и 2-го интегральных критериев манипулирования индексом Хирша

Рассмотрим сводную таблицу 2, в которой приведем все просчитанные в данной статье частные и интегральные критерии по всем авторам:

Таблица 2 - Частные и интегральные критерии по всем авторам

Автор

1-й частный критерий

2-й частный критерий

1-й интегральный критерий

Эмпирический индекс Хирша

Теоретический индекс Хирша

2-й интегральный критерий

Новоселов К.С.

0,01646

0,04518

0,03082

63

62,70873

0,00464

2-й автор

0,88797

0,91599

0,90198

14

12,60179

0,11095

3-й автор

0,60787

0,78171

0,69479

44

40

0,10000

Мы видим, что и частные критерии, и оба интегральных критерия манипулирования индексом Хирша дают согласованные, совпадающие по смыслу результаты, т.е. когда мы не видим манипулирования по 1-му частному критерию, то не видим его и по 2-му, т.е. эмпирический индекс Хирша практически совпадает с теоретическим. Возможно это объясняется тем, что авторы, не занимавшиеся манипулированием индексом Хирша, когда у них было мало публикаций, не начинают занимаются этим и когда публикаций у них становится большое количество. Это повышает степень обоснованности и достоверности этих критериев.

Заключение

Итак, на основе вышеизложенного можно считать, что:

1) существует некое неизвестное «истинное значение индекса Хирша»;

2) есть «эмпирическое (классическое) значение индекса Хирша», которое является истинным значением, измененным в результате совместного действия факторов манипулирования (рассматривались в данной статье) а также естественного шума и несовершенства алгоритма Хирша (в данной статье эти факторы только упоминаются);

3) есть «теоретическое значение индекса Хирша», - это решение уравнения наилучшего тренда графика числа цитирований ранжированного списка публикаций.

«Теоретическое значение индекса Хирша» - это новое научное понятие из области наукометрии, которое авторы предлагают ввести в научный оборот и практику наукометрии по следующим причинам:

- теоретическое значение индекса Хирша является устойчивым к манипулированию и другим факторам, искажающим истинное значение индекса Хирша и может обоснованно считаться значительно более близким к истинному значению индекса Хирша, чем классическое эмпирическое значение;

- технология получения теоретического значения индекса Хирша (путем решение уравнения наилучшего тренда графика числа цитирований ранжированного списка публикаций) проста и доступна авторам и организациям.

Предлагаются два убедительных количественных частных критерия манипулирования индексом Хирша при малом числе статей и основанный на них аддитивный интегральный критерий, основанные на линейном тренде графика числа цитирований ранжированного списка публикаций.

Степень различия между эмпирическим и теоретическим значениями индекса Хирша можно считать устойчивым интегральным критерием манипулирования индексом Хирша при любом числе публикаций.

Литература

1. Луценко Е.В. Хиршамания при оценке результатов научной деятельности, ее негативные последствия и попытка их преодоления с применением многокритериального подхода и теории информации / Е.В. Луценко // Политематический сетевой электронный научный журнал Кубанского государственного аграрного университета.

2. Чеботарев П.Ю., “Наукометрия: как с её помощью лечить, а не калечить?”, УБС, 44 (2013), 14-31.

3. Орлов А.И. О некоторых методологически ошибочных методах анализа и оценки результатов научной деятельности // Россия: тенденции и перспективы развития. Ежегодник. Вып. 8. / РАН. ИНИОН. Отд. науч. сотрудничества и междунар. связей; Отв. ред. Ю.С. Пивоваров. - М., 2013а. - Ч. 2. - С.528-533.

Размещено на Allbest.ru

...

Подобные документы

  • Методика определения максимального числа подзадач без пределов и максимального числа целочисленных решений без пределов. Метод "затраты-эффект" и особенности его применения в управлении проектами. Задача привлечения дополнительных финансовых ресурсов.

    контрольная работа [37,9 K], добавлен 09.07.2014

  • Уравнение нелинейной регрессии и вид уравнения множественной регрессии. Преобразованная величина признака-фактора. Преобразование уравнения в линейную форму. Определение индекса корреляции и числа степеней свободы для факторной суммы квадратов.

    контрольная работа [501,2 K], добавлен 27.06.2011

  • Построение модели для зависимой переменной, используя пошаговую множественную регрессию. Рассчет индекса корреляции, оценка качества полученного уравнения регрессии с помощью коэффициента детерминации. Оценка статистической значимости уравнения регрессии.

    лабораторная работа [2,1 M], добавлен 25.05.2009

  • Расчет уравнения линейной регрессии. Построение на экран графика и доверительной области уравнения. Разработка программы, генерирующей значения случайных величин, имеющих нормальный закон распределения для определения параметров уравнения регрессии.

    лабораторная работа [18,4 K], добавлен 19.02.2014

  • Доверительные интервалы для среднего значения цены автомобиля в зависимости от его возраста для уравнения регрессии в расчетах парной и множественной зависимостей. График ежемесячных объемов продаж магазина. Коэффициенты регрессионного уравнения тренда.

    контрольная работа [499,1 K], добавлен 16.09.2011

  • Методы расчета максимального перемещения буфера, масса которого мала по сравнению с массой вагона, движущегося в направлении тупика. Определение максимального значения восстанавливающей силы и времени, за которое эта сила достигнет максимального значения.

    задача [162,9 K], добавлен 29.09.2010

  • Расчет доверительных интервалов прогноза для линейного тренда с использованием уравнения экспоненты. Оценка адекватности и точности моделей. Использование адаптивных методов в экономическом прогнозировании. Экспоненциальные средние для временного ряда.

    контрольная работа [916,2 K], добавлен 13.08.2010

  • Построение линейного уравнения парной регрессии, расчет линейного коэффициента парной корреляции и средней ошибки аппроксимации. Определение коэффициентов корреляции и эластичности, индекса корреляции, суть применения критерия Фишера в эконометрике.

    контрольная работа [141,3 K], добавлен 05.05.2010

  • Построение доверительного интервала для коэффициента регрессии. Определение ошибки аппроксимации, индекса корреляции и F-критерия Фишера. Оценка эластичности изменения материалоемкости продукции. Построение линейного уравнения множественной регрессии.

    контрольная работа [250,5 K], добавлен 11.04.2015

  • Прямая регрессии. Стандартная ошибка оценки. Использование функции "Линейная линия тренда" электронных таблиц Microsoft Excell для выведения на график уравнения регрессии. Оценка случайного отклонения. Построение прогнозного значения на основе данных.

    контрольная работа [44,0 K], добавлен 08.02.2015

  • Вычисление парных коэффициентов корреляции и построение их матрицы. Нахождение линейного уравнения связи, коэффициентов детерминации и эластичности. Аналитическое выравнивание ряда динамики методом наименьших квадратов. Фактические уровни вокруг тренда.

    контрольная работа [121,1 K], добавлен 01.05.2011

  • Особенности формирования современного рынка труда, занятости и безработицы. Коэффициент корреляции для линейной, гиперболической, полулогарифмической видов зависимости. Увеличение уровня индекса потребительских цен и снижение количества безработных.

    курсовая работа [216,1 K], добавлен 05.01.2013

  • Основные параметры уравнения регрессии, оценка их параметров и значимость. Интервальная оценка для коэффициента корреляции. Анализ точности определения оценок коэффициентов регрессии. Показатели качества уравнения регрессии, прогнозирование данных.

    контрольная работа [222,5 K], добавлен 08.05.2014

  • Особенности расчета параметров уравнений линейной, степенной, полулогарифмической, обратной, гиперболической парной и экспоненциальной регрессии. Методика определения значимости уравнений регрессии. Идентификация и оценка параметров системы уравнений.

    контрольная работа [200,1 K], добавлен 21.08.2010

  • Методика формирования математической модели в операторной форме, а также в форме дифференциального уравнения и в пространстве состояний. Построение графа системы. Оценка устойчивости, управляемости, наблюдаемости системы автоматического управления.

    контрольная работа [200,4 K], добавлен 03.12.2012

  • Выполнение кластерного анализа предприятий с помощью программы Statgraphics Plus. Построение линейного уравнения регрессии. Расчет коэффициентов эластичности по регрессионным моделям. Оценка статистической значимости уравнения и коэффициента детерминации.

    задача [1,7 M], добавлен 16.03.2014

  • Характеристика массивов как совокупности объектов, состоящих из фиксированного упорядоченного числа элементов, имеющих один и тот же тип. Сущность типов индекса. Принципы циклических алгоритмов. Анализ нахождения номеров элементов с заданным свойством.

    презентация [49,9 K], добавлен 29.03.2015

  • Сглаживание с помощью метода скользящей средней. Анализ исходного ряда на наличие стационарности. Тест Дики-Фуллера. Выделение сезонной компоненты в аддитивной и мультипликативной модели. Составление уравнения тренда в виде полинома пятой степени.

    лабораторная работа [2,6 M], добавлен 17.02.2014

  • Определение параметров линейной регрессии и корреляции с использованием формул и табличного процессора MS Excel. Методика расчета показателей парной нелинейной регрессии и корреляции. Вычисление значений линейных коэффициентов множественной детерминации.

    контрольная работа [110,4 K], добавлен 28.07.2012

  • Применение моделей кривых роста в бизнес-прогнозировании. Методы выбора кривых роста. Доверительные интервалы прогноза для линейного тренда, и полученные с использованием уравнения экспоненты. Дисперсия отклонений фактических наблюдений от расчетных.

    курсовая работа [958,1 K], добавлен 13.09.2015

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.