Методология регионального анализа российского рынка экономических исследований

Размещено на http://www.allbest.ru

Методология регионального анализа российского рынка экономических исследований

B. М. Московкин, д. геогр.н., заместитель директора Центра развития публикационной активности и научноиздательской деятельности, профессор кафедры мировой экономики Белгородского государственного национального исследовательского университета

C. Сунь,

аспирант кафедры экономической теории и менеджмента Московского педагогического государственного университета

Аннотация

После разрушения СССР и перехода на модель рыночной экономики в России стал наблюдаться быстрый рост рынка экономических исследований, встала задача рейтингования трех его сегментов: рынок ученых-экономистов, рынок экономических журналов, рынок подготовки научных кадров экономистов. В статье поставлена новая задача агрегирования количественных индикаторов этих сегментов рынка экономических исследований по регионам России. В качестве исходных данных брались, распределенные по регионам, количественные индикаторы из золотого рейтинга ТОР-500 ученых-экономистов Е.В. Балацкого, перечня ваковских экономических журналов от 07.06.2017 г., и рейтинга экономических диссоветов 2016 г. Агрегирование выше указанных индикаторов проделано по формуле средней арифметической для нормированных их значений. Для выше указанных индикаторов и интегрального показателя построена кросскорреляционная матрица со всеми линейными парными уравнениями регрессии, в которых значения коэффициента детерминации Р2 изменялись в интервале от 0, 93 до 0,99. Получено аналитическое уравнение множественной регрессии (1?2«1,0) между значениями выше указанных трех индикаторов с одной стороны и интегральным показателем с другой. Показано, что влияние числа экономических диссоветов на интегральный показатель в три раза больше, чем влияние численности учёных-экономистов и количества экономических диссоветов каждых в отдельности. Наилучшую сходимость к распределению Парето показало распределение значений интегрального показателя состояния регионального рынка экономических исследований.

С помощью метода естественных границ, на основе интегрального показателя, проделана кластеризация региональных рынков экономических исследований России.

Ключевые слова: рынок экономических исследований, рынок ученых-экономистов, рынок экономических журналов, рынок подготовки научных кадров экономистов, региональный анализ, корреляционно-регрессионный анализ, распределение, распределение Парето, метод естественных границ.

Abstract

After the dissolution of the Soviet Union and the transition to a market economy model in Russia, there has been observed a rapid growth for market economic studies challenge in ranking of its three segments, such as the economists market, scientific economic journals market, research training of economists market. The purpose of the study is to aggregate quantitative indicators of economic market segments for economic studies in the Russian regions. The initial data calculations are done on quantitative indicators from the TOP-500 gold ranking of economist E.V. Balatsky for 2016, the list of "vakovsky" economic journals from 07.06.2017 and the ranking of 2016 economic dissertation councils across the Russian regions. The aggregation of the above indicators is done according to the arithmetic average formula for their normalized values. A cross-correlation matrix has been constructed for the above indicators and an integral indicator with all linear paired regression equations in which the values of the coefficient of determination R2 varied in the range from 0,93 to 0.99. A practically analytical multiple regression equation (R2 = 1.0) has been obtained between the values of the above three indicators of the market for economic studies and an integral indicator on the other hand. In the article, it is also shown that the effect of the number of economic councils on the integral indicator is three times greater than the effect of the number of economists and the number of economic councils each separately. The best convergence to the Pareto distribution has been shown by the distribution of the values of the integral indicator of the state of the regional economic research market. On the basis of an integral indicator, the clusterization of regional markets for economic studies in Russia has been done using the method of natural borders.

Keywords: economic research market, economists market, scientific economic journals market, research training of economists market, regional analysis, correlation and regression analysis, Pareto distribution, natural borders method.

Введение

Понятие рынка экономических исследований, по-видимому, впервые было введено в отечественной экономической литературе Е.В. Балацким и Н.А. Екимовой в 2015 г. [1]. Авторы рассматривают этот рынок как состоящий из трёх сегментов: 1. Сегмент рынка учёных-экономистов;

2. Сегмент рынка экономических журналов; 3. Сегмент рынка высших экономических школ. Они предложили исследовать такой рынок с помощью рейтингования трёх сегментов этого рынка с помощью статистики РИНЦ и опросов экспертов. В дальнейшем авторы уточнили третий сегмент этого рынка, отнеся к нему все организации, ведущие экономические исследования [2].

Наиболее детально изучены первые два сегмента рынка российских экономических исследований. В дальнейшем для простоты изложения вместо термина «сегмент рынка учёных-эко- номистов» будем писать «рынок учёных-эко- номистов», то же самое будем иметь ввиду, говоря и о двух остальных сегментах рынка экономических исследований.

Обзоры исследований по рынку учёных- экономистов, сводящиеся к разным методам рейтингования этого рынка, приведены в работах [1, 3, 4, 5]. Первой работой в этой области исследования была статья С. Аукуционе- ка и Г. Чуркиной, опубликованная в журнале «Вопросы экономики» в 2002 г. [6]. В ней был сделан первый шаг к рейтингованию российских экономистов по уровню их публикакционной активности за 1988-2000 гг. на примере пяти избранных журналов. Позднее в 2008 г. был опубликован доклад И. Г. Дежиной и В. В. Даш- кеева (ИЭПП) [7], в котором было предложено три способа рейтингования ученых-экономистов: 1. экспертный отбор 12-ти отечественных журналов, по данным которых за 2000-2007 гг. составлен список из 100 ученых-экономистов, опубликовавших за этот период 8 и более научных статей; 2. экспертный опрос 10-ти экспертов, выбирающих на первом этапе 10 лучших, на их взгляд, ученых-экономистов, на втором этапе те из ученых-экономистов, которые упоминались более двух раз, выступают новыми экспертами (двух этапная процедура метода «снежного кома»); 3. учет публикаций ученых-экономистов в международной специализированной базе данных RePEc (на тот период в этой базе данных было 14 российских ученых-экономистов).

Первые практические рейтинги ТОР-500 учёных-экономистов России за 2015 и 2016 гг. были составлены по двум разным методологиям, Е.В. Балацким [1, 8, 9] эти рейтинги были сопоставлены, а их методологии развиты в работах [4, 5].

Одними из первых публикаций в области рейтингования экономических журналов были работы Ф.Т. Алексерова с соавторами [10, 11] и А.А. Муравьева [12].

Опыт сопоставления рейтинга российских экономических журналов, опубликованный в одноимённой статье Е.В. Балацкого и Н.А. Екимо- вой [13], вызвал дискуссию в журнале «Новой экономической ассоциации» [14, 15]. В одной из этих работ отмечалось, что уязвимым местом методик рейтингования экономических журналов является произвольный выбор библиометри- ческих индикаторов и их слабая корреляция с научным авторитетом журнала [14].

В более поздней работе Е.В. Балацкого и Н.А. Екимовой [2] показана нестабильность рынка российских экономических журналов, выявлено ядро экономических изданий, которые устойчиво удерживали лидирующие позиции, идентифицированы качественно неоднородные группы журналов, среди которых есть журналы-агрессоры и стагнирующие журналы. В этой работе делается парадоксальный вывод о зависимости научного уровня журнала от его репутации (популярности), а также отмечается, что на рынке экономических журналов конкурентные процессы к настоящему времени достигли, по всей видимости, своего исторического апогея.

Естественно, что эти конкурентные процессы привели к мощному расслоению рынка экономических журналов, на котором большую долю журналов можно отнести к «хищническим» («мусорным»). Отметим, что механизмы недобросовестных отечественных журнальных практик были описаны в работах [4, 5].

Самый последний обзор по рейтингованию российских экономических журналов был опубликован Е. В. Балацким и Н.А. Екимовой в 2018 г. [3], который нами ранее упоминался в связи с обзором рейтингования ученых- экономистов. В нем отмечено, что на текущий момент имеется 5 наиболее значимых рейтингов российских экономических журналов:

-- рейтинг А. Муравьева, основанный на наукометрических показателях РИНЦ [12];

-- рейтинг И. Стерлигова, использующий экспертные оценки [16];

-- гибридный рейтинг Е. Балацкого и Н. Екимовой, в котором использованы показатели РИНЦ и данные опросов экспертов [17];

-- кластерный рейтинг А. Рубенштейна, в основе которого лежат данные экспертного опроса [14, 18];

- рейтинг журналов экономических институтов РАН [19].

Наличие альтернативных рейтингов, как отмечалось в работе [3], способствовало появлению публикаций по их сравнительному анализу [20]. Так, в последней работе построена простая эвристическая процедура сравнения рейтинга А. Муравьева, рейтинга НИУ «ВШЭ» и рейтинга Балацкого-Екимовой. Показано, что эти три рейтинга существенно пересекаются. Взаимная корреляция этих трех рейтингов, включая корреляцию с импакт-факторами РИНЦ (двухлетний, пятилетний и Science Index) была слабой [15]. Вышеуказанные работы по сравнительному анализу альтернативных рейтингов привели к задаче их агрегирования [14] и построению консенсусных рейтингов [21].

Наиболее сложным для изучения является рынок организаций (НИИ и вузов), осуществляющих научные экономические исследования. Метод рейтингования организаций, как это имеет место для учёных-экономистов и экономических журналов, здесь не проходит, так как имеется большое количество классических, технических и других университетов, в которых экономические исследования занимают относительно небольшое место, но могут значительно влиять на рынок экономических исследований.

В этой связи в работе [1] предлагается вычленять экономическую составляющую исследований учёных вуза на основе их экономических публикаций по базе данных РИНЦ.

Относительно интегральной характеристики российского рынка экономических исследований следует сказать, что согласно работе [2] он находится сейчас в стадии формирования, а точнее - активной реструктуризации. Другой его характерной особенностью являются то, что на нём сейчас сформирован самый крупный сегмент в сравнении с другими рынками научных исследований, фальшивых экономических исследований и публикаций, о чём говорят регулярные обследования этого рынка волонтёрской организацией «Диссернет».

Что касается практических методик рейтингования всех сегментов рынка экономических

исследований, то они вместе с расчетами рейтингов размещены в авторском аналитическом интернет-журнале Е.В. Балацкого «Неэргодическая экономика».

Рейтинг академической активности и популярности экономистов России рассчитывается для TOP-500 ученых-экономистов по неизменной методологии, начиная с 2015 г. (последний рейтинг приведен на уровень 2018 г.). В ней используются данные РИНЦ по общему числу публикаций ученого, общему числу цитирований без учета самоцитирования и индексу Хирша ученого без учета самоцитирования. Агрегирование этих показателей производится без учета их взвешивания с нормированием на максимальные значения по выборке ученых- экономистов [9].

Расчет гибридного рейтинга экономических журналов ведется с 2013 г. (последний приведен на уровень 2016 г.). Гибридность расчета состоит в использовании наукометрических показателей базы данных РИНЦ и опросов экспертов. Методология расчета рейтинга в течение времени усовершенствовалась, с 2016 г. учитывалось вхождение российских журналов в международные наукометрические базы данных. Так при 15-ти балльной оценке журналов, для журналов входящих одновременно в базы данных Scopus и Web of Science присваивался балл 15, а при вхождении журнала в одну из этих баз данных присваивался балл 10. Во всех рассчитанных за четыре года рейтингах приводится 50 лучших российских экономических журналов [17].

Расчет академического рейтинга высших экономических школ России основан также на статистике РИНЦ. Вначале это была 4-х шаговая процедура, учитывающая расчеты по двум предыдущим рейтингам (2013-2015 гг.), но при расчете рейтинга за 2016 г. от учета кадрового потенциала было решено отказаться (третий шаг расчета). Рейтинг 2016 г. охватывал 97 вузов России [22].

В нашем исследовании мы поставили цель агрегирования трех сегментов рынка экономических исследований по регионам России.

В связи с этим мы отказались от использования вышеуказанных рейтингов экономических журналов и высших экономических школ, так как они содержат не большое число журналов и вузов. Поэтому мы обратились к стандартному Перечню экономических журналов ВАК РФ и рейтингу экономических диссоветов, который был впервые опубликован в 2016 г.

Ниже мы предложим простейшую методологию регионального анализа российского рынка экономических исследований по регионам России. Отметим, что в таком аспекте задача изучения рынка экономических исследований ставится впервые.

Материалы и методы исследования

В качестве эмпирической основы исследования были взяты золотой рейтинг ТОР-500 учёных-экономистов Е.В. Балацкого за 2016 г. [8], перечень ваковских экономических журналов от 07.06.2017 г. и рейтинг экономических диссоветов за 2016 г., предложенный впервые ВАК РФ. Отметим, что использование последнего рейтинга освобождает нас от трудоёмкой работы по вычленению научных экономических публикаций по всем вузам и НИИ России. Далее, мы, в первом простейшем приближении, просто распределяем учёных-экономистов, экономические журналы и экономические диссоветы по регионам России с одновременным их суммированием. Сама процедура их распределения достаточна трудоёмка, так как требует привязки учёных, журналов и диссоветов сначала к городам, а потом к регионам России. После чего нами вычисляется интегральный показатель состояния регионального рынка экономических исследований по формуле 1:

Такая формула расчёта интегрального показателя обуславливает изменения его значений в диапазоне от нуля до единицы. Отметим, что выбор более усложненной формулы, учитывающей весовые коэффициенты трёх индикаторов, маловероятен, так как трудно дать предпочтения одному индикатору перед другими.

В дополнение к рассмотренным трём индикаторам будет рассчитан показатель 14 - сумма значений импакт-факторов экономических журналов, соответствующих 1-му региону. Сбор данных по этим импакт-факторам проделан с 24 по 29 августа 2018 г. После этого рассчитывается кросскорреляционная матрица для значений четырёх индикаторов и интегрального показателя, а также строится уравнение множественной регрессии между интегральным показателем и тремя индикаторами, на основе которых он был построен.

В заключении будут изучены распределения значений четырёх индикаторов и интегрального показателя по регионам России на предмет их близости к распределению Парето.

Результаты и обсуждение

Рассчитанные по регионам индикаторы 1^, к = 1+4 приведены в табл. 1. В этой же таблице приведены рассчитанные по формуле (1) значения 1щнт. Из неё также видим, что вышеуказанными индикаторами охвачены 63 региона России.

Процентные ранжированные распределения значений всех четырёх индикаторов позволяют проверить соблюдения закона Парето.

1. Распределение ученых-экономистов.

20% регионов из 42-х с ненулевыми значениями числа ученых-экономистов соответствуют

8,4 регионам. На первые 8,4 регионов приходится 415 ученых-экономистов, что составляет 83,6% (классическое распределение Парето составляет 80%). региональный рынок ранжированный количественный

2. Распределение экономических журналов.

20% регионов из 56-ти с ненулевыми значениями числа экономических журналов соответствуют 11,2 регионам. На первые 11,2 региона приходится 328 журналов, что составляет 78,1%.

3. Распределение экономических диссоветов.

20% регионов из 40 с ненулевыми значениями числа экономических диссоветов соответствуют 8 регионам. На первые 8 регионов

Таблица 1

Распределения значения индикаторов и интегрального показателя состояния регионального рынка экономических исследований по регионам России

4. Распределение суммарных импакт факторов журналов.

20% регионов из 53 с ненулевыми значениями числа суммарных импакт-факторов журналов соответствуют 10,6 регионам. На первые 10,6 регионов приходится 159,7 значений суммарного импакт-фактора журналов, что составляет 80,6%.

5. Распределение значений интегрального показателя.

20% регионов из 63 с ненулевыми значениями интегрального показателя соответствуют 12,6 регионам. На первые 12,6 регионов приходится 1,583 значений суммарного интегрального показателя, что составляет 80,3%.

Отсюда видим, что первое распределение является более поляризованным, чем второе, а второе более поляризованным, чем третье. Первые два распределения, в отличие от третьего, наиболее близко удовлетворяют распределению Парето (закон 20 на 80). Лучше всего распределению Парето удовлетворяют четвёртое и пятое распределения.

На основе табл. 1 построена кросскорреляционная матрица (табл. 2). Соответствующие этой кросскорреляционной матрице десять линейных уравнений парной регрессии представлены в табл. 3.

Как видим, из таблиц 2 и 3 наблюдаются очень хорошие парные корреляции с индикаторами и интегральным показателем региональных рынков экономических исследований России, за исключением трёх случаев, когда из исходной выборки регионов исключалась Москва. Важно отметить, что в основе всей системы индикаторов корневым является индикатор I1. Действительно, ведущие учёные-экономисты, входящие в ТОР-500 рейтинга Е.В. Балацкого, формируют редколлегии ваковских экономических журналов и экономические диссоветы, а также публикуются в вышеуказанных журналах.

Кроме десяти уравнений парной регрессии (табл. 3), с помощью статистического пакета Excel нами рассчитано уравнение множественной регрессии, которое приведено со всеми значащими цифрами:

Таблица 2

Кросскорреляционная матрица для индикаторов региональных экономических исследований России и их интегрального показателя

Линейные уравнения парной регрессии между четырьмя индикаторами и интегральным показателем рынков экономических исследований регионов России

Таблица 3

Рис. 1. Распределение значений интегрального показателя по номерам регионов России

Из формулы (2) видим практически аналитическое уравнение (Я2« 1,0), при этом влияние числа экономических диссоветов на интегральный показатель в три раза больше, чем влияние численности учёных-экономистов и количества экономических журналов каждых в отдельности.

Ранжированное по номерам регионов на основе табл. 1 распределение значений интегрального показателя, за исключением данных по Москве и Санкт-Петербургу, имело хорошо выраженный экспоненциальный вид (рис. 1).

На рисунке хорошо видны четко отделяющиеся друг от друга семь скоплений точек. Практически мы имеем кластеризацию региональных рынков экономических исследований России, полученную с помощью метода естественных границ. Добавив к этим значениям интегрального показателя данные по Москве и Санкт-Петербургу, придем к следующей кластеризации региональных рынков экономических исследований России (табл. 4).

Как видим из этой таблицы, потенциал рынка экономических исследований Москвы более чем в пять раз превышает этот потенциал для Санкт-Петербурга, в свою очередь потенциал последнего приблизительно в пять раз превышает средний потенциал экономических исследований второго кластера регионов. Эта таблица дает достаточно не тривиальные выводы, так как в других областях исследований, за исключением Москвы и Санкт-Петербурга, возможны совсем другие распределения регионов по потенциалу экономических исследований.

Заключение

Разработана простейшая методология регионального анализа рынка экономических исследований, состоящего из трёх сегментов: рынок учёных-экономистов, рынок научных экономических журналов и рынок экономических диссоветов, которая апробирована на основе эмпирических данных золотого рейтинга ТОР-500 учёных-экономистов России за 2016 г., составленного Е.В. Балацким, перечня экономических журналов ВАК РФ от 07.06.2017 г. и первого официального рейтинга экономических диссоветов 2016 г., составленного ВАК РФ.

Для индикаторов региональных рынков экономических исследований России и их интегрального показателя построена крос- скорреляционная матрица со всеми линейными парными уравнениями регрессии, в которых значения коэффициента детерминации Я2 изменялись в интервале от 0,93 до 0,99.

Таблица 4

Кластеризация региональных рынков экономических исследований России с помощью метода естественных границ, применённого к распределению значений интегрального показателя состояния регионального рынка экономических исследований

В случае исключения Москвы из выборки 63-х регионов России значения этого коэффициента уменьшились, изменяясь в интервале от 0,48 до 0,94.

Получено практически аналитическое уравнение множественной регрессии (1?2«1,0) между количеством учёных-экономистов, экономических журналов, экономических диссоветов (независимые переменные) с одной стороны и интегральным показателем состояния регионального рынка экономических исследований с другой. При этом было показано, что влияние числа экономических диссоветов на интегральный показатель в три раза больше, чем влияние численности учёных-экономистов и количества экономических диссоветов каждых в отдельности.

Для распределений всех индикаторов регионального рынка экономических исследований по регионам России и их интегрального показателя изучена их близость к распределению Парето. Наилучшую сходимость к этим распределениям показал интегральный показатель состояния регионального рынка экономических исследований.

В заключении с помощью метода естественных границ проделана кластеризация региональных рынков экономических исследований России.

Литература

1. Балацкий Е.В., Екимова Н.А. (2015) Рейтингование участников российского рынка экономических исследований // Журнал институциональных исследований. Т. 7. № 3. С. 102-121.

2. Балацкий Е.В., Екимова Н.А. (2017) Конкуренция экономических журналов России: итоги трёх волн рейтингования // Экономическая политика. Т. 12. № 6. С. 178-201.

3. Балацкий Е.В., Екимова Н.А. (2018) Возможности консолидации рейтинговых продуктов в Интернет-среде // Экономические и социальные перемены: факты, тенденции, прогноз. Т. 11. № 2. С. 37-51.

4. Московкин В.М., Сунь С. (2017) Развитие методов определения рейтингов учёных на основе Российского индекса научного цитирования // Научно-техническая информация. Сер. 1. Организация и методика информационной работы. № 8. С. 23-28.

5. Московкин В.М., Сунь С. (2017) Рейтингование экономистов: современное состояние вопроса и перспективы дальнейших исследований // Научная периодика: проблемы и решения. Т. 7. № 1. С. 20-45.

6. Аукуционек С., Чуркина Г. (2002) Экономические журналы в период рыночных реформ // Вопросы экономики. № 2. С. 130-145.

7. Дежина И.Г., Дашкеева В.В. (2008) Есть ли в России ведущие экономисты и кто они? М.: ИЭПП. 21 с.

8. Балацкий Е.В. (2016) Золотой рейтинг академической активности и популярности экономистов России / Неэргодическая экономика, 25.02.2016. http://nonerg-econ.rU/cat/9/57.

9. Балацкий Е.В. (2018) Рейтинг академической активности и популярности экономистов России /

Неэргодическая экономика. 1пДр://попегд-есоп. ш/са^18/7.

10. Алескеров Ф.Т., Писляков В. В., Субочев А.Н. (2013) Построение рейтингов журналов по экономике с помощью методов теории коллективного выбора. Препринт WP7. № 3.

11. Алескеров Ф.Т., Писляков В. В., Субочев А.Н., Чистяков А.Г. (2011) Построение рейтингов журналов по менеджменту с помощью методов коллективного выбора. Препринт WP7. № 4.

12. Муравьёв А.А. (2013) О научной значимости российских журналов по экономике и смежным дисциплинам // Вопросы экономики. № 4. С.130-151.

13. Балацкий Е.В, Екимова Н.А. (2015) Опыт составления рейтинга российских экономических журналов // Вопросы экономики. № 8. С. 99-115.

14. Рубинштейн А.Я. (2016) Ранжирование российских экономических журналов: научный метод или «игра в цыфирь»? // Журнал новой экономической ассоциации. № 2 (30). С. 162-175.

15. Субочев А.Н. (2016) Насколько различны существующие рейтинги российских научных журналов по экономике и менеджменту и как их объединить // Журнал новой экономической ассоциации. № 2 (30). С. 181-192.

16. Стерлигов И.А. (2014) Пилотный проект по оценке российских научных журналов. М.: НИУ «ВШЭ».

17. Балацкий Е.В., Екимова Н.А. (2018) Рейтинг ведущих экономических журналов России / Неэргодическая экономика. http://nonerg-econ.ru/ са^18/8.

18. Рубинштейн А.Я., Бураков Н.А, Славинская О.А. (2017) Сообщество экономистов и экономические журналы (социологические измерения УБ

библиометрии): Научный доклад. М.: Институт экономики РАН. 83 с.

19. Третьякова О.В. (2015) Рейтинг научных журналов экономических институтов РАН // Экономические и социальные перемены; факты, тенденции, прогноз. Т. 8. № 5. С. 159-172.

20. Муравьев А.А. (2015) Рейтинги российских журналов по экономике: сравнительный анализ / БіиФуНЬ. http://studydoc.ru/download/4796527.

21. Консенсный рейтинг ведущих экономических журналов России (2017) / Неэргодическая экономика, 09.12.2017. http://nonerg-econ.ru/ со1/18/281.

References

1. Balatsky E.V, Ekimova N.A. (2015) Rating of participants in the Russian market for economic research // Journal Institutional Study. V. 7. № 3. R. 102-121.

2. Balatsky E. V, Ekimova N.A. (2017) The competition of economic journals in Russia: the results of three waves of rating // Economic policy. V. 12. № 6. P. 178-201.

3. Balatsky E.V., Ekimova N.A. (2018) Opportunities for consolidating rating products in the Internet environment // Economic and social changes: facts, trends, forecast. V. 11. № 2. P. 37-51.

4. Moskovkin V.M, Sun X. (2017) Development of methods for determining the ratings of scientists on the basis of the Russian Science Citation Index // Scientific and Technical Information. Ser. 1. Organization and methods of information work.

5. Moskovkin V.M, Sun X. (2017) Rating of economists: the current state of the issue and prospects for further research // Scientific periodicals: problems and solutions. V. 7. № 1. P. 20-45.

6. Aukutsionek S, Churkina G. (2002) Economic journals in the period of market reforms // Questions of economy. № 2. P. 130-145.

7. Dezhina I.G., Dashkeeva V.V. (2008) Does Russia have leading economists and who are they? Moscow: IET. 21 p.

8. Balatsky E. V (2016) Gold rating of academic activity and popularity of economists of Russia / Non- ergodic economy, 02.25.2016. http://nonerg-econ.

9. Balatsky E. V. (2018) Rating of academic activity and popularity of economists of Russia / Non-ergodic economy. http://nonerg-econ.ru/cat/18/7.

10. Aleskerov F. T., Pislyakov V. V., Subochev A. N. (2013) Building rankings of journals in economics using the methods of the theory of collective choice. Preprint WP7. № 3.

11. Aleskerov F.T., Pislyakov V.V., Subochev A. N., Chistyakov A. G. (2011) Building ratings of

12. management journals using collective selection methods. Preprint WP7. № 4.

13. Muravyov A. A. (2013) On the scientific importance of Russian journals in economics and related disciplines // Questions of Economics. № 4. P. 130-151.

14. Balatsky E.V., Ekimova N.A. (2015) Experience in compiling the rating of Russian economic journals // Questions of Economics. № 8. P. 99-115.

15. Rubinstein A.Y. (2016) Ranking of Russian economic journals: the scientific method or the "game of the game"? // Journal of a new economic association. № 2 (30). P. 162-175.

16. Subochev A.N. (2016) How different are the existing ratings of Russian scientific journals in economics and management and how to combine them // Journal of New Economic Association. № 2 (30). P. 181-192.

17. Sterligov I.A. (2014) Pilot project for the evaluation of Russian scientific journals. Moscow: HSE.

18. Balatsky E.V., Ekimova N.A. (2018) Rating of the leading economic journals of Russia / Non-ergodic economy. http://nonerg-econ.ru/cat/18/8.

19. Rubinstein A. Y, Burakov N.A., Slavinskaya O.A. (2017) Community of Economists and Economic Journals (Sociological Measurements of VS B...