Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг

Размещено на http://www.allbest.ru/

Сравнение международных рейтингов и результатов российского Мониторинга эффективности деятельности вузов по методике анализа лиг

В.Г. Наводнов

Г.Н. Мотова

О.Е. Рыжакова



Аннотация

образовательный оценивание лига

Представлена новая методика, позволяющая проводить сравнительный анализ деятельности образовательных организаций при разных процедурах оценивания, -- метод анализа лиг (МетАЛиг). Она дает возможность строить агрегированные таблицы лиг вузов по результатам оценивания, проведенного в разных системах, с использованием известных методов сверток из теории голосования в малых группах. Тем самым появляется возможность агрегировать абсолютно разные оценки вуза в единую оценку в форме таблиц лиг и проводить сравнительный анализ разных подходов к оцениванию. Применение МетАЛиг позволило решить задачу сравнительного анализа результатов деятельности российских вузов -- участников Проекта «5100», отраженных в наиболее известных международных рейтингах: ARWU, QS, THE. Предложена формализация понятия «мировой рейтинг», позволившая визуализировать динамику развития лучших российских вузов и сравнить ее с динамикой развития лучших вузов других стран (США, Великобритания, Австралия, Германия, Китай). Рассматривается также вариант использования МетАЛиг на национальном уровне для анализа результатов Мониторинга эффективности деятельности вузов и их сравнения с позициями в «мировом рейтинге». Делается вывод о возможности применения данной методики органами управления образованием, а также исследователями и образовательными организациями для определения направлений стратегического развития как отдельных вузов, так и отечественной системы высшего образования в целом.



Сбор, обработка и анализ статистической информации являются сегодня основой большинства механизмов и методов управления в социальных и экономических системах, и в частности в сфере образования [Alden, Lin, 2004; Rauhvargers, 2011; Tofallis, 2012; Аржанова и др., 2013].

Государственная образовательная политика в последние пять лет характеризуется особым вниманием к повышению качества и конкурентоспособности российского образования. Для этих целей были введены в практику и активно используются два основных механизма: рейтинг и мониторинг Доклад Правительства Российской Федерации Федеральному Собранию Российской Федерации о реализации государственной политики в сфере образования (2017). http://static.government.ru/media/files/ i6yH0TiCpoJ6dcd0zebKpxcts8ttFE42.pdf..

С одной стороны, это два различных механизма управления системой образования, имеющие разные целевые установки. Участие ведущих российских вузов в международных рейтингах имеет целью повышение конкурентоспособности российского образования и свидетельствует о его качестве и признании на международном уровне. Целью мониторинга в системе высшего образования России является оптимизация сети образовательных организаций и повышение эффективности национальной системы образования в целом.

С другой стороны, инициированные государством, эти механизмы направлены на повышение качества образования и его эффективности, являясь, таким образом, «вектором развития» как отдельных университетов, так и системы высшего образования в целом, и оба инструмента административно и финансово поддерживаются государством. Система Мониторинга эффективности деятельности вуза (МЭДВ) регламентируется Федеральным законом от 29 декабря 2012 г. № 273-ФЗ «Об образовании в Российской Федерации», постановлением Правительства РФ от 5 августа 2013 г. № 662 «Об осуществлении мониторинга системы образования» и ежегодным приказом «О проведении мониторинга эффективности образовательных организаций высшего образования». Государственная программа «5-100», направленная на поддержку крупнейших российских вузов, разработана и запущена Министерством образования и науки Российской Федерации в соответствии с указом Президента РФ от 7 мая 2012 г. № 599 «О мерах по реализации государственной политики в области образования и науки».

Механизмы оценки, используемые в рейтингах и мониторингах, различаются содержанием оценки, организацией процедур и представлением результатов. Обе системы оценивания измеряют различные аспекты деятельности вуза, учитывая показатели, которые допускают количественную и в отдельных случаях качественную оценку. Итоговые данные международных рейтингов представлены в виде списка в определенной последовательности, а результатом МЭДВ является бинарная оценка (соответствует или не соответствует).

И рейтинги, и мониторинг проводятся ежегодно и оценивают вуз в целом (институциональное оценивание). Они основаны на сборе, обработке (методах свертки) и анализе количественной информаций.

Целью данного исследования является разработка методики сравнения (соотнесения) различных процедур оценивания, основанных на сборе количественной информации, в частности нескольких международных рейтингов и МЭДВ, а также оценка связи между двумя разными (международными и национальным) подходами к оцениванию.

Для достижения цели были поставлены следующие задачи.

Определить и сравнить основные требования международных рейтингов и требования МЭДВ.

Предложить математическую модель для сравнения различных процедур оценивания.

Использовать предложенную модель для построения таблиц лиг по результатам международных рейтингов и МЭДВ.

Предложить понятие агрегированного («мирового») рейтинга.

Оценить корреляции результатов международных рейтингов и МЭДВ.

В качестве примера процедур международного оценивания использованы рейтинги так называемой большой тройки -- это авторитетные международные рейтинги ARWU, QS и THE [Harvey, 2008; Наводнов и др., 2012], именно они пользуются доверием мировой общественности и учитываются как достижения в рамках Проекта «5-100», который был запущен Минобрнауки Россииз с 2014 г. Российская система оценивания представлена результатами МЭДВ, разработанного и используемого Минобрнауки России с 2012 г. В последние годы мировые рейтинги переходят на предметный уровень, но в данном исследовании предметные рейтинги не рассматриваются. С 2018 г. -- Министерство науки и высшего образования Российской Фе-дерации. Здесь и далее рассматривается деятельность Министерства образования и науки Российской Федерации (Минобрнауки России). Официальный сайт Главного информационно-вычислительного центра Министерства науки и высшего образования Российской Федерации. https://miccedu.ru/monitoring/.

Формулировка модели

На основе методов сверток в процедурах голосования в малых математической группах [Ларичев, 2000; Петровский, 2009] предложена новая методика анализа лиг (МетАЛиг), позволяющая проводить сравнительный анализ деятельности образовательных организаций при различных процедурах оценивания.

Пусть результаты какого-либо оценивания совокупности образовательных организаций {а ;} представлены в виде линейно упорядоченной порядковой шкалы Z, т. е. введены бинарные отношения, и любые два элемента сравнимы (больше, меньше, равно). Такую процедуру называют рейтингом.

Рассмотрим случай л-систем оценивания, когда итоговые результаты различных форм оценивания представляются в виде совокупности линейно упорядоченных шкал X,, где / = 1, N.

Разобьем каждую такую шкалу ^ на непересекающиеся связные группы А), Б), С), ... X) с естественным порядком а: > Ь; > с; ...>х;, если А) > Б) > С) > ... > X. Для каждой шкалы может быть различное собственное разбиение. Через А1 будем обозначать оценку той образовательной организации а;, которая попала в первую группу А). Б) -- оценка образовательной организации Ь, которая попала во вторую группу Б) соответственно, и т. д. Элементы а, попавшие в одну группу, считаются равными.

По совокупности всех процедур оценивания каждая образовательная организация получает вектор оценок, например (А3, Б, С, ... Х„).

Поскольку рейтинги строятся по разным показателям и разным методикам, непосредственное агрегирование представляет сложную задачу. Продуктивными могут оказаться подходы, разработанные для других задач в теории принятия решений. Для перехода от многокритериального выбора к однокритериальной задаче используем аналоги методов Борда, Кондорсе, Симпсона и др., применяемых в процедурах голосования в малых группах [Ларичев, 2000; Петровский, 2009]. Эти различные процедуры дают, вообще говоря, различные итоговые результаты.

В данной работе рассмотрим только одну (интуитивно понятную) процедуру -- Борда. Другие процедуры требуют более сложных алгоритмов и специализированного программного обеспечения. Их описание выходит за рамки данной статьи.

В процедуре Борда каждому элементу а 1 приписывается ранг. Если имеется к областей, то первой упорядоченной области приписывается ранг, равный (к - 1), второй -- (к - 2) и т. д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов. Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов, приписываемых областям.

Таким образом, каждая область (а, следовательно, и все образовательные организации, входящие в нее) получает определенное количество баллов. И все образовательные организации в каждой системе оценивания разбиваются на определенное количество лиг. Фактически для совокупности процедур оценивания мы получили новую агрегированную процедуру оценивания в форме лиг. В частном случае п = 2 агрегированную систему оценивания можно представить на плоскости в форме матрицы МакКинси. Аналитическая модель МакКинси представляет собой построение двумерной матрицы путем сравнения отдельных участников исследования на основании ряда критериев. Таким образом, позиция каждой образовательной организации отображается в двумерном пространстве. При п = 3 модель совпадает с моделью Абеля, где для графического представления используется трехмерное пространство [Божук, Ковалик, 2004; Наводнов, Рыжакова, 2018]. В этой работе мы обобщаем эти модели на п-мерный случай.

Каждая образовательная организация получает свой индекс Борда, по значению которого все образовательные организации естественным образом ранжируются и разбиваются на лиги.

Анализ результатов и их интерпретация

С целью апробации данной методики сравним, как соотносятся процедуры международного оценивания (в частности, международные рейтинги «большой тройки») с российскими системами оценивания (в частности, с системой Мониторинга эффективности деятельности вузов), и проанализируем зависимость между двумя разными системами оценивания.

Предлагается создать единый агрегированный рейтинг на основе трех международных рейтингов и рейтинг на основе данных системы МЭДВ и применить полученные результаты для проведения сравнительного анализа.

Анализ позиционирования российских вузов в «мировом рейтинге»

Рейтинги в последнее время стали популярным инструментом исследования деятельности различных организаций, в частности в системе образования. Рейтинг -- это список объектов, расположенных в определенной последовательности в зависимости от оценок, полученных по различным показателям их деятельности. Как правило, по принципу «от лучших к худшим». Первый национальный университетский рейтинг появился в США в 1983 г. Этот метод оценки быстро развивался, и уже в 2003 г. был создан первый международный рейтинг учебных заведений. По данным Международной ассоциации по ранжированию организаций и университетов (IREG Observatory on Academic Ranking and Excellenc) Официальный сайт IREG. http://ireg-observatory.org/en/, сегодня в мире насчитывается более 100 академических рейтингов -- международных, региональных, национальных. Наиболее признанные международные рейтинги -- это Шанхайский рейтинг вузов мира (Academic Ranking of World Universities, ARWU) и два английских рейтинга: QS World University Rankings (QS) и Times Higher Education (THE) [Hou, Jacob, 2017; Shehatta, Khalid, 2016; Ларионова, 2012].

Один из способов привлечения абитуриентов для учебных заведений -- наращивание конкурентного преимущества перед другими организациями и достижение лидирующих позиций на рынке. Перспективы участия в международных рейтингах поставили перед российским академическим сообществом множество новых проблем, к решению которых в последнее время присоединяется все больше научно-педагогических коллективов [Салми, Фрумин, 2013; Фатхутдинов, 2006]. Эту деятельность активно поддерживает Министерство образования и науки РФ, которое инициировало Проект «5-100».

В целях дальнейшего совершенствования государственной политики в области образования и науки и подготовки квалифицированных специалистов с учетом требований инновационной экономики «...поставлена задача вхождения к 2020 г. не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов» Указ Президента Российской Федерации от 7 мая 2012 г. № 599 «О ме-рах по реализации государственной политики в области образования и науки»., а к 2025 г. -- не менее десяти. Но в Указе Президента не уточняется, какой именно рейтинг имеется в виду. Каждый рейтинг имеет собственные конкретные задачи и собственные методики расчета. В одних случаях акцент делается на научные достижения (вуза, преподавателей, выпускников), в других -- на интернационализацию и развитие мобильности и т. д. Университет вправе сам выбирать рейтинговые системы, в которых он хотел бы принимать участие, в зависимости от собственной миссии, целей и задач [Filinov, Ruchkina, 2002]. Однако во всех признанных международных рейтингах, как правило, лидируют одни и те же университеты, демонстрируя достижения по всем направлениям деятельности: ведущий вуз -- ведущий во всем.

Вполне оправдана постановка задачи агрегировать результаты нескольких рейтингов, чтобы получить относительно цельную картину динамики развития российских вузов по показателям международных рейтингов.

Для проведения настоящего исследования выбрана группа из 23 университетов. Это 21 университет -- участник Проекта «5-100» и два ведущих университета страны: Московский государственный университет им. М.В. Ломоносова и Санкт-Петербургский государственный университет. Таким образом, в исследовании принимают участие n = 1; 23 образовательных организаций. Каждая из них имеет определенную позицию в трех международных рейтингах. В международных рейтингах также представлены девять других российских университетов, которые не являются участниками Проекта «5-100», но в данное исследование они не включены.

На первом этапе предлагается сформировать агрегированный рейтинг на основе трех международных рейтингов--«большой тройки». Он позволит оценить позицию университета в мировой академической системе и отслеживать ее динамику.

Каждый из рейтингов «большой тройки» ежегодно отбирает 1000 лучших университетов мира. Разобьем шкалу на группы (рис. 1).



Рис. 1. Пример разбиения оси на области

А -- группа вузов, занимающих по шкале места с 1-го по 100-е; В' -- группа вузов, занимающих места со 101-го по 200-е, и т. д. Введем буквенную оценку: так, через А обозначим оценку того вуза, который попал в первую сотню лучших, через В -- оценку вуза, который попал во вторую сотню лучших, через С -- оценку вуза, который попал в третью сотню лучших и т. д. Оценки выставляются с естественным порядком: А > В > С > О > Е > Г > > О > Н. Тогда в каждом из рейтингов университет получает свою оценку.

По совокупности каждый вуз получает свой вектор оценок. Например, МГУ им. М. В. Ломоносова по рейтингу ОБ оценку имеет А (в первой сотне лучших), по рейтингу ТНЕ -- В (во второй сотне) и по рейтингу АЯШи -- А (в первой сотне). Таким образом, он получает векторную оценку (А, В, А).

Для перехода из многокритериального выбора к однокритериальной задаче воспользуемся процедурой Борда. В данном случае на оценочной шкале восемь областей, последняя, Н, получит ранг, равный 0 баллов, а первая, А, -- 7 баллов соответственно. Находим индекс Борда, который рассчитывается как сумма рангов принадлежности к областям по каждому элементу а.

Предложенный метод ранжирования позволяет разделить все вузы исследуемой группы на лиги. Максимальное суммарное значение, которое может набрать вуз, -- 21 балл, а минимальное -- 0. Таким образом, все вузы естественным образом разбиваются на 22 лиги. В первой лиге будут представлены образовательные организации, которые по всем трем рейтингам вошли в первую сотню лучших, т. е. векторная оценка имеет вид (А, А, А), и в этом случае индекс Борда равен 21. В последнюю лигу попадут образовательные организации, которые не вошли в 1000 лучших университетов мира по всем трем рейтингам, т. е. векторная оценка имеет вид (Н, Н, Н). В этом случае индекс Борда равен 0.

Для исследуемой группы использовались результаты трех рейтингов 2018 г., для каждого из представленных вузов были рассчитаны векторная оценка, индекс Борда и присуждена лига (табл. 1).

Таблица 1. Результаты, полученные с использованием МетАЛиг для исследуемой группы по данным международных рейтингов 2018 г.

Вузы (участвующие в Проекте «5-100», МГУ, СПбГУ)	QS2018	ТНЕ2018	ARWU2018	Оценка	Индекс Борда	Лига
Московский гос. ун-т им. М. В. Ломоносова	95	194	86	АВА	20	2
Санкт-Петербургский гос. ун-т	240	401-500	301-400	CED	12	10
Московский физико-технический ин-т (МФТИ)	355	251-300	401-500	DCE	12	10
Новосибирский гос. ун-т (НГУ)	250	401-500	401-500	СЕЕ	11	11
Высшая школа экономики (ВШЭ)	382	351-400	901-1000	DDG	9	13
Томский политехнический ун-т (ТПУ)	386	301-350	901-1000	DDG	9	13
Нац. исслед. ядерный ун-т «МИФИ»	373	401-500	--	DEH	7	15
Казанский (Приволжский) фед. ун-т (КФУ)	441-450	401-500	801-900	ЕЕв	7	15
Томский гос. ун-т (ТГУ)	323	501-600	701-800	DFG	7	15
Нац. исслед. технологический ун-т «МИСиС»	501-550	601-800	801-900	FFG	5	17
Ун-т ИТМО	601-650	501-600	801-900	FFG	5	17
Санкт-Петербургский политехнический ун-т им. Петра Великого (СПбПУ)	401-410	601-800	--	EFH	5	17
Самарский нац. исслед. ун-т им. академика С. П. Королева (Самарский ун-т)	801-1000	601-800	--	GFH	3	19
Уральский фед. ун-т (УрФУ)	491-500	1001+	--	ЕНН	3	19
Нижегородский гос. ун-т им. Н. И. Лобачевского (ННГУ)	701-750	801-1000	--	GGH	2	20
Дальневосточный фед. ун-т (ДВФУ)	601-650	1001+	--	FHH	2	20
Российский ун-т дружбы народов (РУДН)	501-550	1001+	--	FHH	2	20
Балтийский фед. ун-т им. И. Канта (БФУ им. И. Канта)	--	--	--	ннн	0	22
Первый Московский гос. медицинский ун-т им. И. М. Сеченова (МГМУ им. И. М. Сеченова)	--	1001+	--	ннн	0	22
Санкт-Петербургский гос. электротехнический ун-т (ЛЭТИ)	--	--	--	ннн	0	22
Сибирский фед. ун-т (СФУ)	--	1001+	--	ннн	0	22
Тюменский гос. ун-т (ТюмГУ)	--	--	--	ннн	0	22
Южно-Уральский гос. ун-т (ЮУрГУ)	--	--	--	ннн	0	22

Предложенная методика позволяет дать определение понятию «мировой рейтинг». Оно активно используется в системе образования (например, в приведенном выше Указе Президента Российской Федерации от 7 мая 2012 г. № 599: «...вхождение <...> в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов») и обычно смешивается с понятием «международный рейтинг». В настоящее время нет также четкого определения понятия «мировой университет» (все университеты имеют национальную принадлежность), и в данном случае скорее имеется в виду устоявшееся понятие «университеты мирового класса» [Salmi, 2009; 2016]. Под международными рейтингами, как правило, понимаются рейтинги, объектом анализа в которых являются университеты всех стран [Полихина, Тростянская, 2018], вместе с тем субъектом проводимого рейтинга является организация, имеющая национальную идентификацию. В ряде исследований используется также понятие «глобальный рейтинг», близкое по содержанию понятию «международный рейтинг».

Термин «мировой рейтинг» не имеет четкого определения, вероятно, в силу отсутствия мирового (наднационального) субъекта для проведения сравнительных исследований университетов всего мира. Мы предлагаем понимать под «мировым рейтингом» агрегированный рейтинг, полученный в результате применения процедуры МетАЛиг. Такое определение имеет допущения и ограничения, поскольку предполагает субъективно выбранное конечное количество признанных международной общественностью n рейтингов. Достоинство такого подхода состоит в том, что он учитывает совокупность различных подходов к оцениванию, предложенных организациями (субъектами) разных стран. Совокупность субъективных методик оценивания может дать относительно объективный результат.

Такое определение также допускает множественность итоговых результатов, которые зависят от:

а) количества и перечня выбранных исходных рейтингов;

б) процедуры разбиения шкал оценивания каждого из выбранных рейтингов;

в) процедур свертки (Борда, Кондорсе, Симпсона и т. п.).

МетАЛиг позволяет отслеживать динамику вуза (рис. 2) в «мировом рейтинге». На рис. 2 представлена динамика изменения лиг шести лучших вузов России, полученная при разбиении шкал как на рис. 1.



Рис. 2. Динамика изменения лиг шести лучших вузов России

Рис. 3. Динамика изменения суммы лиг для пяти лучших вузов России в совокупности

Рисунок 2 однозначно свидетельствует о том, что с начала финансирования Проекта «5-100» прогресс заметен. Но пока в первой сотне «мирового рейтинга» представлен только один российский вуз -- МГУ им. М.В. Ломоносова.

Если посмотреть на показатели пяти лучших вузов в совокупности, можно также отметить определенный прогресс: в 2014 г. Россия была в 15-й лиге, а в 2018 г. -- в 9-й лиге (рис. 3).

На рис. 4 представлено сравнение позиций пяти лучших вузов России с пятью лучшими вузами США, Великобритании, Австралии, Китая и Германии [Kusumastuti, Idrus, 2017; Levin, Jeong, On, 2007; Задорожнюк, Коростелева, Тебиев, 2019; Прохоров, Свирина, Чехонадских, 2016] в динамике. Вывод очевиден: показатели России (по сумме пяти лучших вузов) поступательно растут, но до мировых лидеров еще далеко.

Рис. 4. Динамика изменения суммы лиг по представлению пяти лучших вузов страны

Анализ эффективности ведущих вузов по результатам мониторинга

В последние годы в России одним из самых обсуждаемых методов оценивания стал Мониторинг эффективности деятельности вузов, который введен в практику Минобрнауки России с 2012 г. В отличие от рейтингов эта процедура оценивания массовая, она учитывает результаты деятельности практически всех вузов страны и их филиалов. Процедура МЭДВ стала знаковой государственной оценкой деятельности вузов, его результаты являются основой для принятия управленческих решений [Прохоров, Свирина, Чехонадских, 2016].

МЭДВ -- это дополнительное статистическое наблюдение, по итогам которого оценивается деятельность вузов. По результатам МЭДВ образовательные организации делятся на две группы: эффективные и остальные.

Минобрнауки России, используя административный ресурс, проделало большую работу по созданию МЭДВ:

* определило показатели и индикаторы, по которым проходит сбор информации В данной работе мы не анализируем валидность данных показателей для развития системы образования.;

разработало специализированное программное обеспечение для сбора и систематизации данных;

ежегодно начиная с 2013 г. производило сбор данных и их выборочную верификацию.

Фактически министерство построило таблицу лиг, но выделило лишь две лиги: эффективные вузы и остальные (первоначальное определение «неэффективные»). Однако бинарная шкала оценки не дает полной картины. Есть вузы, которые легко преодолели все пороговые значения, а есть вузы, преодолевшие пороговые значения с большим трудом, есть также вузы, не преодолевшие порог почти по всем показателям. Методика деления на лиги является более тонким инструментом, чем бинарная шкала, и она может быть значительно эффективнее использована для управления системой образования [Мотова, Наводнов, 2018]. Предлагается построить агрегированный рейтинг на основе данных МЭДВ с применением МетАЛиг, чтобы сравнить конкретный вуз с другими вузами страны и отследить его динамику за несколько лет.

Образовательные организации ежегодно представляют в Минобнауки России формализованные отчеты по семи направлениям деятельности. Предлагается на основе открытых официальных статистических данных по результатам ежегодного мониторинга разработать и описать новую математическую модель для ранжирования образовательных организаций на основе многокритериальной оптимизации с использованием методов теории голосования. Предложенная методика ранжирования позволит разделить все вузы, участвовавшие в МЭДВ, на п групп, т. е. создать более тонкий инструмент дифференциации.

В МЭДВ используются семь показателей, все они количественные, и по каждому (с учетом специфики вуза) проводится ранжирование образовательных организаций в порядке убывания значений показателя и выделяется пороговое значение [Вильданов, Наводнов, Рыжакова, 2017]. Соответственно по каждому из показателей строится диаграмма ранжирования, которую можно разбить на четыре естественные области (квартили). Первоначально в принятой Минобнауки России методике расчета показателей медианное значение совпадало с пороговым значением, но в последние годы пороговое значение отлично от медианного, что позволяет выделить пятую область (рис. 5).

Введем, как и ранее, буквенную оценку: так, через А обозначим оценку того вуза, который попал в первый квартиль диаграммы ранжирования; через В -- вуз, который попал во второй квартиль; через С -- вуз, не пересекший порогового значения; через О -- вуз, который попал в третий квартиль и пересек пороговое значение; через Е-- вуз, который попал в последний квартиль диаграммы ранжирования. Оценки выставляются с естественным порядком, где А > В > С > О > Е. Соответственно по каждому рейтингу выставляем вектор оценок каждому университету.

Каждый вуз исследуемой группы получает некий вектор оценок, где каждая координата представляет собой буквенный символ в зависимости от того, в какую область он попал по каждому показателю. Например, МГУ им. М.В. Ломоносова по показателю «Образовательная деятельность» имеет оценку А, по показателю «Научно-исследовательская деятельность» -- оценку А, «Международная деятельность» -- оценку В, «Финансово-экономическая деятельность» -- оценку В, «Заработная плата ППС» -- оценку С, «Трудоустройство» -- оценку В, по Дополнительному показателю образовательных организаций -- оценку А.

Применим процедуру Борда для определения лиги, в которую попал вуз по данным МЭДВ. Каждая область в упорядоченном представлении получает определенное количество баллов с шагом 1, так что последняя область получает 0. В данном случае это пять областей, последняя, Е, получит 0 баллов, а первая, А,-- 4 балла соответственно. Из многокритериального выбора к однокритериальной задаче переходим с использованием метода свертки критериев. Вводится индекс Борда, т. е. мы суммируем полученные оценки.

Рис. 5. Разбиение диаграммы ранжирования на области

Максимальное суммарное значение индекса Борда, которое может получить вуз, равно 28, а минимальное -- 0. Таким образом, возможно разбиение университетов на 29 лиг. В первой лиге будут представлены вузы, у которых оценки по всем семи показателям равны А, т. е. многомерная оценка представлена вектором (А, А, А, А, А, А, А), в этом случае индекс Борда равен 28.

Таблица 2. Результаты, полученные с использованием МетАЛиг для исследуемой группы по данным МЭДВ

Вузы (участвующие в Проекте «5-100», МГУ, СПбГУ)	Оценка	Индекс Борда	Лига
Томский политехнический ун-т (ТПУ)	АААААВА	27	2
Нац. исслед. ядерный ун-т «МИФИ»	ААААВАА	27	2
Казанский (Приволжский) фед. ун-т (КФУ)	АААААВА	27	2
Ун-т ИТМО	АААААВА	27	2
Высшая школа экономики (ВШЭ)	ААВААВА	26	3
Московский физико-технический ин-т (МФТИ)	АААААСА	26	3
Новосибирский гос. ун-т (НГУ)	ААВААВА	26	3
Томский гос. ун-т (ТГУ)	АААААСА	26	3
Нац. исслед. технологический ун-т «МИСиС»	ААААВВА	26	3
Санкт-Петербургский политехнический ун-т им. Петра Великого (СПбПУ)	ААААВВА	26	3
Российский ун-т дружбы народов (РУДН)	АААААСА	26	3
Самарский нац. исслед. ун-т им. академика С.П. Королева (Самарский ун-т)	ААСВААА	25	4
Уральский фед. ун-т (УрФУ)	ААВВАВА	25	4
Дальневосточный фед. ун-т (ДВФУ)	ВААААСА	25	4
Санкт-Петербургский гос. ун-т	ААААССА	24	5
Нижегородский гос. ун-т им. Н.И. Лобачевского (ННГУ)	ААСВАВА	24	5
Балтийский фед. ун-т им. И. Канта (БФУ им. И. Канта)	ААВВАСА	24	5
Первый Московский гос. медицинский ун-т им. И.М. Сеченова (МГМУ им. И.М. Сеченова)	ААААССА	24	5
Санкт-Петербургский гос. электротехнический ун-т (ЛЭТИ)	АААВСВА	24	5
Московский гос. ун-т им. М.В. Ломоносова	ААВВСВА	23	6
Сибирский фед. ун-т (СФУ)	ААСАССА	22	7
Южно-Уральский гос. ун-т (ЮУрГУ)	ВААСВВВ	22	7
Тюменский гос. ун-т (ТюмГУ)	ВАВАСВС	21	8

В последнюю лигу попадут те вузы, у которых по всем показателям оценки Е, в этом случае индекс Борда равен 0.

Для исследуемой группы использовались результаты МЭДВ, представленные Минобнауки России в 2017 г.8 Для каждого На момент проведения исследования и подготовки статьи данные по 2018 г. опубликованы не были. из представленных вузов были рассчитаны векторная оценка, индекс Борда и определена лига (табл. 2).

Предлагаемый подход также позволяет отслеживать динамику вуза. За годы реализации МЭДВ у некоторых вузов заметен рост показателей, однако есть вузы с отрицательной динамикой (рис. 6, 7).



Рис. 6. Динамика изменения лиг четырех лучших вузов

Рис. 7. Динамика изменения лиг четырех других ведущих вузов

Приведенный пример использования МетАЛиг основан только на данных МЭДВ и представляет собой вариант свертки семи разных показателей в один (принадлежность к лиге). Однако в России в настоящее время реализуются несколько национальных проектов по мониторингу и оценке качества образования. При желании (или необходимости) методика позволяет формировать агрегированный «наднациональный» рейтинг достижений российских вузов, учитывающий разные подходы и правила оценки.



Рис. 8. Диаграмма рассеяния

Сопоставление динамики развития ведущих вузов по результатам разных методов оценивания

Предложенная в данном исследовании методика позволяет определить позиции каждого вуза представленной группы в определенной лиге в соответствии с агрегированным «мировым рейтингом» (в данном случае на основе трех международных рейтингов) и в соответствии с агрегированным рейтингом по данным МЭДВ.

Методика расчета лиг, разработанная на основе теории голосования в малых группах, показала свою универсальность и пригодность для анализа результатов, полученных с помощью разных методов оценивания. Она также позволяет провести сопоставление различных методов и подходов, существенно различающихся по целям и задачам оценивания, по методам обработки (свертки) полученных данных и представления результатов. Такое сопоставление вполне возможно при наличии данных по всем вузам исследуемой группы в определенный промежуток времени. В этом случае появляется возможность определить наличие (отсутствие) корреляции результатов разных механизмов оценки.

На координатную плоскость нанесем вузы исследуемой группы, они обозначены точками, где по оси абсцисс указана лига, в которую они попали в соответствии с агрегированным международным рейтингом, а по оси ординат -- лига, полученная в российском МЭДВ (рис. 8).

Из рис. 8 видно, что в МЭДВ лидируют те вузы, которые не лидируют в международных рейтингах, и наоборот. Коэффициент корреляции двух построенных агрегированных рейтингов Я = 0,32 -- связь двух систем оценивания слабая, но все-таки положительная.

При всей очевидности полученного результата сопоставления он базируется на математической модели расчета и позволяет сделать важные выводы для определения государственной образовательной политики. Она направлена на повышение позиций отечественных вузов в мировых международных рейтингах, с одной стороны, а с другой -- на повышение эффективности деятельности всей высшей школы России в целом.

Перед вузами, которые входят в Проект «5-100», стоят сразу две задачи: добиваться высоких показателей в МЭДВ и занимать достойное место в мировых рейтингах. Такие требования к ведущим вузам страны обоснованны и логичны, но, как показало наше исследование, это разные требования. Лидеры международного агрегированного рейтинга не являются лидерами в МЭДВ.

Если в первых двух случаях использования методики результаты агрегированных рейтингов имели большое значение прежде всего для вузов -- их участников, то результаты сопоставления двух механизмов управления качеством образования важны для оценки эффективности государственной образовательной политики. Речь идет не о необходимости ориентировать показатели МЭДВ на показатели международных рейтингов, скорее -- о балансе приоритетов и согласовании целей.

3. Выводы Методика анализа лиг (МетАЛиг), представленная в исследовании, позволяет строить агрегированные таблицы лиг вузов по результатам разных систем оценивания. Процедура использования методики двухэтапная. На первом этапе результаты оценивания вузов (в форме рейтингов или мониторингов) представляются в форме таблиц лиг. На втором этапе с использованием известных методов сверток из теории голосования в малых группах (Борда, Кондорсе, Симпсона и т. п.) формируется агрегированная таблица лиг. Такой подход позволяет агрегировать абсолютно разные оценки вуза в единую оценку в форме таблиц лиг и проводить сравнительный анализ разных вариантов оценивания.

Преимуществом МетАЛиг является использование только открытых официальных статистических данных и новых методов расчета. Методика используется для проведения сравнительного анализа разных систем оценивания и создания нового «мирового рейтинга» как результата агрегирования известных рейтингов. Кроме того, она позволяет увидеть общую картину системы управления высшим образованием с двух разных точек зрения: с позиций международного позиционирования вуза и в контексте выполнения национальных требований, а также сделать выводы о взаимосвязи подходов к оценке качества образования.

МетАЛиг может стать удобным и эффективным механизмом комплексной оценки субъектов образовательной деятельности и в дальнейшем использоваться как органами управления образованием, так и исследователями и образовательными организациями.

Органы управления образованием могут опираться на понятие «мирового рейтинга» (агрегированного международного рейтинга) при определении эффективности вложений в Проект «5-100». Как показало исследование, прогресс в повышении конкурентоспособности вузов--участников проекта есть, но явно недостаточный.

МетАЛиг может также применяться при осуществлении мониторинга деятельности вузов -- для более тонкой кластеризации вузов в форме таблиц лиг [Вильданов, Наводнов, Рыжакова, 2017]. При использовании совокупности различных инструментов мониторинга (например, мониторингов, проводимых Минобрнауки России, Рособрнадзором, независимых систем оценки качества образования) инструмент агрегирования (в формате лиг) позволит анализировать динамику развития системы высшего образования «в целом».

На основе МетАЛиг могут быть построены «наднациональные» рейтинги как агрегирование нескольких национальных рейтингов. Вузам -- участникам международных и национальных рейтингов методика построения единых «мирового» и «наднационального» рейтингов позволит отслеживать динамику своего участия «в целом» по совокупности рейтингов и проектов, в которых они принимают участие.



Литература

1. Аржанова И.В., Барышникова М.Ю., Жураковский В.М. и др. (2013) Модельная методология многомерного ранжирования российских вузов // Вестник международных организаций: образование, наука, новая экономика. Т. 8. № 1.

2. Божук С.Г., Ковалик Л.Н. (2004) Маркетинговые исследования. СПб.: Питер.

3. Вильданов Р.К., Наводнов В.Г., Рыжакова О.Е. (2017) Семь оттенков мониторинга // Аккредитация в образовании. № 94. С. 64-73.

4. Задорожнюк И.Е., Коростелева Л.Ю., Тебиев Б.К. (2019) Топ-200 вузов в четырех международных рейтингах // Высшее образование в России. Т. 28. № 3. С. 85-95.

5. Ларионова М.В. (2012) Методология сравнительного анализа международных подходов ранжирования высших учебных заведений // Вестник международных организаций: образование, наука, новая экономика. Т. 7. № 1. С. 34-69.

6. Ларичев О.И. (2000) Теория и методы принятия решений, а также Хроника событий в Волшебных Странах: учебник. М.: Логос.

7. Мотова Г.Н., Наводнов В.Г. (2018) От институциональной аккредитации к мониторингу эффективности // Высшее образование в России. № 4. С. 9-21.

8. Наводнов В.Г., Мотова Г.Н., Кузьминых Ж.О., Красильникова Н.В. (2012) Рейтинги вузов: глобальные и национальные: учебно-методические материалы к семинару. Йошкар-Ола: Учебно-консультационный центр.

9. Наводнов В.Г., Рыжакова О.Е. (2018) Обобщение модели Мак-Кинси для ранжирования образовательных организаций высшего образования с равнозначными критериями // Вестник Поволжского государственного технологического университета. (Экономика и управление). № 2 (38). С. 5-18. doi: 10.15350/2306-2800.2018.2.5.

10. Петровский А.Б. (2009) Теория принятия решений. М.: Академия.

11. Полихина Н.А., Тростянская И.Б. (2018) Рейтинги университетов: тенденции развития, методология изменения. М.: ФГАНУ «Социоцентр».

12. Прохоров С.Г., Свирина А.А., Чехонадских А.И. (2016) Мониторинг эффективности: инструмент сокращения или поиск точек роста? // Высшее образование в России. № 1 (197). С. 63-68.

13. Салми Д., Фрумин И.Д. (2013) Как государства добиваются международной конкурентоспособности университетов: уроки для России // Вопросы образования/Educational Studies Moscow. № 1. С. 25-68.

14. Фатхутдинов Р.А. (2006) Управление конкурентоспособностью вуза // Высшее образование в России. № 9. С. 35-37.

15. Alden J., Lin G. (2004) Benchmarking the Characteristics of a World Class University: Developing an International Strategy at University Level. London: The UK Higher Education Leadership Foundation.

16. Filinov N.B., Ruchkina S. (2002) Ranking of Higher Education Institutions in Russia: Some Methodological Problems // Higher Education in Europe. Vol. 27. No 4. P. 407-421.

17. Harvey L. (2008) Rankings of Higher Education Institutions: A Critical Review // Quality in Higher Education. Vol. 14. Iss. 3. P. 187-207.

18. Hou Y.W., Jacob W.J. (2017) What Contributes More to the Ranking of Higher Education Institutions? A Comparison of Three World University Rankings // International Education Journal: Comparative Perspectives. Vol. 16. No 4. P. 29-46.

19. Kusumastuti D., Idrus N. (2017) Nurturing Quality of Higher Education through National Ranking: A Potential Empowerment Model for Developing Countries // Quality in Higher Education. Vol. 23. Iss. 3. P. 230-248.

20. Levin H., Jeong D.W., On D. (2007) What is a World Class University? Paper Prepared for the 2006 Conference of the Comparative & International Education Society. www.tc.columbia.edu/centers/ coce/pdf files/c12.pdf.

21. Rauhvargers A. (2011) Global University Rankings and Their Impact. Brussels: European University Association.

22. Salmi J. (2009) The Challenge of Establishing World-Class Universities. Washington: The International Bank for Reconstruction and Development.

23. Salmi J. (2016) Excellence Strategies and the Creation of World-class Universities. Matching and Perfomance. Rotterdam: Sense Publishers. P. 15-48.

24. Shehatta I., Khalid M. (2016) Correlation among Top 100 Universities in the Major Six Global Rankings: Policy Implications // Scientometrics. Vol. 109. Iss. 2. P. 1231-1254.

25. Tofallis C. (2012) A Different Approach to University Rankings // Higher Education. Vol. 63. No 1. P. 1-18.

Размещено на Allbest.ru

...