Как сконструировать национальный агрегированный рейтинг

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Национальный исследовательский университет «Высшая школа экономики»

Национальный центр профессионально-общественной аккредитации

Поволжский государственный технологический университет

Как сконструировать национальный агрегированный рейтинг

Болотов Виктор Александрович,

д-р пед. наук, академик РАО, научный руководитель Центра мониторинга качества образования

Мотова Галина Николаевна,

д-р пед. наук, заместитель директора

Наводнов Владимир Григорьевич,

д-р техн. наук, директор

Рыжакова Ольга Евгеньевна,

аспирант, кафедра прикладной математики и информационных технологий

г. Москва

г. Йошкар-Ола

Аннотация

рейтинг вуз самодиагностика

Впервые предложена методика проектирования национального рейтинга вузов на основе агрегирования всех известных публичных национальных рейтингов. Нова, я методика агрегирования МетАЛиг (Методика Анализа Лиг) может дать возможность отказаться от монополизма в оценивании (отсутствием диктата), и тем самым придать стимул к разработке независимой оценки деятельности вузов. Проведён анализ современного состояния процедур и методов независимого оценивания российских вузов в форме рейтингов и баз данных. Предложенная методика МетАЛиг основана на применении математического аппарата теории голосования в малых группах и позволяет агрегировать различные независимые оценки в единый формат. Рассматривается возможный подход к созданию такого единого национального рейтинга в форме 10 лиги приводятся результаты расчётов. Разработанные методики ранжирования и полученные результаты могут быть полезны для самодиагностики и активизации научной и организационно-методической деятельности вузов, а также при введении риск-ориентированного подхода в контрольно-надзорной деятельности.

Ключевые слова.: ранжирование вузов, рейтинг, национальный агрегированный рейтинг, таблица лиг, методика МетАЛиг, процедуры свёртки, независимая оценка деятельности вузов, риск-ориентированный подход

Основная часть

В последние годы рейтинги в сфере образования становятся всё более популярными и востребованными как за рубежом, так и в нашей стране. Причины понятны: это самый доступный, наглядный, относительно простой способ презентации сравнительной оценки и информации для принятия политических решений. Кроме того, они являют собой новый инструмент измерения и оценки деятельности вузов на национальном и международном уровне.

Об особом внимании к «повышению конкурентоспособности ведущих университетов Российской Федерации среди ведущих мировых научно-образовательных центров» 1 со стороны российского правительства и отраслевого министерства свидетельствует «Проект 5-100», который был инициирован в 2012 г. Указом Президента и имел чётко определённую задачу: «вхождение к 2020 году не менее пяти российских университетов в первую сотню ведущих мировых университетов согласно мировому рейтингу университетов». В 2019 г. принят к реализации Национальный проект «Образование», согласно которому Россия до 2024 г. должна выйти на 10-е место в мире по присутствию университетов в ТОП-500 глобальных рейтингов, а не менее 30 ведущих российских университетов, получающих господдержку, должны не менее двух лет подряд входить в топ-1000 международных рейтингов и в топ-200 как минимум одного предметного или отраслевого международного рейтинга. Вместе с тем считать данный проект массовым не приходится, поскольку в мировых рейтингах «большой тройки» (включая предметные рейтинги) представлено лишь 45 российских университетов, что составляет 6% общего числа вузов в России.

Чем обосновано такое внимание правительства страны к участию российских университетов в мировых рейтингах понятно. Оно сравнимо с участием в олимпийских играх. Но для российского потребителя (абитуриентов, самих вузов), органов управления образованием мировые рейтинги не слишком информативны. Гораздо в большей степени им нужны национальные и, возможно, региональные и отраслевые рейтинги. Но разные рейтинги (в том числе и мировые) из-за того, что они используют разные индикаторы, дают различные результаты для конкретного университета. Они имеют разных адресатов и строятся по разным методикам. Рейтингов много, и получить необходимую достоверную и обоснованную информацию непросто.

Постановка задачи. Идеальный рейтинг, который бы устраивал всех, построить невозможно. Рейтинг строится с определённой целью, для конкретного адресата и служит ему источником информации. Рейтинг субъективен, даже если основан на количественных данных и объективных факторах, особенно в тех случаях, когда вводится экспертная оценка значимости (весовые коэффициенты) отдельных показателей. Именно это - его субъективность в выборе показателей и методике их расчёта - в большей степени подвергается критике со стороны специалистов, а также тех, кого рейтингуют и кто не попал в топ.

Имея большой объём накопленных за последние годы и доступных данных по результатам рейтингов и мониторингов в системе высшего образования страны, можно предпринять попытку сконструировать национальный агрегированный рейтинг, в котором, с одной стороны, учесть весь положительный опыт (ориентация на результаты образовательной и научной деятельности, использование количественных измеряемых показателей и др.), а с другой - снизить фактор субъективизма: совокупность субъективных мнений может дать относительно объективный результат. Для этого необходимо изучить все существующие в настоящее время в стране рейтинги вузов, предложить правила их отбора для составления агрегированного рейтинга, ввести новый, интуитивно понятный и обоснованный математический аппарат - методику расчёта данных по результатам определённой выборки рейтингов. Такая методика, получившая название «МетАЛиг» [1], предполагает:

переход от мест в рейтингах к лигам;

использование нового математического аппарата свёрток, базирующихся на теории голосования в малых группах (Борда, Кондорсе, Симпсона, плюралитарной и др.);

введение новых «слабых» свёрток.

Решение задачи разработки относительно простой многофакторной системы построения рейтинга российских вузов [2; 3] позволит получить более объёмную картину их достижений, расширить круг участников и пользователей такого рейтинга, а значит, привлечь внимание к действительно важным для всей общественности проблемам развития высшей школы.

Методология исследования

Коротко остановимся на используемой методике МетАЛиг, которая предполагает представление результатов оценивания в формате лиг. Поскольку каждая рассматриваемая система оценивания носит количественный характер (место, балл), все вузы отранжированы в порядке убывания. По каждому отдельному рейтингу разбиваем шкалу ранжирования на непересекающиеся группы, например, на квартили (в данной работе мы преимущественно будем использовать такое разбиение). Хотя для каждой шкалы может быть, вообще говоря, различное собственное разбиение. В результате разбиения каждый вуз по каждому, - му рейтингу попадает в определённую группу (например, первую, вторую, третью или четвёртую квартиль) и получает соответствующую оценку А, Б, 0 или Ц. Таким образом, положение вуза может быть охарактеризовано п-мерным рейтингом, где п - число рассматриваемых рейтингов, например (А, D, С,…, В).

На следующем этапе на основе использования как известных, так и новых методов свёрток из теории голосования в малых группах формируется агрегированная таблица лиг. Для перехода от многокритериального выбора к однокритериальной задаче используются аналоги методов Борда, Кондорсе, Симпсона, плюралитарной и др. [4; 5]. Отметим, что различные процедуры свёрток дают, вообще говоря, различные итоговые результаты. В данной работе мы ограничимся рассмотрением только двух интуитивно понятных процедур - Борда и плюралитарной.

В процедуре Борда каждому элементу приписывается ранг. Если имеется k областей, то первой упорядоченной области приписывается ранг, равный (к-1), второй - (к-2) и т.д. Последнему объекту в упорядочении областей присваивается ранг, равный 0. Ранжирование объектов строится в порядке убывания суммы рангов. Лучший вариант определяется максимальным значением индекса Борда, который рассчитывается как сумма рангов, приписываемых областям. Принцип использования плюралитарной процедуры позволяет на основании полученных векторов оценок (А, D, С,… В) выстраивать ранжирование по «сумме первых мест» (т.е. получивших оценки А), далее - «сумме вторых мест» (т.е. получивших оценки Б) и т.д. Такая процедура используется, например, при подведении итогов олимпийских игр. Команды ранжируются по количеству золотых медалей, далее - серебряных и далее - бронзовых.

Дополнительно в данном исследовании предложено использование так называемых слабых свёрток - Вп, т. Во многих видах спорта участнику даётся три попытки, и выбирается лучший результат, т.е. выполняется свёртка В1>3. Суть процедуры состоит в том, что в итоговой оценке учитываются не все результаты, а только лучшие. Чем меньше п (количество лучших попыток) и больше т (общее количество попыток), тем результаты в целом, вообще говоря, лучше. В данной работе рассматриваются восемь рейтингов и, следовательно, использована свёртка В5,8. Но итоговая оценка вычисляется по пяти лучшим результатам (у каждого вуза они свои) из восьми оценок в целом. Отметим, что вопрос о выборе количества рейтингов, которые идут в зачёт, является дискуссионным: их может быть как больше, так и меньше. Понятно, что чем больше рейтингов с разной целевой направленностью и группой пользователей, тем больший системный результат мы можем получить.

Предлагаемая методика МетАЛиг позволяет агрегировать абсолютно разные оценки вуза, выраженные в «местах» и «баллах», в разных по своим подходам и методикам рейтингах и оценочных системах в единую оценку в форме таблиц лиг.

Обзор существующих в России рейтингов

По данным IREG IREG Observatory on Academic Ranking and Excellence. URL: http://ireg-observatory.org/en/, сегодня в мире насчитывается более 100 академических рейтингов различного уровня: международных, региональных, национальных, в том числе как институциональных, так и предметных.

Разработчиками рейтингов, как правило, являются независимые структуры (журналы, специализированные агентства), но могут выступать и государственные органы управления образованием (чаще всего неявно, в формате мониторингов, по резуль - татам которых и строятся рейтинги). Государство заинтересовано в развитии новых рейтингов, финансируя их создание через конкурсные процедуры. Но, как показывает практика, такие рейтинги существуют только пока есть государственное финансирование. В настоящее время в РФ почти нет рейтингов - «долгожителей». Например, обзор российских рейтингов, существовавших по состоянию на 2012 г., проведён Е. Балацким [6]. Из семи рейтингов, описываемых в его работе, на сегодняшний день остались лишь два (рейтинг «Интерфакс» и «Лучшие образовательные программы инновационной России»). Ещё одна проблема: рейтинги оценивают незначительное количество вузов, большинство вузов страны выпадает из их поля зрения. Кроме того, ни один из рейтингов не является доминирующим. Вместе с тем приметой последних лет является появление большого числа открытых баз данных (данные мониторинга эффективности вузов, результаты ЕГЭ и ФИЭБ, студенческих олимпиад и конкурсов, публикационной активности преподавателей, сведения о профессионально-общественной и международной аккредитации и др.), позволяющих оперативно создавать новые рейтинги.

Вопрос числа и правил выбора рейтингов для агрегирования их результатов, как мы отметили, остаётся дискуссионным. Сформулируем выбранные (на наш взгляд, очень мягкие) критерии отбора рейтингов и систем оценивания: публичность (полная информация представлена в открытом доступе); стабильность (существуют не менее трёх лет); массовость (оценивают не менее 100 вузов); периодичность (исследование проводится ежегодно). Таким критериям удовлетворяют только четыре рейтинга, представленные в таблице 1. Заметим, что незначительное повышение возраста рейтинга (до пяти лет) и (или) количества оцениваемых вузов («не менее 500») резко сужает поле для исследования. По нашему мнению, со временем требования к отбору рейтингов и систем оценивания должны, конечно же, повышаться. Только регулярно работающие системы оценивания, пользующиеся доверием широкой общественности, нужно включать в итоговый Национальный агрегированный рейтинг.

Таблица 1. Рейтинги, удовлетворяющие выделенным критериям отбора