Применение комплексных систем показателей при реализации программ повышения конкурентоспособности в контексте развития сотрудничества с индустрией и повышения экономической устойчивости университетов

Рассмотрим обзор научных исследований, относящихся к проблематике выбора индикаторов оценки конкурентоспособности университетов. Накопленные эмпирические данные, относящиеся к западным университетам, позволили создать и представить в публикациях математические модели, часть выводов из которых могла бы быть использована и в российской практике университетского управления. Нами были выделены исследования, которые затрагивают показатели, аналогичные показателям программ.

На основе анализа образовательной системы Кипра С1т Kapetaniou [1] обосновывает классификацию индикаторов, относящихся к оценке университетов. Предложено выделять следующие группы факторов: человеческие ресурсы, открытые (публично доступные) характеристики исследовательских систем, финансы, инвестиции фирм, предпринимательство, интеллектуальные активы, инновации, экономические эффекты. Авторы используют относительные индикаторы, то есть сравнивают взаимосвязь результативности образовательных учреждений Кипра и Европейского Союза. В качестве метода исследования было выбрано интервьюирование.

Исследование G. Abramo [2] относится к практике применения индекса Web of Science (WoS) для оценки публикационной активности. В данном исследовании отмечено, что переменные, оценивающие эффективность исследовательской работы, должны включать соотношение результата и затрат. В частности, используются оценки продуктивности профессора и университета в целом. Авторы подтверждают, что использование подобных систем оценивания способно приводить к более эффективному распределению ресурсов и более продуктивной работе исследователей.

Работа K. Frenken [3] посвящена определению факторов, определяющих эффективность исследовательской активности вузов. На основе регрессионного анализа авторы подтверждают гипотезы о более высокой продуктивности больших университетов, о большей продуктивности университетов из небольших городов и более высокой продуктивности в целом, характерной для технических университетов.

Проблематика взаимосвязи исследовательской и предпринимательской деятельности была развита в исследовании A. Riviezzo [4], авторы которого используют эмпирическую базу, полученную в результате опроса 294 руководителей подразделений университетов из четырех стран Европы (Италия, Испания, Великобритания и Португалия). Подтверждается взаимосвязь нацеленности на сотрудничество с предпринимателями и полученных результатов исследований. Кроме того, отмечается более высокая эффективность университетов с большим размером и возрастом (который также может трактоваться как опыт работы).

Методология исследования S. Gibari [5] предполагает анализ трех базовых групп индикаторов (исследования, обучение и трансфер технологий). Авторы предполагают методику построения обобщенных индикаторов, охватывающих три базовые группы индикаторов. Авторы используют граничные значения индикаторов. В качестве обобщенных индикаторов используются Weak Composite Indicator (WCI) и Unweighted Strong Composite Indicator (USCI). Математический инструментарий работы включает техники, нормирования, придания весов и агрегации. В качестве исходных данных используются значения 34 показателей. Практическая применимость данного исследования состоит в возможности создания системы предупреждений для лиц, принимающих решения в рамках университетов.

Многие исследования посвящены анализу отдельных показателей, влияющих на деятельность университетов. В частности, в исследовании R Cyrenne [6] отмечается прямая зависимость оценок учеников в школе и вузе, что доказывает необходимость отбора абитуриентов, показавших успехи в ходе обучения в школе, и подтверждает целесообразность использования такого рода индикаторов. В работе О. Abramo [2] отмечается невозможность применения рейтингов цитирования или индекса Хирша для оценки эффективности работы исследователей. Исследование Ш-М. Lu [7] отмечает важность интеллектуального капитала как показателя, влияющего на эффективность деятельности университета.

Подводя итог обзору имеющихся исследований, авторы пришли к выводу, что на текущий момент можно выделить следующие группы показателей, характерных для анализа эффективности университетов: научная деятельность, образовательная деятельность, сотрудничество университетов с реальным сектором экономики. Также следует отметить накопленную обширную эмпирическую базу, которая позволила подтвердить или отвергнуть возможность использования тех или иных показателей в оценке университетов.

Анализ нормативно-методической базы

Анализ нормативно-методической базы позволил выявить пять основных этапов формирования системы показателей конкурентоспособности университетов. В табл. 1 приведена систематизация ключевых нормативно-методических документов по данной тематике.

Этап 1. Часть 1. Общее целеполагание. Первоначальная формулировка целей и основы для системы показателей: подготовительная фаза (2012 год)

В Проекте 5-100 упоминаются следующие наборы показателей:

1. Показатели допуска к участию в конкурсе и оценки заявок;

2. Целевые показатели (по индивидуальной методике);

3. Показатели результативности (по единой методике);

4. Показатели реализации (по мероприятиям);

5. Показатели внешнего мониторинга на основе распоряжения Правительства РФ 2006-р [14];

6. Показатели внешнего мониторинга для распределения субсидии (мониторинг был актуализирован в 2017 г);

7. Показатели Стратегической академической единицы.

Систематизация указанных показателей приведена на рисунке.

Документом, заложившим основы программы повышения конкурентоспособности университетов

Основные наборы показателей, применяемые в рамках Проекта 5-100

[The main sets of indicators used in the framework of the Project 5-100]

(далее - Программы), стал Указ Президента РФ «О мерах по реализации государственной политики в области образования и науки» [8].

Данным документом были установлено несколько целей и показателей, определивших вектор дальнейших решений в сфере повышения конкурентоспособности университетов в различные временные промежутки (табл. 2).

Следует отметить, что для каждого из показателей были установлены целевые значения и даты их достижения. Фактически решающее влияние на формирование политики конкурентоспособности российского высшего образования стал показатель вхождения в ТОП-100 мировых рейтингов. На наш взгляд, роль данного показателя в ряду остальных была преувеличена, но большинство экспертов и лиц, принимающих решения, традиционно основное внимание уделяют именно этому показателю. Однако дискуссия по этому поводу выходит за рамки данной статьи.

В хронологическом порядке следующим шагом развития современной системы показателей для вузов, не относящихся к Программе, стал инструмент мониторинга деятельности, разработанный Департаментом государственной политики в сфере высшего образования и утвержденный Минобрнауки России 9.08.2012 г. - «Перечень показателей оценки эффективности деятельности федеральных государственных образовательных учреждений высшего профессионального образования и их филиалов» [9]. В нем был установлен достаточно широкий набор критериев, разбитых на группы. При этом целевые значения показателей и временные рамки их достижения документом не установлены. но по ряду причин оказали существенное влияние на применение показателей в системе высшего образования.

Данная система во многом определила деятельность всех вузов страны и косвенно повлияла на университеты, вошедшие в реализацию программы повышения конкурентоспособности. Для удобства показатели эффективности приводятся по группам в табл. 3-7.

10 показателей из данного перечня не были использованы в дальнейших системах, относящихся к рассматриваемому предмету. Основной критерий системы мониторинга эффективности - ниже/выше среднего значения по региону присутствия - не был значим для вузов-участников Программы. Однако, практика применения единой методики подсчета среднего балла единого государственного экзамена (ЕГЭ) , задала стандарт применения данного показателя. Другим моментом, оказавшим влияние на систему показателей в Программе, стала широкая апробация показателя доли магистрантов с дипломами других вузов. Первоначально отсутствовавший показатель появился в программах благодаря практике системы мониторинга вузов.

Двенадцать показателей не были включены в данную таблицу, поскольку они не были использованы в последующих системах. Следует отметить, что среди показателей мониторинга эффективности присутствуют показатели кадрового потенциала по возрастному принципу. При всей спорности такого подхода для университетов Программы, особенно - лидирующих, показатели развития кадрового потенциала незаслуженно выпали из фокуса анализа в рамках Программы и не получили развития в рассматриваемой системе мониторинга. Для части вузов, участвующих в Программе, и, безусловно, для всех вузов, перенимающих практики и инструменты, созданные в Программе, абсолютно необходимой является осознанная кадровая политика, а, следовательно, и применение показателей развития кадрового потенциала.

Семь показателей не приведено, поскольку они не были использованы в последующих системах мониторинга.

Показатели мониторинга эффективности в области интернационализации студентов и научно-педагогических работников (НПР) впоследствии применялись в Проекте 5-100 исключительно в качестве соответствующих показателей внешнего мониторинга реализации Плана мероприятий Программы, используемых в расчете субсидии. При общей схожести с формулировками наименований данных показателей с аналогичными целевыми показатели Программы (по индивидуальной методике) и/или показателями результативности «дорожной карты» Программы (по единой методике МОН) различия в методиках расчета допускают существенные расхождения в их значениях, например:

1) Доля иностранных НПР по методике мониторинга эффективности рассчитываются по состоянию на 1 октября отчетного года по числу ставок в отличии от аналогичного показателя результативности «дорожной карты» Программы (по единой методике МОН), которые согласно утвержденной методике рассчитывается по средней численности НПР с учетом доли ставки и фактической занятости. Также, в качестве иностранных НПР согласно единой методике учитываются граждане России, получившие степень РЬЮ зарубежного университета. В зависимости от особенностей кадровой политик вуза в отношении иностранных НПР разница в значениях между данными показателями может составлять более 50 %.

2) Доля иностранных студентов по методике мониторинга эффективности рассчитываются по состоянию на 1 октября отчетного года в отличие от аналогичного показателя результативности «дорожной карты» Программы, методика расчета которого допускает расчет на конец календарного года. Учитывая сложившуюся в вузах практику зачисления иностранных студентов после 1 октября - разница в значениях между данными показателями может составлять до 5 %.

Таким образом, используемые в мониторинге эффективности и, соответственно, во внешнем мониторинге реализации Плана мероприятий Программы применяемые для расчета субсидии показатели не в полной мере характеризуют результативность вуза в области интернационализации и требуют доработки и приближения к методикам, применяемым к показателями результативности «дорожной карты» Программы по единой методике МОН.

Три показателя не приведены, так как они не были использованы в последующих системах мониторинга.

Большим достоинством методики мониторинга, подчеркивающей ее комплексный характер, является внедрение в широкую практику публичной оценки финансово-экономической деятельности вуза.

Три показателя не были приведены, так как они не были использованы в предыдущих системах.

В контексте нашего исследования, позитивное значение данного документа состоит в следующем:

Классификация системы показателей на пять групп;

1. Детализация ключевых групп показателей, позволяющая вузам самостоятельно выбирать наиболее подходящие для них показатели;

2. Основа для совершенствования системы управления вузами;

3. Все показатели имеют однозначно измеримые критерии оценки, что дает возможность сопоставления различных вузов между собой.

Показатели мониторинга эффективности по большей части не нашли отражения в показателях конкурентоспособности. Это связано с тем фактом, что мониторинг эффективности имеет гораздо большее целевое назначение.

В соответствии с Указом [8] ключевые направления стратегии Правительства РФ в области науки и технологий были заложены в Государственной программе «Развитие науки и технологий» (Распоряжение Правительства Российской Федерации от 20.12.2012 г № 2433-р «Об утверждении государственной программы Российской Федерации «Развитие науки и технологий» на 20132020 годы») (табл. 8) [10].

Таблица 7 Показатели мониторинга эффективности [9]: инфраструктура [Performance monitoring indicators: infrastructure]

В табл. 8 перечислены только показатели, применимые к оценке университетов.

Следует отметить, что данная Программа была создана для регулирования научной деятельности и поэтому оказала на рассматриваемые вопросы скорее косвенное влияние и не применима к оценке университетов без внесения соответствующих корректировок и детализаций.

Показатели из [8] и [10] нашли свое развитие в Плане мероприятий («дорожная карта») Постановления Правительства РФ от 30 декабря 2012 г. № 2620-р (табл. 9) [11].

При анализе данной системы показателей можно отметить следующее:

1. Данная система показателей полностью соответствует программе «Развитие науки и технологий»;

2. Предложен более короткий временной ориентир (2018 г, пятилетний горизонт планирования);

3. Детализованы показатели с точки зрения соотношения численности студентов на разных ступенях высшего образования;

4. Приоритет прикладного бакалавриата как средства подготовки кадров для промышленности;

Подчеркивается необходимость роста заработной платы профессорско-преподавательского состава.

Таблица 9 Целевые показатели «дорожной карты» социально-экономического развития, затрагивающие контекст Программы [11]

Таблица 11 Перечень обязательных показателей результативности вузов-участников Программы от 2014 года [14] [The list of mandatory performance indicators of universities participating in the Program from 2014]

Этап 1. Часть 2. Первоначальная формулировка системы показателей: фаза реализации (2013-2014 годы)

Достижение амбициозных показателей было бы невозможно без создания системы распределения финансирования данной программы. Для осуществления этой, и других задач, на основании Постановления Правительства РФ от 16 марта 2013 г № 211 «О мерах государственной поддержки ведущих университетов Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров» [12] был создан Совет по повышению конкурентоспособности ведущих университетов Российской Федерации среди ведущих мировых научно-образовательных центров.

Постановление № 211 предусмотрело систему ежегодного распределения финансирования между вузами, основанную на следующих принципах:

1. Общий объем субсидии распределяется между вузами-победителями;

2. Применение рейтинговых показателей достижения результатов (за место в рейтинге по каждому

3. из показателей университет получает определенные баллы);

4. Учет показателя софинансирования.

Стартовые (пороговые) требования к вузам для получения государственной поддержки были сформулированы в Приказе Министерства образования и науки РФ от 22 апреля 2013 г № 296 [13] (табл. 10).

При этом допускалось уменьшение одного показателя не более, чем на 20 %.

Данная система показателей, на наш взгляд, позволила отобрать университеты, потенциально готовые к реализации программы повышения конкурентоспособности:

1. Список показателей почти полностью соответствует Плану мероприятий («дорожной карты») Постановления Правительства РФ от 30 декабря 2012 г. № 2620-р;

2. Отбираются только средние и крупные вузы;

3. Наличие значительного числа аспирантов, как условие роста научного потенциала в ближайшем будущем;

4. Опыт работы с иностранными НПР;

5. Публикационная и исследовательская активность НПР как критерии оценки вузов;

На данном этапе целевые показатели университетов не были унифицированы. В том числе, с точки зрения методики расчета сходных показателей. Исчерпывающей методики расчета данных показателей на тот момент представлено не было.

Дальнейшее развитие системы показателей произошло по результатам первых шагов реализации программы повышения конкурентоспособности российских университетов среди ведущих мировых научно-образовательных центров и одновременно было отражено в нескольких документах (табл. 11).

Данную систему можно считать завершающей стадией первого этапа создания системы показателей. Можно выделить следующие черты, характерные для первого этапа:

1. Изменение показателей, входящих в системы отбора и мониторинга;

2. Высокая значимость рейтинговых показателей;

Внимание к интернационализации системы высшего образования.

Таблица 12 Целевые показатели в актуализированных программах развития федеральных университетов [15] [Targets in updated federal university development programs]

Этап 2. Корректировка системы показателей (2015-2016 годы)

Необходимость корректировки системы показателей после реализации первого этапа программы была вызвана следующими причинами:

1. Выбор в качестве показателей переменных, лишь опосредованно отражающих эффективность научной и образовательной деятельности;

2. Пересмотр механизма распределения финансирования, создание более эффективных механизмов распределения средств;

3. Необходимость учета новых показателей, важных для оценки эффективности научной и образовательной деятельности.

«Концепция Федеральной целевой программы развития образования на 2016-2020 годы» охватывает широкий круг задач, описывает мероприятия и объем финансирования, но не приводит конкретных показателей, с помощью которых можно было бы измерить достижение целей.

На основании письма Департамента государственной политики в области высшего образования Минобрнауки России «Об актуализации программ развития» [15] ведущими университетами, для которых установлены категории «федеральный университет» и «научно-исследовательский университет», были актуализированы программы развития. Данный документ установил следующие показатели в качестве основных (приводятся без группировки) (табл. 12).

Данная система имеет группировку, соответствующую документу «Перечень показателей оценки эффективности деятельности федеральных государственных образовательных учреждений высшего профессионального образования и их филиалов» (утв. Минобрнауки России 09.08.2012 NАК-11/05вн

Таблица 13 Целевые показатели САЕ [18] [CAE Targets]

Основные изменения системы показателей на втором этапе предполагают:

1. Исключение дублирующих или коррелирующих друг с другом показателей (например, средний балл ЕГЭ и численность победителей и призеров олимпиад, зачисленных в вуз; число выигранных грантов и объем НИОКР);

2. Устранение неинформативных показателей (усредненный минимальный балл ЕГЭ: студент с минимальным баллом по каждому направлению не является репрезентативным студентом);

3. Уточнение показателей (публикации в WoS и Scopus в новой системе учитываются без дублирования);

4. Более корректную классификацию показателей (доля кандидатов и докторов наук в численности НПР относится в большей степени к научной, а не к образовательной деятельности);

5. Учет инновационной деятельности в системе показателей наряду с научно-исследовательской;

6. Отказ от учета публикаций в системе РИНЦ (поскольку WoS и Scopus учитывают научные публикации значительно более высокого качества);

7. Отказ от группы показателей «Инфраструктура» (поскольку ее наличие является лишь условием развития показателей всех остальных групп);

Следует отметить, что после преобразования система показателей стала более информативной, сбалансированной.

На данном этапе реформирования было введено понятие Стратегической академической единицы (САЕ) - структурного подразделения университета, характеризующегося соответствием определенным формальным критериям (табл. 13):

1. Проведение исследований по приоритетным направлениям развития науки и техники;

2. Обеспечение связи образовательного процесса и научно-исследовательской деятельности;

3. Вовлечение студентов в научно-исследовательскую деятельность;

4. Наличием педагогических работников, талантливых студентов и аспирантов, а также уникальных образовательных программ и методов обучения.

Внедрение САЕ преследует следующие цели:

1. Концентрация финансовых ресурсов на приоритетных направлениях развития науки и техники;

2. Одновременная фокусировка на научной и образовательной деятельности как условие внедрение передовых научных разработок в образовательный процесс;

3. Небольшое число критериев, обеспечивающих простоту сравнения эффективности деятельности отдельных САЕ.

Протоколом совещания по вопросам дальнейшей реализации постановления Правительства Российской Федерации от 16 марта 2013 г № 211 «О мерах государственной поддержки ведущих университетов Российской Федерации в целях повышения их конкурентоспособности среди ведущих мировых научно-образовательных центров» от 15 апреля 2016 года № ДЛ24/02-пр [18] было установлено, что вузы не имеют право уменьшать значения любого целевого показателя ниже достигнутого в предыдущие годы. Поскольку часть показателей имеет очевидное максимальное значение, для них оно и было установлено.

1. Позиция (с точностью до 50) в ведущих мировых рейтингах (в общем списке и по основным предметным спискам) - 100;

2. Доля зарубежных профессоров, преподавателей и исследователей в численности научно-педагогических работников, включая российских граж- дан-обладателей степени PhD зарубежных университетов - 20 %;

3. Доля иностранных студентов, обучающихся на основных образовательных программах вуза (с учетом студентов из стран СНГ) - 30 %;

4. Средний балл ЕГЭ студентов вуза, принятых для обучения по очной форме обучения за счет средств федерального бюджета по программам бакалавриата и специалитета - 90 баллов;

5. Доля доходов из внебюджетных источников в структуре доходов вуза - 65 %;

6. Доля обучающихся по программам магистратуры и подготовки научно-педагогических кадров в аспирантуре, имеющих диплом бакалавра, диплом специалиста или диплом магистра других организаций, в общей численности обучающихся по программам магистратуры и подготовки научно-педагогических кадров в аспирантуре - 30 %.

Результатом второго этапа стало обновление системы показателей, а также установление значений ряда показателей, при достижении которых университет в последующие годы может не планировать увеличения данного показателя.

Этап 3. Целевые показатели университетов - участников программы 5-100 (2017-2018 годы)

Методика мониторинга деятельности вузов разработана совместными усилиями Минобрнауки России и ФГАНУ «Центр социологических исследований» (в активном обсуждении и сотрудничестве с Ассоциацией «Глобальные университеты») и описана в письме Директора департамента государственной политики в области высшего образования от 14 августа 2017 г. № 05-13521 [19].

На основе данных за 2013-2017 гг. по 21 университету - участнику Проекта 5-100 - был произведен расчет средних темпов прироста показателей. Результаты расчетов приведены в табл. 14.

Данная система показателей отличается следующим:

1. Сокращением числа показателей;

2. Фокусировкой на научной и образовательной деятельности вуза;

3. Влиянием структуры финансирования вуза (привлечение внебюджетного финансирования).

Объем финансирования в новой системе мониторинга зависит от следующих показателей:

1. Балл за вхождение в рейтинги;

2. Балл за достижение показателей;

3. Балл по итогам заседания Совета по повышению конкурентоспособности ведущих университетов РФ.

Применяемая процедура (линеаризация) позволяет нормировать балл вуза за вхождение в рейтинги от 0 до 100.

Балл за достижение показателей также варьируется от 0 до 100.

Совет выставляет баллы вузу по шкале от 0 до 10 баллов, данная оценка также нормируется от 0 до 100.

Анализ темпов прироста показателей позволяет прийти к следующим выводам:

1. Университеты-участники смогли достичь прироста по всем показателям, что свидетельствует о целесообразности расходования бюджетных средств на Программу;

2. Наибольший прирост был достигнут по показателям цитируемости и числа научных статей. Это объясняется, во-первых, наращиванием показателя цитируемости, во-вторых, прирост числа статей был обеспечен, во многом, материальным стимулированием публикационной активности НПР университе- тов-участников;

3. Наиболее низкий темп прироста показал средний балл ЕГЭ. Мы полагаем, что это связано с изменениями в самих заданиях и процедурах оценивания ЕГЭ, а также увеличением бюджетных мест по ряду технических и естественнонаучных специальностей.

На основе приведенных данных можно сделать выводы о прогнозируемой динамике указанных показателей в будущем:

1. Показатель среднего балла ЕГЭ вряд ли имеет шансы вырасти в будущем по причине высокого среднего (около 80) и максимального (более 95) значения данного показателя по университетам- участникам в 2017 г;

2. Показатель численности иностранных студентов также не может наращиваться бесконечно, так как может повлиять на доступность высшего образования российским абитуриентам (целевое значение этого показателя может варьироваться в зависимости от специфики вуза, например, более высокая его величина разумна для РУДН).

Более того, подход к расчету части показателей должен быть пересмотрен:

1. Целесообразно говорить не о максимальном, а о целевом значении показателя иностранных НПР (например, в МИФИ в 2016 и 2017 гг. значение этого показателя превысило 13 %) в зависимости от направления подготовки и соотношения развития российских и иностранных научных школ в его рамках;

2. Аналогичным образом, максимизация показателя доли магистрантов, получивших базовое образование в других организациях, бессмысленна. Во многих случаях, напротив, большую ценность обладает специалист, получивший специализированное образование внутри одного университета.

В 2018 г. была введена в действие новая методика, касающаяся целевых показателей эффективности деятельности образовательных учреждений высшего образования (табл. 15).

Данная система предполагает наличие группировки показателей. Кроме того, каждый из показателей был соотнесен со спецификой деятельности вуза в зависимости от отраслевой направленности подготовки, также из табл. 15 исключены 9 показателей, не использовавшихся в других системах.

Заключение

По результатам исследования можно сделать выводы, что в целом, применение системы показателей в программе повышения конкурентоспособности является уникальной успешной практикой, но есть три момента, требующие, по мнению авторов, корректировки для рационального использования целевых показателей и управленческих практик Проекта 5-100 вузами, не входящими в программу:

1. Доминирование показателей научной результативности и рейтингов над показателями, отражающими вклад в экономическое развитие региона, в т. ч. по объему предоставляемых НИОКР и образовательных услуг

2. Отсутствие существенного фокуса на показателях развития кадрового потенциала.

3. Отсутствие практики применения механизма рациональной корректировки показателей, с учетом изменения контекста программы, в т. ч. акцентов государственной политики.

Вместе с тем, исследование показало, что на относительно долгосрочном промежутке времени, система целевых показателей программы повышения конкурентоспособности способствует развитию практик взаимодействия с индустрией, увеличению экспорта образовательных услуг, повышению экономической устойчивости университетов.