Информационно-программное обеспечение оценки рейтингов в высшем образовании на основе методов нечисловой статистики

Размещено на http://allbest.ru

Российская академия народного хозяйства и государственной службы при Президенте Российской Федерации

Информационно-программное обеспечение оценки рейтингов в высшем образовании на основе методов нечисловой статистики

В.Ж. Куклин, В.А. Виноградов

Аннотация

В статье рассматриваются вопросы анализа рейтингов как систем сравнительной оценки вузов в контексте их использования в российской системе образования и соответствующее информационно-программное обеспечение.

Проводится анализ их соответствия содержательным (системным) и формальным (математическим) требованиям к системам сравнительной оценки. Рассматривается использование коэффициентов ранговой корреляции для оценки корректности рейтингов.

Ключевые слова: оценки рейтингов в высшем образовании, информационно-программное обеспечение, системы сравнительной оценки, информационно-коммуникационные технологии

Активное использование рейтингов, являющихся одним из вариантов систем сравнительной оценки, не случайно. Анализ зарубежного опыта также свидетельствует о постоянном росте внимания к системам сравнительной оценки.

В то же время вопросам анализа качества рейтингов уделяется недостаточное внимание -- «Берлинские принципы ранжирования высших учебных заведений» (Berlin PrinciplesforRanking HigherEducation Institutions) [1] и «Правила аудита рейтингов» (IREG Ranking Audit Rules) [2] имеют декларативный характер и в большей степени служат рекомендациями, нежели основаниями для формального анализа.

Процедуры интегральной сравнительной оценки в практически значимых ситуациях затрагивают интересы множества взаимодействующих субъектов (например, в системе образования это собственно образовательные организации, органы управления образованием, социальные группы и отдельные граждане), и поэтому их использование требует тщательного предварительного анализа корректности и адекватности их применения в определенной ситуации (формального -- математического и содержательного -- с использованием методов системного анализа).

В связи с этим представляет интерес анализ существующих рейтингов на соответствие системным и математическим требованиям к результатам сравнительной оценки на основе использования ИКТ.

Сравнительная оценка в традиционной постановке сводится, как правило, к формированию некоторого интегрального показателя деятельности объектов сравнения (интегрального рейтинга), и чаще всего реализуется на основании результатов метрического измерения. Соответственно, процедура формирования рейтинга основывается на обработке входной количественной (числовой) информации, в итоговый результат, также количественный, который далее используется в качестве интегрального рейтинга.

Для интеграции (агрегирования) используется «взвешенная сумма», а учет относительной значимости частных показателей для интегральной оценки определяется выбором весовых коэффициентов.

При этом не всегда учитывается, что применение подобного подхода корректно только при условии, что все использующиеся показатели и характеристики сравниваемых объектов являются метрическими -- только в этом случае формирование интегральной оценки с использованием арифметических операций и аппарата математической статистики допустимо.

На практике, как правило, имеет место ситуация, когда часть показателей -- метрические (что позволяет использовать арифметические операции для их обработки и «традиционные» статистические параметры, такие, как среднее, дисперсия, и т.п.), другая часть -- порядковые (для них содержательно определен только порядок «предпочтительности», а «обычные» арифметические операции не имеют смысла.

В частности, это относится к показателям, полученными в результате экспертной оценки или обработки анкетной информации). Для совместной обработки метрических и порядковых показателей разработан специальный математический аппарат, к которому, в частности относятся методы нечисловой статистики [3], методы теории измерений [4] и неметрического шкалирования [5].

В практически значимых задачах использование указанных методов возможно только с применением информационно-программного обеспечения.

В образовании существенная часть значимой для принятия решений информации носит неметрический характер.

В качестве примеров показателей деятельности вузов, имеющих неметрический характер, можно привести показатели структуры научно-исследовательской деятельности (например, соотношение объемов бюджетного финансирования и объемов финансирования исследований: фундаментальных и прикладных исследований и разработок, учет объемов финансирования разработок по заказам промышленности), структуры профессорско-преподавательского состава (например, оценка оптимальности структуры НПС кафедры по ученым степеням и ученым званиям, оптимальности распределения нагрузки между ними и др.).

Отмеченные особенности образовательных систем накладывают существенные ограничения на процедуры измерения и оценивания первичных характеристик, показателей деятельности и состояния системы.

Формально эти ограничения отражаются в совокупности условий согласованного выбора, в требованиях к алгоритмам и процедурам интеграции информации и влияют на выбор методов формирования первичных и интегральных показателей деятельности.

Подробный анализ таких ограничений и требований приводится, например, в работах [5; 6].

Проведенные в ходе выполнения НИР «Моделирование рейтинговых систем в образовании» исследования включают в себя анализ устойчивости рейтингов относительно вариации весовых коэффициентов, устойчивости относительно случайных изменений значений показателей деятельности (ошибки измерения показателей) и результаты корреляционного анализа: внутреннего -- для оценки влияния частных показателей на интегральный рейтинг, и внешнего -- для оценки соответствия рейтинга условиям согласованного выбора.

В рамках этой работы алгоритмически и программно реализованы макетные версии программных модулей расчета, анализа и представления полученных результатов, включая их визуализацию.

В данной работе представлены только результаты использования методов корреляционного анализа, полученные для внутренней оценки следующих рейтингов:

— академический рейтинг мировых университетов [7];

— мировой рейтинг вузов журнала «Время высшего образования» [8];

— международный рейтинг университетов Рейтингового агентства RUR [9].

В рассматриваемом контексте корреляционный анализ направлен на оценку зависимости интегрального рейтинга от составляющих его частных рейтингов, количественно выраженную коэффициентом корреляции k, принимающим значения в интервале (--1, 1):

— значения |k| < 0,3 свидетельствуют о незначительном влиянии частного рейтинга на результат ранжирования (более того, для значений k, близких к нулю, можно говорить о нецелесообразности включения данного частного показателя в рейтинговую систему);

— значения |k| > 0,9 означают, что данный частный показатель «практически полностью» определяет интегральный рейтинг, что означает слабое влияние остальных показателей на результат ранжирования (как правило, это говорит о недостаточно обоснованном выборе либо системы показателей, либо алгоритма формирования интегрального рейтинга).

Коэффициент ранговой корреляции интегрального и частного ранжирований отражает степень связи между ними -- насколько отдельное направление деятельности влияет на общий результат.

Представляется, что для разумно сконструированного рейтинга коэффициенты корреляции между интегральным ранжированием и частными ранжированиями должны быть приблизительно равными и лежать в интервале (0,4--0,9).

Это условие можно рассматривать как одно из формализованных условий корректности рейтинга.

Как отмечалось ранее, использование фактически качественных показателей деятельности вузов (как правило, оцифрованных в целях удобства расчетов интегрального рейтинга) не позволяет корректно использовать корреляционный анализ, предназначенный для применения в метрических пространствах.

В связи с этим далее используются ранговые методы корреляционного анализа, т.е. частные рейтинги рассматриваются как упорядоченные последовательности ранжируемых объектов, а в качестве частного показателя рассматривается место объекта в этой последовательности.

Коэффициент ранговой корреляции Спирмена р вычисляется по формуле:

где -- ранг г-го объекта в первом ранжировании; -- ранг г-го объекта во втором ранжировании; п -- число объектов.

В случае если в ранжированиях есть объекты с одинаковым рангом, коэффициент корреляции Спирмена вычисляется следующим образом:

где q и / -- количество групп связанных объектов (с одинаковыми рангами) в первом и втором ранжированиях соответственно; иX и и? -- число объектов в соответствующих группах.

Для расчета коэффициентов ранговой корреляции в рамках проекта [7] программно реализованы следующие модули:

— модуль сбора с соответствующих официальных сайтов и верификации первичной информации рейтингов ARWU, THE и RUR;

— модуль расчета коэффициентов ранговой корреляции и оценки его значимости с дополнительными функциями выборки для расчета подмножества исходного множества объектов (на основе ранговых статистик -- квантилей);

— модуль визуализации результатов в графических и табличных формах.

Полученные результаты для следующих рейтингов (курсивом выделены коэффициенты корреляции, соответствующие умеренной связи соответствующих показателей, жирным -- соответствующие сильной связи):

ARWU (табл. 1), THE (табл. 2), RUR (табл. 3).

Таблица 1

Корреляция показателей рейтинга ARWU

В таблице 1 использованы следующие обозначения:

Alumni -- количество выпускников -- лауреатов Нобелевской или Филдсовской премии;

Award -- количество сотрудников -- лауреатов Нобелевской или Филдсовской премии;

HiCi -- количество наиболее часто цитируемых исследователей в различных предметных областях;

N&S -- количество статей, опубликованных в журналах Nature и Science;

PUB -- количество статей, проиндексированных в ScienceCitationIndex -- Expanded и SocialSciencesCitationIndex;

PCP -- академическая производительность на одного представителя научнопреподавательского состава вуза Вычисляется как результат деления суммы баллов по предыдущим пяти показателям на число эквивалентов полной ставки академического персонала..

Для данного рейтинга можно отметить завышенную зависимость интегральной оценки (Total) от индикаторов Award и N&S.

Таблица 2

Корреляция показателей рейтинга THE

Для рейтинга THE наблюдается завышенная зависимость интегрального рейтинга от индикаторов «Образование» и «Исследования», в пределах нормы зависимость от индикатора «Цитирование», при практическом отсутствии зависимости интегрального рейтинга от остальных индикаторов. нечисловой ранговый рейтинг образование

Можно предположить, что их исключение не повлечет за собой сколько-нибудь значительного изменения порядка университетов в рейтинге. Особенностью международного рейтинга университетов (Round University Ranking) является высокая и относительно равномерная корреляционная зависимость интегрального рейтинга от всех индикаторов.

Коэффициенты ранговой корреляции Спирмена между интегральным рейтингом и остальными индикаторами (представленные в последнем столбце табл. 3), за исключением одного, лежат в интервале от 0,79 до 0,90, разброс коэффициентов корреляции составляет 0,11, что позволяет сделать вывод, что данный рейтинг достаточно хорошо сбалансирован. Приведенный подход к анализу и соответствующие программные средства для его проведения были использованы для оценки предметных и отраслевых вариантов рассмотренных рейтингов, что позволило сделать выводы об ограниченной целесообразности их использования в рамках российской системы образования. Следует отметить, что предложенный подход можно использовать также при разработке новых рейтингов для обеспечения их формальной и системной обоснованности.

Таблица 3

Корреляция показателей рейтинга RUR

Результаты анализа устойчивости рейтингов относительно вариации весовых коэффициентов, устойчивости относительно случайных изменений значений показателей деятельности (ошибки измерения показателей) и оценки соответствия рейтинга условиям согласованного выбора будут представлены в следующих публикациях.

Список литературы

[1] Берлинские принципы ранжирования высших учебных заведений. URL: http://ireg- observatory.org/en/berlin-principles (дата обращения: 10.04.2017).

[2] Правила аудита рейтингов. URL: http://ireg-observatory.org/pdf7ranking_audith_audit.pdf (дата обращения: 10.04.2017).

[3] Орлов А.И. Нечисловая статистика. М.: МЗ-Пресс, 2004. 513 с.

[4] Пфанцагль И. Теория измерений. М.: Мир, 1976. 165 с.

[5] Терехина А.Ю. Анализ данных методами многомерного шкалирования. М.: Наука, 1986. 68 с.

[6] Дружинин В.В., Конторов Д.С. Проблемы системологии. М.: Сов. радио, 1976. 296 с.

[7] The Academic Ranking of World Universities. URL: http://www.shanghairanking.com/grup/ index.html (дата обращения: 10.04.2017).

[8] The Times Higher Education. URL: https://www.timeshighereducation.com (дата обращения: 10.04.2017).

[9] Round University Ranking. URL: http://roundranking.com (дата обращения: 10.04.2017).

Abstract

Information-software for rating evaluation in higher education on the basis of non-metric statistics methods

V.Zh. Kuklin, V.A. Vinogradov. Russian Academy of National Economy and Public Administration under the President of Russian Federation The article considers analysis of rating as systems of comparative evaluation of higher education institutions in the context of their use in the Russian education system and the corresponding information and software. An analysis is made of their accordance with the contextual (system approach) and formal (mathematical) requirements to systems of comparative evaluation. The use of methods of rank correlation is proposed to assess the correctness of rating systems.

Key words: estimates of ratings in the higher education, the information software, systems of a comparative assessment, information and communication technologies

References

[1] Berlinskieprincipy ranzhirovanija vysshih uchebnyh zavedenij [Berlin principles on ranking of higher education institutions]. URL: http://ireg-observatory.org/en/berlin-principles

[2] Pravilaauditarejtingov [Rules of audit of ratings]. URL: http://ireg-observatory.org/pdf/ranking_ audith_audit.pdf

[3] Orlov A.I. Nechislovaja statistika [Non-numerical statistics]. M.: MZ-Press, 2004. 513 p.

[4] Pfancagl' I. Teorija izmerenij [Theory of measurements]. M.: Mir, 1976. 165 p.

[5] Terehina A.Yu. Analiz dannyh metodamimnogomernogo shkalirovanija [Analysis of data by methods of multidimensional scaling]. M.: Nauka, 1986. 68 p.

[6] Druzhinin W, Kontorov D.S. Problemy sistemologii [Sistemologiya problems]. M.: Sov. radio, 1976. 296 p.

[7] The Academic Ranking of World Universities. URL: http://www.shanghairanking.com/grup/ index.html

[8] The Times Higher Education. URL: https://wwwtimeshighereducation.com

[9] Round University Ranking. URL: http://roundranking.com

Размещено на Allbest.ru