Аналіз проблем та дослідження стійкості системи рейтингового оцінювання вищих навчальних закладів

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Запорізький національний університет

Аналіз проблем та дослідження стійкості системи рейтингового оцінювання вищих навчальних закладів

Максишко Н.К., д.е.н., професор



Стаття присвячена дослідженню проблеми формування системи рейтингового оцінювання діяльності вищих навчальних закладів, яка є невід'ємною складовою світового та національного моніторингу вищої освіти. Ранжування закладів освіти дає змогу задовольнити попит споживачів ринку освітніх послуг та ринку праці щодо інформації про репутацію вищого навчального закладу, стимулює змагальність, сприяє активізації участі цільових груп у формуванні сучасних вимог до рівня підготовки фахівців. У роботі розглянуто стан та принципи побудови систем рейтингової оцінки вищих навчальних закладів у світі, особливості та види рейтингів вишів в Україні. Виявлено та проаналізовано проблеми щодо формування системи рейтингового оцінювання, що полягають у змістовному відборі часткових критеріїв - чинників оцінки, виборі шкали оцінювання часткових критеріїв, «технічних» вимогах до вибору системи показників рейтингового оцінювання (зокрема, їх незалежності та «роздільної здатності»), вибору способу розрахунку інтегральної оцінки - рейтингу (полягає у визначенні виду рейтингової функції оцінювання), визначенні коефіцієнтів значимості (ваг) часткових критеріїв щодо інтегральної рейтингової оцінки. Розроблено метод дослідження стійкості систем рейтингового оцінювання вищих навчальних закладів відносно зміни коефіцієнтів значимості (ваг) часткових критеріїв оцінки та виду інтегральної функції оцінювання. Запропонований метод застосовано для дослідження стійкості Національної системи рейтингового оцінювання вищих навчальних закладів України. Проведено серію експериментів щодо дослідження стійкості рейтингу до зміни коефіцієнтів важливості (ваг) часткових критеріїв (показників оцінки) та виду функції рейтингового оцінювання (адитивної та мультиплікативної) для групи «Класичні університети». Результати досліджень можуть бути використані для вдосконалення системи рейтингового оцінювання.

Ключові слова: рейтинг, система рейтингового оцінювання,стійкість рейтингу, вектор переваг, інтегральна рейтингова оцінка, рейтингова функція оцінювання. рейтинговий оцінювання навчальний

Максишко Н.К. АНАЛИЗ ПРОБЛЕМ И ИССЛЕДОВАНИЕ УСТОЙЧИВОСТИ СИСТЕМЫ РЕЙТИНГОВОГО ОЦЕНИВАНИЯ ВЫСШИХ УЧЕБНЫХ ЗАВЕДЕНИЙ / Запорожский национальный университет, Украина

Статья посвящена исследованию проблемы формирования системы рейтингового оценивания деятельности высших учебных заведений, которая является неотъемлемой составляющей мирового и национального мониторинга высшего образования. Ранжирование учебных заведений позволяет удовлетворить спрос потребителей рынка образовательных услуг и рынка труда относительно информации о репутации вуза, стимулирует состязательность, способствует активизации участия целевых групп в формировании современных требований к уровню подготовки специалистов. В работе рассмотрено состояние и принципы построения систем рейтинговой оценки высших учебных заведений в мире, особенности и виды рейтингов вузов в Украине. Выявлены и проанализированы проблемы, связанные с формированием системы рейтингового оценивания, которые состоят в содержательном отборе частных критериев - факторов оценки, выборе шкалы оценивания частных критериев, «технических» требованиях к выбору системы показателей рейтинговой оценки (в частности, их независимости и «разделительной способности»), выбора способа расчета интегральной оценки - рейтинга (заключается в определении вида рейтинговой функции оценивания), определении коэффициентов значимости (весов) частных критериев интегральной рейтинговой оценки. Разработан метод исследования устойчивости систем рейтинговой оценки высших учебных заведений относительно изменения коэффициентов значимости (весов) частных критериев оценки и вида интегральной функции оценивания. Предложенный метод применен для исследования устойчивости Национальной системы рейтинговой оценки высших учебных заведений Украины. Проведена серия экспериментов по исследованию устойчивости рейтинга к изменению коэффициентов важности (весов) частных критериев (показателей оценки) и вида функции рейтинговой оценки (аддитивной и мультипликативной) для группы «Классические университеты». Результаты исследований могут быть использованы для совершенствования системы рейтинговой оценки. Ключевые слова: рейтинг, система рейтингового оценивания, устойчивость рейтинга, вектор предпочтений, интегральная рейтинговая оценка, рейтинговая функция оценивания.

Maksyshko N. PROBLEM ANALYSIS AND STABILITY OF THE RATING ESTIMATION SYSTEM OF HIGHER EDUCATIONAL INSTITUTIONS / Zaporizhzhya National University, Ukraine The article is devoted the problem of the rating assessment formation for higher education, which is an integral part of the higher education global and national monitoring. Ranking schools lets satisfy the consumer demand of the educational services and labor market to information about the reputation of the university, promotes competitiveness, and promotes increased participation of target groups in the formation of modem requirements for the training of specialists. In this paper it's examined the current state and the principles of the rating systems of higher education institutions in the world, especially species and rating of universities in Ukraine. The formation of rating estimation problem are identified and analyzed. They consists in a meaningful selection of particular criteria-assessment factors, the choice of the scale of private evaluation criteria of "technical" requirements to the choice of indicators rated (in particular, their independence and "separation power"), select the method of calculation of the integral evaluation - rating (is to determine the type of rating evaluation functions), determining the coefficients of importance (the weights) of private criteria integrated rated. It's developed a method for studying the rating systems stability of higher education institutions with respect to the significance of changes in the coefficients (weights) of the partial evaluation criteria and the type of cumulative assessment. The proposed method is used to study the stability of the national rating system of Ukraine higher education. It's provided the series of experiments to study the stability of a change in the rating of the coefficients (weights) importance of the partial criteria (performance evaluation), and the type of function-rated

(additive and multiplicative) group "Classical universities." The research results can be used to improve the rating system.

Key words: rating, rating estimation system, rating's stability, vector preference, cumulative rating estimation, ranking estimation function.



ПОСТАНОВКА ПРОБЛЕМИ

У світовому та європейському освітньому просторі рейтингові системи набули широкого розповсюдження. Сьогодні більшість розвинених країн спрямовує зусилля на розвиток людського капіталу. В основі розвитку цього специфічного виду капіталу лежить конкурентоспроможна і гнучка система освіти, яка включає в себе вищі навчальні заклади. Система вищої освіти постійно перебуває під впливом динамічних змін. Тому забезпечення якості вищої освіти залежить від адекватної упереджувальної реакції вищих навчальних закладів на ці зміни.

Необхідність проведення постійного моніторингу вищої освіти та застосування рейтингів вищих навчальних закладів обумовлена також загостренням міжнародної конкуренції університетів, формуванням єдиної міжнародної точки зору на те, яким повинен бути високоякісний університет. Не випадково Європейська комісія нині фінансує розробку нового багатомірного міжнародного рейтингу вищих навчальних закладів, а також низку інших проектів з рейтингування [1].

Рейтинг вищих навчальних закладів (ВНЗ) викликає великий суспільний інтерес: щорічно він стає предметом підвищеної уваги ЗМІ, його ретельно вивчають студенти, керівники установ, політики і роботодавці. Рейтинги відіграють значну роль у формуванні думки, яка складається в людей про той або інший навчальний заклад.

В Україні розроблена й використовується низка методик оцінювання вищих навчальних закладів, зроблені перші кроки до побудови єдиної методології й методики рейтингового аналізу. Проте розробники методики оцінювання вищих навчальних закладів, які є складними системами, закликають широкий загал науковців та користувачів до участі в критичному аналізі запропонованої методики.



АНАЛІЗ ОСТАННІХ ДОСЛІДЖЕНЬ І ПУБЛІКАЦІЙ

Перший досвід складання міжнародних рейтингів університетів було набуто у 1997 р., коли журнал AsiaWeek склав класифікацію найбільших університетів Азіатсько- Тихоокеанського регіону. Початок систематичної роботи над побудовою системи глобальних (загальносвітових) рейтингів університетів пов'язують з 2003 р. На цей час існують вже близько десятка авторитетних глобальних рейтингів університетів, роль яких дедалі зростає [2]. Для багатьох країн попадання в топ-лист глобальних рейтингів стало майже національною метою, від досягнення якої багато в чому залежить міжнародний престиж держави.

Рейтинги університетів з кожним роком посилюють свій вплив на різні сторони життя суспільства. Прикладом цього впливу є голландський імміграційний закон, згідно з яким пріоритет на в'їзд в країну надається особам з високою професійною кваліфікацією, яку підтверджує диплом університету зі списку Топ-150 глобального рейтингу [3]. Для цього в Голландії існує власний глобальний рейтинг університетів Leiden Ranking (LR), який складає Лейденський університет (Centre for Science and Technology Studies, Leiden University) [4].

На даний час існує велика кількість різноманітних глобальних рейтингів університетів. У роботі [5] проаналізовано зміст найбільш відомих з них, узагальнено їхні властивості та наведено класифікацію, що складається з чотирьох груп.

Першу групу складають традиційні рейтинги, які засновані на оцінці великого числа об'єктивних показників діяльності університетів (індекси активності наукових публікацій та цитувань, показники ресурсного забезпечення, успішності кар'єри випускників та ін.) До їх числа належать китайський Academic Ranking of World Universities (ARWU), тайванський Performance Ranking of Scientific Papers for World Universities (PRSP), французький Professional Ranking of World Universities (PRWU) і голландський Leiden Ranking (LR) рейтинги.

Другу групу утворюють репутаційні, або персоніфіковані, рейтинги, засновані на обробці думок експертів, отриманих у результаті спеціальних опитувань. До числа таких належить британський рейтинг World Reputation Rankings (WRR).

Третю групу становлять віртуальні, або Інтернет-рейтинги, які засновані на показниках популярності університетських сайтів в Інтернет-середовищі (частота відвідувань, кількість посилань та ін.). До цієї групи належать: іспанський Webometrics (Web), вірменський «АркаЛер» і анонімний рейтинг World Universities Web Ranking (4ICU).

Четверту групу утворюють змішані, або гібридні, рейтинги, при складанні яких використовують комбінацію трьох попередніх методологій. На даний час - це, як правило, синтез традиційних і репутаційних рейтингів. До їх числа відносяться англійський Times Higher Education (THE), англійський Quacquarelli Symonds (QS), американський Newsweek «The Top 100 Global Universities» (NTGU), американський US News & World Report's World's Best Universities ranking (WBU) і російський Global Universities Ranking (GUR).

За наявністю такої кількості світових (глобальних) рейтингів постають питання щодо визначення найкращого з них, на який має сенс орієнтуватися, який викликає найбільшу довіру. Для відповіді на ці питання на даний час вже здійснюються дослідження, наприклад, щодо їх корельованості тощо [4]. Цікавими в цьому аспекті є результати досліджень громадської думки на основі опитувань. Одне з таких досліджень було проведене компанією «Thomson Reuters» спільно c «Ipsos Insight Corporation», провідною дослідницькою фірмою з розробки та впровадження онлайн- опитувань. Дослідження охопило 350 респондентів (студентів і співробітників вишів) більш ніж з 30 країн світу [6].

Отже, можна констатувати, що між глобальними рейтингами на світовій арені розгорнулася боротьба за визнання широких мас. При цьому 85% респондентів (за даними [5]) вважає порівняння академічних рейтингів корисним: населення бажає мати інформацію про сильні та слабкі властивості існуючих глобальних рейтингів.

Високий рівень наукової та ділової активності дає підставу констатувати появу нового різновиду міжнародної бюрократії, яка буквально живе рейтингами і оцінками вишів та інших соціальних систем. У відповідних колах уже побутує термін «уповноважений з інформації», у світі вже з'явилася нова професія - ренкер, тобто укладач рейтингів. Гільдія національних і міжнародних оцінювачів вищих навчальних закладів (ВНЗ) поступово зміцнює свої професійні позиції, в тому числі за рахунок інтенсифікації зв'язків з представниками наукометрії. Деякі експерти навіть вважають, що в найближчому майбутньому відбудеться конвергенція рейтингових систем, розроблених для оцінки вишів, з наукометричними системами. Таку мету, зокрема, переслідує розробка багатовимірних, картографічних і персоніфікованих рейтингів [8]. Діяльність ренкера активно підтримується органами державного і наддержавного управління (наприклад, Єврокомісією, ООН і ЮНЕСКО).

Наявність різних національних та глобальних рейтингів призвела до спроб їх стандартизації та оцінки ступеня узгодженості. Так, у 2004 році в Бухаресті Європейським центром з вищої освіти ЮНЕСКО (UNESCO-CEPES) було створено Інститут стратегії в області вищої освіти в Вашингтоні та Міжнародна експертна група по ранжируванню (IREG). А у 2006 році в Берліні відбулась Друга нарада (IREG) для вироблення принципів та стандартів ранжирування вищих навчальних закладів - Берлінських принципів ранжування вищих навчальних закладів.

Результатом цієї ініціативи стала розробка основ створення та поширювання загальнонаціональних, регіональних та світових рейтингів. Ці основи відображено в таких напрямах: а) визначення цілей та задач ранжирування, б) розробка показників та їх ваг, в) збір та обробка даних, г) презентація результатів ранжирування. Враховуючи неоднорідність використовуваних методик, прийняті принципи ранжирування створили умови до появи системи постійного покращення та вдосконаленню методик, використовуваних у проведенні таких рейтингів, сприяли вдосконаленню ранжирування та оцінки якості освіти [9].

Таким чином, глобальні рейтинги університетів вже щільно вплетені в життя університетів та національну політику багатьох країн, ставши помітним чинником ринку освітніх послуг.

В Україні також зроблено певні позитивні кроки щодо впровадження на національному рівні рейтингової системи оцінювання діяльності вищих навчальних закладів [10]. У 2003 році за ініціативою та підтримкою Науково-дослідного інституту прикладних інформаційних технологій Кібернетичного центра НАН України було створено Центр міжнародних проектів «Євроосвіта». Місією Центру [1] є імплементація принципів міжнародної експертизи та рейтингового оцінювання діяльності вищих навчальних закладів України, моніторинг якості знань, розроблення та реалізація міжнародних освітньо-наукових проектів, програм, різнопланових заходів, спрямованих на вдосконалення інформаційної інфраструктури в Україні, розвиток та розширення впровадження новітніх інформаційних технологій (ІТ).

На даний час здійснюється робота щодо розроблення та удосконалення різних методик ранжування вищих навчальних закладів. Кожний рейтинг передбачає конкретні цілі і має відповідні цільові групи користувачів. Найбільш часто використовуються національні рейтинги, такі як ЮНЕСКО «ТОП-200 Україна» та «Компас», міжнародний рейтинг «Вебометрикс» [12], Консолідований рейтинг вишів України 2011, який складається за результатами інтеграції перших трьох рейтингів [13], а також Національна система рейтингового оцінювання вищих навчальних закладів.

ВИДІЛЕННЯ НЕВИРІШЕНИХ РАНІШЕ ЧАСТИН ЗАГАЛЬНОЇ ПРОБЛЕМИ

Кожний рейтинг має свої особливості й обмеження. Міністерством освіти і науки України декларується, що всі рейтинги мають право на існування. Пріоритетним і визнаним рейтингом буде такий, що ґрунтується на принципах доступності, відкритості, прозорості, гласності та відповідальності розробника за якість самої рейтингової системи. Це свідчить, про те, що робота над методикою ранжування ВНЗ не припиняється [11]. На думку розробників рейтингу, існує необхідність у критичному погляді на запропоновану систему рейтингового оцінювання ВНЗ [1], тому основним завданням розробників рейтингів залишається їх подальше поліпшення.

ФОРМУЛЮВАННЯ ЦІЛЕЙ

Метою даної роботи є аналіз проблем, що виникають при розробці систем рейтингового оцінювання вищих навчальних закладів, розробка методу дослідження стійкості систем рейтингового оцінювання вищих навчальних закладів відносно зміни коефіцієнтів значимості (ваг) показників та виду інтегральної функції оцінювання, його застосування для дослідження Національної системи рейтингового оцінювання ВНЗ України.

ВИКЛАД ОСНОВНОГО МАТЕРІАЛУ ДОСЛІДЖЕННЯ

Виділимо важливі проблеми, які виникають при оцінці якості рейтингу.

Змістовне наповнення. Розглянуті вище рейтинги ВНЗ використовують для оцінювання як загальної позиції університетів в світовій та регіональних системах вищої освіти, так і їх позицій за окремими напрямами діяльності. Як правило, всі рейтинги істотно відрізняються і набором оцінюваних чинників, і системою вагових коефіцієнтів. Це свідчить про те, що, незважаючи на жорстку конкуренцію між рейтингами, їх необхідно сприймати як компліментарні, а не взаємозамінні інформаційні агрегати. Тобто, в цьому сенсі можна говорити про певну спеціалізацію рейтингів.

Вибір шкали оцінювання. Якщо розглядати форму представлення показників оцінювання, то можна виділити такі найпоширеніші три групи рейтингів. У першій групі кожний університет отримує за окремими показниками певні бали, які потім за деякими правилами перераховують у підсумковий бал. При цьому зазвичай публікують як підсумкові бали, так і оцінки за групами показників, що відповідають певним напрямам діяльності. Рейтинги другої групи використовують числові бали лише як проміжні показники. Далі здійснюють ранжирування університетів і публікують лише отримані ранги. Такий підхід пояснюється тим, що одержувані на першому етапі бали не є справжніми числами і виконання з ними арифметичних операцій, необхідних для розрахунку підсумкового бала, строго кажучи є некоректним. Рейтинги третьої групи йдуть ще далі й об'єднують університети з близькими підсумковими балами до класів зі спільним значенням рейтингу. Це обґрунтовано тим, що невеликі похибки одержуваних оцінок і незначні зміни окремих показників університетів з часом можуть призводити до істотних змін у порядку розташування в загальному рейтингу університетів, які мають близькі підсумкові бали. Деякі рейтинги побудовано за змішаною методикою.

«Технічні» вимоги до вибору системи показників рейтингового оцінювання. До складу показників можна висунути дві групи такого типу вимог: перша (апріорна) група вимагає відсутності кореляції або слабкої кореляції між окремими показниками. Ця група вимог зумовлена тим, що за своєю сутністю функція, за якою розраховується підсумковий рейтинговий бал, є аналогом суперкритерію, який використовують для розв'язання багатокритеріальної задачі, і будують її як лінійну згортку окремих критеріїв. При цьому необхідною умовою її застосування є незалежність окремих критеріїв. Друга група вимог пов'язана зі статистичними властивостями окремих показників. Так, розподіл показників якісного рейтингу повинен мати задовільну «роздільну здатність» [14], тобто спроможність відрізняти один від одного університети, що займають будь-які позиції у рейтингу. Звідси випливає, що коефіцієнт асиметрії рейтингу має бути близьким до нуля а середнє арифметичне - близьким до середини інтервалу оцінок. Стандартне відхилення має бути в межах 0,18-0,25 від різниці між максимальним й мінімальним значеннями показника для рейтингів, що враховують близько 100 університетів; 0,15-0,20 - у випадку 200 університетів й 0,130,19 для 500 університетів. Останні вимоги отримуються з властивостей нормального розподілу. Якщо рейтингові бали підпорядковуються іншому закону розподілу, оптимальні значення стандартного відхилення будуть дещо іншими.

Вибір способу визначення інтегральної оцінки - рейтингу. Як правило, рейтинг передбачає врахування різних груп факторів університетського життя. У процесі рейтингування ці групи факторів, як правило, підлягають підсумовуванню за допомогою відповідних вагових коефіцієнтів, які у всіх рейтингах визначаються експертами, тобто, в значній мірі, суб'єктивно. На захист такого «нестрогого» підходу фахівці говорять [5], що ніякої ефективної альтернативи цьому поки немає. Це свідчить, на жаль, про те, що не задіяним досі ще є інструментарій теорії багатокритеріального вибору.

Проблеми оцінки переваг щодо інтегральної рейтингової оцінки. Основою всіх глобальних рейтингів є не тільки правильний набір показників (факторів), але і правильний вибір вагових коефіцієнтів, за допомогою яких визначається інтегральна оцінка - рейтинг. Проблемою є те, що у всіх рейтингах ці коефіцієнти, які відображають переваги розробників, визначаються експертами, тобто, значною мірою, суб'єктивно. Більш того, в деяких методиках розрахунку відсутні величини вагових коефіцієнтів. Це призводить до того, що практично всі рейтинги мають обмежену інформаційну та методичну транспарентність, яка ускладнює їх практичне використання.

Проблема вагових коефіцієнтів у глобальних рейтингах університетів - спроба стандартизації системи оцінки вузів є об'єктивною потребою, але досягти її, як правило, не вдається. Проте деякі дослідження показують [5], що є такі аспекти функціонування університетів, які або не можна, або дуже важко врахувати у формальних процедурах. Результатом цього є зміщення справжніх оцінок у глобальних рейтингах. Методологічно ця проблема також еквівалентна проблемі вибору вектора вагових коефіцієнтів.

Роль вагових коефіцієнтів при побудові рейтингу дуже велика.

По-перше, спосіб їх визначення та порядок зміни може призвести до суперечливості і нестійкості рейтингових оцінок. Прикладом цього є стрибки місця вишу у глобальних рейтингах, які отримали широкий резонанс у літературі та наукових колах [5].

По-друге, за рахунок вибору відповідних вагових коефіцієнтів деякі досягнення ВНЗ виявляються гіпертрофованими, особливо, якщо ці досягнення не характерні для більшості.

Проте в науковій літературі майже не розглядаються питання про адекватність вагових коефіцієнтів та стійкість рейтингів до невеликих змін вагових коефіцієнтів. Перевірку рейтингів на чутливість до змін ваг можна вважати одним із головних тестів на їх працездатність та напрямом їх подальшого вдосконалення.

Розглянемо та проаналізуємо для прикладу Національну систему рейтингового оцінювання ВНЗ України, яка застосована для всіх вищих навчальних закладів ІІІ-IV рівнів акредитації. У рейтинговому оцінюванні [10] взяли участь 229 вищих навчальних закладів ІІІ-IV рівнів акредитації усіх форм власності та підпорядкування. Для оцінювання обрано показники діяльності вищого навчального закладу, які характеризують активність університету на міжнародному рівні, якість контингенту студентів, якість науково-педагогічного потенціалу, результативність науково- дослідної та науково-технічної діяльності та ресурсне забезпечення навчального процесу. Діяльність вищого навчального закладу оцінювалася за допомогою глобального критерію рейтингу (ГКР), який є інтегральним і визначається зваженою сумою таких індексів критеріїв:

індекс міжнародної активності (І1);

індекс якості контингенту студентів (І2);

індекс якості науково-педагогічного персоналу (І3);

індекс якості наукової-дослідної та науково-технічної діяльності (І4);

індекс ресурсного забезпечення (І5).

Ранжування суб'єктів здійснювалося в межах ідентифікованих груп, які об'єднані з урахування специфіки підготовки кадрів та профілю вищого навчального закладу. Розглянемо результати оцінювання та ранжування в межах групи «Класичні університети», яка містить 31 виш. На рис. 1 подано графічне представлення значень індексів критеріїв І1-І5 для групи «Класичні університети», впорядкованих за глобальним критерієм ГКР.

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Проаналізуємо статистичні характеристики отриманих результатів оцінювання за кожним з критеріїв І1-І5. На рис. 2 представлено гістограми емпіричного розподілу (частоти) індексів критеріїв І1-І5, а на рис. 3 - графіки емпіричних функцій розподілу значень кожного з індексів.

Як видно з рисунків, усі індекси мають схожі статистичні властивості та однорідні функції розподілу. Для уточнення висновку обчислимо основні статистичні характеристики для кожного індексу, які представимо на рис. 4.

Як видно з описової статистики, всі показники мають асиметричний розподіл, який найбільше виявляється в індексу якості науково-педагогічного персоналу. Разом із високим коефіцієнтом ексцесу це свідчить про те, що більшість університетів мають результати, що гірші за середні. Найбільші інтервал значень, дисперсію та стандартне відхилення характерні для індексу І1 - якості міжнародної діяльності. Це свідчить про дуже неоднорідні та, в більшості, незадовільні результати в цій сфері діяльності. У цілому набір рейтингових показників характеризується недостатньою «роздільною здатністю».

Рис. 4. Статистичні оцінки для значення індексів критеріїв І1-І5 для групи «Класичні університети»

Проаналізуємо результати оцінювання групи «Класичні університети» на залежність часткових показників - індексів критеріїв (І). З цією метою побудуємо кореляційну матрицю (табл. 1).

Таблиця 1 - Кореляційна матриця індексів критеріїв ГКР для групи «Класичні університети»

Індекси критеріїв	І1	І2	ІЗ	І4	І5
І1	1,00
І2	0,66	1,00
ІЗ	0,30	0,50	1,00
І4	0,32	0,56	0,50	1,00
І5	0,59	0,77	0,23	0,40	1,00

Як видно з табл. 1, між частковими показниками в цілому немає явної (парної) залежності, окрім додатного зв'язку між показником якості контингенту студентів (І2) та рівнем (індексом) ресурсного забезпечення (І5). Поясненням цього може бути те, що більш якісний контингент студентів намагається вступати та навчатися в більш потужних за забезпеченням вишах.

Розглянемо проблему дослідження стійкості та чутливості рейтингу до зміни коефіцієнтів важливості показників рейтингового оцінювання та побудуємо метод її оцінки. Для цього сформулюємо формальну постановку задачі та введемо необхідні визначення та позначення.

Нехай об'єктами рейтингування є класичні університети U'п, множину яких позначимо KU = {U, n = 1,Nj . Для рейтингу, що розглядається, N = 31.

Кожен університет Uп оцінюється вектором показників xn = (хП, хП, хП, хП, хП) , де x” - оцінка за частковим критерієм і, тобто х” = /., і = 1,5.

Для формулювання переваг особи, що приймає рішення (у даному випадку - розробників системи рейтингового оцінювання) щодо значимості у інтегральній оцінці (ГКР) часткових критеріїв, визначається вектор ваг часткових критеріїв

k = ^ k2 , k3, k4 , k5) , (!)

для якого повинні виконуватися умови:

0 < кг < 1, і = 1,5, X k =1 * (2)

і=1

У системі рейтингового оцінювання МОН України [10] визначено такий вектор ваг критеріїв (переваг): к2010-11 = (0,2; 0,21; 0,19; 0,2; 0,2). Цей вектор у подальших дослідженнях будемо називати «стандартним».

Інтегральний рейтинговий індекс - глобальний критерій рейтингу - є деякою функцією від часткових критеріїв, тобто вектора xn, та вектора ваг к :

f(xn,к). (3)

Функцію (3), яка визначає результати ранжування R, будемо називати функцією рейтингування. Для рейтингу, що розглядався, використано адитивну функцію рейтингування виду f (xn, к) = X ktx" .

i=1

Рейтинг R, отриманий у результаті застосування функції рейтингування f (xn, к), будемо позначати: R f :

R =(R,, n = Щ

де Rf - місце в рейтингу за функцією f (xn, к) університету Un. Тоді, якщо для рейтингування використано іншу функцію рейтингування (або інший вектор ваг к ), наприклад, f (xn, к), то буде отримано інший рейтинг (ранжування) - Rf1 =( Rj,, n = 1, N, в якому університет Uп може посісти інше місце Rjl .

Саме ці показники характеризують стійкість рейтингу до зміни або вектора к (1) ваг часткових критеріїв, або виду функції рейтингування f (xn, к) (3).

Для дослідження стійкості рейтингу українських ВНЗ (на прикладі групи «Класичні університети») проведено серію експериментальних розрахунків.

Для дослідження стійкості рейтингу від коефіцієнтів важливості показників рейтингового оцінювання розглянуто три серії експериментів: серії А, Б та С, вектори ваг к для яких наведено у табл. 2.

Таблиця 2 - Опис вихідних даних щодо вектора ваг к для серій А,Б та С

Часткові показники \ оцінювання якості Х. внз Варіанти переваг щодо важливості показників оцінювання якості ВНЗ	Міжнародна активність к1	Якість контингенту студентів к2	Якість науково- педагогічного персоналу к3	Якість наукової та науково- технічної діяльності к4	Ресурсне забезпечення начального процесу к5
Серія А	стандарт (МОН України)	0,2	0,21	0,19	0,2	0,2
	Ia	0,1	0,3	0,2	0,2	0,2
	IIa	0,2	0,3	0,2	0,1	0,2
	IIIa	0,2	0,3	0,2	0,2	0,1
	IVa	0,2	0,2	0,2	0,2	0,2
Серія Б	стандарт	0,2	0,21	0,19	0,2	0,2
	Іб	0,2	0,2	0,2	0,2	0,2
	ІІб	0,2	0,3	0,3	0,1	0,1
	ІІІб	0,1	0,3	0,3	0,2	0,1
	ІУб	0,1	0,3	0,3	0,1	0,2
Серія C	стандарт	0,2	0,21	0,19	0,2	0,2
	Ic	0,4	0,1	0,2	0,1	0,1
	IIc	0,4	0,2	0,2	0,1	0,1
	IIIc	0,4	0,2	0,1	0,2	0,1
	IVc	0,4	0,2	0,1	0,1	0,2

Визначений розробниками (проведений) рейтинг базувався на використанні вектора ваг к2оіо_іі _0,21; 0,19; 0,2; 0,2), який у табл. 2 означений як «стандарт». Такий вектор передбачав майже однакову важливість усіх часткових критеріїв, але дещо більшу важливість якості контингенту (І2) за якість науково-педагогічного персоналу (І3): 0,21 _к2 >к3 _0,19.

Припущення щодо серії А: найбільшу важливість має критерій І2 - якість контингенту студентів ( к2 _ 0,3 ), яка при незмінній важливості майже всіх інших показників знижує важливість одного з них (для експерименту Ia - за рахунок І - (к3 _ 0,1), для ІІа - за рахунок І4 ( к4 _ 0,1), для Ша - за рахунок І5 ( к5 _ 0,1)).

Експеримент IVa проведено для порівняння існуючого рейтингу з повністю рівнозначними (однакової важливості) критеріями.

Припущення щодо серії Б: найбільшу (однакову) важливість мають критерії І2 - якість контингенту студентів та І3 - якість науково-педагогічного персоналу (к2 _ к3 _ 0,3). При збереженні важливості інших показників це змушує знизити важливість двох з них (варіанти II6-IV6).

Припущення щодо серії С: з метою стимулювання ВНЗ до активізації діяльності згідно Болонської декларації за найважливий критерій визначено І - міжнародну активність (к _ 0,4 ) за рахунок зменшення важливості інших (варіанти Іс-ГУс).

Результати досліджень представлено в табл. 3 та в графічному вигляді - на рис. 5 а)-в).

Серія А
Ia	IIa	Ilia	IVa
Сума абсолютних відхилень - SADP	24	SADP	26	SADP	6	SADP	0
Середнє абсолютне відхилення - MADP	0,77	MADP	0,84	MADP	0,19	MADP	0
Максимальне відхилення - MAXADP	3	MAXADP	2	MAXADP	2	MAXADP	0
Серія Б
Іб	ІІб	ІІІб	ІУб
SADP	0	SADP	26	SADP	31	SADP	26
MADP	0	MADP	0,84	MADP	1	MADP	0,84
MAXADP	0	MAXADP	3	MAXADP	4	MAXADP	4
Серія С
Іс	ІІс	ІІІс	IVc
SADP	53	SADP	54	SADP	42	SADP	56
MADP	1,71	MADP	1,74	MADP	1,36	MADP	1,81
MAXADP	7	MAXADP	7	MAXADP	4	MAXADP	7

Таблиця 3 - Зведені результати експериментів за серіями А-С

ВИСНОВКИ ЗА РЕЗУЛЬТАТАМИ ЕКСПЕРИМЕНТУ

Переваги розробників («стандарт»), які відображено в зміщенні значень ваг показників І2 та І3, не впливають на результат, який відповідає рейтингуванню з рівнозначними ваговими коефіцієнтами (експеримент IVa та Іб), тобто, коли всі часткові критерії є рівноважливими. Тобто в цьому випадку рейтинг є стійким.

У випадку, коли найбільшу важливість має критерій І2 - якість контингенту студентів (k2 = 0,3) (серія А), рейтинг є найменш чутливим, якщо перевага І2 надається за рахунок І5 - ресурсного забезпечення. Враховуючи виявлену вище (див. п. 3.1) кореляційну залежність цих індексів, очевидно, що проявляється «ефект взаємозаміни». Тобто у випадку залежних показників зміна ваг у межах їх множини не призводить до високої чутливості та нестійкості рейтингу (у середньому тільки п'ята частина ВНЗ може зміститися в рейтингу на одне місце).

У цілому, при зміні ваг критеріїв у межах 0,1 відносно рівноважності критеріїв, рейтинг виявляється не достатньо стійким - таким, що хоча максимальна зміна місця не перевищує 4, майже кожний учасник може зміститися на одне місце.

Рейтинг виявляється дуже чутливим до зміни ваг критеріїв більш ніж на 0,2 відносно рівноважності критеріїв. Його нестійкість виявляється в можливих стрибках учасників на 7 місць, а майже кожний учасник може зміститися на дві позиції у рейтингу.

Таким чином, можна констатувати, що вибір вектора коефіцієнтів ваг часткових критеріїв рейтингового оцінювання суттєво впливає на результати рейтингування. Це означає, зокрема, що його вибір може слугувати як позитивним цілям - управління системою вищої освіти в країні, так і негативним - створювати умови для зростання корупції та ручного управління.

Дослідження стійкості рейтингу при зміні функції рейтингового оцінювання

Проблема вибору виду функції рейтингового оцінювання полягає в такому. Як правило, у різних системах рейтингового оцінювання інтегральний рейтинговий індекс (глобальний критерій рейтингу) визначається лінійною функцією f (xn, k), тобто

p

f (xn,Ik) = 2k,xi , (5)

i=l

де вектор k (1) задовольняє умові (2), P - кількість показників оцінювання (у нашому випадку P = 5 ). Проте функція (5) адитивного типу має суттєві недоліки, які не завжди дозволяють відобразити вимоги до рейтингу. Як альтернативний варіант функції f (xn, k) можна розглядати мультиплікативну функцію вигляду

p

f( xn, k) = П (x" )У (6)

i=1

Для обґрунтування наведемо такі міркування. Застосування адитивної функції (операція «додавання») дозволяє незначні досягнення за одним частковим критерієм (показником) компенсувати за рахунок інших, більш значних. Арифметичній операції «додавання» відповідає логічна операція «диз'юнкція» (логічне «або»). Проте інтегральна оцінка ВНЗ передбачає вимогу виконання всіх видів діяльності, тобто врахування всіх показників одночасно. Така оцінка відповідає логічній операції «кон'юнкція» (логічне «і», «та»), яка реалізується за допомогою алгебраїчної операції «добуток».

Дослідження стійкості рейтингу при зміні функції рейтингового оцінювання проведено за аналогічним сценарієм. Необхідно відмітити, що рейтинг, що базується на використанні мультиплікативної функції (6), виявився менш стійким до зміни ваг.

Проте вибір виду функції рейтингового оцінювання в подальшому необхідно пов'язати зі стійкістю рейтингу відносно коливань значень часткових критеріїв (показників).



ВИСНОВКИ

Відкритість, прозорість вищої освіти сьогодні - це виклик суспільства, репутація і необхідність. Рейтингова система управління вищою освітою є кроком до оцінювання результативності діяльності вищого навчального закладу, визначення його пріоритетів за певними індикаторами, його інтегрального рейтингового індексу в системі або галузевій групі.

На ринку освітніх послуг рейтингування приводить до стратифікації вищих навчальних закладів за якістю освіти, виділення групи елітних університетів, формування ієрархічного ринку освіти.

Порівняльний аналіз за результатами ранжування може використовуватися при формуванні загальнодержавної та регіональної соціально-економічної політики, зокрема, при визначенні:

проблемних університетів на галузевому й регіональному рівні;

слабких і сильних сторін університетів;

пріоритетних напрямів розвитку окремих університетів;

обсягів і напрямів фінансових потоків з Державного та місцевих бюджетів на розвиток регіональних систем вищої освіти.

Проте до результатів будь-якого рейтингу необхідно підходити обізнано і розуміти, що «ідеальний» рейтинг (надійний, стійкий, всебічний тощо) існувати не може. Це обумовлено, по-перше, багатогранністю в напрямах діяльності вищих навчальних закладів, особливостями національної системи вищої освіти та науки. Тому необхідно враховувати певну спеціалізацію рейтингів, а їх результати необхідно сприймати як компліментарну інформацію, яка сприяє іміджу навчального закладу. По-друге, результати рейтингування суттєво залежать від методики складання рейтингу: його цілі відображаються в коефіцієнтах ваг показників оцінки та способах визначення інтегрального рейтингового показника. В удосконаленні підходів до вибору переваг та прозорості в обґрунтуванні виду функції рейтингування і полягає напрям подальшого розвитку системи рейтингування ВНЗ в Україні.



ЛІТЕРАТУРА

Офіційний веб-сайт Центру міжнародних проектів "Євроосвіта" [Електронний ресурс]. -- Режим доступу : http://euroosvita.net.

Балацкий Е. В. Международные рейтинги университетов: практика составления и использования / Е. В. Балацкий, Н. А. Екимова // Журнал новой экономической ассоциации. -- 2011. -- № 9. --150--172.

Baty Ph. Measured, and Found Wanting More [Електронний ресурс] / Ph. Baty // Times Higher

Education. -- 2010. -- 8 July. -- Режим доступу :

http://www.timeshighereducation.co.uk/story.asp?storycode=412341.

Сайт Centre for Science and Technology Studies, Leiden University [Електронний ресурс]. -- Режим доступу : http://www.leidenranking.com/.

Балацкий Е. В. Сравнительная надежность глобальных рейтингов университетов / Е. В. Балацкий, Н. А. Екимова // Журнал новой экономической ассоциации. -- 2011. -- № 11. -- С. 127--140.

Smith D. N. The History Behind Universities, League Tables and the Brand [Електронний ресурс] /

N. Smith // Global Opinion Survey. New Outlooks on Institutional Profiles. -- 2010. -- February. -- Режим доступу : http://ip-science.thomsonreuters.Com/m/pdfs/Global_Opinion_Survey.pdf.

Рейтинг. США [Електронний ресурс] / Сайт видання U.S. News&World Report. -- Режим доступу : http://www.usnews.com.

Сайт IREG Observatory on Academic Ranking and Excellence [Електронний ресурс] / Міжнародна інституціональна некомерційна асоціація рейтингових організацій, університетів та інших органів. -- Режим доступу : http://www.ireg-observatory.org/index.php?option=com_content&task= blogcategory&id=23&Itemid=239.

Берлінські принципи ранжирування вищих навчальних закладів [Електронний ресурс]. -- Режим доступу : http://euroosvita.net/prog/data/ doc/BerlinPrinciples.pdf.

Рейтинг вищих навчальних закладів III-IV рівнів акредитації МОНмолодьспорту [Електронний ресурс] / Офіц. сайт Міністерства освіти і науки України. -- Режим доступу : http://www.mon.gov.ua/ua/activity/education/58/rejting/.

Ямковий В. Ранжування університетів - крок до відкритості та прозорості вищої освіти [Електронний ресурс] / В'ячеслав Ямковий. -- Режим доступу : http://library.uipa.kharkov.ua/library/Documents/BolonProz/3/ vis_shk_rang.htm.

Рейтинги ВНЗ [Електронний ресурс] / Освітній портал. -- Режим доступу : http://www.osvita.org.ua/abitur/entrance/ratings/index.html.

Консолідований рейтинг вузів України 2011 [Електронний ресурс] / Інформ. освіт. ресурс «Освітам». -- Режим доступу : http://osvita.ua/vnz/rating/25712.

Бахрушин В. Є. Статистичний аналіз університетських рейтингів / В. Є. Бахрушин // Освіта і управління. -- 2011. -- № 1. -- С. 7--12.

Размещено на Allbest.ru

...