Моніторинг рейтингових показників викладача для прийняття управлінських рішень з використанням ІКТ

Размещено на http://www.allbest.ru/

Моніторинг рейтингових показників викладача для прийняття управлінських рішень з використанням ІКТ

Буйницька Оксана Петрівна

доктор педагогічних наук, доцент, завідувачка НДЛ інформатизації освіти Київський університет імені Бориса Грінченка, м. Київ, Україна

Тютюнник Анастасія Володимирівна

методистка НДЛ інформатизації освіти

Київський університет імені Бориса Грінченка, м. Київ, Україна

Анотація

У забезпеченні якості вищої освіти однією з вирішальних є роль викладача. Відповідно до європейських стандартів, Закону України «Про вищу освіту», рекомендацій Національного агентства із забезпечення якості вищої освіти система внутрішнього забезпечення якості передбачає наявність розроблених і оприлюднених критеріїв, правил і процедур оцінювання науково-педагогічних, наукових працівників, а також щорічне їх оцінювання. Для формування якісного складу науково-педагогічних працівників у Київському університеті імені Бориса Грінченка розроблена система рейтингів викладачів - «Е-портфоліо», яка є однією із складових інформаційно освітнього середовища. З метою здійснення аналізу діяльності викладачів, структурних підрозділів та університету в цілому в системі «Е-портфоліо» було реалізовано основні типи статистичних звітів: за рейтинговими балами; за структурними підрозділами; за рейтинговими показниками основних видів діяльності; за кожним із вагових показників тощо. Перших декількох років використання вбудованої статистики було достатньо для проведення аналізу діяльності викладача, підрозділу, але виникла потреба у відслідковуванні динаміки показників, тому було розпочато пошук сучасних інструментів бізнес-аналітики для розробки візуалізації рейтингів. Нами було визначено інструмент Power BI, який дозволяє мати повне уявлення про результати діяльності і який орієнтований саме на аналіз даних. Оптимальним для створення звіту було використання моделі даних у вигляді «Схеми Зірка». Організація даних в обраній моделі заснована на логічному поділі їх на два типи, для зберігання яких використовуються таблиці розмірностей і таблиці фактів. За допомогою створених «Мір» та стандартних функцій зведених таблиць були реалізовані візуалізації вхідних даних рейтингу, створені деталізації та фільтри для більш зручного перегляду та аналізу даних. Після завершення всіх налаштувань візуалізації та фільтрів було опубліковано звіт за допомогою серверу звітів Power BI. Використання інструменту Power BI дало зм огу топ- менеджерам університету мати цілісну картину результатів діяльності працівників і підрозділів, визначати пріоритети діяльності, приймати справедливі рішення при продовженні контрактів, що, безумовно, сприяє забезпеченню якості вищої освіти.

Ключові слова: якість вищої освіти; внутрішня система забезпечення якості; рейтингове оцінювання викладачів; система е-портфоліо; моніторинг рейтингових показників; візуалізація звітів; інструмент бізнес-аналітики Power BI.

Abstract

MONITORING OF THE TEACHER'S RATING INDICATORS FOR MAKING MANAGEMENT DECISIONS USING ICT

Oksana P. Buinytska

Doctor of Pedagogical Sciences, Associate Professor, Head of IT in Education Laboratory Borys Grinchenko Kyiv University, Kyiv, Ukraine

Anastasiia V. Tiutiunnyk

Methodist of IT in Education Laboratory Borys Grinchenko Kyiv University, Kyiv, Ukraine

One of the crucial roles in ensuring the quality of higher education is the teacher role. In accordance with European standards, the Law of Ukraine “On Higher Education”, the recommendations of the National Agency for Quality Assurance in Higher Education, the system of internal quality assurance provides for the existence of developed and published criteria, rules and procedures for the evaluation of scientific and pedagogical, research workers, as well as their annual evaluation. To form high-quality scientific and pedagogical workers at the Borys Grinchenko Kyiv University, a system of teacher ratings has been developed - “E-portfolio”, which is one of the components of the information and educational environment. In order to analyze the activities of teachers, departments and the university as a whole in the system “E - portfolio” the main types of statistical reports were implemented: by rating points; by structural units; by rating indicators of the main types of activity; for each of the weights, etc. The first few years the usage of the built-in statistics was enough to analyze the activities of the teacher, the unit. However, there was a need to monitor the dynamics of indicators, so we began to look for modern tools of business intelligence to develop visualization of ratings. We have identified the Power BI tool, which allows you to have a complete picture of the results of activities and which is focused on data analysis. It was optimal to create a report using a data model in the form of a “Star Scheme”. The organization of data in the selected model is based on their logical division into two types, for storage of which dimension tables and fact tables are used. With the help of the created “Measure” and standard functions of the summary tables visua lizations of input data of a rating were realized, details and filters for more convenient viewing and the analysis of the data were created. After completing all visualization and filter settings, the report was published using the Power BI report server. The use of the Power BI tool allowed top managers of the university to have a holistic picture of the results of employees and departments, to determine the priorities of activities, to make fair decisions when renewing contracts, which certainly contributes to the quality of higher education.

Keywords: quality of higher education; internal quality assurance system; rating assessment of teachers; e-portfolio system; monitoring rating indicators; visualization of reports; Power BI business intelligence tool.

ВСТУП

моніторинг рейтинг викладач

Постановка проблеми. Основним завданням сучасного закладу вищої освіти є надання якісних освітніх послуг та забезпечення їх відповідності національним, європейським і міжнародним стандартам. Роль викладача є однією з вирішальних у забезпеченні якості освітнього процесу. Відповідно до Закону України «Про вищу освіту» [1] система забезпечення якості освітньої діяльності та якості вищої освіти (система внутрішнього забезпечення якості) передбачає наявність розроблених і оприлюднених критеріїв, правил і процедур оцінювання педагогічних, науково- педагогічних, наукових працівників, а також щорічне їх оцінювання. Національне агентство із забезпечення якості вищої освіти (НАЗЯВО) у Рекомендаціях щодо запровадження внутрішньої системи забезпечення якості [2] акцентує увагу на професійному розвитку викладача та лідерству як складових внутрішньої системи забезпечення якості.

Аналіз останніх досліджень і публікацій. Дослідженню якості вищої освіти присвячено ряд досліджень як зарубіжних, так і вітчизняних науковців.

Х. Фавад Латиф, І. Латиф, У. Фарук Сахідзада, М. Улла [3], досліджуючи якість вищої освіти, виділяють шість основних детермінантів якості в закладі вищої освіти (ЗВО):

- якість професійно-викладацького складу,

- рівень надання адміністративних послуг,

- рівень викладання та діяльності,

- постійне підвищення кваліфікації працівників,

- якість управління,

- професіоналізм керівництва.

Вивчаючи механізми посилення кожної із визначених детермінант, а відповідно й забезпечення зовнішньої і внутрішньої якості вищої освіти, Р. Хайнце [4] та С. Явед [5] виділили ключові проблеми. На їх думку, основними проблемами забезпечення якості є недостатнє залучення до підвищення якості викладачів, студентів, співробітників, вищого керівництва та інших зацікавлених сторін, оскільки більшість рішень щодо покращення якості приймаються саме вузькими спеціалістами, а також неможливість швидко відслідковувати потреби та виклики ХХІ століття за кожною із складових забезпечення якості вищої освіти. Тісно перекликаються з детермінантами якості освіти, згаданими вище, і дослідження М. Крафта, Е. Гілмора [6] та Н. Пауфлера, Е. Слоата [7], які вказують на необхідність запровадження оцінювання кожної зі складових та підтверджують ефективність рейтингового оцінювання.

Кращі світові практики підвищення як зовнішнього забезпечення якості освіти, так підвищення внутрішньої якості внутрішньої системи, зокрема й через запровадження рейтингових систем, пропонує у своїх звітах [8] Міжнародна мережа агенств із забезпечення якості у вищій освіті (The International Network for Quality Assurance Agencies in Higher Education - INQAAHE)

На проблемах та перспективах оцінювання якості саме української освіти акцентує увагу В. Огнев'юк [9], [10]. Він вважає, що Україні потрібна нова стратегія розвитку, яка ґрунтується на першочерговому залученні національного інтелекту до продукування інноваційних технологій, інтелектуально й креативно містких результатів праці. Але головною проблемою є «невизначеність механізмів проведення моніторингу якості освіти та об'єктивних показників, які забезпечують оцінювання закладів освіти, програм, рівня навчальних досягнень і створюють основу для конкуренції всередині країни, через що має відбуватися підвищення якості освіти» [10, с.8].

Для розуміння цілісної картини якісного складу науково-педагогічних працівників, їх роботи як індивідуального дослідника, так і структурного підрозділу закладу вищої освіти в цілому є важливим аналіз досвіду та можливостей використання сервісів відкритих наукометричних систем та систем альтернативної метрики для збору та опрацювання статистичних даних, про що стверджують у своїх працях В. Биков, О. Спірін [11], [12] та виокремлюють якісні і кількісні критерії оцінювання педагогічних досліджень. Такої ж точки зору дотримується у своєму дослідженні Д. Карамишев [13] досліджуючи шляхи та засоби забезпечення якості освіти. Він стверджує, що «одним із найважливіших елементів забезпечення внутрішньої системи якості освіти є моніторинг, який можна охарактеризувати як комплексну системну діагностику кількісних і якісних характеристик ефективності розвитку і функціонування освітньої системи - цілей, її змісту, дидактичних та технічних засобів, результатів навчання та виховання, форм та методів розвитку особистості» [13, с.134].

Інструменти вимірювання діяльності викладача висвітлено у працях Н. Морзе [1418], О. Раєвнєвої [19], Л. Варченко-Троценко [15], В. Ходоровського [20], І. Грищенка [21] та інших. Зокрема Н. Морзе [15] виділяє ключові показники для оцінювання діяльності викладача, а саме науково-дослідна, академічна, професійна діяльності, які відіграють ключове значення під час формування рейтингів закладів вищої освіти та їх конкурентоспроможності. Саме ці показники є основними для формування якості та відкритості результатів діяльності ЗВО. Кожен заклад вищої освіти, враховуючи потреби, розробляє й удосконалює щорічно рейтингові показники для внутрішнього оцінювання викладачів. Але фактично проведення рейтингового оцінювання сьогодні - це просто констатація показників працівників, а не здійснення аналізу динаміки показників. І тут ми поділяємо думку Д. Карамишева, що «головна роль моніторингу полягає в аналітичному порівнянні даних оцінок у динаміці, а не просто в констатації даних чи фактів» [13, с.134].

Разом з тим, організації та аналізу відслідковування динаміки рейтингових показників діяльності як викладачів, так і підрозділів приділяється незначна увага, не описано інструментарій відслідковування динаміки рейтингових показників, тому метою нашого дослідження є розробка візуалізації рейтингових показників викладачів та підрозділів за допомогою сучасних інструментів бізнес-аналітики з можливістю відображення їх динаміки за різні періоди задля прийняття успішних управлінських рішень, які сприятимуть забезпеченню якості вищої освіти.

МЕТОДИКА ДОСЛІДЖЕННЯ

Дослідження пов'язане з виконанням завдань науково-дослідної теми «Розвиток відкритого освітнього інформаційного середовища університету для забезпечення якості освіти» (Реєстраційний номер - 0116U003995), що виконується НДЛ інформатизації освіти Київського університету імені Бориса Грінченка протягом 2016-2021 рр.

РЕЗУЛЬТАТИ ДОСЛІДЖЕННЯ

Для розуміння цілісної картини якісного складу науково-педагогічних працівників Університету, виконання Закону України про вищу освіту, у якому якість та відкритість результатів діяльності закладу вищої освіти є одним із пріоритетів, в Університеті Грінченка розроблено систему внутрішніх рейтингів викладачів - систему Е-портфоліо (http://e-portfolio.kubg.edu.ua/), яка є однією із складових інформаційно-освітнього середовища університету і спонукає до його якісного розвитку. У системі відображається діяльність науково-педагогічних працівників, яка впливає на показники забезпечення якості освітньої діяльності університету відповідно до європейських стандартів. Е-портфоліо акумулює всю професійну діяльність викладачів за визначеними кількісними і якісними показниками оцінювання основних видів діяльності кожного викладача та всіх підрозділів університету з метою об'єктивного аналізу якості кадрового забезпечення та забезпечення якості вищої освіти [17]. Основними завданнями запровадження рейтингового оцінювання є розвиток лідерського потенціалу науково-педагогічних та наукових працівників, мотивація до ефективної та результативної діяльності, що сприяє розвитку інновацій та підвищенню якості освітньої діяльності; формування якісного викладацького складу університету [22].

Особливості функціонування системи рейтингового оцінювання «Е-портфоліо»

Система рейтингів передбачає охоплення показниками всіх аспектів діяльності викладачів; можливість їх доповнення, зміни. Показники діяльності було розроблено на основі внутрішніх стандартів якості (за ЮНЕСКО), показників міжнародних рейтингів університетів, корпоративних стандартів університету (наукового стандарту та стандарту ікт (цифрової) компетентності). Щороку відповідно до потреб університету видозмінюються та затверджуються Вченою радою після спільного обговорення колективами структурних підрозділів університету показники на наступний рік.

Основними вимогами до системи «Е-портфоліо» є: встановлення рейтингу викладачів та підрозділів; можливість створювати, наповнювати, оновлювати й удосконалювати базу даних і використовувати дані зі складових створеного інформаційно освітнього середовища університету: інституційного репозиторію, бази реєстрів діяльності Університету, системи е-навчання, даних з відкритих профілів в Google Академії (Рис. 1); розгляд результатів рейтингу викладачів, кафедр, науково-дослідних лабораторій, факультетів, інститутів та відслідковування їх динаміки [14, с. 39].

З метою відображення в портфоліо викладача достовірної інформації, всі відомості у систему заносяться або з інституційного репозиторію

http://elibrary.kubg.edu.ua/, або з реєстрів бази діяльності Університету http://rg.kubg.edu.ua/. Відповідальність за внесення інформації в зазначені системи покладається на певних працівників, визначених окремим наказом.



Рис. 1. Акумуляція даних у систему Е-портфоліо

При формуванні рейтингових списків передбачена можливість формування ранжування за структурними підрозділами, кафедрами, посадами, вченими званнями, науковими ступенями. Також реалізовано дотримання викладачами певних, так званих обов'язкових, умов, у разі невиконання яких викладач не може бути лідером в університеті.

На сторінці портфоліо викладача представлені основні відомості про нього - освіта, посада, кафедра, громадська діяльність тощо. Далі, відповідно до видів діяльності і визначених показників оцінювання, формуються три основні блоки - науково-дослідницька діяльність, професійний розвиток і викладацька діяльність [2 3].

Задля зрозумілості, відкритості і прозорості нарахувань балів за певними видами діяльності достатньо переглянути деталізацію рейтингу, де відображено нарахування балів за кожним з визначених у поточному році правилом.

З метою здійснення аналізу діяльності викладачів, структурних підрозділів та університету в цілому в системі Е-портфоліо було реалізовано основні типи статистичних звітів:

- про рейтингові бали викладачів, які визначаються в розрізі посад, наукових ступенів, підрозділів тощо;

- за структурними підрозділами;

- за рейтинговими показниками основних видів діяльності;

- за кожним із вагових показників, за якими здійснюються підрахунки рейтингів;

- за середніми показниками.

Перші декілька років запровадження рейтингової системи Е-портфоліо та використання вбудованої статистики було нам достатньо для проведення аналізу діяльності викладача, структурного підрозділу. Але виникла потреба у відслідковуванні динаміки показників.

Інструментарій для візуалізації і відстеження динаміки рейтингових показників

Аналізуючи сучасні інструменти бізнес-аналітики, ми дійшли думки, що найбільш вдалим для вирішення наших завдань було визначено інструмент, який дозволяє мати повне уявлення про результати діяльності і орієнтований саме на аналіз даних, що має в своєму розпорядженні специфічний функціонал, широкі можливості візуалізації, спеціальні механізмами обробки даних - інструмент Power BI. Використання інструменту Power BI дає змогу топ-менеджерам університету мати цілісну картину результатів діяльності працівників і підрозділів, а також позбавляє від необхідності співставляти звіти для того, щоб відслідкувати динаміку показників діяльності.

Для здійснення детального порівняльного аналізу діяльності викладачів, структурних підрозділів Київського університету імені Бориса Грінченка у період за 2017-2021 роки та представлення візуалізованого детального звіту було обрано інструмент Power BI.

Power BI - це новий напрямок розвитку бізнес-аналітики, який представляє собою набір служб бізнес-аналітики з підтримкою хмарних технологій для аналізу та візуалізації даних. Основна перевага даного інструменту полягає в можливості побудови інтерактивних інформаційних панелей (dashboard), з ключовими показниками діяльності, які доступні для перегляду з будь-якого пристрою, підключеного до мережі Інтернет. Окрім того, Power BI дозволяє оперативно працювати з аналітикою в реальному часі, здійснювати професійну візуалізацію, підключати різні джерела даних в єдину модель, отримувати необхідні деталізації та вибірки даних (Рис. 2).

Рис. 2. Особливості інструменту Power BI

Power BI складається з таких компонентів: додаток Windows - Power BI Desktop; вебслужба SaaS (програмне забезпечення як послуга) - служба Power BI; мобільні додатки Power BI для iOS і Android; сервер звітів Power BI. Компоненти Power BI Desktop, служба Power BI та мобільні додатки Power BI дозволяють створювати і ефективно використовувати бізнес-аналітику, а сервер звітів Power BI - дозволяє публікувати звіти Power BI, створені в Power BI Desktop та на локальному сервері звітів.

Power BI Desktop - це безкоштовний додаток, який встановлюється на локальному комп'ютері і дозволяє підключатися до джерел даних, перетворювати і візуалізувати їх. За допомогою Power BI Desktop можливо підключатися до кількох різних джерел даних, а також об'єднувати їх в моделі даних. Модель даних дозволяє створювати візуальні елементи та колекції візуальних елементів у вигляді звітів [24]. Для створення інтерактивного аналітичного звіту та візуалізації цих даних в Power BI Desktop було завантажено попередньо опрацьовані результати (у вигляді зведених таблиць) професійної діяльності, окремо за кожним визначеним правилом науково - педагогічних та наукових працівників Київського університету імені Бориса Грінченка зібраних у систему Е-портфоліо впродовж 2017-2021. Після завантаження даних в Power BI Desktop потрібно було їх опрацювати відповідно до наших потреб (Рис. 3).

Рис. 3. Робоче вікно «Дані» в Power BI Desktop

У робочому вікні «Модель» було сформовано необхідні зв'язки між таблицями у вхідних даних (Рис. 4).

Оптимальним для створення звіту «Рейтинг структурних підрозділів та викладачів Київського університету імені Бориса Грінченка 2017-2021» було використання моделі даних у вигляді «Схеми Зірка». Це спосіб організації даних заснований на логічному поділі їх на два типи, для зберігання яких використовуються таблиці розмірностей (набір описових атрибутів, що характеризують об'єкт) і таблиці фактів (містять відомості про події, в які залучені ті чи інші об'єкти).



Рис. 4. Робоче вікно «Модель» застосунку Power BI

У центрі цієї моделі знаходиться таблиця фактів («direc»), навколо якої розміщені таблиці вимірювань («stats2021», «stats2020», «stats2019», «stats2018» та «stats2017»). Таблиця «direc» містить дані про викладачів: ПІБ, посаду, ступінь, звання, а також місце роботи з зазначенням кафедри та структурного підрозділу. Таблиці «stats2021», «stats2020», «stats2019», «stats2018» та «stats2017» містять незведені дані за всіма визначеними правилами різних років (2021-2017) системи «Е-портфоліо» у відповідності до показників щорічного рейтингового оцінювання професійної діяльності науково-педагогічних і наукових працівників Київського університету імені Бориса Грінченка «Лідер року».

Для опрацювання цих даних було створено відповідні «Міри» за допомогою синтаксису мови виразів аналізу даних DAX у відповідності до показників щорічного рейтингового оцінювання науково-педагогічних та наукових працівників Київського університету імені Бориса Грінченка впродовж 2017-2021 (Рис. 5).



Рис. 5. Приклад обрахунку формули середнього значення за показником «Науково-дослідна діяльність» у 2021 році

За допомогою створених «Мір» та стандартних функцій зведених таблиць в Power BI Desktop було реалізовано візуалізації вхідних даних рейтингу структурних підрозділів та викладачів, створено деталізації та фільтри для більш зручного перегляду та аналізу даних. Після завершення всіх налаштувань візуалізації та фільтрів було опубліковано звіт за допомогою серверу звітів Power BI.

Усі розрахунки рейтингових показників зводились до обрахунків балів працівників і, відповідно, їх ранжування. Сумарний бал викладачів підрозділу мав би бути рейтинговим балом підрозділу, але, зважаючи, що в різних структурних підрозділах різна кількість викладачів, - це було б хибним твердженням, тому ранжування підрозділів здійснювалось на основі середнього балу викладачів підрозділу. Так, на Рис. 6 представлено динаміку середнього балу по Університету Грінченка в період 2017-2021 років.

Рис. 6. Вигляд можливих візуалізацій та фільтрів

Звіт «Рейтинг структурних підрозділів та викладачів Київського університету імені Бориса Грінченка 2017-2021» містить таку візуалізацію (Рис. 7):

Рис. 7. Відображення деталізацій та фільтрів у оприлюдненому звіті

- Динаміка середнього балу викладача університету:

У деталізація за структурними підрозділами із зазначенням максимального балу;

У фільтри - інститут, кафедра; науковий ступінь, вчене звання, посада;

- внесок кожного з видів діяльностей у формування рейтингу:

У деталізація за підрозділами;

У фільтр за діяльністю кафедр; відображення діяльності кожної кафедри за визначеними показниками діяльностей;

- внесок кожного викладача у професійний розвиток;

- внесок кожного викладача у викладацьку діяльність;

- внесок кожного викладача у науково-дослідницьку діяльність;

- динаміка діяльності кожного викладача:

У за роками;

У за видами діяльності;

У за внеском у науково-дослідницьку діяльність та її основними показниками;

У за професійним розвитком у розрізі правил;

У за всіма показниками викладацької діяльності.

Кожна візуалізація містить додаткові відомості, за допомогою яких можливо деталізувати відображення даних та виокремити необхідні складові або елементи скориставшись фільтрами. Для перегляду доступні інструменти поглибленої деталізації отриманих результатів (Рис. 7):

1 -- повернутись до початкових узагальнених діаграм;

2 - увімкнути режим деталізації і працювати в ньому (для вимкнення будь-якого режиму - Ф);

3 -- перейти до наступного рівня деталізації;

4 -- використати ще нижчий рівень деталізації;

5 -- обрати фільтр;

6 -- фокусування на обраній діаграмі (збільшується на весь екран).

Загалом, на одній інформаційній панелі можна переглянути понад 1000 звітів.

Аналіз динаміки рейтингових показників оцінювання

Кожна сторінка звіту містить деталізацію та фільтри (Рис. 7), за допомогою яких є можливість проаналізувати детально динаміку рейтингових показників викладачів та підрозділів університету впродовж 2017-2021 років.

Скориставшись першим рівнем деталізації, ми отримуємо динаміку середніх балів викладачів кожного структурного підрозділу та можемо їх порівняти з максимальним балом викладача підрозділу у 2021 році. Динаміка показників діяльності кафедр за 2017-2021 роки вибраного інституту формується з використанням фільтра інституту та деталізації наступного рівня з відображенням максимального балу викладачів цих кафедр (Рис. 8).



Рис. 8. Приклад опублікованої сторінки звіту «Загальний рейтинг структурних підрозділів» із застосуванням фільтру «Інститут, факультет» та деталізації до кафедр структурного підрозділу

Заглибившись далі в деталізацію, прослідковуємо динаміку рейтингових балів усіх викладачів обраної кафедри та маємо змогу здійснювати порівняльний аналіз діяльності кожного з викладачів упродовж визначеного періоду (Рис. 9). Сформована візуалізація чітко демонструє покращення показників діяльності викладачів кафедри у 2021 році.

Рис. 9. Приклад опублікованої сторінки звіту із застосуванням фільтрів «Інститут, факультет» і «Кафедра» та деталізації до викладачів підрозділу

Очистивши фільтри та повернувшись до початкового узагальнення, можемо проаналізувати діяльність кандидатів наук у кожному структурному підрозділі (Рис. 10), порівняти середні рейтингові бали у підрозділі з максимальним балом, який отримав викладач з науковим ступенем «кандидат наук» кожного з підрозділів або ж задати інші необхідні для нас параметри для аналізу.

Рис. 10. Приклад опублікованої сторінки звіту із застосуванням фільтру «Науковий ступінь» з деталізацією рейтингових показників кандидатів наук усіх структурних підрозділів

На Рис. 7-10 представлені приклади лише декількох фрагментів звітів однієї інформаційної панелі, на якій представлені всі можливі варіації візуалізацій для аналізу за середніми рейтинговими показниками викладачів і підрозділів загалом.

Оскільки є потреба у відслідковуванні динаміки за всіма основними видами діяльності, а саме науково-дослідницькою, професійного розвитку та викладацькою діяльністю, перейдемо до наступної створеної інформаційної панелі, в основі якої представлено внесок усіх видів діяльності в загальний рейтинг (Рис. 11).



Рис. 11. Інформаційна панель «Внески видів діяльності в загальний рейтинг»

Обравши деталізацію першого рівня, спостерігаємо внесок кожного структурного підрозділу до відповідного виду діяльності, що дає змогу на основі отриманої візуалізації провести аналіз зміни показників діяльності підрозділів. Скориставшись деталізацією наступного рівня, отримуємо внесок видів діяльності кожної кафедри в загальний рейтинг. А ще глибша деталізація дає змогу проаналізувати внесок кожного викладача відповідно до визначених видів діяльності (Рис. 12).

Рис. 12. Приклад опублікованої сторінки звіту з застосуванням різних рівнів деталізацій

Для більш ґрунтовного аналізу діяльності кафедр певного структурного підрозділу необхідно скористатись відповідним фільтром і отримати інформацію щодо динаміки визначених показників, що дасть змогу визначити слабкі та сильні сторони в науково-дослідницькій діяльності кафедри (Рис. 13).

Рис. 13. Приклад опублікованої сторінки звіту із застосуванням фільтру «Інститут»

Для порівняння діяльності кафедр одного підрозділу впродовж року можемо розвернути активне вікно і більш чітко відслідкувати результати у відповідності до їх внеску за кожним визначеним правилом, що дасть змогу проаналізувати та визначити пріоритетні показники для покращення діяльності (Рис. 14).

Аналогічно прослідковується динаміка рейтингових показників за професійним розвитком. На кожній інформаційній панелі є можливість аналізу внеску викладачів загалом та в розрізі посад, які вони обіймають. Окрім того можемо формувати миттєві вибірки показників діяльності за всіма або за окремими викладачами з вченими званнями, науковими ступенями по університету або ж по окремому інституту/факультету, або за окремими кафедрами (Рис. 15). Даний інструмент дає можливість порівнювати діяльність кафедр не лише в межах одного підрозділу, але й різних підрозділів. Також ми можемо відслідкувати динаміку будь-якого викладача, почавши набирати лише його прізвище.

Рис. 14. Приклад опублікованої розгорнутої та деталізованої візуалізації «Науково- дослідна діяльність 2021 року» у розрізі кафедр структурного підрозділу

Рис. 15. Приклад інформаційної панелі «Професійний розвиток»

Будь-яку візуалізацію на сторінці звіту можливо не лише розгорнути та деталізувати для більш детального ознайомлення, а також представити дані у вигляді таблиці (Рис. 16).

Рис. 16. Приклад деталізації з відображенням табличних даних

Досить детально прослідковується у звіті динаміка показників діяльності усіх викладачів загалом та окремо кожного. На інформаційній панелі (Рис.17) представлено динаміку рейтингових балів викладача за період 2017-2021 років як загалом, так і за видами діяльності. Така візуалізація дає змогу аналізувати, яким видам діяльності викладач надає перевагу.

Заглибившись в аналіз науково-дослідницької діяльності, можемо прослідкувати за рахунок яких саме показників зросли бали викладача, на чому він зосередив свою діяльність і над якими показниками потрібно ще працювати. Аналогічно можемо відслідкувати динаміку показників викладацької діяльності та виокремити основні показники і їх динаміку впродовж 2017-2021 років (Рис. 18).



Рис. 17. Приклад відображення динаміки діяльності викладача загалом та за видами діяльності

Рис. 18. Приклад відображення деталізації видів діяльності викладача

Скориставшись трирівневою деталізацію, аналогічно отримаємо порівняння показників за професійним розвитком. Для порівняння рейтингових показників працівників підрозділу обираємо у фільтрі необхідний підрозділ і отримуємо візуалізацію діяльності працівників підрозділу за роками (Рис. 19).

Рис. 19. Приклад відображення динаміки діяльності працівників підрозділу

Відслідкувати динаміку діяльності, порівняти показники можемо як у межах підрозділу, так і в межах інституту, факультету або університету. Отримання таких миттєвих даних дає змогу чітко відслідковувати діяльність викладача в різні роки, вбачати пріоритети його діяльності, визначати слабкі сторони; приймати виважені справедливі рішення при продовженні контрактів, проведенні конкурсів тощо.

Окрім того, служба Power BI дозволяє автоматично формувати швидкі аналітичні висновки вже опублікованого звіту (Рис. 20).

Нами представлено лише незначну частину звітів, оскільки можливості інструменту Power BI досить великі і незамінні в отриманні миттєвої наскрізної аналітики та звітності. Значною перевагою при перегляді звітів є розподіл рівнів доступу до звіту - кожен працівник університету має можливість перегляду звіту відповідно до його посади.



Рис. 20. Приклад побудованих службою Power BI швидких аналітичних висновків звіту

Ознайомитись з опублікованим звітом «Рейтинг структурних підрозділів та викладачів Київського університету імені Бориса Грінченка 2017-2021» [25] можливо за посиланням: http://eportfolio.kubg.edu.ua/rating/visualization

ВИСНОВКИ ТА ПЕРСПЕКТИВИ ПОДАЛЬШИХ ДОСЛІДЖЕНЬ

Задля відслідковування динаміки рейтингових показників науково-педагогічних, наукових працівників Університету Грінченка нами обрано сучасний інструмент бізнес-аналітики Power BI. Використання інструменту Power BI дає змогу топ- менеджерам університету мати цілісну картину результатів діяльності працівників і підрозділів, а також позбавляє їх від необхідності співставляти звіти для того, щоб відслідкувати динаміку показників діяльності.

Основною перевагою використання Power BI є можливість побудови інтерактивних інформаційних панелей з використанням усіх можливих фільтрів та деталізацій з відображенням ключових показників діяльностей, на основі яких формуються різноманітні візуалізації для аналізу. Створені звіти доступні для перегляду з будь-якого пристрою, підключеного до мережі Інтернет. Значною перевагою при перегляді звітів є розподіл рівнів доступу до звіту - кожен працівник університету має можливість перегляду звіту відповідно до його посади.

Створення звітів за допомогою Power BI дає змогу здійснювати детальні, глибокі аналізи діяльності викладачів та підрозділів університету, порівнювати рейтингові показники за кожним з визначених правил як по викладачу, так і загалом по університету. Директори, декани, завідувачі кафедр можуть чітко відслідковувати діяльність викладача в різні роки, вбачати пріоритети його діяльності, визначати слабкі сторони; приймати виважені справедливі рішення при продовженні контрактів, проведенні конкурсів тощо.

Оскільки обраний інструмент дає можливість аналізу в режимі реального часу, плануємо здійснити підключення Power BI до системи «Е-портфоліо» для формування автоматично оновлюваних звітів у реальному часі.

Надалі вбачаємо необхідним запровадження системної наскрізної аналітики з професійною візуалізацією задля чіткого розуміння показників діяльності університету в режимі реального часу, виявлення проблем і пропонування рішень для їх усунення.

СПИСОК ВИКОРИСТАНИХ ДЖЕРЕЛ

[1] Верховна Рада України. 2 сесія. (2014, Лип. 1). Закон №1556-VII, Про вищу освіту. [Електронний ресурс]. Доступно: https://zakon.rada.gov.ua/laws/show/1556-18. Дата звернення: Черв. 21, 2020.

[2] Рекомендації Національного агентства із забезпечення якості вищої освіти стосовно запровадження внутрішньої системи забезпечення якості, Національне агенство забезпечення якості. [Електронний ресурс]. Доступно: https://naqa.gov.ua/2019/07/рекомендації-національного-агентств/ Дата звернення: Трав. 30, 2020.

[3] K. Latif, I. Latif, U. Sahibzada, and M. Ullah, "In search of quality: measuring Higher Education Service Quality (HiEduQual)", Total Quality Management & Business Excellence, vol. 30, no. 7-8, pp. 768-791, 2019. doi: https://www.tandfonline.com/doi/full/10.1080/14783363.2017.1338133. Дата звернення: Черв. 21, 2020..

[4] R. Heintze, "Workshop 1. Internal & External Quality assurance for QA agencies", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Електронний ресурс]. Доступно: https://www.inqaahe.org/sites/default/files/IC2017_WS1_RH.pdf Дата звернення: Черв. 21, 2020.

[5] S. Javed, "Aligning the quality assurance of higher education with the education for sustainability requirements

- a solution to future world challenges", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Електронний ресурс]. Доступно:

https://www.inqaahe.org/sites/default/files/IC2017 S4P4 0.pdf Дата звернення: Черв. 21, 2020..

[6] M. Kraft, and A. Gilmour, "Revisiting The Widget Effect: Teacher Evaluation Reforms and the Distribution of Teacher Effectiveness", Educational Researcher, vol. 46, no. 5, pp. 234-24, 2017. [Електронний ресурс]. Доступно: https://journals.sagepub.com/doi/10.3102/0013189X17718797 Дата звернення: Черв. 21, 2020.

[7] N. Pauflera, and E. Sloat, "Using standards to evaluate accountability policy in context: School administrator

and teacher perceptions of a teacher evaluation system", Studies in Educational Evaluation, vol. 64, 2020. [Електронний ресурс]. Доступно:

https://www.sciencedirect.com/science/article/pii/S0191491X18303006#bib0160 Дата звернення: Черв. 21, 2020.

[8] Annual Reports. The International Network for Quality Assurance Agencies in Higher Education. [Електронний ресурс]. Доступно: https://www.inqaahe.org/annual-reports Дата звернення: Трав. 30, 2020.

[9] В. Огнев'юк, "Освіта та конкурентоспроможність суспільства", OSWIATOLOGIA, №5, с. 37-44, 2016.

[Електронний ресурс]. Доступно: http://osvitologia.kubg.edu.ua/en/numbers/27-archive-2016/51-5-

2016.html?showall=&start=6. Дата звернення: Черв. 20, 2020.

[10] В. Огнев'юк, "Проблеми та перспективи оцінювання якості української освіти", Моніторинг якості освіти: теорія та практика: матеріали Всеукраїнської наукової практичної конференції, 2009, c. 6-8 [Електронний ресурс]. Доступно: http://elibrary.kubg.edu.ua/id/eprint/1994/ Дата звернення: Черв. 20, 2020.

[11] В. Биков, О. Спірін, та О. Пінчук, "Сучасні завдання цифрової трансформації освіти", Вісник Кафедри ЮНЕСКО «Неперервна професійна освітаХХІ століття», №1, с. 27-36, 2020. [Електронний ресурс].

Доступно: https://www.unesco-joumal.com.ua/mdex.php/journal/artide/view/7 Дата звернення: Черв. 16, 2020.

[12] В. Биков, О. Спірін, А. Білощицький, О. Кучанський, О. Діхтяренко, та О. Новицький, "Відкриті

цифрові системи в оцінюванні результатів науково-педагогічних досліджень", Інформаційні технології і засоби навчання, т.75, №1, с. 294-315, 2020. [Електронний ресурс]. Доступно:

https://joumal.iitta.gov.ua/index.php/itlt/article/view/3589 Дата звернення: Черв. 20, 2020.

[13] Д. Карамишев, "Теоретико-методичні засади забезпечення якості освіти", Харків, Україна: Видавництво ХарРІ НАДУ «Магістр», 2020 [Електронний ресурс]. Доступно: http://www.kbuapa.kharkov.ua/e-book/book/karamyshev_monografyia_1.pdf Дата звернення: Черв. 20, 2020.

[14] Н. Морзе, та О. Буйницька, "Система рейтингових показників оцінювання діяльності викладачів сучасних університетів", Науковий часопис НПУ імені М. П. Драгоманова: Комп'ютерно -орієнтовані системи навчання, Серія 2, № 19, с.34-44, 2017.

[15] N. Morze, and L.Varchenko-Trotsenko, "Educator's e-Portfolio in the Modern University", ICTERI, Kyiv, 2016, p. 231-240 [Електронний ресурс]. Доступно: http://ceur-ws.org/Vol-1614/paper_68.pdf Дата звернення: Черв. 21, 2020.

[16] Н. Морзе, О. Буйницька, та А. Кочарян, "ІК-компетентність викладачів і студентів як шлях до формування інформаційного освітнього середовища університету", у Компетентністно зорієнтована освіта: якісні виміри, В. Огнев'юк, Л. Хоружа, С. Сисоєва, Н. Чернуха, Н. Терентьєва, ред. Київ, Україна: Київський університет імені Бориса Грінченка, 2015, с. 151 -196. [Електронний ресурс]. Доступно: http://elibrary.kubg.edu.ua/id/eprint/10019/ Дата звернення: Черв. 15, 2020.

[17] N. Morze, and O. Buinytska, "Digital Competencies of University Teachers", Universities in the Networked Society. Cultural Diversity and Digital Competences in Learning Communities, vol. 10, pp. 19-37, 2019 [Електронний ресурс]. Доступно: https://link.springer.com/chapter/10.1007/978-3-030-05026-9_2 . Дата звернення: Черв. 20, 2020.

[18] Н. Морзе, та О. Буйницька, "Підвищення рівня інформаційно-комунікаційної компетенції науково-

педагогічних працівників - ключова вимога якості освітнього процесу", Інформаційні технології та засоби навчання, т.59, №3, с. 189-200, 2017. [Електронний ресурс]. Доступно:

https://journal.iitta.gov.ua/index.php/itlt/artide/view/1667 Дата звернення: Тра. 17, 2020.

[19] О. Раєвнєва, та С. Степуріна, "Побудова альтернативної системи рейтингування наукової активності

вищих навчальних закладів України: методичні засади та результати апробації", ScienceRise: Pedagogical Education, т.16, №8, с. 48-57, 2017. [Електронний ресурс]. Доступно:

http://journals.uran.ua/sr_edu/artide/view/109316 Дата звернення: Черв. 15, 2020.

[20] Т. Бойчук, І. Геруш, В. Ходоровський, та Є. Ткач, "Рейтингування діяльності науково-педагогічних

працівників та кафедр - вагома складова системи внутрішнього забезпечення якості освіти у вищому державному навчальному закладі України «Буковинський державний медичний університет»", Медична освіта, №3, с. 48-54, 2017. [Електронний ресурс]. Доступно:

https://ojs.tdmu.edu.ua/index.php/med_osvita/artide/view/7756 Дата звернення: Черв. 20, 2020.

[21] І. Грищенко, "Оцінювання ефективності діяльності науково-педагогічних працівників вищого

навчального закладу", Вісник КНУТД спецвипуск. Серія «Економічні науки», с. 154-168, 2017. [Електронний ресурс]. Доступно:

https://er.knutd.edu.ua/bitstream/123456789/7652/1/20171006_Effect_P154-168.pdf Дата звернення: Черв. 15, 2020.

[22] Положення про щорічне рейтингове оцінювання професійної діяльності науково-педагогічних і

наукових працівників Київського університету імені Бориса Грінченка «Лідер року» [Електронний ресурс]. Доступно:

https://kubg.edu.ua/images/stories/Departaments/vdd/documenty/rozdil_7/nakaz_199_19.03.2020_.pdf Дата звернення: Черв. 12, 2020.

[23] Е-портфоліо [Електронний ресурс]. Доступно: http://eportfolio.kubg.edu.ua/ Дата звернення: Черв. 20, 2020.

[24] What is Power BI? [Електронний ресурс]. Доступно: https://powerbi.microsoft.com/en-us/what-is-power-bi/ Accessed on: Jun 12, 2020

[25] Рейтинг структурних підрозділів та викладачів Київського університету імені Бориса Грінченка 2017 - 2021. [Електронний ресурс]. Доступно: http://eportfolio.kubg.edu.ua/rating/visualization Дата звернення: Черв. 20, 2020.

REFERENCES (TRANSLATED AND TRANSLITERATED)

[1] Verkhovna Rada of Ukraine. Session 2. (2014, July. 1). Law №1556-VII, On Higher Education. [Online]. Available: https://zakon.rada.gov.ua/laws/show/1556-18 Accessed on: Jun 21, 2020. (in Ukrainian)

[2] Recommendations of National Agency for Higher Education Quality Assurance regarding the introduction of an internal quality assurance system, National Agency for Higher Education Quality Assurance. [Online]. Available: https://naqa.gov.ua/2019/07/рекомендації-національного-агентств/ Accessed on: May 30, 2020. (in Ukrainian)

[3] K. Latif, I. Latif, U. Sahibzada, and M. Ullah, "In search of quality: measuring Higher Education Service Quality (HiEduQual)", Total Quality Management & Business Excellence, vol. 30, no. 7-8, pp. 768-791,

2019. doi: https://www.tandfonline.com/doi/full/10.1080/14783363.2017.1338133. Accessed on: Jun 21,

2020. (in English)

[4] R. Heintze, "Workshop 1. Internal & External Quality assurance for QA agencies", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Online]. Available: https://www.inqaahe.org/sites/default/files/IC2017_WS1_RH.pdf Accessed on: Jun 21, 2020. (in English)

[5] S. Javed, "Aligning the quality assurance of higher education with the education for sustainability

requirements - a solution to future world challenges", The International Network for Quality Assurance Agencies in Higher Education, Manama, 2017. [Online]. Available:

https://www.inqaahe.org/sites/default/files/IC2017_S4P4_0.pdf Accessed on: Jun 21, 2020. (in English)

[6] M. Kraft, and A. Gilmour, "Revisiting The Widget Effect: Teacher Evaluation Reforms and the Distribution of Teacher Effectiveness", Educational Researcher, vol. 46, no. 5, pp. 234-24, 2017. [Online]. Available: https://journals.sagepub.com/doi/10.3102/0013189X17718797 Accessed on: Jun 21, 2020 (in English)

[7] N. Pauflera, and E. Sloat, "Using standards to evaluate accountability policy in context: School

administrator and teacher perceptions of a teacher evaluation system", Studies in Educational Evaluation, vol. 64, 2020. [Online]. Available:

https://www.sciencedirect.com/science/article/pii/S0191491X18303006#bib0160 Accessed on: Jun 21, 2020 (in English)

[8] Annual Reports. The International Network for Quality Assurance Agencies in Higher Education

[Online]. Available: https://www.inqaahe.org/annual-reports Accessed on: May 30, 2020. (in English)

[9] V. Ogneviuk, "Education and competitiveness of society", OSWIATOLOGIA, Vol. 5, pp. 37-44, 2016.

[Online]. Available: http://osvitologia.kubg.edu.ua/en/numbers/27 -archive-2016/51-5-

2016.html?showall=&start=6 Accessed on: Jun 20, 2020. (in Ukrainian)

[10] V. Ogneviuk, "Problems and prospects of assessing the quality of Ukrainian education", Monitoring the quality of education: theory and practice: materials of the All-Ukrainian scientific-practical conference, 2009, pp. 6-8 [Online]. Available: http://elibrary.kubg.edu.ua/id/eprint/1994/ Accessed on: Jun 20, 2020. (in Ukrainian)

[11] V. Bykov, O. Spirin, and O. Pinchuk, "Modern tasks of digital transformation of education", UNESCO Chair Journal "Lifelong Professional Education in the XXI Century", no.1, pp. 27-36, 2020. [Online]. Available: https://www.unesco-journal.com.ua/index.php/journal/article/view/7 Accessed on: Jun 16, 2020. (in Ukrainian)

[12] V. Bykov, O. Spirin, A. Biloshchytskyi, A. Kuchansky, O. Dikhtiarenko, and O. Novytskyi, "Open digital

systems for assessment of pedagogical research results", Information Technologies and Learning Tools, vol. 75, no.1, pp. 294-315, 2020. [Online]. Available:

https://journal.iitta.gov.ua/index.php/itlt/article/view/3589 Accessed on: Jun 20, 2020. (in Ukrainian)

[13] D. Karamyshev, "Theoretical and methodological principles of ensuring the quality of education", Kharkiv, Ukraine: Publishing house KharRI NADU «Mahistr», 2020 [Online]. Available: http://www.kbuapa.kharkov.ua/e-book/book/karamyshev_monografyia_1.pdf Accessed on: Jun 20, 2020. (in Ukrainian)

[14] N. Morze, and O. Buinytska, "Rating indicators system of evaluation teacher's activities in modern universities", Scientific journal of National Pedagogical Dragomanov University: Kompiuterno- oriientovani systemy navchannia, Series 2, no. 19, pp. 34-44, 2017. (in Ukrainian)

[15] N. Morze, and L.Varchenko-Trotsenko, "Educator's e-Portfolio in the Modern University", ICTERI, Kyiv, 2016, pp. 231-240 [Online]. Available: http://ceur-ws.org/Vol-1614/paper_68.pdf Accessed on: Jun 21, 2020 (in English)

[16] N. Morze, O. Buinytska, and A. Kocharian, "IC-competence of teachers and students as a way to form an information educational environment of the university", in Competence-oriented education: qualitative measurements, V. Ogneviuk, L. Khoruzha, S. Sysoieva, N. Chernukha, N. Terentieva, Eds. Kyiv, Ukraine: Borys Grinchenko Kyiv University, 2015, pp. 151-196. [Online]. Available: http://elibrary.kubg.edu.ua/id/eprint/10019/ Accessed on: Jun 15, 2020. (in Ukrainian)

[17] N. Morze, and O. Buinytska, "Digital Competencies of University Teachers", Universities in the

Networked Society. Cultural Diversity and Digital Competences in Learning Communities, vol. 10, pp. 19-37, 2019 [Online]. Available: https://link.springer.com/chapter/10.1007/978-3-030-05026-9_2

Accessed on: Jun 21, 2020 (in English)

[18] N. Morze, and O. Buinytska, "Raising information and communication technologies competence of scientific and pedagogical employees - a key requirement of the quality of educational process", Information Technologies and Learning Tools, vol. 59, no.3, pp. 189-200, 2017. [Online]. Available: https://journal.iitta.gov.ua/index.php/itlt/article/view/1667 Accessed on: May 17, 2020. (in Ukrainian)

[19] O. Rayevnyeva, and S. Stepurina, "Alternative rating system of scientific activity of ukrainian higher educational institutions: methodical bases and results", ScienceRise: Pedagogical Education, vol. 16, no.8, pp. 48-57, 2017. [Online]. Available: http://journals.uran.ua/sr_edu/article/view/109316 Accessed on: Jun 15, 2020. (in Ukrainian)

[20] T. Boichuk, I. Herush, V. Khodorovskyi, and Ye. Tkach, "Ranking of scientific-pedagogical staff and

departments activity - a significant component of internal quality assurance of education in the higher state educational establishment of ukraine “Bukovinian state medical university”", Medical Education, no.3, pp. 48-54, 2017. [Online]. Available:

https://ojs.tdmu.edu.ua/index.php/med_osvita/article/view/7756 Accessed on: Jun 20, 2020. (in

Ukrainian)

[21] I. Gryshchenko, "Efficiency evaluation of academic staffactivity at higher educational institutions", Visnyk KNUTD spetsvypusk. Seriia “Ekonomichni nauky”, pp. 154-168, 2017. [Online]. Available: https://er.knutd.edu.ua/bitstream/123456789/7652/1/20171006_Effect_P154-168.pdf Accessed on: Jun 15, 2020. (in Ukrainian)

[22] Regulations on the annual rating assessment of the professional activity of scientific-pedagogical and scientific employees of Borys Grinchenko Kyiv University "Leader of the year". [Online]. Available: https://kubg.edu.ua/images/stories/Departaments/vdd/documenty/rozdil_7/nakaz_199_19.03.2020_.pdf Accessed on: Jun 12, 2020. (in Ukrainian)

[23] E-portfolio. [Online]. Available: http://eportfolio.kubg.edu.ua/ Accessed on: Jun 20, 2020. (in Ukrainian)

[24] What is Power BI? [Online]. Available: https://powerbi.microsoft.com/en-us/what-is-power-bi/ Accessed on: Jun 12, 2020 (in English)

[25] Rating of university departments and teachers of Borys Grinchenko Kyiv University 2017-2021. [Online]. Available: http://eportfolio.kubg.edu.ua/rating/visualization Accessed on: Jun 20, 2020. (in Ukrainian)

Размещено на Allbest.ru

...