Совершенствование процедуры рейтингования вузов по уровню развития электронного обучения

Размещено на http://www.allbest.ru/

Совершенствование процедуры рейтингования вузов по уровню развития электронного обучения

М.Е. Вайндорф-Сысоева, Н.Ю. Фаткуллин, В.Ф. Шамшович, С.Г. Глебов

Аннотация

Предлагается использовать процедуру кластеризации вузов для выстраивания рейтинга эффективности их функционирования в сфере электронного образования. Данный подход представляется более рациональным, чем среднеарифметическое оценивание по значениям, гипотетически равноценным частным критериям. Данная процедура рейтингования способна эффективно работать при больших массивах данных - как самих вузов, так и данных по их оценке по различным критериям. Итоги построения рейтинга позволяют, с одной стороны, объективно упорядочить исходное множество вузов, а с другой - исключить критерии, не вносящие должный вклад в их дифференциацию, и, возможно, ввести новые, позволяющие выявить большие отличия в их функционировании.

Ключевые слова: электронное обучение; кластерный анализ; обобщенный критерий; частные критерии; кластеры; рейтинг.

IMPROVEMENT OF UNIVERSITY RANKING BY THE LEVEL OF E-LEARNING DEVELOPMENT

Marina E. Vaindorf-Sysoeva, Moscow Pedagogical State University (Moscow, Russian Federation).

Nikolay Yu. Fatkullin, Ufa State Petroleum Technological University (Ufa, Russian Federation).

Valentina F. Shamshovich, Ufa State Petroleum Technological University (Ufa, Russian Federation).

Sergey G. Glebov, Ufa State Petroleum Technological University (Ufa, Russian Federation).

Keywords: e-learning; monitoring; cluster analysis; generalized criterion; partial criteria; clusters; ranking.

The presented study makes it possible to expand the list of characteristics used in the ranking of universities. The material for the study was the results of monitoring in the field of e-learning of federal and national research universities, according to the results of diagnostics of the development of e-learning conducted by the Ministry of Education of the Russian Federation in 2013. Projects that are being implemented in Russia in the field of e-learning provide an opportunity to identify leaders in this area in various kinds of ratings. The standard procedure for calculating the arithmetic mean values of several quantitative assessment criteria in fact leads to the loss of valuable individual information on the activities of each of the rating participants. In this article, a fundamentally different approach based on the principles of cluster analysis is proposed. It is based on the fact that any set of externally homogeneous objects tends to differentiate. The formation of clusters is due to the proximity of the values of particular criteria used in the construction of the rating of each participant in the assessment. The article uses the method of average cluster analysis, while analyzing its results on the sample under study, the elements of which are the values of individual evaluation criteria for universities, with a different number of clusters. For each fixed number, the degree of differentiation and the type of broken lines for each of the clusters is determined. It has been established that when dividing the set of federal universities into two clusters, their isolation is pronounced. The formation of the three clusters led to the fallout into the third cluster of only one of the federal universities. Therefore, a further increase in the number of clusters was considered inexpedient. Thus, the ranking of federal universities has acquired a new context - the division of two echelons into universities, with practically non-intersecting lines of averages. When clustering was carried out on a single set of universities, a pattern of differentiation was observed only by the levels of values of individual criteria that do not correlate with the status of the university. This circumstance indicates the success of functioning in the field of e-learning for universities of both types. Thus, the proposed method of cluster rating construction allows, in contrast to existing approaches, to most effectively assess the work of universities of various types in the field of e-learning on the basis of selected private criteria. Such a differentiation will allow to highlight and further spread the best practices in this field of education.

Введение

Изменения, которые происходят в настоящее время в системе преподавания, призваны качественно изменить образовательные услуги, предоставляемые на протяжении всего процесса обучения. Актуальной и практически значимой при реформировании высших учебных заведений является дифференциация вузов по качественным критериям, которая позволяет всесторонне и адекватно оценить их деятельность. Государственная и образовательная политика работает в направлении выявления и разработки действенных механизмов оценки эффективности работы образовательных организаций.

Рейтинговая система, имеющая в основе построения кластерный анализ, позволяет выявить однородные по выбранным критериям вузы из исходной их совокупности. Данная процедура рейтингования способна эффективно работать при больших массивах данных - как самих вузов, так и данных по их оценке по различным критериям. Итоги построения рейтинга позволяют, с одной стороны, объективно упорядочить исходное множество вузов, а с другой - исключить критерии, не вносящие должный вклад в их дифференциацию, и, возможно, ввести новые, позволяющие выявить большие отличия в их функционировании.

Отметим, тем не менее, что электронное обучение (ЭО) в настоящее время получает все большее развитие при одновременном увеличении числа образовательных учреждений, участвующих в этом процессе. Так, Г.В. Можаева [1] акцентирует внимание на актуальности внедрения ЭО в учебный процесс: «В последние годы электронное обучение становится неотъемлемой составляющей образовательного процесса в вузах и используется во всех формах обучения».

В нашей стране в 2015 г. была создана Ассоциация «Национальная платформа открытого образования» (https://openedu.ru/course/), в которую вошли ведущие вузы в области электронного обучения в России. Для продвижения открытого образования для всех слоев населения вузы ассоциации разработали платформу «Открытое образование», где на сегодня находится 286 курсов. Курсы, которые размещаются на платформе, должны соответствовать высокому качеству и, следовательно, проходят все этапы тщательной экспертизы. Уральский федеральный университет имени первого Президента России Б.Н. Ельцина разместил на портале открытого образования 28 курсов, 52 курса у Высшей школы экономики, Томский государственный университет выставил на платформе 19 курсов. В исследованиях, проводимых в данной статье, вышеперечисленные вузы также занимают лидирующие позиции. Портал «Открытое образование» - наше российское достояние, гордость за отечественное образование.

Проект 5-100 является государственной программой поддержки российского высшего образования. Только лучшие вузы страны смогли стать участниками данного проекта, основной задачей которого является повышение конкурентоспособности российских университетов. Ведущая роль в данном проекте отводится разработке электронной информационно-образовательной среды, где размещаются образовательные ресурсы, есть возможность работать с контентом и т. д. Балтийский федеральный университет имени Иммануила Канта, Казанский (Приволжский) федеральный университет, Сибирский федеральный университет, Уральский федеральный университет имени первого Президента России Б. Н. Ельцина, Томский государственный университет, Высшая школа экономики, Томский политехнический университет являются не только лидерами отечественного образования в области электронного обучения, но и участниками проекта 5-100, который объединил передовые отечественные вузы.

Приоритетный проект «Современная цифровая образовательная среда в Российской Федерации», запущенный в нашей стране в 2016 г., направлен на формирование нормативно-правовой базы электронного обучения, разработку системы качества онлайн-курсов, а также на создание государственных сервисов и выработку решений по интегрированию различных систем. Проекты, которые реализуются в нашей стране в области электронного обучения, дают возможность выявлять лидеров в данном направлении при помощи различного рода рейтингов. Анализ же процесса развития ЭО в образовательном процессе невозможен без его мониторинга.

Материалы и методы

Рассмотрим варианты таблицы данных по мониторингу систем электронного обучения федеральных университетов [2]. В качестве итоговой оценки в данном исследовании используется среднее арифметическое, в соответствии с величиной которого и производится итоговое построение рейтинга. При несомненной простоте расчетов данный метод все же имеет ряд существенных недостатков:

малая информативность относительно значений критериев, включенных в расчеты;

отсутствие данных по вариативности результатов для каждого из участников рейтинга;

слабая обоснованность применения среднеарифметического значения, исходя из фактической неравноценности частных критериев оценки. В данном случае частные критерии разнородны, и, очевидно, требуется провести процедуру оценки их значимости в обобщенном (интегральном) критерии, т.е. определить их веса.

С точки зрения получения итоговой оценки и последующего построения рейтинга по данным мониторинга речь, на наш взгляд, идет о решении многокритериальной задачи, а следовательно, в дальнейшем необходимо определить и вид обобщенного критерия - аддитивный, мультипликативный и т.п. В то же время можно предложить и принципиально иной подход, базирующийся на принципах кластерного анализа. Данное предложение можно обосновать тем, что любое множество внешне однородных объектов имеет тенденцию к разделению на подмножества (кластеры), иначе говоря, к дифференциации [3-6].

Данное предположение проверим на практике, воспользовавшись пакетом БНаЙБЙка 8.0 и данными [2]. Необходимо отметить, что в исследуемой выборке приняли участие только те университеты, которые заполнили требуемые отчетные формы на момент мониторинга [Там же]. В то же время, на наш взгляд, данный факт не имеет принципиального значения, поскольку предлагаемая методика построения рейтинга фактически не зависит от объема выборки. Из множества процедур кластеризации [7] остановим свой выбор на кластеризации по методу средних [6]. Данный выбор обосновывается тем, что число кластеров было заранее определено равным двум по принципу разделения на ведущие в данной области вузы и вузы второго эшелона. Как вариант рассматривалась кластеризация по трем классам для сравнения меры дифференциации с предыдущей процедурой. Итоги расчетов приведены в табл. 1 и на рис. 1-2.

Таблица 1 Таблица распределения федеральных университетов по двум кластерам

Обсуждение результатов

По данным кластерного анализа методом средних для федеральных университетов и его последующей визуализации можно отметить следующее:

при разбиении множества федеральных университетов на два кластера их обособление ярко выражено. Данный вывод иллюстрируется обособлением непосредственно самих ломаных на рис. 1. По нашему мнению, дифференциация еще более усилится при исключении шестого критерия, уровни средних по которому очень близки;

при формировании трех кластеров их обособление по-прежнему ярко выраженно. Графики средних идентичны предыдущему разбиению. Фактически в 3-й кластер выпадает лишь один из федеральных университетов из предшествующего кластера № 1. Дальнейший анализ показал, что он имеет наивысшую дисперсию по показателям, т. е. отсутствие четкого линейного тренда в них;

Рис. 1. Значения средних при формировании двух кластеров для федеральных университетов

Рис. 2. Значения средних при формировании трех кластеров для федеральных университетов

процедура кластеризации на три множества привела к выделению «слабого элемента». В дальнейшем возможно его отнесение к другому кластеру; кластеризация вуз электронный образование

формирование как двух, так и трех кластеров не совпадает с исходным рейтингованием федеральных университетов, что вполне логично, так как при кластеризации вузы группируются по степени близости достигнутых величин частных показателей к некоторому среднему значению;

рейтингование федеральных университетов приобрело несколько иной контекст - разбиение их на университеты двух эшелонов с практически не пересекающимися линиями средних. Поэтому дальнейшие действия должны быть направлены на устранение разрыва между ними по первым пяти критериям.

Далее проведем аналогичную процедуру для множества национальных исследовательских университетов (НИУ) по данным [2]. Итоги расчетов приведены в табл. 2 и на рис. 3.

Таблица 2 Таблица распределения национальных исследовательских университетов по двум кластерам

Рис. 3. Значения средних при формировании двух кластеров для НИУ

Рис. 4. Значения средних при формировании двух кластеров для университетов обоих типов

По данным кластерного анализа методом средних национальных исследовательских университетов и его визуализации можно сказать следующее:

при разбиении множества НИУ на два кластера дифференциация недостаточно четкая. Фактически разрыв наблюдается только по критериям 3 и 6;

при формировании трех кластеров дифференциация еще более слабая. Фактически дифференциация прекратилась. В то же время различия по критерию 6 усилились;

рейтингование НИУ также можно рассматривать несколько в ином ключе - конкуренция по всем показателям очень высока. Преимущества отдельных НИУ наблюдаются всего по двум показателям.

В дальнейшем представляется вполне логичным предположить, что университеты, как федеральные, так и национальные исследовательские, в силу того что они находятся в едином образовательном пространстве, имеют определенные точки пересечения, а также свои сильные и слабые стороны, проявляющиеся в итоге процедуры кластеризация. Итоги кластеризации по двум классам приведены на рис. 4 и в табл. 3.

Таблица 3 Распределение федеральных и национальных исследовательских университетов по двум кластерам

Кроме того, отметим, что кластеризация по трем классам четкой дифференциации подмножеств не дала.

По данным кластерного анализа совместного множества федеральных и национальных исследовательских университетов по методу средних и его визуализации можно отметить следующее:

федеральные и национальные исследовательские университеты не получили четкого разделения по частным критериям;

при проведении кластеризации на едином множестве университетов наблюдалась картина дифференциации лишь по уровням значений отдельных критериев, не коррелирующих со статусом вуза. Данное обстоятельство, на наш взгляд, указывает на успешность функционирования в сфере ЭО университетов обоих типов;

наполнение кластеров в процентном соотношении, особенно при разбиении общей исходной совокупности вузов на два кластера (такое разделение обладает наибольшей дифференциацией), указывает, что федеральные университеты полностью входят в один кластер, т. е. являются в данном контексте достаточно устойчивым множеством.

Заключение

С точки зрения эффективности работы с вузами различных типов в направлении совершенствования электронного обучения представляется рациональным проведение процедуры кластеризации, т.е. дифференциации на вузы, однородные по структуре достижений, по различным критериям. Подобная дифференциация позволит, на наш взгляд, выделить и в дальнейшем распространить лучшие практики в тех аспектах реализации электронного образования, которые оценивались именно выделенными частными критериями.

Данный момент тем более важен, чем большее число вузов будет участвовать в процедуре рейтингования и чем более детально и всесторонне будет оцениваться их деятельность в сфере образования. Стандартные процедуры построения рейтингов в среднем, на наш взгляд, не позволяют выявлять как проблемные, так и прорывные моменты в реализации современного процесса обучения, в особенности такой инновационной его части, как электронное обучение. Присущее данным процедурам нивелирование, а по сути, искусственное утрачивание большей части данных, характеризующих индивидуальные особенности исследуемых объектов, не позволяет провести их анализ с целью выработки индивидуальных практических корректирующих воздействий на них. В рассматриваемом же случае большие массивы данных требуют отличной от существующих эффективной методики выявления как однородности, так и различий в функционировании вузов, что, на наш взгляд, и реализуется предложенной методикой. Кроме того, отметим, что сама процедура кластеризации позволяет анализировать совершенно различные аспекты обучения, характеризующиеся значительными объемами накопленной информации, что позволяет утверждать, что данная методика носит универсальный характер. В то же время, при наличии возможности обработки подобных данных различными процедурами кластеризации или же применимости допустимой вариативности параметров процедуры, необходимо производить сравнение собранных данных для объективной оценки адекватности получаемых результатов.

Литература

1. Можаева Г.В. Электронное обучение в вузе: современные тенденции развития // Гуманитарная информатика. 2013. № 3. С. 126-138.

2. Мочалов С.П., Малинов М.Б., Третьяков В.С. Анализ результатов пилотного мониторинга текущего уровня развития электронного обучения в ведущих вузах России.

3. Дроздова С.О., Пахомова Е.А. Применение кластерного анализа для оценки качества образования университета Дубна // Устойчивое развитие : наука и практика : междунар. электрон. журнал. 2014. Вып. 1 (12). С. 15.

4. Классификация и кластер / под ред. Дж.Вэн Райзина. М. : Мир, 1980. 389 с.

5. Xu R., Wunsch Ii D.C. Clustering. Wiley And Sons, 2009.

6. Zhao Y., Karypis G., Fayyad U. Hierarchical clustering algorithms for document datasets // Data mining and knowledge discovery. 2005. № 10 (2). P. 141-168.

7. Дьячук А. А. Математические методы в психологических и педагогических исследованиях : учеб. пособие. Красноярск : Изд-во Краснояр. гос. пед. ун-та им. В.П. Астафьева, 2013. 347 с.

References

1. Mozhaeva, G.V. (2013) E-learning in higher education institution: current trends of development. Gumanitarnaya informatika -- Humanitarian Informatics. 3. pp. 126-138. (In Russian).

2. Mochalov, S.P., Malinov, M.B. & Tret'yakov, V.S. (2013) Analiz rezul'tatov pilotnogo monitoringa tekushchego urovnya razvitiya elektronnogo obucheniya v vedushchikh vuzakh Rossii [Analysis of the results of a pilot monitoring of the current level of e-learning development in leading universities in Russia].

3. Drozdova, S.O. & Pakhomova, E.A. (2014) Use of cluster analysis to evaluate the quality of education in university “Dubna”. Ustoychivoe razvitie: nauka i praktika -- Sustainable Development: Design And Management. 1 (12). Art. 15. (In Russian).

4. Ryzin, J. Van. (ed.) (1980) Klassifikatsiya i klaster [Classification and clustering]. Translated from English. Moscow: Mir.

5. Xu R., Wunsch Ii D.C. (2009) Clustering. Wiley And Sons.

6. Zhao, Y., Karypis, G. & Fayyad, U. (2005) Hierarchical clustering algorithms for document datasets. Data Mining and Knowledge Discovery. 10 (2). pp. 141-168.

7. D'yachuk, A.A. (2013)Matematicheskie metody vpsikhologicheskikh ipedagogicheskikh issledovaniyakh [Mathematical methods in psychological and pedagogical research]. Krasnoyarsk: Krasnoyarsk State Pedagogical Institute.

Размещено на Allbest.ru