Кластерный подход к критериальному оцениванию качества образовательного результата обучаемого

Ключевые слова: критериальное оценивание, качество образовательных результатов, кластеризация образовательных результатов, распознавание

Abstract

Cluster approach to criteria evaluation of the quality of a student's educational outcome

Nikolai I. Pak1 , Margarita M. Klunnikova2

Problem and goal. The issues of criteria-based evaluation of the student's educational results remain relevant for the modern theory and practice of education. As a rule, measures to monitor educational results and resources in educational institutions are carried out by expert, manual, non-automated methods. In accordance with the directions of digital transformation of education, it is necessary to create a technological assessment system that meets the requirements of modern society, subject to automation and intellectualization. The purpose of the work is to substantiate a new model of criteria-based assessment of the quality of the educational result, based on the mathematical methods of the theory of clustering and pattern recognition and allowing to automate the procedures for assessing the quality of educational objects, resources, educational and personal achievements of students. Methodology. The quality of an educational result or resource is determined by criteria indicators, which can be represented as features of the evaluated object using the information vector. By clustering the set of acceptable objects into three classes - with low, medium and high quality - it is possible to evaluate an object by its belonging to one of these classes. Clustering is carried out on the basis of a mining algorithm, the metric of city blocks is taken as a measure of the similarity of objects. Results. A program has been developed that consists of a source data module, a clustering module, and a recognition and training module. The model results of the program correlate with traditional rating assessments, in which the quality of the object is determined by a point scale. The obtained test results confirm the validity of the recognition algorithm and the correctness of the software product. Conclusion. Thus, the proposed model based on clustering and the recognition method showed the possibility of automated assessment of the quality of educational results of trainees and educational resources.

Проблема и цель

критериальное оценивание качество образовательный

Для современной теории и практики образования сохраняют свою актуальность проблемы критериального оценивания образовательных результатов обучаемого. Как правило, мероприятия по мониторингу образовательных ресурсов в учебных заведениях проводятся экспертными, «ручными», неавтоматизированными способами.

Во многих психолого-педагогических исследованиях приходится сталкиваться с необходимостью проводить оценку качества инновационных средств и методов обучения. Целесообразность их использования, полезность и эффективность обычно доказывают путем сравнения образовательных результатов в контрольных и экспериментальных группах. При больших выборках обучающихся оценивание их учебных достижений, предметных, метапред- метных и личностных результатов обучения представляет трудоемкую и затратную деятельность исследователя. В соответствии с направлениями цифровой трансформации образования необходимо создание технологичной, отвечающей требованиям современного общества системы оценивания, подлежащей автоматизации и интеллектуализации.

Идея использовать методы распознавания образов для оценивания и диагностики качества образовательных результатов и ресурсов не получала развитие в силу достаточности и доступности существующих традиционных рейтинговых, анкетных, тестовых методик, опирающихся на методы математической статистики, и программных приложений типа электронных таблиц.

Однако широкое распространение искусственного интеллекта определяет перспективные возможности машинного обучения в разработке интеллектуальных систем оценивания и диагностики качества образовательных продуктов.

Цель работы - обоснование новой модели критериального оценивания качества образовательного результата, опирающейся на математические методы теории кластеризации и распознавания образов и позволяющей автоматизировать процедуры оценки качества образовательных объектов, ресурсов, учебных и личностных достижений обучаемых.

Методология

В последнее время наибольшую популярность приобрела технология критериального оценивания, которая является одной из основных измерительных инструментов качества образовательных результатов [1]. Под критериальным оцениванием понимают процесс сравнения учебных достижений обучаемого с четко определенными экспертными критериями, соответствующими целям и содержанию образования. Само понятие «критерий» означает признак, основание, правило принятия решения по оценке чего-либо на соответствие предъявленным требованиям. Как правило, основной принцип критериального оценивания заключается в определении эталона (идеала) образовательного результата и создании шкалы, задающей степень соответствия достигнутых результатов обучаемого этому идеалу Вертьянова А.А. Технология критериального оценивания образовательных дости-жений учащихся: учебно-методическое пособие. Пермь, 2014. С. 56-68..

Одной из задач цифровизации образования является технологизация диагностики дидактических состояний обучаемого. Диагностика должна быть направлена не только на образовательные результаты (предметные, мета- предметные и личностные), но и на когнитивные и психолого-педагогические аспекты учебно-воспитательного процесса [2]. Одной из задач современного образования является разработка подходов к определению уровня вычислительного мышления студентов [3], для развития которого необходимо формировать у студентов ряд специфических свойств. С.Л. Рубинштейн рассматривает мыслительный процесс как систему сознательно регулируемых интеллектуальных операций: «...к разрешению стоящей перед ним задачи мышление идет посредством многообразных операций, составляющих различные взаимосвязанные и друг в друга переходящие стороны мыслительного процесса» [4]. В качестве диагностируемого критерия можно рассматривать отдельные компоненты вычислительного мышления: алгоритмическое мышление, умение решать задачи, креативность, критическое мышление, познавательная активность студента, которую С.Л. Рубинштейн считает элементом мышления [4] и от которой значительно зависит результативность учебного процесса. О.В. Маркелова под познавательной активностью студента понимает когнитивно-психологический отклик на познавательный процесс, выражающийся в готовности к обучению и выполнению учебных заданий при индивидуальной или групповой работе, возросший интерес к практической и интеллектуальной деятельности, определяющий результативность предметной подготовки [5].

В большинстве оценочных процедур в качестве измерителей показателей критериальных характеристик объекта используют тесты. Начиная с работ Ф. Гальтона Акимова М.К., Гуревич К.М. Психологическая диагностика: учебное пособие для вузов. СПб.: Питер, 2003. 652 с., который на основе математической статистики проводил измерения индивидуальных физических, физиологических и психических особенностей людей, тестовые методы оценивания качеств личности стали широко применятся в образовательных целях. Дж. Кеттелл, А. Бине, Т. Симон своими разработками показали возможность тестов как измерительных инструментов в научных и практических исследованиях личности. Значительный вклад в развитие тестовых измерений внес Г. Раш [6]. Он предложил простейшую модель вычисления условной вероятности правильного выполнения i-м испытуемым задания с уровнем сложности вj:

где Хij - результат тестирования; И - уровень подготовки обучаемого.

Отметим работы Н.Ф. Талызиной по программированному обучению и В.П. Беспалько по проблемам педагогической технологии [7], в которых сделана попытка формализовать и алгоритмизировать диагностические методы.

Несмотря на многочисленные подобные исследования, на практике чаще контроль и диагностика качества образовательных результатов осуществляются экспертным, субъективным и «ручным» способом. В этой связи в последнее время стали привлекательными оценочные диагностики на основе элементов искусственного интеллекта Бронфельд Г.Б. Основы искусственного интеллекта: учебное пособие. Н. Новгород: Нижегородский государственный технический университет имени Р.Е. Алексеева, 2014. 253 с.. В частности, активно исследуются алгоритмы, способные осуществлять психолого-педагогическую диагностику обучаемых Ходашинский И.А. Методы искусственного интеллекта, базы знаний, экспертные системы: учебное пособие. Томск: Томский государственный университет систем управле-ния и радиоэлектроники, 2002. 140 с..

Роль искусственного интеллекта в образовании связана с созданием «умных» обучающихся систем, имитирующих оперативный диалог обучающегося и преподавателя. К примеру, в [8] показаны перспективные возможности машинного обучения в разработке интеллектуальных систем тестирования.

Современные вызовы для образования, важность и порой необходимость перехода учебных и исследовательских работ в дистанционный формат актуализируют вопросы автоматизации проведения процедур критериального оценивания качества образовательных ресурсов и дидактических состояний обучаемых [9].

Представляют интерес разработки программ, веб-приложений, обеспечивающих автоматизацию мероприятий при проведении оценочных и конкурсных процедур в онлайн- и офлайн-режимах.

Рассмотрим несколько примеров образовательных результатов, которые оцениваются с помощью критериальных характеристик.

Учебные достижения. Схематично модель оценивания учебных достижений обучаемого можно представить следующим образом (рис. 1).

Рис. 1. Схема тестового оценивания учебных достижений обучаемого

Критериями модели оценивания являются тестовые задания, а их показателями являются значения характеристик Xj, определяющие результат выполнения соответствующего задания в баллах из интервала их сложности. Таким образом, для каждого тестируемого уровень его учебных достижений определяется информационным вектором (х1,х2,... хп) в некоторой шкале результативности обучения (например, удовлетворительно, хорошо, отлично).

Как правило, распространенным способом является подсчет суммарного балла и определение уровня образовательного результата в рейтинговой уровневой шкале. Подобная оценка объективна для примитивного случая равнозначных по сложности тестовых заданий, которые чаще оценивают в интервале [0, 1]: 0 - неверное решение, 1 - верное решение. Критериальные модели оценивания могут предполагать разные интервалы значений показателей качества объекта. Для них интегральные рейтинговые шкалы малоинформативны и могут иметь значимые погрешности.

Качество когнитивных способностей (на примере вычислительного мышления). Вычислительное мышление в настоящее время стало одной из главных компетенций для образовательной политики многих стран [2]. Обобщая работы по исследованиям способов измерения уровня этой компетенции, в [10] рассмотрена структурная диагностическая модель вычислительного мышления, которая включает пять критериев: креативность, алгоритмическое мышление, критическое мышление, решение задач и сотрудничество (рис. 2). По каждому критерию определены тестовые задания и анкеты (креативность - 6 пунктов, алгоритмическое мышление - 4, критическое мышление - 4, решение задач - 3, сотрудничество - 4). Таким образом, информационный вектор качества вычислительного мышления содержит 21 характеристику (х1, ...,х21). Значения этих характеристик задавались по 5-балльной шкале: от 1 - нет ответа до 5 - дан исчерпывающий ответ.

Рис. 2. Структурная модель вычислительного мышления

Многие объекты результатов образовательной деятельности могут быть описаны в формате представленных выше двух моделей, для которых допустима формализованная математическая постановка задачи в следующем виде Протодьяконов А.В., Пылов П.А., Садовников В.Е. Алгоритмы Data Science и их практическая реализация на Python: учебное пособие. М. - Вологда: Инфра-Инженерия, 2022. 392 c..

Дано множество К объектов (результатов образовательной деятельности) с некоторыми заданными качествами из п характеристик . Пусть признаки объекта задаются численными значениями из заданного интервала xi ? [ai, bi].

Определим, к примеру, три класса объектов:

1) П1 - класс с низким качеством;

2) П2 - класс со средним качеством;

3) П3 - класс с высоким качеством.

Для процедуры кластеризации необходимо назначить для каждого класса их «ведущих представителей» q1, q2, q3. К примеру, для первого класса объект q1 = (а1, а2,..., ап); для второго класса q2 = ((b1 -- а^)/2,..., (b п -- ап)/2); для третьего класса q3 = (b1, b 2,..., b п).

Расстояние (сходство) между двумя объектами можно определить по метрике городских кварталов: , где Xj и - признаки двух объектов (рис. 3, а).

За расстояние между объектом и классом примем среднее значение всех расстояний от объекта до каждого объекта класса (рис. 3, б).

Чтобы определить принадлежность объекта к искомому классу, будем находить минимальное расстояние среди расстояний объекта до всех введенных классов (рис. 4).

Рис. 3. Расстояния между двумя объектами и объектом и классом

Рис. 4. Распознавание принадлежности объекта к заданному классу

Заданное множество из К объектов распределяем (кластеризуем) по трем классам путем нахождения расстояния от объектов до представителей этих классов. То есть объекты, которые «ближе» по расстоянию к q1 относим к Щ1 объекты, у которых сходство больше с q2, заносим в Щ 2. Подобным образом объекты, «близкие» к q3, отнесем к Щ3. Принадлежность заданного объекта к тому или иному классу определяем по его минимальному расстоянию до созданных классов.

Результаты и обсуждение. Разработана программа, которая состоит из трех модулей: модуль исходных данных, модуль кластеризации, модуль распознавания и обучения.

В модуле исходных данных задаем первоначальное количество объектов K, количество признаков объекта п. Для каждого признака определяем интервалы их возможных значений [aibi] (і = 1 ...п) и главных представителей классов, например для класса 1 - q1(a1, а2, ..., ап), для класса 2 - q2[(b1 - a1)/2, (b 2 - а2)/2, ..., (bп - ап)/2)] , для класса 3 - q3(bvb2, ...,bn).

Модуль кластеризации имеет два способа задания объектов:

1) для каждого объекта формируем его информационные вектора из признаков Xj в интервале [at, bt] случайным образом;

2) информационные вектора каждого объекта вводим «вручную» (например, это могут быть данные по результатам тестирования реальных учеников по темам курса).

Далее формируем три класса путем распределения заданных объектов по принципу их сходства с представителями классов. Итогом являются три множества объектов с интегральным качеством (низкое, среднее, высокое), которые сохраняются в виде базы данных на внешнем устройстве памяти.

В модуле распознавания имеется возможность задать исследуемый объект в виде его информационного вектора и определить его принадлежность одному из созданных в предыдущем модуле классу. При этом если распознанный объект не совпадает по своим признакам ни с каким из существующих объектов класса, его можно внести в этот класс. Другими словами, провести процедуру «машинного обучения с учителем».

Приведем модельные примеры реализации оценки качества образовательного результата обучаемого.

Пример 1. Рассмотрим вариант оценивания успеваемости обучаемых, выполняющих тесты из четырех заданий, каждое из которых имеет 1 балл - не верно или 2 - верно. Количество объектов К = 15, количество признаков п = 4, представители класса с низким q1 = (1,1,1,1), класса со средним q2 = (1,2,1,2), класса с высоким качеством успеваемости q3 = (2, 2,2,2).

Результаты кластеризации пятнадцати объектов на три класса показаны на рис. 5.

Рис. 5. Сформированные классы из 15 объектов

При процедуре распознавания задаваемых трех объектов получаем:

- (1, 1, 2, 1) принадлежит классу 1;

- (1, 1, 2, 2) принадлежит классу 2;

- (2, 2, 1, 2) принадлежит классу 3.

Полученные результаты работы программы полностью совпадают с традиционными рейтинговыми оценками, в которых уровни успеваемости определяются по количеству правильно решенных заданий. Полученные тестовые результаты подтверждают валидность алгоритма распознавания и корректность работы программного продукта.

Пример 2. Рассмотрим оценивание качества объекта, содержащего три критерия с показателями в интервале от 1 до 3 (рис. 6). Представителем класса с низким уровнем качества является экземпляр с информационным вектором (1,1,1), соответственно для среднего уровня - (2, 2,2), а для высокого уровня качества - (3, 3, 3).

Рис. 6. Классы объектов для примера 2

При распознавании трех заданных объектов имеем:

- (1, 2, 3) принадлежит классу 1;

- (2, 2, 3) принадлежит классу 2;

- (3, 2, 3) принадлежит классу 3.

Таким образом, предложенная модель на основе кластеризации и метода распознавания показала возможность автоматизированной оценки качества образовательных результатов обучаемых.

В процессе тестовой отладки алгоритма было замечено, что при малых количествах (мощности) объектов кластеризации могут возникнуть некорректные результаты распознавания. Однако если обучить систему путем добавления новых объектов в классы, то при определенном их количестве распознавание становится правильным. В этой связи следует предусмотреть элементы машинного обучения системы как «с учителем», так и «без учителя». Еще один фактор, возникающий при кластеризации задач оценивания качества образовательных результатов, возможность появления пересекающихся классов. Вероятны случаи, когда один и тот же экземпляр может входить одновременно в несколько классов. В ситуации пересекающихся классов необходимо предоставлять эксперту вопрос оценивания и принятия управляющего решения. Важно избегать неоднозначного распознавания объекта путем задания таких исходных данных, которые позволяют формировать строго непересекающиеся классы.

Заключение

Предложенная модель оценивания качества образовательного результата имеет формализованную математическую постановку задачи. Алгоритмическая процессуальная основа метода прозрачна, технологична и обладает элементами искусственного интеллекта. Представляется целесообразным создание программного продукта в виде веб-приложения или облачного сайта открытого доступа для проведения критериальных оценок качества образовательных результатов и ресурсов, которые могут быть сведены к описанной математической постановке задачи.

Список литературы

[1] Абекова Ж.А., Оралбаев А.Б., Бердалиева М., Избасарова Ж.К. Технология кри-териального оценивания, методика ее применения в учебном процессе // Между-народный журнал экспериментального образования. 2016. № 2-2. С. 215-218. URL: https://expeducation.ru/ru/article/view?id=9559 (дата обращения: 14.01.2022).

[2] Баженова И.В., Клунникова М.М., Пак Н.И., Пушкарева Т.П., Хеннер Е.К. Кластер дисциплин как платформа развития вычислительного мышления студентов. Красноярск: Сибирский федеральный университет, 2021. 184 с.

[3] Клунникова М.М. Развитие вычислительного мышления студентов в процессе обучения дисциплине «Численные методы»: дис. ... канд. пед. наук. Красноярск, 2020. URL: https://research.sfu-kras.ru/sites/research.sfu-kras.ru/files/dissertaciya_Klunnikova.pdf (дата обращения: 17.05.2022).

[4] Рубинштейн С.Л. Основы общей психологии. СПб.: Питер, 2002. 720 с.

[5] Маркелова О.В. Методика развития познавательной активности студентов техникума в процессе обучения информатике: дис. ... канд. пед. наук. Красноярск, 2019. URL: https://research.sfu-kras.ru/sites/research.sfu-kras.ru/files/Dissertaciya_Markelova.pdf (дата обращения: 17.05.2022).

[6] Аванесов В.С. Применение тестовых форм в Rasch Measurement // Педагогические измерения. 2005. № 4. С. 3-20.

[7] Беспалько В.П. Образование и обучение с участием компьютеров (педагогика третьего тысячелетия) М.: МПСИ, 2002. 215 с.

[8] Томашев М.В. Интеллектуальные системы тестирования в дистанционном и модульном обучении // Ползуновский альманах. 2010. № 2. С. 179-180.

[9] Markovskaya I.A., Narchuganov K.N., Pak N.I. Automated system of remote holding competitive and assessment procedures // Journal of Physics: Conference Series. 2020. Vol. 1691. Issue 1. Article 012156.

[10] Sun L., Hu L., Zhou D., Yang W. Evaluation and developmental suggestions on undergradu-ates' computational thinking: a theoretical framework guided by Marzano's new taxonomy // Interactive Learning Environments. 2022. https://doi.org/10.1080/10494820.2022.2042311

References

[1] Abekova ZhA, Oralbaev AB, Berdalieva M, Izbasarova ZhK. Criteria-based assessment technology, methods of its application in the educational process. International Journal of Experimental Education. 2016;(2-2):215-218. (In Russ.) Available from: https://expeducation.ru/ru/article/view? id=9559 (accessed: 14.01.2022).

[2] Bazhenova IV, Klunnikova MM, Pak NI, Pushkareva TP, Khenner EK. Cluster of disciplines as a platform for the development of students' computational thinking. Krasnoyarsk: Siberian Federal University; 2021. (In Russ.)

[3] Klunnikova MM. Development of computational thinking of students in the process of teaching the discipline “Numerical Methods” [dissertation]. Krasnoyarsk; 2020. (In Russ.) Available from: https://research.sfu-kras.ru/sites/research.sfu-kras.ru/files/dissertaciya_Klunnikova.pdf (accessed: 17.05.2022).

[4] Rubinshtein SL. Fundamentals of general psychology. St. Petersburg: Peter Publ.; 2002. (In Russ.)

[5] Markelova OV. Methodology for the development of cognitive activity of college students in the

process of teaching computer science [dissertation]. Krasnoyarsk; 2019. (In Russ.) Available from: https ://research. sfu-kras.ru/sites/research. sfu-kras.ru/files/Dissertaciya_Markelova.pdf

(accessed: 17.05.2022).

[6] Avanesov VS. Application of test forms in Rasch Measurement. Pedagogical Measurements. 2005;(4):3-20. (In Russ).

[7] Bespalko VP. Education and training with the participation of computers (pedagogy of the third millennium). Moscow: MPSI Publ.; 2002. (In Russ.)

[8] Tomashev MV, Dolzhenko SV. Intelligent testing systems in distance and modular learning. Polzunovskiy Almanakh. 2010;(2):179-180. (In Russ).

[9] Markovskaya IA, Narchuganov KN, Pak NI. Automated system of remote holding competitive and assessment procedures. Journal of Physics: Conference Series. 2020; 1691(1):012156.

[10] Sun L, Hu L, Zhou D, Yang W. Evaluation and developmental suggestions on undergraduates' computational thinking: a theoretical framework guided by Marzano's new taxonomy. Interactive Learning Environments. 2022. https://doi.org/10.1080/10494820.2022.2042311

Размещено на Allbest.ru