Некомпенсаторное агрегирование и рейтингование студентов

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

На практике зачастую мнение коллектива индивидуумов или экспертов выражается при помощи различных шкал оценок, проставляемых каждым членом этого коллектива; например, “плохо, средне, хорошо” (при опросе общественного мнения или дегустации), “1, 2, 3, 4, 5” (в школе, университете) и т.п. Задача агрегирования состоит в том, чтобы корректно описать коллективное мнение на основе полученных наборов из индивидуальных оценок. Усреднение полученных наборов оценок, которое по традиции наиболее часто используется, не всегда возможно, а в том случае, когда оно возможно, то приводит к интуитивно неадекватному результату. Так, при усреднении наборов оценок низкие оценки одного эксперта могут быть компенсированы средними или хорошими оценками других экспертов. Нас будут интересовать ситуации (в частности, в высшем образовании), когда такое компенсирование невозможно. Ясно, например, что отличные оценки студента технического вуза по иностранному языку никоим образом не компенсируют его плохие оценки по специальности, и тем более не говорят о том, что он/она - квалифицированный инженер. Таким образом, исследование индивидуальных предпочтений с учетом компенсаций (как в случае усреднения) и без учета компенсаций (как в последнем примере) и их сравнение является современной актуальной задачей.

Целью настоящей работы является сравнение и сопоставление двух диаметрально противоположных методов агрегирования предпочтений - компенсаторного с одной стороны, к которому относятся правило голосования Борда и его обобщения, и некомпенсаторного - с другой. В последнем методе низкие оценки участников оценивания не могут быть компенсированы никакими самыми высокими оценками и даже их количеством. Этот новый метод агрегирования был развит для трехградационных предпочтений (т.е. предпочтений, выражаемых оценками 1 - плохо, 2 - средне и 3 - хорошо) в серии недавних работ Ф.Т. Алескерова и В.И. Якубы (ГУ-ВШЭ, Москва) и их сотрудников [1]-[3], а затем обобщен на произвольное число оценок В.А.Калягиным и В.В.Чистяковым (НФ ГУ-ВШЭ, Нижний Новгород) [4]-[7]. Сравнение этих двух методов осуществляется на основе изучения поведения соответствующих функций предпочтения и их аксиоматических определений. Представляется ясным, что вне зоны самых высоких оценок и самых низких оценок эти методы ведут себя неодинаково, и выяснению подлежит поведение методов в промежуточных зонах. Полученные результаты применяются к новому рейтингованию студентов, обучающихся в НФ ГУ-ВШЭ, что позволяет сравнить новые рейтинговые оценки с традиционно используемыми. Отметим, что в новых рейтинговых оценках существенно используется некомпенсаторная природа агрегирования в смысле, указанном выше.

Стандартное рейтингование студентов, утвержденное в ГУ-ВШЭ, опирается на 60 кредитов, распределенных между всеми изучаемыми студентами предметами, и основывается на рабочем плане студенческой группы за календарный год. В этом рабочем плане выделяются два типа предметов - неаккредитованные и аккредитованные. Неаккредитованные предметы не учитываются при подсчете рейтинга студентов. Обычно такими предметами являются факультативы, иностранный язык и физическая культура. Аккредитованные предметы имеют в рейтинге определенные зачетные единицы, называемые кредитами, сумма которых равняется 60. Количество кредитов у каждого предмета зависит от доли его времени в общей нагрузке студентов за год (в среднем в 1,5 раза больше числа модулей, отведенных на предмет). Поскольку в ГУ-ВШЭ принята десятибалльная система оценок, то максимальное число кредитов, которые студент может получить за один год, равно 600. В случае неуспешной сдачи экзамена по какому-либо предмету независимо от оценки за пересдачу экзамена в рейтинг студента по этому предмету записывается оценка 0 (нуль).

Математически значение рейтинга ГУ-ВШЭ можно записать в виде:

где xi - оценка студента за экзамен по предмету i, ri - зачетные единицы предмета и k - количество предметов в годовой нагрузке. Отметим, что в силу сказанного выше,

0? r ? 600 и xi принимает значения 0, 4, 5, 6, 7, 8, 9, 10 (оценки 1, 2 и 3 не считаются “положительными” и играют такую же роль, как 0).

В большинстве вузов для рейтингования студентов используется обычный средний балл. В этом случае все зачетные единицы предметов ri одинаковы и равны 1/k.

Следует отметить, что рейтинг ГУ-ВШЭ имеет определенные преимущества по сравнению со средним баллом: он более адекватно учитывает успеваемость студентов по предметам своей специальности и учитывает нагрузку студента по каждому отдельному предмету в зависимости от количества часов, отведенных на предмет.

Некомпенсаторный метод рейтингования.

Напомним, что при неуспешной сдаче студентом экзамена по определенному предмету в рейтинг по этому предмету студенту записывается 0 баллов. Это означает, что низкие оценки не должны быть компенсированы высокими, и это обстоятельство следует учитывать при рейтинговании. В моделях некомпенсаторного агрегирования, развитых в работах, упомянутых во Введении, предложен следующий метод сравнения альтернатив (в данном случае студентов) по их оценкам x=(x1,…,xn). Он основан на известном правиле сравнения альтернатив Leximin. Обозначим через vj(x) количество оценок j в векторе оценок x, где j принимает значения 0, 4, 5, 6, 7, 8, 9, 10. Скажем, что x=(x1,…,xn)строго предпочтительнее y=(y1,…,yn), если [v0(x)<v0(y)] или [v0(x)= v0(y) и v4(x)< v4(y)] или [v0(x)= v0(y) и v4(x)= v4(y) и v5(x)< v5(y)] или, и так далее, до [v0(x)= v0(y) и v4(x)= v4(y) и … и v8(x)= v8(y) и v9(x)< v9(y)]. Отметим, что сравнение количеств v_j(x) останавливается при j=9, поскольку v0(x)+ v4(x)+ v5(x)+…+ v9(x)+ v10(x)=n (размерность вектора x). Функция Ф, определенная на множестве всех альтернатив x, называется функцией предпочтения, если неравенство Ф(x)>Ф(y) выполнено тогда и только тогда, когда альтернатива x строго предпочтительнее альтернативы y в смысле, указанном выше. В работах [4] и [7] такую функцию Ф(x) удалось найти в явном виде:

Где

и .

В рамках нашей модели рейтингования студентов здесь n - число изучаемых предметов, m =8 -количество оценок (в нашем случае 0, 4, 5, 6, 7, 8, 9, 10) и vj(x) - количество оценок j у студента x. Функция Ф(x) принимает натуральное значение на любом векторе х, равное порядковому номеру этого вектора в описанном выше строгом предпочтении. Кроме того, функция Ф обладает некоторыми оптимальными свойствами (типа симметрии, Парето-доминирования и др., подробнее см. [4], [7]).

Некомпенсаторное агрегирование рассматривается в нашей модели в двух вариантах:

а) когда число n равно числу предметов (без учета факультативов) в базовой нагрузке;

б) когда n=60 (по числу кредитов). Этот случай обусловлен тем, что оценка по предмету будет повторяться столько раз, сколько кредитов на него отведено в учебном плане.

Результаты стандартного рейтингования ГУ-ВШЭ, рейтингования по среднему баллу и некомпенсаторное рейтингование при n=число предметов и n=60 наглядно продемонстрированы на следующих графиках. Все рейтинговые оценки получены с помощью компьютерной программы, написанной на языке С++, а графики и прочие проведенные расчеты были получены при помощи программы Microsoft Office Excel. Оценки взяты из реальных экзаменационных ведомостей студентов 2-го и 3-го курсов факультета Бизнес-информатики и прикладной математики НФ ГУ-ВШЭ за 2008-2009 г.

Рис. 1

Рис. 2

Рис. 3

рейтингование студент некомпенсаторный

Стандартный и некомпенсаторный подходы к рейтингованию студентов в подавляющем большинстве случаев дают одинаковое положение студентов в итоговом рейтинге (что может объясняться «разумностью» проставленных оценок за реально сданные предметы). Различие наблюдается, например, при анализе рейтинга для целей выдачи стипендии: в стандартном рейтинге студент (студент В в табл. 3) может иметь больший рейтинг (чем студент А в табл. 3) и при этом не получать стипендии, тогда как такое положение невозможно при некомпенсаторном подходе. Кроме того, при некомпенсаторном подходе возможно провести деление студентов на четкие группы: совсем плохие, середняки и отличники. Некомпенсаторный рейтинг с n=60 практически всегда ниже некомпенсаторного рейтинга при n<60, который в свою очередь ниже, чем средний балл и рейтинг ГУ-ВШЭ; последние два метода, как правило, дают сходные результаты. Таким образом, с точки зрения учета влияния низких оценок на результирующий рейтинг некомпенсаторный метод рейтингования более адекватен для практического применения.

Список используемой литературы

1. Алескеров Ф.Т., Юзбашев Д.А., Якуба В.И. «Пороговое агрегирование трехградационных ранжировок.» Автоматика и телемеханика, N 1 (2007), 147-152.

2. Алескеров Ф.Т., Якуба В.И. «Метод порогового агрегирования трехградационных ранжировок.» Докл. РАН, 413, N 2 (2007), 181-183.

3. Aleskerov F., Yakuba V., Yuzbashev D. «A `threshold aggregation' of three-graded rankings» Math. Social Sci. 53 (2007), 106-110.

4. Калягин В.А., Чистяков В.В. «Модель некомпенсаторного агрегирования с произвольным набором оценок.» Докл. РАН, 421, N 5 (2008), 607-610.

5. Калягин В.А., Чистяков В.В. «Об определении функции предпочтений в задаче рейтингования при отсутствии компенсаций.» В кн.: Модернизация экономики и глобализация (отв. ред. Е.Г. Ясин). Гос. ун-т -- Высшая школа экономики. М.: Изд. дом ГУ ВШЭ, книга 3, 2009, 592-597.

6. Калягин В.А., Чистяков В.В. «Аксиоматическая модель некомпенсаторного агрегирования» Препринт WP7/2009/01. М: Изд. дом ГУ ВШЭ, 2009. - 76 с.

7. Чистяков В.В. «Функция перечисления в многокритериальной задаче порогового агрегирования» Труды Матем. центра им. Н.И. Лобачевского. Теория функций, ее прилож. И смежные вопр. Материалы 9-ой междунар. Казанской летней научной школы-конф. Казань: Изд-во Казан. матем. об-во, Том 38, 2009, 302-304.

Размещено на Allbest.ru