Применение бета-биномиального распределения для статистической обработки оценок студентов

Размещено на http://www.allbest.ru/

Байкальский государственный университет

ПРИМЕНЕНИЕ БЕТА-БИНОМИАЛЬНОГО РАСПРЕДЕЛЕНИЯ ДЛЯ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ОЦЕНОК СТУДЕНТОВ

В.В. Братищенко

г. Иркутск

Аннотация

статистический модель оценка численный

Статистическая обработка данных студентов применяется для решения различных задач в управлении учебным процессом. Традиционные методы математической статистики не соответствуют свойствам оценок студентов. В работе предлагается адаптировать модели IRT для описания оценок с целью устранения отмеченного недостатка. Предлагается модель оценки на основе бета-биномиального распределения, в которой учитывается подготовленность студента и трудность аттестации в виде соответствующих параметров. Применение этого распределения вероятностей обосновывается возможностью учитывать разброс оценок. Для поиска параметров предлагается использовать два подхода. Первый подход основан на применении численных методов поиска параметров для решения системы уравнений. Второй -- использует байесовский подход, что позволяет достаточно эффективно уточнять параметры при получении новых оценок. По результатам обработки массива оценок адекватность модели подтверждена по нескольким статистическим критериям.

КЛЮЧЕВЫЕ СЛОВА. Статистическая обработка оценок, современная теория тестирования, латентные параметры, бета-биномиальное распределение, байесовские оценки.

Annotation

V.V. Bratischenko Baikal State University, Irkutsk, Russian Federation

APPLICATION OF THE BETA-BINOMIAL DISTRIBUTION FOR STATISTICAL PROCESSING OF STUDENTS' GRADES

Statistical processing of students' grades is used to solve various problems in managing the educational process. Traditional methods of mathematical statistics do not correspond to the properties of student grades. The paper proposes to adapt the IRT models for describing grades to improve the whole process. A model based on beta-binomial distribution is proposed, in which the parameters take into account the student's ability and the difficulty of getting a passing grade. The use of this probability distribution is justified by the ability to take into account the variation of grades. It is proposed to use two approaches to identify the parameters. The first approach is based on the use of numerical methods for finding parameters for solving a system of equations. The second one uses the Bayesian approach, which makes it possible to rather effectively refine the parameters when obtaining new estimates. Based on the results of processing an array of estimates, the adequacy of the model was confirmed by several statistical criteria.

KEYWORDS. Statistics of grades, Item Response Theory, latent parameters, Beta-Binomial Distribution, Bayesian estimates.

Основная часть

Статистическая обработка данных успеваемости может быть использована для решения широкого круга задач от подведения итогов обучения до управления качеством учебного процесса и прогнозирования академических успехов студентов. Вычисление по оценкам широко применяемых статистических характеристик, таких как математическое ожидание и дисперсия, не вполне правомерно, так как оценки студентов измеряются не в метрических, а в ординальных шкалах, которые в общем отличаются для разных дисциплин и преподавателей. Традиционные методы обработки оценок студентов основаны на модели генеральной совокупности. Применение таких методов продемонстрировало статистически значимую разницу в характеристиках множеств оценок, выставленных разными преподавателями, также как множеств оценок, полученных разными студентами [1]. Это вынуждает искать другие модели для описания статистических характеристик оценок.

Такой инструмент предлагает современная теория тестирования (IRT -- Item Response Theory) [2] для обработки результатов выполнения тестовых заданий разной степени сложности студентами с разными уровнями подготовки. В IRT вероятность

правильного ответа на тестовое задание зависит от «трудности» задания, характеризуемого параметром с, уровня «подготовленности» тестируемого, задаваемого параметром Ь. Так как эти переменные не наблюдаются непосредственно, то их называют латентными. Вероятность правильного ответа увеличивается при возрастании подготовленности и уменьшается при увеличении трудности. Максимум дифференцирующей способности теста наступает при совпадении уровней трудности и согласованности.

Привлекательной особенностью IRT является то, что она переводит оценки, которые измеряются в ординальных шкалах, в уровни, измеряемые в метрической шкале, которая получила название шкалы логитов. Недостатком является применение численных методов для определения латентных параметров.

Первоначально IRT разрабатывалась для обработки дихотомических заданий с двумя результатами выполнения: 1 -- «правильно» и 0 -- «неправильно». Впоследствии этот подход был распространен [3; 4] на политомические задания с несколькими вариантами ответа различной степени правильности (точности). При этом два основных латентных параметра (трудность задания и подготовленность тестируемого) дополняются параметрами вариантов ответа. Такая универсальная модель позволяет разделить по трудности варианты ответа. Однако, для надежности оценивания большого количества параметров требуется больше наблюдений.

В работах [5; 6] предлагается применить это подход для оценок преподавателей. Прямое применение политомических моделей оценок затруднительно, так как на экзаменах, зачетах и в текущей успеваемости применяются разнообразные оценочные средства. Кроме этого, применяемые оценочные средства в меньшей степени формализованы по сравнению с тестами. Для исследования оценок преподавателей предлагается [5] использовать биномиальную модель, в которой вероятность успеха, также как в IRT, зависит от «трудности» аттестации и «подготовленности» студента, а второй параметр -- от количества градаций в шкале оценивания.

Все оценки полагаются независимыми в совокупности. Биномиальное распределение соответствует дискретной природе оценок и предположению, что оценка преподавателя складывается под действием многостороннего исследования выполнения задания студентом и должна быть близкой к сумме бернуллиевских случайных величин.

Исследования оценок показали, что модель в целом проходит статистические проверки по критерию Фишера и традиционные для IRT проверки с применением Infit и Outfit статистик [2; 5]. Все перечисленные критерии используют математические ожидания, вычисленные в соответствии с предложенной моделью. В то же время обнаружилось, что оценки имеют дисперсию большую, чем это предсказывает модель. Для устранения такого недостатка можно использовать распределение близкое к биномиальному, но имеющее дополнительные параметры, влияющие на дисперсию. Таким распределением является бета-биномиальное.

Для описания оценки предлагается использовать следующее Бета-биномиальное распределение

Значения $ = 7.3 и обеспечивают начальные значения оценок, соответствующие самой массовой оценке -- «хорошо». Вычислительный процесс обладает хорошей сходимостью при соблюдении условия вариативности оценок: отсутствуют или исключены ситуации, когда все оценки некоторого задания минимальны или максимальны. Можно показать, что поиск параметров сводится к минимизации неотрицательной квадратичной формы, что обеспечивает сходимость итерационных вычислений.

Для оценки латентных параметров бета-биномиального распределения можно применить байесовский подход. Привлекательность подхода обусловлена возможностью скорректировать уже известные оценки с учетом новых наблюдений по известной формуле Байеса. Существенную роль в реализации байесовского подхода играют распределения, сопряженные с наблюдаемой генеральной совокупностью. Если априорное распределение принадлежит семейству сопряженных распределений, то и апостериорное принадлежит этому семейству.

В [7] показано что для биномиального распределения с неизвестным параметром (вероятность успеха), семейство сопряженных распределений принадлежит классу бета-распределений. Для применения байесовского подхода к оценке латентных параметров предположим, что априорным распределением является бета распределение:

В качестве начальных значений tr. - и у.. можно выбрать предварительно вычисленные оценки или выбрать небольшие положительные значения, чтобы исключить ситуацию нулевого значения параметров, если все оценки будут нулевыми или максимальными.

Обработка данных показала, что совпадают математические ожидания оценок биномиальной и бета-биномиальной моделей, а оценка дисперсии остатков совпадает с вычисленным значением бета-биномиальной модели.

Список использованной литературы

1. Братищенко В.В. Статистический анализ экзаменационных оценок / В.В. Брати- щенко // Известия Иркутской государственной экономической академии (Байкальский государственный университет экономики и права). 2011. № 3. URL: http://brj-bguep. ru/reader/article.aspx?id=8014.

2. Нейман Ю.М. Введение в теорию моделирования и параметризации педагогических тестов / Ю.М. Нейман, В.А. Хлебников. Москва: Прометей, 2000. 168 с.

3. Masters G.N. A Rasch model for partial credit scoring / G.N. Masters // Psychometrika. 1982. Vol. 47, iss. 2. P. 149-174.

4. Andrich D. A Rating Formulation for Ordered Response Categories / D. Andrich // Psychometrika. 1978. Vol. 43, iss. 4. P. 561-573.

5. Братищенко В.В. Параметрическая модель экзаменационных оценок / В.В. Братищенко // Качество. Инновации. Образование. 2012. № 3. C. 32-35.

6. Родионов А.В. Применение irt-моделей для анализа результатов обучения в рамках компетентностного подхода / А.В. Родионов, В.В. Братищенко // Современные проблемы науки и образования. 2014. № 4. URL: www.science-education.ru/118-13858.

7. Айвазян С.А. Байесовский подход в эконометрическом анализе / С.А. Айвазян // Прикладная эконометрика. 2008. № 1 (9). С. 93-130.

References

1. Bratishenko V.V. Statistic Analysis of Examination Grades. Izvestiya Irkutskoy gosu- darstvennoy ekonomicheskoy akademii (Baykalskiy gosudarstvennyy universitet ekonomiki i prava) = Izvestiya of Irkutsk State Economics Academy (Baikal State University of Economics and Law), 2011, no. 3. Available at: http://brj-bguep.ru/reader/article.aspx?id=8014.

2. Neyman Ju.M., Khlebnikov V.A. Vvedenie v teoriju modelirovanija i paramet rizacii pedagogicheskih testov [Introduction to Theory of Modelling and Parametrization of Training Tests]. Moscow, Prometey Publ., 2000. 168 p.

3. Masters G.N. A Rasch Model for Partial Credit Scoring. Psychometrika, 1982, vol. 47, iss. 2, pp. 149-174.

4. Andrich D. A Rating Formulation for Ordered Response Categories. Psychometrika, 1978, vol. 43, iss. 4, pp. 561-573.

5. Bratishenko V.V. Parametric Model of Examination Grades. Kachestvo. Innovatsii. Obrazovanie = Quality. Innovations. Education, 2012, no. 3, pp. 32-35. (In Russian).

6. Rodionov A.V., Bratischenko V.V. Application of Irt-Model for Analysis Training Results within the Competence Approach. Sovremennye problemy nauki i obrazovaniya = Modern Problems of Science and Education, 2014, no. 4. Available at: www.science-education.ru/118- 13858. (In Russian).

7. Aivazian S.A. Bayesian Methods in Econometrics. Prikladnaya ekonometrika = Applied econometrics, 2008, no. 1 (9), pp. 93-130. (In Russian).

Размещено на Allbest.ru