Применение критериев согласия при оценивании плотности вероятности в ортогональных базисах

Размещено на http://www.allbest.ru/

ПРИМЕНЕНИЕ КРИТЕРИЕВ СОГЛАСИЯ ПРИ ОЦЕНИВАНИИ ПЛОТНОСТИ ВЕРОЯТНОСТИ В ОРТОГОНАЛЬНЫХ БАЗИСАХ

СЕРПОВСКАЯ Е.Е.,

АБОЛМАЗОВА Н.В.,

ДЕГТЯРЕВА О.А.

Для аппроксимации гладких плотностей вероятности применяется разложение по ортогональному ряду. Лучшим критерием оценки качества является требование минимума погрешности восстановления теоретической кривой. Однако это возможно только при известном теоретическом законе распределения [2]. Но в большинстве случаев такая информация недоступна. Необходим другой способ восстановления. Как правило, для проверки качества оценивания плотности вероятности применяются критерии согласия.

Обычно сущность проверки гипотезы [3] о функции распределения экспериментальных данных заключается в следующем: имеется выборка фиксированного объема и оценка, построенная по этой выборке; необходимо определить степень согласованности оценки плотности вероятности с выборочными данными. Оценку можно считать приемлемой, если она не противоречит эмпирическим данным (выборке).

Предлагаемый доклад посвящен проверке согласованности оценки с выборкой с использованием критериев Мизеса и Колмогорова.

Критерий Колмогорова

Пусть - эмпирическая функция распределения для выборки объема N, - модельная функция распределения, построенная по оценке плотности распределения , известная полностью, то есть не зависящая от неизвестных параметров.

Статистикой Колмогорова является статистика , где _.

Для практического использования критерия Колмогорова статистика представляется в виде:, где - i-тое значение кумулятивной кривой; - значение модельной функции распределения в i-той точке вариационного ряда.

Для проверки гипотезы о том, что является функцией распределения генеральной совокупности:

1) Строятся полигон частот и кумулятивная кривая. Проводится аппроксимация полигона ортогональными функциями, рассчитываются статистические параметры аппроксимации . Затем рассчитываются значения модельной функции распределения в точках вариационного ряда.

2) для выборки, по которой построена кумулятивная кривая, необходимо сравнить предельное значение статистики для заданного , полученного из таблицы квантилей [1], с величиной критической статистики, вычисленной по формуле (1).

Если , то гипотеза о том, что является функцией распределения генеральной совокупности, а следовательно, оценка плотности вероятности согласуется с выборкой, принимается.

Для критерия Колмогорова были проведены исследования статистики Колмогорова для распределения Вейбулла в базисе Лежандра (при значениях параметров К_лев=4, К_прав=4, б_лев=1, б_прав=1) и распределения Релея в базисе Лагерра (при значениях параметров К_лев=10, К_прав=10, б_лев=0, 8, б_прав=0, 8).

Была выбрана оценка, наиболее близкая к теоретической кривой, построенная по одной выборке, сгенерированы 30 новых выборок. Задача состояла в том, чтобы определить, согласуется ли оценка с каждой из этих выборок для двух уровней значимости б=0, 05 и б=0, 01.

Если 95% значений статистики D не превышают значение критической статистики =1, 36 (для случая б=0, 05), то гипотеза о том, что оценка согласуется с выборкой с доверительной вероятностью 0, 95, принимается. Рассуждая аналогичным образом, необходимо сделать вывод и для случая б=0, 01.

Результаты экспериментов приведены в таблицах 1 и 2, где «+» означает, что оценка согласуется с выборкой, «-» - не согласуется. Внизу таблицы вычислена процентная доля случаев согласованности оценки с выборкой.

На основании приведенных результатов в таблице 1 можно сделать выводы, что гипотеза о согласованности оценки с выборкой по критерию Колмогорова, принимается:

- при объёме выборки N=10000 с доверительной вероятностью 0, 95;

- при N=2000 и N=10000 с доверительной вероятностью 0, 99.

На основании приведенных результатов в таблице 2 можно сделать выводы, что гипотеза о согласованности оценки с выборкой по критерию Колмогорова, принимается:

- при объёме выборки N=400, N=2000 и N=10000 с доверительной вероятностью 0, 95;

- при N=2000 и N=10000 с доверительной вероятностью 0, 99.

Таблица 1 Критическая статистика Колмогорова для распределения Вейбулла в базисе Лежандра (при значениях параметров К=8, б_лев=1, б_прав=1)

Таблица 2. Критическая статистика Колмогорова для распределения Вейбулла в базисе Дирихле и Лагерра (при значениях параметров К=20, блев=0, 8, бправ=0, 8)

Таблица 3. Критическая статистика Колмогорова для распределения Рэлея в базисе Лагерра (при значениях параметров К=20, б_лев=0.8, б_прав=0, 8)

Таблица 4. Критическая статистика Колмогорова для распределения Рэлея в базисе Дирихле и Лежандра (при значениях параметров К=20, б_лев=0.8, б_прав=0.8)

Из проведенных исследований можно сделать вывод, что применение критерия согласия Колмогорова нецелесообразно при малых объёмах выборки (N=400) для распределения Вейбулла в базисе Дирихле и Лежандра.

Можно использовать предельное значение статистики из таблицы квантилей для заданного для установления доверительных границ для непрерывной функции распределения. Какова бы не была истинная функция распределения , можно записать:

,

где - значение .

Таким образом, доверительная область представляет собой полосу вокруг выборочной функции распределения , и с вероятностью истинная функция лежит целиком внутри этой полосы.

Были построены графики, представленные на рисунках 1, 2 для распределения Вейбулла в базисе Дирихле (при значениях параметров К_лев=4, К_прав=4, б_лев=1, б_прав=1) и распределения Вейбулла в базисе Дирихле (при значениях параметров К_лев=10, К_прав=10, б_лев=1, б_прав=1).

Линия 1 на графике обозначает функцию распределения (ФР) оценки плотности вероятности, линия 2 - кумулятивная кривая, пунктир - полоса вокруг функции распределения для случая =1, 36 (уровень значимости 0, 05).

На рисунке 1 видно, что кумулятивная кривая выходит за пределы коридора , что означает, что гипотеза о согласованности оценки с выборкой по критерию Колмогорова с вероятностью 1- (т.е. 0, 95) не принимается. Аналогично из рисунка 2 следует, что гипотеза о согласованности оценки с выборкой по критерию Колмогорова с вероятностью 1 - (т.е. 0, 95) принимается, т.к. кумулятивная кривая проходит внутри полосы .

Благодаря описанному инструменту мы можем проводить исследования о согласованности оценки с выборкой по критерию Колмогорова, не прибегая к вычислениям, основываясь на полученных графиках.

Если критерий не принимает гипотезу о согласованности выборки с оценкой, то это не значит, что эту оценку нельзя использовать в дальнейшем. Для объективности рассмотрения гипотезы о согласованности конкретной оценки наряду с критерием согласия Колмогорова стоит использовать более строгие критерии.

Критерий Мизеса

Пусть - некоторая модельная функция распределения, не совпадающая с эмпирической функцией . Критерий Колмогорова хорошо разделяет выборки (имеет большую мощность) из генеральных совокупностей с теоретическими функциями распределения и , если значение |- | достаточно велико хотя бы на малом интервале распределения x. Встречается и обратная ситуация, когда |- | мало, но постоянно на достаточно большом интервале изменения x. В этом случае естественно воспользоваться каким-либо интегральным расстоянием, например расстоянием .

Статистика критерия задается выражением(x, …, x)=N, где x, …, x- вариационный ряд; N - объем выборки; - модельная функция распределения построенная по оценке плотности ; - эмпирическая функция распределения для выборки объема N.

Если , то гипотеза о том, что является функцией распределения генеральной совокупности, а, следовательно, оценка плотности вероятности согласуется с выборкой, принимается.

Для критерия Мизеса были проведены исследования, аналогичные исследованиям целесообразности применения критерия Колмогорова. Работа проводилась с распределением Вейбулла в базисе Лагерра (при значениях параметров Клев=6, Кправ=12, блев=4, бправ=3) и распределением Релея в базисе Лежандра (при значениях параметров Клев=3, Кправ=3, блев=0, 3, бправ=0, 3).

Была выбрана оценка, наиболее близкая к теоретической кривой [2], построенная по одной выборке, сгенерированы 30 новых выборок. Задача состояла в том, чтобы определить можно ли оценку, построенную по одной выборке, считать согласованной с другими выборками для двух уровней значимости б=0, 05 и б=0, 01.

Если 95% значений критической статистики щ² не превышают предельное значение статистики щ²б=0, 46 (для случая б=0, 05) [1], то гипотеза о том, что оценка согласуется с выборкой с доверительной вероятностью 0, 95, принимается. Рассуждая аналогичным образом, необходимо проверить согласованность и для случая б=0, 01.

Результаты экспериментов приведены в таблицах 1 и 2. Для каждого из базисов (Лагерра, Дирихле, Лежандра) вычислена процентная доля случаев согласованности оценки с выборкой.

Таблица 5. Критическая статистика Мизеса для распределения Вейбулла

На основании приведенных результатов в таблице 1 можно сделать выводы, что гипотеза о согласованности оценки с выборкой по критерию Мизеса для распределения Вейбулла в базисе Лагерра, принимается:

- при объёме выборки N=10000 с доверительной вероятностью 0, 95;

- при N=2000 и N=10000 с доверительной вероятностью 0, 99.

Таблица 6. Критическая статистика Мизеса для распределения Рэлея

На основании приведенных результатов в таблице 2 можно сделать выводы, что гипотеза о согласованности оценки с выборкой по критерию Мизеса для распределения Рэлея в базисе Лежандра, принимается:

- при объёме выборки N=10000 с доверительной вероятностью 0, 95;

- при N=2000 и N=10000 с доверительной вероятностью 0, 99.

На практике не всегда есть возможность получить большое количество наборов данных для построения оценки. Чаще всего имеется лишь одна единственная выборка, по ней и нужно получить оценку. Для выбора оценки, «наилучшим» образом описывающей выборку, необходимо определить число слагаемых в аппроксимирующей сумме, превышать которое не имеет смысла, поскольку это не приближает оценку к истинной кривой.

Исследуем зависимость значений статистики критериев согласия от числа слагаемых в аппроксимирующей сумме k. Для этого для одной и той же выборки при фиксированном значении масштабирующего коэффициента строим оценки, изменяя значение k, и определяем согласуются ли полученные оценки с выборкой.

На рисунке 1 изображены результирующие графики описанного выше исследования для закона распределения Вейбулла в базисе Дирихле (для значений блев=1, бправ=1) и закона распределения Рэлея в базисе Лагерра (для значений блев=3, бправ=3).

Рисунок 3 - График зависимости значений статистики критериев согласия от числа слагаемых в аппроксимирующей сумме k

Из рисунка 1 следует, что для закона распределения Вейбулла в базисе Дирихле достаточно брать k=8, для закона распределения Рэлея в базисе Лагерра - k=9. Гипотеза о согласованности оценки с выборкой по обоим критериям при этом значении принимается с доверительной вероятностью 0, 95.

Заключение

Выбор критерия согласия проверки гипотезы относительно произволен. Разные критерии могут давать различные выводы о справедливости гипотезы (например, в ряде случаев критерий Колмогорова менее строг), окончательное заключение в таком случае принимается на основе априорной информации и критерия оптимальности (минимума расчетов, классификации закона, выбора базиса, простоты расчетов, объёма выборки). Точно также нет однозначных рекомендаций по выбору уровня значимости.

Поскольку формируемые оценки являются многопараметрическими, то для выделения приемлемых можно воспользоваться двусторонним критерием , так как по нему оценка плотности бракуется не только тогда, когда различия между оценкой и полигоном значительны, но и тогда, когда оценка слишком точно его аппроксимирует. Использование данной оценки планируется в дальнейших работах.

согласие мизес колмогоров аппроксимация

Литература

1. Большев, Л.Н. Таблицы математической статистики // Л.Н. Большев, Н.В. Смирнов - М.: Наука, 1983. - 416 с.

2. Дегтярева, О.А. Восстановление плотности вероятности методом сглаживания гистограммы в ортогональных базисах. Сборник статей V Международной научно-практической конференции "Научное творчество XXI века" // О.А. Дегтярева, Н.В. Аболмазова, Е.Е. Серповская - Красноярск: Изд. Научно-инновационный центр, 2012. - С. 220-228.

3. Лемешко, Б.Ю. Непараметрические критерии при проверке сложных гипотез о согласии с распределениями Джонсона // Доклады СО АН ВШ. 2002.// Б.Ю. Лемешко, С.Н. Постовалов- № 1(5). - С.65-74.

Размещено на Allbest.ru