Случайные величины, доверительные интервали, критерий хи-квадрат

Размещено на http://www.allbest.ru/

План

электронный таблица интервал доверительный

1. Случайные величины: классификация. Параметры случайных величин и их оценки

2. Представление различных видов распределений в электронных таблицах. Построение доверительных интервалов

3. Проверка соответствия экспериментального и теоретического распределений, критерий хи-квадрат

1. Случайные величины: классификация. Параметры случайных величин и их оценки

Случайная величина -- это величина, которая принимает в результате опыта одно из множества значений, причём появление того или иного значения этой величины до её измерения нельзя точно предсказать. Случайная величина является одним из основных понятий теории вероятностей. Роль случайной величины, как одного из основных понятий теории вероятностей, впервые была чётко осознана П. Л. Чебышевым, который обосновал общепринятую на сегодня точку зрения на это понятие (1867). Понимание случайной величины как частного случая общего понятия функции, пришло значительно позднее, в первой трети 20 века. Впервые полное формализованное представление основ теории вероятностей на базе теории меры было разработано А. Н. Колмогоровым (1933) , после которого стало ясным, что случайная величина представляет собой измеримую функцию, определённую на вероятностном пространстве. В учебной литературе эта точка зрения впервые последовательно проведена У. Феллером (см. предисловие к, где изложение строится на основе понятия пространства элементарных событий и подчёркивается, что лишь в этом случае представление случайной величины становится содержательным).

Случайные величины могут принимать дискретные, непрерывные и дискретно-непрерывные значения. Соответственно случайные величины классифицируют на дискретные, непрерывные и дискретно-непрерывные (смешанные).

Частично задать случайную величину, описав этим все её вероятностные свойства как отдельной случайной величины, можно с помощью функции распределения, плотности вероятности и характеристической функции, определяя вероятности возможных её значений. Преимущество использования функции распределения заключается в том, что с её помощью удаётся достичь единообразного математического описания дискретных, непрерывных и дискретно-непрерывных случайных величин. Тем не менее, существуют разные случайные величины, имеющие одинаковые функции распределения.

Следует также отметить, что существует ряд задач математического анализа и теории чисел для которых участвующие в их формулировках функции целесообразно рассматривать как случайные величины, определённые на подходящих вероятностных пространствах.

Среднее значение или математическое ожидание (первый момент) этого случайного процесса в момент времени t₁ можно вычислить, усреднив все мгновенные значения реализаций ансамбля в этот момент времени:

Аналогичным образом ковариацию (смешанный момент) значений случайного процесса в два различных момента времени вычисляют путем усреднения по ансамблю произведений мгновенных значений в моменты времени t₁ и t₁ + :

В общем случае, когда _x(t₁) и R_xx(t₁, t₁ +) зависят от момента времени, случайный процесс называется нестационарным. В том частном случае, когда _x(t₁) и R_xx(t₁, t₁ +) не зависят от момента времени t₁, инвариантны по времени и все остальные моменты, случайный процесс называется стационарным. Можно вычислить характеристики случайного процесса, усреднив не по ансамблю, а по времени. Среднее значение и ковариация, вычисленные по k-й реализации, равны

Если случайный процесс стационарен, а , _x(k) и R_xx(k) вычисленные по различным реализациям, совпадают, то такой процесс называется эргодическим.

В основном, имеют дело со стационарными, эргодическими процессами. В этом случае можно перейти от рассмотрения случайных процессов к рассмотрению случайных величин, убрав зависимость от времени. Оценку параметров такой случайной величины можно делать по выборке, в которой каждое измерение можно проводить в разные моменты времени и брать разные части объекта или образца. Некоторые методы разрушают образец в процессе измерения, для каждого следующего измерения берется уже другой образец. В этом случае необходимо дополнительно убедиться в однородности или гомогенности исходного объекта.

Вернемся к основным понятиям математической статистики. Если переменная может принимать конечное число значений, она называется дискретной. Дискретной также называется переменная, принимающая бесконечное число значений, но это множество является счетной последовательностью. В других случаях переменная непрерывная. Множество значений, которое может принимать случайная переменная, называют генеральной совокупностью. Основными статистическими характеристиками, имеющими важное значение для описания свойств отдельных случайных величин, являются: среднее значение; дисперсия; плотность вероятности. Среднее значение характеризует центр рассеяния случайной величины, дисперсия - величину рассеяния данных или разброс. Плотность вероятности p(x) задает скорость изменения вероятности P(x) в зависимости от значения переменной.

В случае двумерных случайных величин также должно выполняться условие нормировки:

Интегральная и дифференциальная функции распределений для дву- мерной величины имеют вид

Если обе переменные x и y статистически независимы, то

В двумерном случае ковариация определяется как

Тогда корреляция

Если какая-нибудь мера вычислена для всей генеральной совокупности, то она называется параметром. Мера, вычисленная по выборке, является оценкой параметра.

Точечное оценивание

Термин «выборка» определяется как некоторое количество независимых измерений одного и того же свойства. Нужно понимать, что измеряемый по выборке параметр является оценкой, основанной на сравнительно небольшом числе наблюдений. Если бы мы задались целью провести «идеальный» эксперимент, то необходимо было бы в одних и тех же условиях на одном и том же образце провести одновременно бесконечно много измерений. Это физически невозможно. В общем случае любую функцию от всех значений в выборке

Q = f (x₁, x₂,..., x_n)

называют статистикой (не путать с общепринятым значением этого термина как названия дисциплины). Количество значений в выборке называют объемом.

Центр рассеяния случайной величины или оценка математического ожидания характеризуется мерами центральной тенденции. Чаще всего используется среднее арифметическое:

где n - объем выборки. Кроме среднего арифметического, можно определить и другие меры центральной тенденции. Мода - значение, которое встречается наиболее часто в выборке. Если величина является непрерыв- ной, то моду можно определить по частотному распределению. Медиана - значение, которое делит группу наблюдений пополам, половина всех измерений лежит выше медианы, половина - ниже. Среднее арифметическое допустимо находить только для величин, измеренных в количественных шкалах, так как только на количественных шкалах определена операция сложения. Медиана допустима еще и в порядковых шкалах, а мода - во всех типах шкал, включая и шкалу наименований. В некоторых особых случаях для количественных шкал в качестве меры центральной тенденции выбирают среднее геометрическое, среднее гармоническое.

Величину рассеяния данных также можно характеризовать разными мерами изменчивости. Например, размах - разность максимального и минимального значений в выборке; полумеждуквартильный размах - половина расстояния между третьим и первым квартилями (квартили делят группу наблюдений на 4 части, второй квартиль - это медиана). Редко, но используется среднее отклонение, в этом случае усредняется модуль отклонения от среднего:

Важной характеристикой рассеяния данных является среднеквадратичное отклонение или стандартное отклонение, определенное по выборке. Стандартным отклонением называется корень квадратный из дисперсии. Сводка некоторых параметров случайных величин и их оценок с формулами расчета приведена в табл. 3. Оценка коэффициента корреляции по формуле из таблицы называется коэффициентом корреляции Пирсона.

Выбор той или иной меры для оценки параметров генеральной совокупности связан со свойствами оценок. В табл. 3 для каждой оценки указаны кратко их свойства.

Рассмотрим некоторые свойства оценок

Несмещенность. Если среднее выборочного распределения оценки равно величине оцениваемого параметра, то оценка называется несмещенной. x - несмещенная оценка математического ожидания для любого распределения. Мода и медиана для асимметричных распределений явля- ются смещенными оценками. s ²_x - несмещенная оценка дисперсии _x ², а вот является смещенной оценкой дисперсии. Среднеквадратичное отклонение по выборке s_x - смещенная отрицательно оценка . Коэффициент корреляции Пирсона r_xy также является смещенной отрицательно оценкой _xy.

Таблица 3. Параметры случайных величин и оценки параметров

Состоятельность. Состоятельная оценка, даже если она смещенная, при постоянном увеличении объема выборки приближается к значению параметра, который она оценивает. Мода, медиана, стандартное отклонение, коэффициент корреляции Пирсона являются состоятельными оценками.

Относительная эффективность оценок. Характеризует, как сильно изменяется оценка от выборки к выборке. Чем меньше дисперсия ошибки оценки, тем эффективнее оценка. Из трех мер центральной тенденции - мода, медиана, среднее арифметическое - наиболее эффективной является среднее арифметическое.

Оценка параметра сама по себе является случайной величиной. Стандартное отклонение оценки характеризует случайную ошибку оценки. Каждая оценка имеет свое вероятностное распределение.

2. Представление различных видов распределений в электронных таблицах. Построение доверительных интервалов

"Истинное" среднее и доверительный интервал. Вероятно, большинство из вас использовало такую важную описательную статистику, как среднее. Среднее - очень информативная мера "центрального положения" наблюдаемой переменной, особенно если сообщается ее доверительный интервал. Исследователю нужны такие статистики, которые позволяют сделать вывод относительно популяции в целом. Одной из таких статистик является среднее. Доверительный интервал для среднего представляет интервал значений вокруг оценки, где с данным уровнем доверия , находится "истинное" (неизвестное) среднее популяции. Например, если среднее выборки равно 23, а нижняя и верхняя границы доверительного интервала с уровнем p=.95 равны 19 и 27 соответственно, то можно заключить, что с вероятностью 95% интервал с границами 19 и 27 накрывает среднее популяции. Если вы установите больший уровень доверия, то интервал станет шире, поэтому возрастает вероятность, с которой он "накрывает" неизвестное среднее популяции, и наоборот. Хорошо известно, например, что чем "неопределенней" прогноз погоды (т.е. шире доверительный интервал), тем вероятнее он будет верным. Заметим, что ширина доверительного интервала зависит от объема или размера выборки, а также от разброса (изменчивости) данных. Увеличение размера выборки делает оценку среднего более надежной. Увеличение разброса наблюдаемых значений уменьшает надежность оценки. Вычисление доверительных интервалов основывается на предположении нормальности наблюдаемых величин. Если это предположение не выполнено, то оценка может оказаться плохой, особенно для малых выборок. При увеличении объема выборки, скажем, до 100 или более, качество оценки улучшается и без предположения нормальности выборки.

Форма распределения; нормальность. Важным способом "описания" переменной является форма ее распределения, которая показывает, с какой частотой значения переменной попадают в определенные интервалы. Эти интервалы, называемые интервалами группировки, выбираются исследователем. Обычно исследователя интересует, насколько точно распределение можно аппроксимировать нормальным . Простые описательные статистики дают об этом некоторую информацию. Например, если асимметрия (показывающая отклонение распределения от симметричного) существенно отличается от 0, то распределение несимметрично, в то время как нормальное распределение абсолютно симметрично. Итак, у симметричного распределения асимметрия равна 0. Асимметрия распределения с длинным правым хвостом положительна. Если распределение имеет длинный левый хвост, то его асимметрия отрицательна. Далее, если эксцесс (показывающий "остроту пика" распределения) существенно отличен от 0, то распределение имеет или более закругленный пик, чем нормальное, или, напротив, имеет более острый пик (возможно, имеется несколько пиков). Обычно, если эксцесс положителен, то пик заострен, если отрицательный, то пик закруглен. Эксцесс нормального распределения равен 0.Оценки параметров случайных величин бывают точечные и интервальные. Среднее, дисперсия, стандартное отклонение, коэффициент корреляции, рассчитанные по выборке, являются точечными оценками. Они не позволяют судить о степени близости выборочных значений к оцениваемoму параметру. Более информативно строить интервал, который накрывает оцениваемый параметр с известной степенью достоверности, доверительный интервал. Степень достоверности или уровень доверия мы задаем сами. Если вероятность риска (ошибки) обозначить через , то степень достоверности будет выражаться, как 1 - . Смысл уровня риска или, как еще говорят, уровня значимости в том, что 100 % выборок наш построенный доверительный интервал не будет содержать истинного значения параметра. Доверительный интервал можно построить, если известно выборочное распределение рассматриваемой оценки. Допустим, нам надо построить доверительный интервал для x, вычисленного по N независимым наблюдениям. Можно сделать следующее вероятностное утверждение:

Уже сделанная оценка среднего либо попадет, либо не попадет в этот интервал. Если производится много выборок и для каждой из них вычисляется значение x, то можно ожидать, что участвующая в формуле вели- чина будет попадать в указанный интервал с относительной частотой, примерно равной 1 -. Доверительный интервал для математического ожидания _x можно построить по выборочному значению x:

Если у_x неизвестна, то доверительный интервал строится по распреде- лению Стьюдента:

В формулах использованы свойства симметричности распределений:

Истинное значение попадает в указанный интервал с доверительной вероятностью 100 (1 - ) %. Подобные утверждения можно сделать относительно любых оценок параметров, лишь бы были известны соответствующие выборочные распределения.

Доверительный интервал для оценки дисперсии можно построить, используя процентные точки хи-квадрат-распределения:

В этом случае необходимо найти две процентные точки, так как хи- квадрат-распределение асимметрично.

Чтобы построить доверительный интервал для оценки коэффициента корреляции r, используют дополнительное преобразование Фишера z_r , которое есть в статистических таблицах

Величина z_r приближенно распределена нормально со средним z и дисперсией 1/(N - 3). Тогда строят доверительный интервал для z_r по нормальному распределению, а потом делают обратное преобразование.

3. Проверка соответствия экспериментального и теоретического распределений, критерий хи-квадрат

Для проверки соответствия (степени близости, согласия) выбранного теоретического распределения эмпирическому наиболее часто применяют критерии согласия Колмогорова, Пирсона (ХИ-квадрат-) и Мизеса (омега-квадрат). Необходимо отметить, что при проверке гипотез существует неопределенность. Критерии согласия, позволяя отбросить ту или иную гипотезу, как противоречащую опытным данным, не дают основания предпочесть одно теоретическое распределение другому, если они не отвергаются.

До конца XIX века нормальное распределение считалась всеобщим законом вариации данных. Однако К. Пирсон заметил, что эмпирические частоты могут сильно отличаться от нормального распределения. Встал вопрос, как это доказать. Требовалось не только графическое сопоставление, которое имеет субъективный характер, но и строгое количественное обоснование.

Так был изобретен критерий ч² (хи-квадрат), который проверяет значимость расхождения эмпирических (наблюдаемых) и теоретических (ожидаемых) частот. Это произошло в далеком 1900 году, однако критерий и сегодня на ходу. Более того, его приспособили для решения широкого круга задач. Прежде всего, это анализ номинальных данных, т.е. таких, которые выражаются не количеством, а принадлежностью к какой-то категории. Например, класс автомобиля, пол участника эксперимента, вид растения и т.д. К таким данным нельзя применять математические операции вроде сложения и умножения, для них можно только подсчитать частоты.

Наблюдаемые частоты обозначим О (Observed), ожидаемые - E (Expected). В качестве примера возьмем результат 60-кратного бросания игральной кости. Если она симметрична и однородна, вероятность выпадения любой стороны равна 1/6 и, следовательно, ожидаемое количество выпадения каждой из сторон равна 10 (1/6•60). Наблюдаемые и ожидаемые частоты запишем в таблицу и нарисуем гистограмму.

Нулевая гипотеза заключается в том, что частоты согласованы, то есть фактические данные не противоречат ожидаемым. Альтернативная гипотеза - отклонения в частотах выходят за рамки случайных колебаний, то есть расхождения статистически значимы. Чтобы сделать строгий вывод, нам потребуется.

1. Обобщающая мера расхождения между наблюдаемыми и ожидаемыми частотами.

2. Распределение этой меры при справедливости гипотезы о том, что различий нет.

Начнем с расстояния между частотами. Если взять просто разницу О - E, то такая мера будет зависеть от масштаба данных (частот). Например, 20 - 5 =15 и 1020 - 1005 = 15. В обоих случаях разница составляет 15. Но в первом случае ожидаемые частоты в 3 раза меньше наблюдаемых, а во втором случае - лишь на 1,5%. Нужна относительная мера, не зависящая от масштаба.

Обратим внимание на следующие факты. В общем случае количество градаций, по которым измеряются частоты, может быть гораздо больше, поэтому вероятность того, что отдельно взятое наблюдение попадет в ту или иную категорию, довольно мала. Раз так, то, распределение такой случайной величины будет подчинятся закону редких событий, известному под названием закон Пуассона. В законе Пуассона, как известно, значение математического ожидания и дисперсии совпадают (параметр л). Значит, ожидаемая частота для некоторой категории номинальной переменной E_iбудет являться одновременное и ее дисперсией. Далее, закон Пуассона при большом количестве наблюдений стремится к нормальному. Соединяя эти два факта, получаем, что, если гипотеза о согласии наблюдаемых и ожидаемых частот верна, то, при большом количестве наблюдений, выражение

будет иметь стандартное нормальное распределение. Важно помнить, что нормальность будет проявляться только при достаточно больших частотах. В статистике принято считать, что общее количество наблюдений (сумма частот) должна быть не менее 50 и ожидаемая частота в каждой градации должна быть не менее 5. Только в этом случае величина, показанная выше, будет иметь стандартное нормальное распределение. Предположим, что это условие выполнено.

У стандартного нормального распределения почти все значение находятся в пределах ±3 (правило трех сигм). Таким образом, мы получили относительную разность в частотах для одной градации. Нам нужна обобщающая мера. Просто сложить все отклонения нельзя - получим 0 (догадайтесь почему). Пирсон предложил сложить квадраты этих отклонений.

Это и есть знамений критерий ч² Пирсона. Если частоты действительно соответствуют ожидаемым, то значение критерия будет относительно не большим (т.к. большинство отклонений находится около нуля). Но если критерий оказывается большим, то это свидетельствует в пользу существенных различий между частотами.

«Большим» критерий становится тогда, когда появление такого или еще большего значения становится маловероятным. И чтобы рассчитать такую вероятность, необходимо знать распределение критерия при многократном повторении эксперимента, когда гипотеза о согласии частот верна.

Как нетрудно заметить, величина хи-квадрат также зависит от количества слагаемых. Чем их больше, тем большее значение должно быть у критерия, ведь каждое слагаемое внесет свой вклад в общую сумму. Следовательно, для каждого количества независимых слагаемых, будет собственное распределение. Получается, что ч² - это целое семейство распределений.

И здесь мы подошли к одному щекотливому моменту. Что такое число независимых слагаемых? Вроде как любое слагаемое (т.е. отклонение) независимо. К. Пирсон тоже так думал, но оказался неправ. На самом деле число независимых слагаемых будет на один меньше, чем количество градаций номинальной переменной n. Почему? Потому что, если мы имеем выборку, по которой уже посчитана сумма частот, то одну из частот всегда можно определить, как разность общего количества и суммой всех остальных. Отсюда и вариация будет несколько меньше. Данный факт Рональд Фишер заметил лет через 20 после разработки Пирсоном своего критерия. Даже таблицы пришлось переделывать.

По этому поводу Фишер ввел в статистику новое понятие - степень свободы (degrees of freedom), которое и представляет собой количество независимых слагаемых в сумме. Понятие степеней свободы имеет математическое объяснение и проявляется только в распределениях, связанных с нормальным (Стьюдента, Фишера-Снедекора и сам хи-квадрат).

Чтобы лучше уловить смысл степеней свободы, обратимся к физическому аналогу. Представим точку, свободно движущуюся в пространстве. Она имеет 3 степени свободы, т.к. может перемещаться в любом направлении трехмерного пространства. Если точка движется по какой-либо поверхности, то у нее уже две степени свободы (вперед-назад, вправо-влево), хотя и продолжает находиться в трехмерном пространстве. Точка, перемещающаяся по пружине, снова находится в трехмерном пространстве, но имеет лишь одну степень свободы, т.к. может двигаться либо вперед, либо назад. Как видно, пространство, где находится объект, не всегда соответствует реальной свободе перемещения.

Примерно также распределение статистического критерия может зависеть от меньшего количества элементов, чем нужно слагаемых для его расчета. В общем случае количество степеней свободы меньше наблюдений на число имеющихся зависимостей. Это чистая математика, никакой магии.

Таким образом, распределение ч² - это семейство распределений, каждое из которых зависит от параметра степеней свободы. А формальное определение критерия хи-квадрат следующее. Распределение ч² (хи-квадрат) с k степенями свободы -- это распределение суммы квадратов k независимых стандартных нормальных случайных величин.

Далее можно было бы перейти к самой формуле, по которой вычисляется функция распределения хи-квадрат, но, к счастью, все давно подсчитано за нас. Чтобы получить интересующую вероятность, можно воспользоваться либо соответствующей статистической таблицей, либо готовой функцией в специализированном ПО, которая есть даже в Excel.

Интересно посмотреть, как меняется форма распределения хи-квадрат в зависимости от количества степеней свободы.

С увеличением степеней свободы распределение хи-квадрат стремится к нормальному. Это объясняется действием центральной предельной теоремы, согласно которой сумма большого количества независимых случайных величин имеет нормальное распределение.

Размещено на Allbest.ru