Статистическая достоверность и уровень значимости. Понятие ошибки первого и второго рода

Размещено на http://www.allbest.ru

ФГБОУВО Уральский государственный медицинский университет

Минздрава России

Факультет психолого-социальной работы и высшего сестринского образования

Кафедра клинической психологии и педагогики

Статистическая достоверность и уровень значимости. Понятие ошибки первого и второго рода

Реферат по дисциплине «Основы математической статистики»

Исполнитель: студентка 1 курса,

гр. ОКП-102, Долгих Ангелина Евгеньевна

Руководитель: канд. пс. наук, доцент

Т.В. Валиева

Екатеринбург, 2018



ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. СТАТИСТИЧЕСКАЯ ДОСТОВЕРНОСТЬ И УРОВЕНЬ ЗНАЧИМОСТИ

1.1 Базовые термины и идеи

1.2 Статистическая значимость и обоснованность

1.3 Статистические гипотезы

1.4 Уровни статистической значимости

1.5 Логика проверки гипотез

1.6 Статистические тесты и методы

ГЛАВА 2. ОШИБКИ ПЕРВОГО И ВТОРОГО РОДА

2.1 Определение…

2.2 О смысле ошибок первого и второго рода

2.3 Вероятности ошибок (уровень значимости и мощность

2.4 Примеры использования

ЗАКЛЮЧЕНИЕ

СПИСОК ИСТОЧНИКОВ



ВВЕДЕНИЕ

Уровень значимости в статистике является важным показателем, отражающим степень уверенности в точности, истинности полученных (прогнозируемых) данных. Это понятие широко применяется в различных сферах: от проведения социологических исследований, до статистического тестирования научных гипотез. [1]

Но сделаем небольшое лирическое отступление. Мы никогда не задавались вопросом, что же делает нашу «вторую половинку» особенной, значимой? Это связано с ее (его) личностью или с нашими чувствами, которые мы испытываем к этому человеку? А может, с простым фактом, что гипотеза о случайности нашей симпатии, как показывают исследования, имеет вероятность менее 5%? Если считать последнее утверждение достоверным, то успешных сайтов знакомств не существовало бы в принципе.

Мы все привыкли считать что-то значимое как нечто неповторимое, но статистика упрямо заявляет: это совершенно не так.

Чтобы разобраться, что же такое «статистическая значимость» и «ошибки 1-ого и 2-ого рода», необходимо, познать их истинный смысл и понять, как это «новое» старое понимание поможет верно трактовать результаты своих исследований. [2]

Цель:

Узнать определения, а также область применения таких понятий как: статистическая достоверность, уровень значимости, ошибки 1-ого и 2-ого рода.

Задачи:

* Разобрать базовые термины и идеи.

* Выявить статистическую значимость и обоснованность, гипотезы и их проверка.

* Рассмотреть уровни статистической значимости.

* Найти примеры использования.

* Какие бывают ошибки и какова их вероятность.



Глава 1. СТАТИСТИЧЕСКАЯ ДОСТОВЕРНОСТЬ И УРОВЕНЬ ЗНАЧИМОСТИ

1.1 Базовые термины и идеи

* Генеральная совокупность - все множество объектов, в

отношении которых формулируется исследовательская гипотеза.

* Выборка - ограниченная по численности группа объектов

(респондентов), отбираемая из генеральной совокупности для

изучения ее свойств.

* Сплошное и выборочное исследование.

* Репрезентативность выборки - способность выборки представлять изучаемые явления достаточно полно с точки зрения их изменчивости в генеральной совокупности.

* Любое исследование направлено на определение некоторой характеристики или выявление связи между признаками.

* Связь может характеризоваться не только величиной (степенью связи) и направлением, но также и надежностью или статистической достоверности.

* Эта характеристика связи показывает, можно ли распространить

результаты, полученные на данной выборке, на всю генеральную совокупность, из которой взята эта выборка.

* Статистическая гипотеза - утверждение относительно неизвестного

параметра генеральной совокупности на основе выборочного

исследования.

* Любое заключение, полученное из статистического наблюдения /

исследования / анализа, - индуктивно и строится на конечном числе наблюдений, поэтому оно не полно и может быть не достоверно.

* Необходимо обоснование заключения, т.е. тестирование результатов,

на которых строится гипотеза, на статистическую достоверность.

* Надежность (достоверность) непосредственно связана с репрезентативностью выборки, т.е. с тем, насколько уверенно данные, полученные по выборке, позволяют судить о соответствующих параметрах генеральной совокупности.

* Надежность определяется тем, насколько вероятно, что обнаруженная в выборке связь подтвердится (будет вновь обнаружена) на другой выборке той же генеральной совокупности.

* Какова вероятность случайного получения результата, подтверждающего наличие связи, которой нет в генеральной совокупности.

1.2 Статистическая значимость и обоснованность

Пример: Проверяется гипотеза о том, что женщины тратят больше времени на разговоры по телефону, чем мужчины. Предположим, что в исследовании принимали участие 52 мужчины и 43 женщины. Среднее время разговора составило 37 мин. в день у мужчин и 41 мин. в день у женщин. На первый взгляд, различия обнаружены, и эти результаты подтверждают гипотезу. Однако такой результат может быть получен случайно, даже если в генеральной совокупности различий нет, как и наоборот, когда различия на самом деле существуют.

Поэтому закономерен вопрос: достаточно ли полученного различия в средних значениях для того, чтобы утверждать, что вообще все женщины в среднем говорят по телефону дольше, чем все мужчины? Какова вероятность, что это не так? Является ли это различие статистически значимым?

Точный ответ о различиях или связях в отношении генеральной совокупности по результатам выборочного исследования получить невозможно:

* Необходимо определить, достаточно ли велика разность между средними двух распределений для того, чтобы можно было объяснить ее действием независимой переменной, а не случайностью, связанной с малым объемом выборки.

* Многократное проведение исследования на разных выборках трудоемко, иногда не возможно и не может обеспечить точного ответа, пока не проведено сплошное исследование.

* Методы статистики позволяют оценить вероятность случайного получения такого различия при условии, что на самом деле различий в генеральной совокупности нет.

1.3 Статистические гипотезы

* Нулевая гипотеза - гипотеза об отсутствии различий (утверждение об отсутствии различий в значениях или об отсутствии связи в генеральной совокупности). Согласно нулевой гипотезе (Н0), различие между значениями недостаточно значительно, а независимая переменная не оказывает никакого влияния.

* Альтернативная гипотеза - гипотеза о значимости различий (утверждает наличие различий или существование связи).

* Альтернативная гипотеза (HА) является «рабочей» гипотезой исследования. В соответствии с этой гипотезой, различия достаточно значимы и обусловлены влиянием независимой переменной.

* Ненаправленная и направленная альтернативы:

Н0: м=50 НА: м?50 НА: м>50 НА: м<50

* Нулевая и альтернативная гипотезы представляют полную группу несовместных событий: отклонение одной влечет принятие другой.

* Основной принцип метода проверки гипотез состоит в том, что выдвигается нулевая гипотеза Н0, с тем чтобы попытаться опровергнуть ее и тем самым подтвердить альтернативную гипотезу HА. Если результаты статистического теста, используемого для анализа разницы между средними, окажутся таковы, что позволят отклонить Н0, это будет означать, что верна НА, т.е. выдвинутая рабочая гипотеза подтверждается

* Не можем отклонить нулевую гипотезу - не значит «принять» альтернативную (нулевая гипотеза никогда не может быть абсолютно подтверждена!).

Тот или иной вывод с некоторой вероятностью может оказаться ошибочным, и обычно вероятность ошибки тем меньше, чем больше выборка. Таким образом, чем больше получено результатов, тем в большей степени по различиям между двумя выборками можно судить о том, что действительно имеет место в той генеральной совокупности, из которой взяты эти выборки.

1.4 Уровни статистической значимости

* Уровень значимости (уровень достоверности, уровень надежности, доверительный уровень, вероятностный порог) - это пороговая (критическая) вероятность ошибки, заключающейся в отклонении (не принятии) нулевой гипотезы, когда она верна. Другими словами, это допустимая (с точки зрения исследователя) вероятность совершения статистической ошибки первого рода - ошибки того, что различия сочтены существенными, а они на самом деле случайны.

* Обычно используют уровни значимости (обозначаемые б), равные 0,05, 0,01 и 0,001. Например, уровень значимости, равный 0,05, означает, что допускается не более чем 5%-ая вероятность ошибки. Т.е. нулевую гипотезу можно отвергнуть в пользу альтернативной гипотезы, если по результатам статистического теста вероятность ошибки, т.е. вероятность случайного возникновения обнаруженного различия (p-уровень) не превышает 5 из 100. Если же этот уровень значимости не достигается (вероятность ошибки выше 5%), считают, что разница вполне может быть случайной и поэтому нельзя отклонить нулевую гипотезу.

* Таким образом, p-уровень значимости (p-value) соответствует риску совершения ошибки первого рода (отклонения истинной нулевой гипотезы). Если p< б, нулевая гипотеза отклоняется.

Табл.1

Уровень значимости	Решение	Возможный статистический вывод
p>0,1	Н0 не может быть отклонена	«Статистически достоверные различия не обнаружены»
p <= 0,1	Сомнения в истинности Н0, неопределенность	«Различия обнаружены на уровне статистической тенденции»
p<=0,05	Значимость, отклонение Н0	«Обнаружены статистически достоверные (значимые) различия»
p<=0,01	Высокая значимость, отклонение Н0	«Различия обнаружены на высоком уровне статистической значимости»

1.5 Логика проверки гипотез

* Для принятия решений о том, какую из гипотез (нулевую или альтернативную) следует принять, используют статистические критерии, которые включают в себя методы расчета определенного показателя, на основании которого принимается решение об отклонении или принятии гипотезы, а также правила (условия) принятия решения.

* Этот показатель называется эмпирическим значением критерия.

* Это число сравнивается с известным (например, заданным таблично) эталонным числом, называемым критическим значением критерия.

* Критические значения приводятся, как правило, для нескольких уровней значимости: 5% (0,05), 1% (0,01) или еще более высоких.

* Если полученное исследователем эмпирическое значение критерия оказывается меньше или равно критическому, то нулевая гипотеза не может быть отклонена - считается, что на заданном уровне значимости (то есть при том значении a, для которого рассчитано критическое значение критерия) характеристики распределений совпадают.

* Если эмпирическое значение критерия оказывается строго больше критического, то нулевая гипотеза отвергается и принимается альтернативная гипотеза - характеристики распределений считаются различными с достоверностью различий 1 - б.

* Например, если б = 0,05 и принята альтернативная гипотеза, то достоверность различий равна 0,95 или 95%.

Если эмпирическое значение критерия для данного числа степеней

свободы (df=n-1) оказывается ниже критического уровня, соответствующего выбранному значению б (порогу вероятности), то нулевая гипотеза не может считаться опровергнутой, и это означает, что выявленная разница (или связь) недостоверна.

* Чем эмпирическое значение меньше критического значения критерия, тем больше степень совпадения характеристик сравниваемых объектов.

* Чем эмпирическое значение критерия больше критического значения, тем сильнее различаются характеристики сравниваемых объектов.

* Если эмпирическое значение критерия оказывается меньше или равно критическому, то можно сделать вывод, что характеристики экспериментальной и контрольной групп совпадают на уровне значимости б.

* Если эмпирическое значение критерия оказывается строго больше критического, то можно сделать вывод, что достоверность различий характеристик экспериментальной и контрольной групп равна б.

1.6 Статистические тесты и методы

* Для того чтобы судить о том, какова вероятность ошибиться, принимая или отвергая нулевую гипотезу, применяют статистические методы,

соответствующие особенностям выборки.

* Для данных, полученных в метрических шкалах (интервальных или относительных) при распределениях, близких к нормальным, используют

параметрические методы, основанные на таких показателях, как среднее и стандартное отклонение.

* В частности, для определения достоверности разницы средних для двух выборок применяют метод Стьюдента, а для того чтобы судить о различиях между тремя или большим числом выборок, -- F-тест или дисперсионный анализ (ANOVA).

* Если исследователь имеет дело с данными, полученными в неметрических (номинативных или порядковых) шкалах или выборки слишком малы для уверенности в том, что ген. совокупности, из которых они взяты, подчиняются нормальному распределению, используют непараметрические методы -- критерий ч2, Манна-Уитни, Уилкоксона и др. Эти методы очень просты с точки зрения как расчетов, так и применения.

* Выбор статистического метода также зависит от того, являются ли выборки, средние которых сравниваются, независимыми (т. е., например, взятыми из двух разных групп испытуемых) или зависимыми (т. е. отражающими результаты одной и той же группы испытуемых до и после воздействия или после двух различных воздействий)

* В зависимости от тестируемой выборки, возможно использование свыше 100 возможных вариантов тестирования. [3]



Глава 2. ОШИБКИ ПЕРВОГО И ВТОРОГО РОДА

2.1 Определение

Ошибки первого рода и ошибки второго рода в математической статистике -- это ключевые понятия задач проверки статистических гипотез. Тем не менее, данные понятия часто используются и в других областях, когда речь идёт о принятии «бинарного» решения (да/нет) на основе некоего критерия (теста, проверки, измерения), который с некоторой вероятностью может давать ложный результат.

Пусть дана выборка {\displaystyle \mathbf {X} =(X_{1},\ldots ,X_{n})^{\top }}X=(X1,…,Xn)T из неизвестного совместного распределения {\displaystyle \mathbb {P} ^{\mathbf {X} }}Px, и поставлена бинарная задача проверки статистических гипотез:

1. H0

2. H1

{\displaystyle {\begin{matrix}H_{0}\\H_{1},\end{matrix}}}где {\displaystyle H_{0}}H0 -- нулевая гипотеза, а {\displaystyle H_{1}}H1 -- альтернативная гипотеза. Предположим, что задан статистический критерий f:Rn {H0, H1}, {\displaystyle f:\mathbb {R} ^{n}\to \{H_{0},H_{1}\}}сопоставляющий каждой реализации выборки {\displaystyle \mathbf {X} =\mathbf {x} }X=x одну из имеющихся гипотез. Тогда возможны следующие четыре ситуации:

Распределение {\displaystyle \mathbb {P} ^{\mathbf {X} }}Px выборки {\displaystyle \mathbf {X} }X соответствует гипотезе {\displaystyle H_{0}}H0, и она точно определена статистическим критерием, то есть {\displaystyle f(\mathbf {x} )=H_{0}}f(x)=H0.

Распределение {\displaystyle \mathbb {P} ^{\mathbf {X} }}Px выборки {\displaystyle \mathbf {X} }X соответствует гипотезе {\displaystyle H_{0}}H0, но она неверно отвергнута статистическим критерием, то есть {\displaystyle f(\mathbf {x} )=H_{1}}f(x)=H1.

Распределение {\displaystyle \mathbb {P} ^{\mathbf {X} }}Px выборки {\displaystyle \mathbf {X} }X соответствует гипотезе {\displaystyle H_{1}}H1, и она точно определена статистическим критерием, то есть {\displaystyle f(\mathbf {x} )=H_{1}}f(x)=H1.

Распределение {\displaystyle \mathbb {P} ^{\mathbf {X} }}Px выборки {\displaystyle \mathbf {X} }X соответствует гипотезе {\displaystyle H_{1}}H1, но она неверно отвергнута статистическим критерием, то есть {\displaystyle f(\mathbf {x} )=H_{0}}f(x)=H0.

Во втором и четвёртом случае говорят, что произошла статистическая ошибка, и её называют ошибкой первого и второго рода соответственно.

Табл.2

	Верная гипотеза
	H0	H1
Результат применения критерия	H0	H0 верно принята	H0 неверно принята (Ошибка второго рода)
	H1	H0 неверна отвергнута (Ошибка первого рода)	H0 верно отвергнута

2.2 О смысле ошибок первого и второго рода

Из определения выше видно, что ошибки первого и второго рода являются взаимно-симметричными, то есть если поменять местами гипотезы H0 и H1, то ошибки первого рода превратятся в ошибки второго рода и наоборот. Тем не менее, в большинстве практических ситуаций путаницы не происходит, поскольку принято считать, что нулевая гипотеза H0 соответствует состоянию «по умолчанию» (естественному, наиболее ожидаемому положению вещей) -- например, что обследуемый человек здоров, или что проходящий через рамку металлодетектора пассажир не имеет запрещённых металлических предметов. Соответственно, альтернативная гипотеза H1обозначает противоположную ситуацию, которая обычно трактуется как менее вероятная, неординарная, требующая какой-либо реакции.

С учётом вышесказанного, ошибку первого рода часто называют ложной тревогой, ложным срабатыванием или ложноположительным срабатыванием. Если, например, анализ крови показал наличие заболевания, хотя на самом деле человек здоров, или металлодетектор выдал сигнал тревоги, сработав на металлическую пряжку ремня, то принятая гипотеза не верна, а следовательно совершена ошибка первого рода.

Из-за возможности ложных срабатываний не удаётся полностью автоматизировать борьбу со многими видами угроз. Как правило, вероятность ложного срабатывания коррелирует с вероятностью пропуска события (ошибки второго рода). То есть: чем более чувствительна система, тем больше опасных событий она детектирует и, следовательно, предотвращает. Но при повышении чувствительности неизбежно вырастает и вероятность ложных срабатываний.

Соответственно, ошибку второго рода иногда называют пропуском события или ложноотрицательным срабатыванием. Человек болен, но анализ крови этого не показал, или у пассажира имеется холодное оружие, но рамка металлодетектора его не обнаружила (например, из-за того, что чувствительность рамки отрегулирована на обнаружение только очень массивных металлических предметов). Данные примеры указывают на совершение ошибки второго рода.

Степень чувствительности системы защиты должна представлять собой компромисс между вероятностью ошибок первого и второго рода. Где именно находится точка баланса, зависит от оценки рисков обоих видов ошибок.

2.3 Вероятности ошибок (уровень значимости и мощность)

Вероятность ошибки первого рода при проверке статистических гипотез называют уровнем значимости и обычно обозначают греческой буквой б (отсюда название б-errors).

Вероятность ошибки второго рода не имеет какого-то особого общепринятого названия, на письме обозначается греческой буквой в (в-errors). Однако с этой величиной тесно связана другая, имеющая большое статистическое значение -- мощность критерия. Она вычисляется по формуле (1- в). Таким образом, чем выше мощность, тем меньше вероятность совершить ошибку второго рода.

Обе эти характеристики обычно вычисляются с помощью так называемой функции мощности критерия. В частности, вероятность ошибки первого рода есть функция мощности, вычисленная при нулевой гипотезе. Для критериев, основанных на выборке фиксированного объема, вероятность ошибки второго рода есть единица минус функция мощности, вычисленная в предположении, что распределение наблюдений соответствует альтернативной гипотезе. Для последовательных критериев это также верно, если критерий останавливается с вероятностью единица (при данном распределении из альтернативы).

В статистических тестах обычно приходится идти на компромисс между приемлемым уровнем ошибок первого и второго рода. Зачастую для принятия решения используется пороговое значение, которое может варьироваться с целью сделать тест более строгим или, наоборот, более мягким. Этим пороговым значением является уровень значимости, которым задаются при проверке статистических гипотез. Например, в случае металлодетектора повышение чувствительности прибора приведёт к увеличению риска ошибки первого рода (ложная тревога), а понижение чувствительности -- к увеличению риска ошибки второго рода (пропуск запрещённого предмета).

2.4 Примеры использования

статистическая достоверность ошибка

Компьютеры

Понятия ошибок первого и второго рода широко используются в области компьютеров и программного обеспечения.

Досмотр пассажиров и багажа

Ошибки первого рода регулярно встречаются каждый день в компьютерных системах предварительного досмотра пассажиров в аэропортах. Установленные в них детекторы предназначены для предотвращения проноса оружия на борт самолёта; тем не менее, уровень чувствительности в них зачастую настраивается настолько высоко, что много раз за день они срабатывают на незначительные предметы, такие как ключи, пряжки ремней, монеты, мобильные телефоны, гвозди в подошвах обуви и т.п.

Таким образом, соотношение числа ложных тревог (идентифицикация благопристойного пассажира как правонарушителя) к числу правильных срабатываний (обнаружение действительно запрещённых предметов) очень велико.

Массовая медицинская диагностика (скрининг)

В медицинской практике есть существенное различие между скринингом и тестированием:

- Скрининг включает в себя относительно дешёвые тесты, которые проводятся для большой группы людей при отсутствии каких-либо клинических признаков болезни (например, мазок Папаниколау).

- Тестирование подразумевает гораздо более дорогие, зачастую инвазивные, процедуры, которые проводятся только для тех, у кого проявляются клинические признаки заболевания, и которые, в основном, применяются для подтверждения предполагаемого диагноза.

К примеру, в большинстве штатов в США обязательно прохождение новорожденными процедуры скрининга на оксифенилкетонурию и гипотиреоз, помимо других врождённых аномалий. Несмотря на высокий уровень ошибок первого рода, эти процедуры скрининга считаются целесообразными, поскольку они существенно увеличивают вероятность обнаружения этих расстройств на самой ранней стадии.

Простые анализы крови, используемые для скрининга потенциальных доноров на ВИЧ и гепатит, имеют существенный уровень ошибок первого рода; однако в арсенале врачей есть гораздо более точные (и, соответственно, дорогие) тесты для проверки, действительно ли человек инфицирован каким-либо из этих вирусов.

Медицинское тестирование

Ошибки второго рода являются существенной проблемой в медицинском тестировании. Они дают пациенту и врачу ложное убеждение, что заболевание отсутствует, в то время как в действительности оно есть. Это зачастую приводит к неуместному или неадекватному лечению. Типичным примером является доверие результатам кардиотестирования при выявлении коронарного атеросклероза, хотя известно, что кардиотестирование выявляет только те затруднения кровотока в коронарной артерии, которые вызваны стенозом.

Ошибки второго рода вызывают серьёзные и трудные для понимания проблемы, особенно когда искомое условие является широко распространённым. Если тест с 10%-ным уровнем ошибок второго рода используется для обследования группы, где вероятность «истинно-положительных» случаев составляет 70%, то многие отрицательные результаты теста окажутся ложными.

Ошибки первого рода также могут вызывать серьёзные и трудные для понимания проблемы. Это происходит, когда искомое условие является редким. Если уровень ошибок первого рода у теста составляет один случай на десять тысяч, но в тестируемой группе образцов (или людей) вероятность «истинно-положительных» случаев составляет в среднем один случай на миллион, то большинство положительных результатов этого теста будут ложными. [4]



ЗАКЛЮЧЕНИЕ

Пожалуй, ни одни термины (понятия) среди исследователей не пользуется такой популярностью, как статистическая значимость и ошибки первого и второго рода. Когда результаты тестов не признаются статистически значимыми или же появляются ошибки первого и второго рода, последствия бывают самые разные.

И раз уж во многих областях и сферах деятельности применяются данные понятия, нужно знать, что же они означают на самом деле и для чего так необходимы. Условия проведения тестов могут меняться, но размер выборки и критерий успеха важен всегда. Важно помнить об этом.

В заключении хотелось бы процитировать американского программиста Мак-Коннелла: «Статистика -- это прежде всего способ мышления, и для ее применения нужно лишь иметь немного здравого смысла и знать основы математики».



СПИСОК ИСТОЧНИКОВ

1. businessman.ru/new-uroven-znachimosti-v-statistike.html

2. lpgenerator.ru/blog/2016/03/15/chto-takoe-statisticheskaya-znachimost-pri-optimizacii-konversii/

3. Дистанционно-очный учебный курс., Математические основы проектирования и анализа результатов эмпирических социально-экономических исследований., И.Н. Дубина, 2006

Размещено на Allbest.ru

...