Использование статистических критериев проверки гипотез для оценки информативности факторов

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

ИСПОЛЬЗОВАНИЕ СТАТИСТИЧЕСКИХ КРИТЕРИЕВ ПРОВЕРКИ ГИПОТЕЗ ДЛЯ ОЦЕНКИ ИНФОРМАТИВНОСТИ ФАКТОРОВ

М.П. Лазеева, А. Лопатин

При изучении объектов, характеризуемых большим числом факторов, часто бывает важно определить, какие из этих факторов в большей степени влияют на интересующие нас свойства объектов. В частности, определение информативности факторов - это один из важных этапов анализа обучающей выборки при построении правил для классификации объектов с помощью пакета прикладных программ ПРОИС [1].

Пакет прикладных программ ПРОИС позволяет оценить влияние факторов на элементы выборки, а также согласованность оценок, найденных при помощи различных критериев.

Нами были использованы семь статистических критериев [2, 3, 4, 5].

1. J-критерий Шеннона. В качестве меры количества информации J(A/B), которую несет фактор для разделения объектов на классы, берется разность между начальной энтропией класса A - H(A) и апостериорной энтропией, полученной при учете фактора - H(A/B). При использовании меры Шеннона обычно выбирают двоичные логарифмы. Получаемая в этом случае единица измерения называется двоичной или битом.

J(A/B)=H(A)-H(A/B), (1)

где

, (2)

, (3)

где HR - энтропия для интервала с номером R.

. (4)

2. ч²-критерий Пирсона. Проверяется гипотеза H₀ - о равномерном распределении вероятностей принадлежности объектов к классу A по интервалам значений фактора. Вычисляется наблюдаемое значение критерия Пирсона по формуле:

, (5)

где - теоретическая частота попадания объектов класса A в интервал с номером R.

По уровню значимости б и числу степеней свободы K=L-1 определяется табличное значение ч²_таб (б, K). Если ч²_набл? ч²_таб, то гипотеза H₀ о равномерном распределении отвергается, фактор информативен. В противном случае гипотеза о равномерном распределении принимается, фактор неинформативен.

3. л-критерий Колмогорова. В качестве меры информативности фактора рассматривается меру D, которую А.Н. Колмогоров определил как максимальное значение модуля разности между эмпирической функцией распределения объектов класса A - F_A(X) и эмпирической функцией распределения объектов класса B - F_B(X).

, (6)

Где

(7)

 (8)

Определяется контрольная величина

. (9)

Найденное значение л сравнивается с табличным значением л_таб(б), зависящим от уровня значимости б. Если л ?л_таб(б), то с уровнем значимости б можно утверждать, что распределение F_A(X) отличается от распределения F_B(X). Следовательно, рассматриваемый фактор информативен. В противном случае данный фактор неинформативен.

4. I-критерий Кульбака. Оценкой меры расхождения между распределениями, соответствующими двум выборкам класса A и класса B, может служить величина I:

, (10)

где , соответствующие частоты попадания объектов класса A и класса B в интервал R.

5. t-критерий Стьюдента. Определение информативности фактора основано на выявлении существенного различия средних значений двух выборок: класса A и класса B. Проверяется гипотеза H₀ - о равенстве средних значений . В качестве контрольной используется величина t

, (11)

где , - средние значения по фактору в классах A и B; , - эмпирические дисперсии значений фактора в классах A и B.

Вычисленное значение t сравнивается с табличным значением t_таб(б, K), определяемым по уровню значимости и числу степеней свободы . Если t?t_таб, то гипотеза H₀ о равенстве средних по фактору в классах A и B отвергается, фактор информативен. В противном случае фактор неинформативен.

6. F-критерий Фишера. В качестве критерия информативности принимается степень различия дисперсий значений фактора в выборках класса A и класса B. Если дисперсия фактора, характеризующего объекты класса A - существенно не отличается от дисперсии значений фактора у объектов класса B - , то можно сделать вывод о том, что данные совокупности объектов мало чем отличаются друг от друга. В этом случае фактор признается малоинформативным.

Для проверки гипотезы H₀: вычисляется контрольная величина F.

(12)

Вычисленное значение F сравнивается с табличным значением F_таб(K₁, K₂), где K₁ и K₂ - число степеней свободы соответственно большей и меньшей дисперсий (K=N-1). Если F ?F_таб, гипотеза H₀ отвергается, фактор информативен. Если F <F_таб, фактор неинформативен.

7. U-критерий Уилкоксона. Если две выборки относятся к одной генеральной совокупности, значит между ними не должно быть различий, следовательно, они не могут характеризовать два разных класса. Если две выборки не принадлежат одной генеральной совокупности, то можно заключить, что они характеризуют две отличные друг от друга генеральные совокупности или два класса. В этом случае фактор, на основе которого сделаны эти выборки, можно считать тем информативнее, чем больше степень несовпадения двух выборок.

Для проверки принадлежности двух выборок к одной генеральной совокупности выдвигается гипотеза о равенстве функций распределения объектов двух классов H₀: F_A(X)=F_B(X).

Составляется объединенная выборка из объектов классов A и B, значения фактора у которых упорядочиваются по их величине. Затем последовательно анализируются пары значений фактора X_Bj, X_Ai (j=1,2,…,N_B; i=1,2,…,N_A), такая пара значений фактора образует инверсию.

В качестве контрольной величины принимается полное число инверсий I в обучающей выборке. Оценкой информативности является разность U числа инверсий со своим математическим ожиданием

. (13)

Значение U сравнивается с табличным значением U_б с уровнем значимости б. Если U?U_б, гипотеза H₀ отвергается, то есть фактор информативен. Если U<U_б, гипотеза принимается, то есть фактор неинформативен.

Для сравнения факторов между собой по степени их информативности необходимо произвести ранжирование факторов в порядке уменьшения значений оценок их информативности. Оценки информативности, определенные по описанным выше критериям, можно рассматривать как экспертные оценки, которые тем выше, чем информативнее фактор. Тогда ранжирование факторов по степени их информативности можно осуществить методом обобщенной ранжировки объектов с учетом мнений всех экспертов.

Эту задачу можно решить способом сумм рангов с учетом коэффициентов компетентности экспертов [6].

Ранжирование представляет собой процедуру упорядочения факторов в порядке уменьшения значений экспертных оценок информативности факторов с присвоением им рангов, которые образуют упорядоченную последовательность натуральных чисел, измеренных в шкале порядка

где r_i - ранг i-го фактора; n - число факторов.

Для эквивалентных по значимости факторов назначаются одинаковые ранги, равные среднему арифметическому значению рангов, присвоенных этим факторам.

Вычисление сумм рангов для i-го фактора производится по формуле:

, (15)

где r_ij - ранг, присвоенный j-м экспертом i-му фактору; m - количество экспертов; K_j - коэффициент компетентности j-го эксперта.

Вычисление коэффициентов компетентности экспертов первого приближения осуществляются по формулам

, (16)

, (17)

, (18)

где - начальное значение коэффициентов компетентности экспертов,

. (19)

Затем производится ранжирование вычисленных по формуле (15) сумм рангов по описанной выше методике. Таким образом получается последовательность (14), представляющая собой обобщенную ранжировку факторов с учетом оценок всех экспертов.

Количественной мерой согласованности мнений экспертов является дисперсионный коэффициент конкордации W, предложенный Кендаллом [6].

, (20)

где S - сумма квадратов отклонений.

, (21)

. (22)

При наличии связанных рангов коэффициент конкордации вычисляется по формуле

, (23)

фактор критерий информативность ранжировка

где Tj - показатель связанных рангов в ранжировке j-го эксперта

, (24)

где h_K - число равных рангов в k-й группе связанных рангов; H_j - число групп равных рангов в ранжировке j-го эксперта.

Коэффициент конкордации может изменяться в пределах 0?W?1. Его равенство единице означает, что все эксперты дали одинаковые оценки информативности факторов, а равенство нулю означает, что связи между оценками, полученными от разных экспертов, не существует.

Оценка значимости коэффициента конкордации W при n>7 производится по критерию ч² Пирсона. В случае отсутствия связанных рангов он вычисляется по формуле

. (25)

При наличии связанных рангов

. (26)

Расчетное значение критерия ч² сравнивается с табличным ч²_таб (б, K) с уровнем значимости б и числом степеней свободы K=n-1. Если ч²? ч²_таб, то гипотеза о согласии экспертов в ранжировках принимается.

Таким образом, если коэффициент конкордации приемлем, а значит, и оценки, найденные по различным критериям, сходятся, то можно выбрать факторы, имеющие наибольшее влияние на элементы классов и отсеять факторы, влияние которых незначительно.

Литература

1. Программная реализация вероятностно-статистического непараметрического метода распознавания образов / М.П. Лазеева, А.В. Дерюшев // Вестник КузГТУ. 2004. - №4. с. 117-119.

2. Гмурман В.Е. Теория вероятностей и математическая статистика: Учебное пособие для втузов. - М.: Высш. школа, 1977. - 479 с.

3. Штефан И.А. Математические методы обработки экспериментальных данных: Учебное пособие / И.А. Штефан, В.В. Штефан; ГУ Кузбасский государственный технический университет. - Кемерово, 2003. - 123 с.

4. Математика и кибернетика в экономике: Словарь-справочник / Сост: И.И. Гонтарева, М.Б. Немчинова, и др. - изд. 2-е, перераб. и доп. - М.: Экономика, 1975. - 700 с.

5. Мюллер П. и др. - Таблицы по математической статистике. - М.: Финансы и статистика, 1982. - 278 с.

6. Бешелев С.Д. и др. Математико-статистические методы экспертных оценок. - М.: Статистика, 1974. - 159 с.

Размещено на Allbest.ru