Устойчивый метод главных компонент

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Устойчивый метод главных компонент

Метод главных компонент (МГК) - статистический метод, используемый для снижения размерности изучаемых данных, а также для линейной аппроксимации данных, обладающий свойством наименьшей ошибки [1]. В наблюдениях нередко содержатся шумы и ошибки измерений. Для фильтрации такого рода шумов целесообразно использовать устойчивую модификацию МГК, основанную на неравенстве Чебышева.

Такой подход не требует информации о типе распределения выборки, и был описан ранее для оценивания положения, масштаба выборки и линейной регрессии [6], [7], [8], [10], [11], и имеет прикладное значение [9].

Метод главных компонент

Главные компоненты [1] - это набор признаков , которые являются линейными комбинациями исходных признаков , измеренных на объектах исследования, и упорядоченные по мере убывания дисперсии.

-ой главной компонентой называется такая нормированно-центрированная линейная комбинация исходного множества признаков

(1)

, а ,

неравенство чебышев шум

n - количество объектов в системе, которая не коррелирует ни с одной из предшествующих главных компонент и обладает наибольшей дисперсией из всех последующих и выполняется условие:

(2)

По формуле (1) необходимо вычислить p главных компонент для каждого объекта.

Коэффициенты в формуле (1) являются собственными векторами ковариационной матрицы размерности признаков .

Собственные векторы находятся из решения уравнения

(3)

где - i-ое по величине собственное значение матрицы .

Собственные значения получаются из решения уравнения

(4)

В реальных задачах ковариационная матрица часто неизвестна и её надо оценивать по следующим формулам: - для нецентрированных признаков, - для центрированных признаков.

Число компонент, которое целесообразно использовать в дальнейшем, можно определить, проанализировав меру информативности метода главных компонент (относительную долю дисперсии) :

(5)

где m - количество компонент.

Мера информативности определяет остаточный процент информации, который получится при сжатии признаков до m компонент.

Устойчивый метод главных компонент

Устойчивый метод главных компонент получается с помощью использования устойчивой матрицы ковариации [7], которая вычисляется по формуле:

Далее применяется стандартный метод главных компонент.

Собственные значения и собственные векторы ищутся с помощью итерационного метода вращений Якоби [3]. Реализация алгоритма получения устойчивых главных компонент представлена в приложении.

Рис. 1. Блок-схема устойчивого метода главных компонент

Сравнение устойчивого и стандартного методов

Для сравнения устойчивого и стандартного методов главных компонент сгенерированы коррелирующие между собой данные с убывающим коэффициентом размаха выборки. Для вычислительного эксперимента была выбрана модель с 1000 наблюдениями размерности 8. Первая координата имеет равномерно распределение R (-9; 11). Все последующие координаты определяются по формуле:

(6)

где r - случайная величина, имеющая равномерное распределение R (-10; 10).

Далее для исследования устойчивости методов к выделяющимся наблюдениям были добавлены шумы. Шумы получаются следующим образом: первая координата точки-шума имеет распределение R (-100; 0), а все остальные координаты имеют распределение R (0; 100), т.е. шум в 10 раз превышает размах исходных данных.

Рис. 2. Сравнение устойчивого и стандартного МГК

Рис. 3. Сравнение 1-го собственного вектора для устойчивого и стандартного МГК

С помощью многомерного взвешивания, основанного на неравенстве Чебышева (см. [8], [11]), получены весовые коэффициенты для каждого наблюдения. В качестве контрольных данных берется собственный вектор первой главной компоненты. Последовательно по 1% внося в выборку шум, сравниваются по критерию ч-квадрат собственные векторы, при данном уровне шума с собственным вектором при 0% шума.

Минимальным допустимым значением критерия является 0,9. При значениях ниже минимального говорить об однородности векторов нельзя.

Как видно из рис. 2, 4, устойчивый метод в отличие от стандартного нечувствителен к шуму в несколько процентов, до 9% и более (стандартный метод начинает отклоняться от бесшумового варианта уже при 2% шума). При этом при отсутствии шума, как видно из рис. 2, 1-е собственные векторы, вычисленные двумя методами (стандартным и устойчивым), идентичны. Это указывает на применимость устойчивого (робастного) метода главных компонент.

Описана устойчивая модификация метода главных компонент, использующая взвешивание наблюдений по алгоритму, основанному на неравенстве Чебышева, при этом вычисляется устойчивая ковариационная матрица, остальные же процедуры МГК остаются прежними. Взвешивание на основе неравенства Чебышева позволяет легко модернизировать методы статистического анализа до устойчивых введением весов наблюдений.

Список литературы

неравенство чебышев шум

1. Айвазян С.А., Бухштабер В.М., Енюков И.С., Мешалкин Л.Д. Прикладная статистика. Классификация и снижение размерности. М.: Финансы и статистика, 1989. 607 с.

2. Леман Э. Теория точечного оценивания: пер. с англ. М.: Наука, 1991. С. 9 -15.

3. Самарский А.А., Гулин А.В. Численные методы. М.: Наука, 1989. 432 с.

4. Хампель Ф., Рончетти Э., Рауссеу П., Штаэль В. Робастность в статистике. Подход на основе функций влияния. М.: Мир, 1989. 512 с.

5. Хьюбер Дж.П. Робастность в статистике. М.: Мир, 1984. 304 с.

6. Чечулин В.Л. К обоснованию метода устойчивого оценивания посредством неравенства Чебышева // Вестник Пермского университета. Сер.: Математика. Механика. Информатика. 2010. Вып. 2 (2). С. 29-32.

7. Чечулин В.Л. Об оценке масштаба (дисперсии) выборки, не использующей оценку положения (среднего) // Университетские исследования, 2011 (раздел: математика). URL: http://www.uresearch.psu.ru/files/articles/553_26764.doc (дата обращения: 25.06.2013).

8. Чечулин В.Л., Грацилёв В.И. Качественное сравнение способов устойчивого оценивания // Университетские исследования, 2012 (раздел: математика). URL: www.uresearch.psu.ru/files/articles/634_52153. doc (дата обращения: 25.06.2013).

9. Чечулин В.Л., Грацилёв В.И. Оценка относительной величины заработной платы с использованием устойчивого оценивания // Университетские исследования, 2013 (раздел: экономика). URL:

http://www.uresearch.psu.ru/files/articles/639_58093.doc (дата обращения: 25.06.2013).

10. Чечулин В.Л., Грацилёв В.И. О сравнении устойчивых оценок, основанных на неравенстве Чебышева // Университетские исследования, 2013 (раздел: математика). URL: http://www.uresearch.psu.ru/files/articles/642_69164.doc (дата обращения: 25.06.2013).

11. Чечулин В.Л., Грацилёв В.И. Устойчивое регрессионное оценивание, основанное на неравенстве Чебышева // Университетские исследования, 2013 (раздел: математика). URL: http://www.uresearch.psu.ru/files/articles/649_93562.doc (дата обращения: 25.06.2013).

Размещено на Allbest.ru