Методы главных компонент
Статистический подход в методе главных компонент. Многомерное нормальное распределение вариаций. Линейная модель метода главных компонент. Метод Фадеева – одновременное вычисление коэффициентов характеристического многочлена и присоединенной матрицы.
| Рубрика | Экономико-математическое моделирование |
| Вид | реферат |
| Язык | русский |
| Дата добавления | 27.10.2017 |
| Размер файла | 586,0 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http: //www. allbest. ru/
Содержание
Введение
1. Статистический подход в методе главных компонент
2. Многомерное нормальное распределение
3. Линейная модель метода главных компонент. Метод Фадеева - одновременное вычисление коэффициентов характеристического многочлена и присоединенной матрицы
4. Квадратичные формы и главные компоненты
Заключение
Список использованной литературы
Введение
Во многих задачах обработки многомерных наблюдений и, в частности, в задачах классификации исследователя интересуют в первую очередь лишь те признаки, которые обнаруживают наибольшую изменчивость (наибольший разброс) при переходе от одного объекта к другому.
С другой стороны, не обязательно для описания состояния объекта использовать какие-то из исходных, непосредственно замеренных на нем признаков. Так, например, для определения специфики фигуры человека при покупке одежды достаточно назвать значения двух признаков (размер-рост), являющихся производными от измерений ряда параметров фигуры. При этом, конечно, теряется какая-то доля информации (портной измеряет до одиннадцати параметров на клиенте), как бы огрубляются (при агрегировании) получающиеся при этом классы. Однако, как показали исследования, к вполне удовлетворительной классификации людей с точки зрения специфики их фигуры приводит система, использующая три признака, каждый из которых является некоторой комбинацией от большого числа непосредственно замеряемых на объекте параметров.
Именно эти принципиальные установки заложены в сущность того линейного преобразования исходной системы признаков, которое приводит к главным компонентам.
Таким образом, тема «Методы главных компонент» является актуальной. статистический фадеев многочлен матрица
Целью данного реферата является рассмотрение метода главных компонент. В соответствии с поставленной целью необходимо выполнить следующие задачи:
1. Рассмотрение статистического подхода в методе главных компонент
2. Изучение многомерного нормального распределения
3. Рассмотрение линейной модели метода главных компонент и метода Фаддеева
4. Изучение квадратичных форм и главных компонент.
1. Статистический подход в методе главных компонент
В зависимости от конкретных задач, решаемых в экономике, используется один из методов факторного анализа, или метод главных компонент.
Метод главных компонент считается статистическим методом. Однако есть другой подход, приводящий к методу главных компонент, но не являющийся статистическим. Этот подход связан с получением наилучшей проекции точек наблюдения в пространстве меньшей размерности. Для решения подобной задачи необходимо знать матрицу вторых моментов.
В статистическом подходе задача заключается в выделении линейных комбинаций случайных величин, имеющих максимально возможную дисперсию. Он опирается на ковариационную или корреляционную матрицу этих случайных величин. У этих двух разных подходов есть общий аспект: использование матрицы вторых моментов как исходный для начала анализа.
Для овладения методом главных компонент необходимо пользоваться методами теории вероятности и математической статистики на основе моделей линейной алгебры.
Учитывая, что объекты исследования в экономике (фирма, завод, министерство, отрасль народного хозяйства, экономика страны) характеризуются большим, но конечным количеством признаков (характеристик), влияние которых подвергается воздействию большого количества случайных причин, в качестве моделей в статистическом плане берутся многомерные распределения, а в алгебраическом - многомерное пространство признаков.
2. Многомерное нормальное распределение
Математической моделью, на которой основываются методы многомерного статистического анализа (в том числе и методы факторного и компонентного анализа), является многомерное нормальное распределение.
Из центральной предельной теоремы следует, что предельным распределением одномерных независимых случайных величин является одномерный нормальный закон.
Из обобщённой центральной предельной теоремы получаем, что предельным распределением в случае нескольких измерений является многомерное нормальное распределение.
В настоящее время многомерные методы, основанные на нормальном распределении, нашли широкое распространение при изучении различных процессов в экономике.
Среди математических методов многомерного анализа выделяют:
1.Корреляция. При изучении корреляции рассматриваются различные коэффициенты корреляции.
Выборочные коэффициенты корреляции используются для оценки соответствующих параметров распределения.
Частный коэффициент корреляции измеряет зависимость между случайными величинами, когда действие других коррелированных случайных величин исключено.
При помощи множественного коэффициента корреляции распространяется понятие коэффициента корреляции на измерение зависимости между одной случайной величиной и множеством случайных величин.
2.Аналоги одномерных статистических методов в многомерном анализе.
Многие проблемы, решаемые в многомерном статистическом анализе, когда изучаются многомерные совокупности, имеют свои аналоги при изучении одномерных совокупностей. Эти проблемы представлены в таблице 1.
Таблица 1 Аналоги одномерных статистических методов
|
Одномерное случайное распределение |
Многомерное случайное распределение |
|
|
Проверка гипотезы о математическом ожидании: М[х]=м |
Проверка гипотезы о векторе математических ожиданий: М[ ,,…]Т=м |
|
|
t-критерий Стьюдента |
Обобщенный Т2 критерий для многомерного распределения |
|
|
Метод наименьших квадратов |
Обобщение метода наименьших квадратов на многомерный случай |
|
|
Дисперсионный анализ |
Обобщение дисперсионного анализа на многомерное распределение |
Для этих проблем выбор системы координат связан с линейным преобразованием переменных.
3.Проблемы системы координат.
В ряде случаев удачный выбор новой системы координат может наиболее экономным способом выявить некоторые важные для исследователя свойства многомерной случайной совокупности.
Примером может служить выявление главных компонент, т.е. отыскание такой нормализованной линейной комбинации случайных величин, чтобы ее дисперсия была максимальной или минимальной. Это равноценно повороту осей, который приводит ковариационную матрицу к диагональной форме. Другой пример - нахождение канонических корреляций. Для решения подобных задач требуется определение характеристических корней различных систем линейных алгебраических уравнений.
4.Проблемы классификации.
Это разбиение множества случайных величин на подмножества. Возникает важный вопрос проверки гипотезы о независимости подмножеств. Факторный анализ, метод главных компонент и кластерный анализ обычно используют в задачах многомерной классификации.
5.Зависимость наблюдений.
Если в экономических исследованиях мы занимаемся анализом временных рядов, то сталкиваемся с наблюдениями над рядами случайных величин, последовательными во времени. Наблюдения в данный момент времени могут зависеть от ранее произведенных наблюдений. Это требует, например, изучения внутрирядной корреляции.
Поскольку в качестве основной статистической модели выступает многомерное нормальное распределение, стоит остановится более подробно на этом распределении, которое полностью распределяется своей квадратичной формой, а последняя зависит от вектора математических ожиданий и ковариационной матрицы. Эта зависимость четко определяется следующей теоремой.
Теорема 1. Если даны вектор м и положительно определенная матрица У, то существует такая многомерная нормальная плотность распределения вероятностей:
Nn (х / м, У) = , (1)
что математическое ожидание случайного вектора х с этой плотностью распределения есть м и ковариационная матрица есть У.
Обычно плотность распределения вероятностей обозначают так, как записано слева в равенстве (1), а многомерный нормальный закон распределения обозначают N (м, У). В данном распределении интересует структура ковариационной матрицы и ее связь с корреляционной матрицей. Это можно сделать в общем виде для случайного вектора n-го порядка. Однако удобней обратиться к простейшему многомерному распределению - двумерному.
При рассмотрении двумерного нормального распределения можно легко убедиться в том, что коэффициенты корреляции и дисперсии случайных величин являются основными числовыми характеристиками наряду с математическими ожиданиями. Если конечное число случайных величин n=2, то роль дисперсий выполняет ковариационная (корреляционная) матрица. Элементы этой матрицы получаются из экспериментальных или статистических данных и являются статистическими величинами, требующими своей оценки. В методе главных компонент потребуется также оценка и весовых коэффициентов модели.
3. Линейная модель метода главных компонент. Метод Фадеева - одновременное вычисление коэффициентов характеристического многочлена и присоединенной матрицы
Общие положения
Рассмотрим модель метода главных компонент:
(6)
где - r-я главная компонента;
- вес r-й компоненты на j-й переменной;
- центрированное (нормированное) значение j-признака.
Главные компоненты являются характеристическими векторами ковариационной матрицы.
Множество главных компонент представляет собой удобную систему координат, а соответствующие дисперсии главных компонент характеризуют их статистические свойства. Из общего числа главных компонент для исследования, как правило, оставляют m (m<n) наиболее весомых, т.е. вносящих максимальный вклад в объясняемую часть общей дисперсии. Опыт показал, что m ? (0,1+0,25)n. Для экономической интерпретации полученных результатов самыми наглядными являются случаи, когда m=1,2 или 3.
Таким образом, несмотря на то, что в методе главных компонент для точного воспроизведения корреляций и дисперсий между переменными необходимо найти все компоненты, а по главным компонентам описать признаки. Для центроидного метода факторного анализа это принципиально невозможно; можно лишь добиваться, чтобы дисперсия остатков была минимальной. Метод главных компонент одинаково хорошо приближает ковариации и дисперсии. Следует отметить еще одно существенное свойство метода - это его линейность и аддитивность. Центроидный метод, например, несет в себе только гипотезу линейности. Если она не верна, то результаты могут быть использованы только для первого приближения. В настоящее время часто используется центроидный метод для получения приближенных оценок, которые затем уточняются методом максимума правдоподобия.
Метод Фадеева - одновременное вычисление коэффициентов характеристического многочлена и присоединенной матрицы.
При помощи методы Фадеева одновременно определяются:
а) - скалярные коэффициенты характеристического многочлена
(7)
б) B1,B2,….,Bn-1 - матричные коэффициенты присоединенной матрицы.
При помощи trA следа матрицы получаем
,
если - характеристики числа матрицы A, т.е.
.
Теорема. Если - все характеристические числа (с учетом крайностей) матрицы A, а - некоторый скалярный многочлен, то - являются характеристическими числами матрицы .
Частный случай. Дана матрица A; - ее характеристические числа. Определить характеристические числа матрицы .
В соответствии с теоремой =.
Поэтому .
Отсюда следует, что
Суммы
степеней многочлена (7) связаны с коэффициентами этого уравнения формулами Ньютона.
(8)
Метод Леверрье. Определение коэффициентов характеристического многочлена по следам степеней матрицы заключается в следующем:
1) определяются - следы матрицы .
2) по (8) последовательно определяются .
Метод Фаддеева
Фаддеев предложил вместо следов степеней матриц вычислять последовательно следы других матриц и с их помощью определить и .
(9)
Для контроля вычислений можно воспользоваться последней формулой . Убедимся, что по системе (9) ; последовательно определяемые, являются коэффициентами и .
Используя систему (9) для и получим:
(10)
(11)
Приравняем следы левой и правой частей (10)
(12)
Выражения (12) и (8) совпадают с формулами Ньютона, по которым последовательно определяются коэффициенты характеристического многочлена . Значит, числа системы (9) являются коэффициентами .
По формуле (11) определяют матричные коэффициенты присоединительной матрицы .
Значит система (9) определяет коэффициенты матричного многочлена .
Пример. Вычислить собственные значения и собственные векторы матрицы
Решение методом Фаддеева
1. Составим характеристическое уравнение
2. Запишем его в виде многочлена 3-ей степени относительно
3.
4.
5.
6. Получены все члены характеристического уравнения
7. Определим корни характеристического уравнения
8. Определим собственный вектор, соответствующий л1=9; подставим в систему уравнений л=9.
Система однородная, все bi, т.е. определители, равны 0. Система неполная (уравнения зависимы) и имеет бесконечное множество решений. Одно решение может быть выбрано произвольно. В этом случае можно определить отношение корней: ,
где Аij-алгебраические дополнения элементов любой строки.
Решение этой системы уравнений позволяет определить следующие соотношения: .
Значит, собственный вектор
.
9. Определим собственный вектор, соответствующий л2=6.
10. Определим собственный вектор, соответствующий л3=3.
4. Квадратичные формы и главные компоненты
Для того чтобы представить в геометрическом плане главные компоненты, рассмотрим простейшие случаи: плоскости и пространства трех измерений.
Пусть дано уравнение линии второго порядка:
Ах2 +2Вху + Су2 =Н. (13)
Левая часть уравнения (13) не меняется при замене х,у на -х, -у. Значит, во-первых, точки линии (13) расположены парами симметрично относительно начала координат. Во-вторых, линия второго порядка, заданная (13), обладает центром симметрии и, в-третьих, начало координат помещено в центр. Левая часть (13) представляет собой однородный многочлен второй степени. Такой многочлен называют квадратичной формой от двух переменных.
Ах2 +2Вху + Су2 (14)
Приведем данную квадратичную форму (14) к каноническому виду. Для этого надо будет повернуть так координатные оси х и у, чтобы в новых координатах исчез член с произведением новых текущих координат. Переход к новым координатам производится по известным формулам:
(15)
Старые координаты связаны с новыми по формулам:
(16)
где х' и у' - новые координаты.
Характеристика коэффициентов со старыми координатами представлена на рис.1.
Рис. 1 Единичный вектор и его компоненты
На рис.1 на новой оси абсцисс отложен отрезок ОХ1 единичной длины, тогда его проекции на старые координатные оси составят:
(17)
где б - угол поворота осей х и у.
Значит, вектор с компонентами l1 и m1 является единичным вектором, определяющим направление новой оси абсцисс х':
(18)
Аналогично единичный вектор, определяющий направление новой оси у' ординат, имеет вид:
(19)
Чтобы привести квадратичную форму (14) к каноническому виду, нужно в (14) величины х и у заменить согласно формуле (16). Квадратичная форма примет вид:
. Ах2 + 2Вху + Су2 =лхх'2+л2у'2. (20)
Для решения (20) достаточно подобрать так коэффициенты (16) и числа л1,л2, чтобы
Значит, надо решить систему уравнений
(21)
В системе (21) перенесем правые части влево и получим
(22)
Определитель данной системы
=0. (23)
можно представить в виде
(24)
Откуда
(25)
Уравнение (23) представляет собой характеристическое уравнение квадратичной формы, а корни этого уравнения л1 и л2 являются характеристическими числами этой формы. После приведения формы к каноническому виду числа л1 и л2 являются коэффициентами при неизвестных.
Так как выражение под радикалом, равное
(А-С)2 +4В2? 0, (26)
неотрицательно, то уравнение (22) имеет только действительные корни. Отдельно рассмотрим случай, когда
(А-С)2 +4В2>0. (27)
При этом условии л1 ? л2 . Подставим в (21) л = л1 . Система будет иметь ненулевое решение l и т.
Полученный вектор будет иметь главное направление квадратичной формы, которое соответствует характеристическому числу л1.
По этому же главному направлению, которое соответствует числу л1 направлен и вектор
т.е. (28)
где µ?0.
Если примем, что, то по системе (28) .
Вектор является единичным вектором главного направления.
Векторопределяет другое главное направление квадратичной формы.
Если л1 ? л2 , векторы главных направлений взаимно перпендикулярны.
Другой случай соответствует
(А-С)2 + АВ2 = 0. (29)
В данном случае
. (30)
Из выражения (25)
л = А = С.
Подставим в выражение (24) полученное значение л и убедимся в том, что все коэффициенты системы обращаются в нуль. Таким образом, система (22) будет состоять из тождеств. Ей подходят любые числа l и т.
В результате можно заключить, что если л1 = л2, то для квадратичной формы любое направление является главным. При повороте осей на любой угол форма сохранит свой канонический вид Ах2 + Ау2.
При любом преобразовании квадратичной формы к любым прямоугольным координатам не меняются ее инварианты
. (31)
Согласно теореме Виета
АС-В2= л1 л2 . (32)
1. Если л1 ? 0; л2 ? 0 имеют одинаковые знаки, то квадратичная форма называется эллиптической:
АС-В2>0. (33)
2. Если л1 ? 0; л2 ? 0, но знаки у них разные, то форма называется гиперболической:
АС-В2<0. (34)
3. Если одно из чисел л1, л2 равно нулю, т.е. АС-В2 =0, то форма называется параболической.
В методе главных компонент характеристические числа по своему физическому смыслу не могут равняться нулю и быть отрицательными. Значит, л1>0 и л2 >0. В этом случае квадратичная форма будет называться положительно определенной эллиптической формой.
На рис.2 показаны переход от произвольной системы координат к системе с точкой нуль в центре эллипса и поворот осей, осуществленный для приведения квадратичной формы к каноническому виду. После приведения к каноническому виду ось абсцисс, соответствующая л1, направлена по одной главной оси эллипса (главному направлению), а ось координат, соответствующая другому главному направлению, направлена перпендикулярно к ней вдоль другой главной оси эллипса. Вдоль главной оси эллипса оу направлена первая главная компонента, а вдоль оси ох направлена вторая главная компонента.
Рис. 2 Перенос системы координат (х,0,у) в центр эллипса и поворот на угол б
На рис. 2 первое главное направление (у') определяется л1, а второе главное направление (х') определяется характеристическим числом л2 .
Заключение
На основании изученной темы и проделанной работы по написанию данного реферата можно сделать вывод, что поставленные цель и задачи нашли здесь свое отражение.
Метод главных компонент считается статистическим методом.
Учитывая, что объекты исследования в экономике характеризуются большим, но конечным количеством признаков (характеристик), влияние которых подвергается воздействию большого количества случайных причин, в качестве моделей в статистическом плане берутся многомерные распределения.
Из оптимальных свойств главных компонент следует, что они оказываются полезным статистическим инструментарием в задачах «автопрогоноза» большого числа анализируемых показателей по сравнительно малому числу вспомогательных переменных, визуализации многомерных данных, построение типообразуюших признаков; при типологизации многомерных объектов, при предварительном анализе геометрической и вероятностной природы массива исходных данных. К методу главных компонент обращаются и при построении различного рода регрессионных моделей.
Список использованной литературы
1. Дубров А.М., Мхиторян В.С., Трошин Л.И. Многомерные статистические методы.- М.: Финансы и статистика, 1998.
Размещено на Allbest.ru
...Подобные документы
Создание модели анализа и прогнозирования социально-экономического развития Российских регионов методом главных компонент. Оценка основных экономических показателей региона. Формирование индикаторов устойчивого развития с использованием программы МИДАС.
курсовая работа [969,1 K], добавлен 29.08.2015Статистические методы анализа одномерных временных рядов, решение задач по анализу и прогнозированию, построение графика исследуемого показателя. Критерии выявления компонент рядов, проверка гипотезы о случайности ряда и значения стандартных ошибок.
контрольная работа [325,2 K], добавлен 13.08.2010Метод развертки вслепую. Понятия и построение модели для простейшего случая. Подгонка параметров: целевая функция, подбор независимых компонент и функции нелинейности. Настройка процесса обучения. Адаптация алгоритма под реалии рынка обмена валюты.
курсовая работа [1,1 M], добавлен 17.10.2016Оценка адекватности эконометрических моделей статистическим данным. Построение доверительных зон регрессий спроса и предложения. Вычисление коэффициента регрессии. Построение производственной мультипликативной регрессии, оценка ее главных параметров.
контрольная работа [1,2 M], добавлен 25.04.2010Построение линейной модели зависимости цены товара в торговых точках. Расчет матрицы парных коэффициентов корреляции, оценка статистической значимости коэффициентов корреляции, параметров регрессионной модели, доверительного интервала для наблюдений.
лабораторная работа [214,2 K], добавлен 17.10.2009Определение понятий "функциональные и структурные математические модели", рассмотрение их значение, главных функций и целей. Составление модели "черного ящика", простейшее отображение реальной системы. Метод исследования объектов с помощью их моделей.
реферат [13,2 K], добавлен 17.11.2015Случайная выборка из генеральной совокупности. Сущность метода Монте-Карло. Определение адекватности принятой эконометрической модели. Линейная регрессионная модель вида. Система нормальных уравнений в матричной форме. Параметры регрессионной модели.
контрольная работа [323,5 K], добавлен 08.12.2010Построение математической модели, максимизирующей прибыль фирмы от реализации всех сделок в виде задачи линейного программирования. Сущность применения алгоритма венгерского метода. Составление матрицы эффективности, коэффициентов затрат и ресурсов.
контрольная работа [168,7 K], добавлен 08.10.2009Аналіз коефіцієнтів лінійних моделей: розрахунок коефіцієнтів цільової функції. Аналіз діапазону зміни компонент вектора обмежень. Приклад практичного використання двоїстих оцінок у аналізі економічної задачі. Складання по ній симплексної таблиці.
лекция [543,5 K], добавлен 10.10.2013Ковариационная матрица оценок коэффициентов регрессии. Оценка дисперсии ошибок. Сущность теоремы Гаусса-Маркова. Проверка статистических гипотез, доверительные интервалы. Расчет коэффициента детерминации, скорректированного коэффициента детерминации.
контрольная работа [1,4 M], добавлен 28.07.2013Представление матрицы в виде произведения унитарной и верхнетреугольной матрицы. Листинг программы. Зависимость погрешности от размерности матрицы на примере метода Холецкого. Приближенные методы решения алгебраических систем. Суть метода Зейделя.
контрольная работа [630,5 K], добавлен 19.05.2014Построение вариационного (статистического) ряда, гистограммы и эмпирической функции распределения. Определение выборочных оценок числовых характеристик случайной величины. Расчет матрицы парных коэффициентов корреляции и создание модели парной регрессии.
контрольная работа [2,0 M], добавлен 05.04.2014Вычисление парных коэффициентов корреляции и построение их матрицы. Нахождение линейного уравнения связи, коэффициентов детерминации и эластичности. Аналитическое выравнивание ряда динамики методом наименьших квадратов. Фактические уровни вокруг тренда.
контрольная работа [121,1 K], добавлен 01.05.2011Расчет матрицы парных коэффициентов корреляции и статистической значимости коэффициентов регрессии. Оценка статистической значимости параметров регрессионной модели с помощью t-критерия. Уравнение множественной регрессии со статистически факторами.
лабораторная работа [30,9 K], добавлен 05.12.2010Методи одержання стійких статистичних оцінок. Агломеративні методи кластерного аналізу. Грубі помилки та методи їх виявлення. Множинна нелінійна регресія. Метод головних компонент. Сутність завдання факторного аналізу. Робастне статистичне оцінювання.
курсовая работа [1,2 M], добавлен 28.04.2014Оценивание линейной прогностической функции на примере эконометрической модели в виде многочлена. Однопараметрическое семейство алгоритмов с мерой близости и и непараметрический подход. Эконометрика классификации: классы и кластеры, параметры регрессии.
реферат [222,3 K], добавлен 21.01.2009Сущность метода наименьших квадратов. Экономический смысл параметров кривой роста (линейная модель). Оценка погрешности и проверка адекватности модели. Построение точечного и интервального прогноза. Суть графического построения области допустимых решений.
контрольная работа [32,3 K], добавлен 23.04.2013Линейное программирование. Геометрическая интерпретация и графический метод решения ЗЛП. Симплексный метод решения ЗЛП. Метод искусственного базиса. Алгоритм метода минимального элемента. Алгоритм метода потенциалов. Метод Гомори. Алгоритм метода Фогеля.
реферат [109,3 K], добавлен 03.02.2009Оценка корреляционной матрицы факторных признаков. Оценки собственных чисел матрицы парных коэффициентов корреляции. Анализ полученного уравнения регрессии, определение значимости уравнения и коэффициентов регрессии, их экономическая интерпретация.
контрольная работа [994,1 K], добавлен 29.06.2013Назначение матричного метода прогнозирования и основные этапы его применения. Графическая основа модели развития объекта в матричном методе. Схемы оценки опосредствованных связей (влияния) комплексов при обработке матриц влияния и расчетов по графу.
презентация [752,6 K], добавлен 15.04.2015
