Размещено на http://www.allbest.ru/

1

Реферат

на тему: Дисперсионный анализ



СОДЕРЖАНИЕ

• Введение
• 1. Дисперсионный анализ
• 1.1 Основные понятия дисперсионного анализа
• 1.2 Однофакторный дисперсионный анализ
• 1.3 Многофакторный дисперсионный анализ
• 2. Применение дисперсионного анализа в различных процессах и исследованиях
• 2.1 Использование дисперсионного анализа при изучении миграционных процессов
• 2.2 Снование фасонной пряжи с ровничным эффектом
• 3. Дисперсионный анализ в контексте статистических методов
• 3.1 Векторные авторегрессии
• 3.2 Факторный анализ
• 3.3 Парная регрессия. Вероятностная природа регрессионных моделей
• Заключение
• Список литературы


Введение

Цель работы: познакомится с таким статистическим методом, как дисперсионный анализ.

Дисперсионный анализ (от латинского Dispersio - рассеивание) - статистический метод, позволяющий анализировать влияние различных факторов на исследуемую переменную. Метод был разработан биологом Р. Фишером в 1925 году и применялся первоначально для оценки экспериментов в растениеводстве. В дальнейшем выяснилась общенаучная значимость дисперсионного анализа для экспериментов в психологии, педагогике, медицине и др.

Целью дисперсионного анализа является проверка значимости различия между средними с помощью сравнения дисперсий. Дисперсию измеряемого признака разлагают на независимые слагаемые, каждое из которых характеризует влияние того или иного фактора или их взаимодействия. Последующее сравнение таких слагаемых позволяет оценить значимость каждого изучаемого фактора, а также их комбинации .

При истинности нулевой гипотезы (о равенстве средних в нескольких группах наблюдений, выбранных из генеральной совокупности), оценка дисперсии, связанной с внутригрупповой изменчивостью, должна быть близкой к оценке межгрупповой дисперсии.

При проведении исследования рынка часто встает вопрос о сопоставимости результатов. Например, проводя опросы по поводу потребления какого-либо товара в различных регионах страны, необходимо сделать выводы, на сколько данные опроса отличаются или не отличаются друг от друга. Сопоставлять отдельные показатели не имеет смысла и поэтому процедура сравнения и последующей оценки производится по некоторым усредненным значениям и отклонениям от этой усредненной оценки. Изучается вариация признака. За меру вариации может быть принята дисперсия. Дисперсия у2 - мера вариации, определяемая как средняя из отклонений признака, возведенных в квадрат.

На практике часто возникают задачи более общего характера - задачи проверки существенности различий средних выборочных нескольких совокупностей. Например, требуется оценить влияние различного сырья на качество производимой продукции, решить задачу о влиянии количества удобрений на урожайность с/х продукции.

Иногда дисперсионный анализ применяется, чтобы установить однородность нескольких совокупностей (дисперсии этих совокупностей одинаковы по предположению; если дисперсионный анализ покажет, что и математические ожидания одинаковы, то в этом смысле совокупности однородны). Однородные же совокупности можно объединить в одну и тем самым получить о ней более полную информацию, следовательно, и более надежные выводы .



1. Дисперсионный анализ

1.1 Основные понятия дисперсионного анализа

В процессе наблюдения за исследуемым объектом качественные факторы произвольно или заданным образом изменяются. Конкретная реализация фактора (например, определенный температурный режим, выбранное оборудование или материал) называется уровнем фактора или способом обработки. Модель дисперсионного анализа с фиксированными уровнями факторов называют моделью I, модель со случайными факторами - моделью II. Благодаря варьированию фактора можно исследовать его влияние на величину отклика. В настоящее время общая теория дисперсионного анализа разработана для моделей I.

В зависимости от количества факторов, определяющих вариацию результативного признака, дисперсионный анализ подразделяют на однофакторный и многофакторный.

Основными схемами организации исходных данных с двумя и более факторами являются:

- перекрестная классификация, характерная для моделей I, в которых каждый уровень одного фактора сочетается при планировании эксперимента с каждой градацией другого фактора;

- иерархическая (гнездовая) классификация, характерная для модели II, в которой каждому случайному, наудачу выбранному значению одного фактора соответствует свое подмножество значений второго фактора.

Если одновременно исследуется зависимость отклика от качественных и количественных факторов, т.е. факторов смешанной природы, то используется ковариационный анализ /3/.

При обработке данных эксперимента наиболее разработанными и поэтому распространенными считаются две модели. Их различие обусловлено спецификой планирования самого эксперимента. В модели дисперсионного анализа с фиксированными эффектами исследователь намеренно устанавливает строго определенные уровни изучаемого фактора. Термин “фиксированный эффект” в данном контексте имеет тот смысл, что самим исследователем фиксируется количество уровней фактора и различия между ними. При повторении эксперимента он или другой исследователь выберет те же самые уровни фактора. В модели со случайными эффектами уровни значения фактора выбираются исследователем случайно из широкого диапазона значений фактора, и при повторных экспериментах, естественно, этот диапазон будет другим.

Таким образом, данные модели отличаются между собой способом выбора уровней фактора, что, очевидно, в первую очередь влияет на возможность обобщения полученных экспериментальных результатов. Для дисперсионного анализа однофакторных экспериментов различие этих двух моделей не столь существенно, однако в многофакторном дисперсионном анализе оно может оказаться весьма важным.

При проведении дисперсионного анализа должны выполняться следующие статистические допущения: независимо от уровня фактора величины отклика имеют нормальный (Гауссовский) закон распределения и одинаковую дисперсию. Такое равенство дисперсий называется гомогенностью. Таким образом, изменение способа обработки сказывается лишь на положении случайной величины отклика, которое характеризуется средним значением или медианой. Поэтому все наблюдения отклика принадлежат сдвиговому семейству нормальных распределений.

Говорят, что техника дисперсионного анализа является "робастной". Этот термин, используемый статистиками, означает, что данные допущения могут быть в некоторой степени нарушены, но несмотря на это, технику можно использовать.

При неизвестном законе распределения величин отклика используют непараметрические (чаще всего ранговые) методы анализа.

В основе дисперсионного анализа лежит разделение дисперсии на части или компоненты. Вариацию, обусловленную влиянием фактора, положенного в основу группировки, характеризует межгрупповая дисперсия у2. Она является мерой вариации частных средних по группам вокруг общей средней и определяется по формуле:

,

где k - число групп;

nj - число единиц в j-ой группе;

- частная средняя по j-ой группе;

- общая средняя по совокупности единиц.

Вариацию, обусловленную влиянием прочих факторов, характеризует в каждой группе внутригрупповая дисперсия уj2.

.

Между общей дисперсией у02, внутригрупповой дисперсией у2 и межгрупповой дисперсией существует соотношение:

у02 = + у2.



Внутригрупповая дисперсия объясняет влияние неучтенных при группировке факторов, а межгрупповая дисперсия объясняет влияние факторов группировки на среднее значение по группе /2/.

1.2 Однофакторный дисперсионный анализ

Однофакторная дисперсионная модель имеет вид:

x_ij = м + F_j + е_ij, (1)

где х_ij - значение исследуемой переменой, полученной на i-м уровне фактора (i=1,2,...,т) c j-м порядковым номером (j=1,2,...,n);

F_i - эффект, обусловленный влиянием i-го уровня фактора;

е_ij - случайная компонента, или возмущение, вызванное влиянием неконтролируемых факторов, т.е. вариацией переменой внутри отдельного уровня.

Основные предпосылки дисперсионного анализа:

- математическое ожидание возмущения е_ij равно нулю для любых i, т.е.

M(е_ij) = 0; (2)

- возмущения е_ij взаимно независимы;

- дисперсия переменной x_ij (или возмущения е_ij) постоянна для

любых i, j, т.е.

D(е_ij) = у²; (3)

- переменная x_ij (или возмущение е_ij) имеет нормальный закон

распределения N(0;у²).

Влияние уровней фактора может быть как фиксированным или систематическим (модель I), так и случайным (модель II).

Пусть, например, необходимо выяснить, имеются ли существенные различия между партиями изделий по некоторому показателю качества, т.е. проверить влияние на качество одного фактора - партии изделий. Если включить в исследование все партии сырья, то влияние уровня такого фактора систематическое (модель I), а полученные выводы применимы только к тем отдельным партиям, которые привлекались при исследовании. Если же включить только отобранную случайно часть партий, то влияние фактора случайное (модель II). В многофакторных комплексах возможна смешанная модель III, в которой одни факторы имеют случайные уровни, а другие - фиксированные.

Пусть имеется m партий изделий. Из каждой партии отобрано соответственно n₁, n₂, …, n_m изделий (для простоты полагается, что n₁=n₂=...=n_m=n). Значения показателя качества этих изделий представлены в матрице наблюдений:

x₁₁ x₁₂ … x_1n

x₂₁ x₂₂ … x_2n

………………… = (x_ij), (i = 1,2, …, m; j = 1,2, …, n).

x_m1 x_m2 … x_mn

Необходимо проверить существенность влияния партий изделий на их качество.

Если полагать, что элементы строк матрицы наблюдений - это численные значения случайных величин Х₁,Х₂,...,Х_m, выражающих качество изделий и имеющих нормальный закон распределения с математическими ожиданиями соответственно a₁,а₂,...,а_m и одинаковыми дисперсиями у², то данная задача сводится к проверке нулевой гипотезы Н₀: a₁=a₂ =...= а_m, осуществляемой в дисперсионном анализе.

Усреднение по какому-либо индексу обозначено звездочкой (или точкой) вместо индекса, тогда средний показатель качества изделий i-й партии, или групповая средняя для i-го уровня фактора, примет вид:

, (4)

где _i* - среднее значение по столбцам;

_ij - элемент матрицы наблюдений;

n - объем выборки.

А общая средняя:

(5)

Сумма квадратов отклонений наблюдений х_ij от общей средней _** выглядит так:

²=²+²+

+2². (6)

Или

Q = Q₁ + Q₂ + Q₃.



Последнее слагаемое равно нулю

=0. (7)

так как сумма отклонений значений переменной от ее средней равна нулю, т.е.

²=0.

Первое слагаемое можно записать в виде:

В результате получается тождество:

Q = Q₁ + Q₂, (8)

где - общая, или полная, сумма квадратов отклонений;

- сумма квадратов отклонений групповых средних от общей средней, или межгрупповая (факторная) сумма квадратов отклонений;

- сумма квадратов отклонений наблюдений от групповых средних, или внутригрупповая (остаточная) сумма квадратов отклонений.

В разложении (8) заключена основная идея дисперсионного анализа. Применительно к рассматриваемой задаче равенство (8) показывает, что общая вариация показателя качества, измеренная суммой Q, складывается из двух компонент - Q₁ и Q₂, характеризующих изменчивость этого показателя между партиями (Q₁) и изменчивость внутри партий (Q₂), характеризующих одинаковую для всех партий вариацию под воздействием неучтенных факторов.

В дисперсионном анализе анализируются не сами суммы квадратов отклонений, а так называемые средние квадраты, являющиеся несмещенными оценками соответствующих дисперсий, которые получаются делением сумм квадратов отклонений на соответствующее число степеней свободы.

Число степеней свободы определяется как общее число наблюдений минус число связывающих их уравнений.

Поэтому для среднего квадрата s₁², являющегося несмещенной оценкой межгрупповой дисперсии, число степеней свободы k₁=m-1, так как при его расчете используются m групповых средних, связанных между собой одним уравнением (5).

А для среднего квадрата s22, являющегося несмещенной оценкой внутригрупповой дисперсии, число степеней свободы k2=mn-m, т.к. при ее расчете используются все mn наблюдений, связанных между собой m уравнениями (4).

Таким образом:

= Q1/(m-1),

= Q2/(mn-m).



Если найти математические ожидания средних квадратов и , подставить в их формулы выражение xij (1) через параметры модели, то получится:

(9)

т.к. с учетом свойств математического ожидания

а

(10)



Для модели I с фиксированными уровнями фактора F_i(i=1,2,...,m) - величины неслучайные, поэтому

M(S) =² /(m-1) +у².

Гипотеза H₀ примет вид F_i = F_*(i = 1,2,...,m), т.е. влияние всех уровней фактора одно и то же. В случае справедливости этой гипотезы

M(S)= M(S)= у².

Для случайной модели II слагаемое F_i в выражении (1) - величина случайная. Обозначая ее дисперсией

получим из (9)

(11)

и, как и в модели I

M(S)= у².

В таблице 1.1 представлен общий вид вычисления значений, с помощью дисперсионного анализа.



Таблица 1.1 - Базовая таблица дисперсионного анализа

Компоненты дисперсии	Сумма квадратов	Число степеней свободы	Средний квадрат	Математическое ожидание среднего квадрата
Межгрупповая		m-1	= Q1/(m-1)
Внутригрупповая		mn-m	= Q2/(mn-m)	M(S)= у2
Общая		mn-1

Гипотеза H₀ примет вид у_F² =0. В случае справедливости этой гипотезы

M(S)= M(S)= у².

В случае однофакторного комплекса как для модели I, так и модели II средние квадраты S² и S², являются несмещенными и независимыми оценками одной и той же дисперсии у².

Следовательно, проверка нулевой гипотезы H₀ свелась к проверке существенности различия несмещенных выборочных оценок S и S дисперсии у².

Гипотеза H₀ отвергается, если фактически вычисленное значение статистики F = S/S больше критического F_б:K1:K2, определенного на уровне значимости б при числе степеней свободы k₁=m-1 и k₂=mn-m, и принимается, если F < F_б:K1:K2 .

F- распределение Фишера (для x > 0) имеет следующую функцию плотности (для = 1, 2, ...; = 1, 2, ...):



где - степени свободы;

Г - гамма-функция.

Применительно к данной задаче опровержение гипотезы H₀ означает наличие существенных различий в качестве изделий различных партий на рассматриваемом уровне значимости.

Для вычисления сумм квадратов Q₁, Q₂, Q часто бывает удобно использовать следующие формулы:

(12)

(13)

(14)

т.е. сами средние, вообще говоря, находить не обязательно.

Таким образом, процедура однофакторного дисперсионного анализа состоит в проверке гипотезы H₀ о том, что имеется одна группа однородных экспериментальных данных против альтернативы о том, что таких групп больше, чем одна. Под однородностью понимается одинаковость средних значений и дисперсий в любом подмножестве данных. При этом дисперсии могут быть как известны, так и неизвестны заранее. Если имеются основания полагать, что известная или неизвестная дисперсия измерений одинакова по всей совокупности данных, то задача однофакторного дисперсионного анализа сводится к исследованию значимости различия средних в группах данных /1/.

1.3 Многофакторный дисперсионный анализ

Следует сразу же отметить, что принципиальной разницы между многофакторным и однофакторным дисперсионным анализом нет. Многофакторный анализ не меняет общую логику дисперсионного анализа, а лишь несколько усложняет ее, поскольку, кроме учета влияния на зависимую переменную каждого из факторов по отдельности, следует оценивать и их совместное действие. Таким образом, то новое, что вносит в анализ данных многофакторный дисперсионный анализ, касается в основном возможности оценить межфакторное взаимодействие. Тем не менее, по-прежнему остается возможность оценивать влияние каждого фактора в отдельности. В этом смысле процедура многофакторного дисперсионного анализа (в варианте ее компьютерного использования) несомненно более экономична, поскольку всего за один запуск решает сразу две задачи: оценивается влияние каждого из факторов и их взаимодействие /3/.

Общая схема двухфакторного эксперимента, данные которого обрабатываются дисперсионным анализом имеет вид:

Рисунок 1.1 - Схема двухфакторного эксперимента



Данные, подвергаемые многофакторному дисперсионному анализу, часто обозначают в соответствии с количеством факторов и их уровней.

Предположив, что в рассматриваемой задаче о качестве различных m партий изделия изготавливались на разных t станках и требуется выяснить, имеются ли существенные различия в качестве изделий по каждому фактору:

А - партия изделий;

B - станок.

В результате получается переход к задаче двухфакторного дисперсионного анализа.

Все данные представлены в таблице 1.2, в которой по строкам - уровни A_i фактора А, по столбцам -- уровни B_j фактора В, а в соответствующих ячейках, таблицы находятся значения показателя качества изделий x_ijk (i=1,2,...,m; j=1,2,...,l; k=1,2,...,n).

Таблица 1.2 - Показатели качества изделий

	B1	B2	…	Bj	…	Bl
A1	x11l,…,x11k	x12l,…,x12k	…	x1jl,…,x1jk	…	x1ll,…,x1lk
A2	x21l,…,x21k	x22l,…,x22k	…	x2jl,…,x2jk	…	x2ll,…,x2lk
…	…	…	…	…	…	…
Ai	xi1l,…,xi1k	xi2l,…,xi2k	…	xijl,…,xijk	…	xjll,…,xjlk
…	…	…	…	…	…	…
Am	xm1l,…,xm1k	xm2l,…,xm2k	…	xmjl,…,xmjk	…	xmll,…,xmlk

Двухфакторная дисперсионная модель имеет вид:

x_ijk=м+F_i+G_j+I_ij+е_ijk, (15)

где x_ijk - значение наблюдения в ячейке ij с номером k;

м - общая средняя;

F_i - эффект, обусловленный влиянием i-го уровня фактора А;

G_j - эффект, обусловленный влиянием j-го уровня фактора В;

I_ij - эффект, обусловленный взаимодействием двух факторов, т.е. отклонение от средней по наблюдениям в ячейке ij от суммы первых трех слагаемых в модели (15);

е_ijk - возмущение, обусловленное вариацией переменной внутри отдельной ячейки.

Предполагается, что е_ijk имеет нормальный закон распределения N(0; с²), а все математические ожидания F_*, G_*, I_i*, I_*j равны нулю.

Групповые средние находятся по формулам:

- в ячейке:

,

по строке:

по столбцу:

общая средняя:



В таблице 1.3 представлен общий вид вычисления значений, с помощью дисперсионного анализа.

Таблица 1.3 - Базовая таблица дисперсионного анализа

Компоненты дисперсии	Сумма квадратов	Число степеней свободы	Средние квадраты
Межгрупповая (фактор А)		m-1
Межгрупповая (фактор B)		l-1
Взаимодействие		(m-1)(l-1)
Остаточная		mln - ml
Общая		mln - 1

Проверка нулевых гипотез HA, HB, HAB об отсутствии влияния на рассматриваемую переменную факторов А, B и их взаимодействия AB осуществляется сравнением отношений , , (для модели I с фиксированными уровнями факторов) или отношений , , (для случайной модели II) с соответствующими табличными значениями F - критерия Фишера - Снедекора. Для смешанной модели III проверка гипотез относительно факторов с фиксированными уровнями производится также как и в модели II, а факторов со случайными уровнями - как в модели I.

Если n=1, т.е. при одном наблюдении в ячейке, то не все нулевые гипотезы могут быть проверены так как выпадает компонента Q3 из общей суммы квадратов отклонений, а с ней и средний квадрат , так как в этом случае не может быть речи о взаимодействии факторов.

С точки зрения техники вычислений для нахождения сумм квадратов Q₁, Q₂, Q₃, Q₄, Q целесообразнее использовать формулы:

Q₃ = Q - Q₁ - Q₂ - Q₄.

Отклонение от основных предпосылок дисперсионного анализа -- нормальности распределения исследуемой переменной и равенства дисперсий в ячейках (если оно не чрезмерное) -- не сказывается существенно на результатах дисперсионного анализа при равном числе наблюдений в ячейках, но может быть очень чувствительно при неравном их числе. Кроме того, при неравном числе наблюдений в ячейках резко возрастает сложность аппарата дисперсионного анализа. Поэтому рекомендуется планировать схему с равным числом наблюдений в ячейках, а если встречаются недостающие данные, то возмещать их средними значениями других наблюдений в ячейках. При этом, однако, искусственно введенные недостающие данные не следует учитывать при подсчете числа степеней свободы /1/.



2. Применение дисперсионного анализа в различных процессах и исследованиях

2.1 Использование дисперсионного анализа при изучении миграционных процессов

Миграция - сложное социальное явление, во многом определяющее экономическую и политическую стороны жизни общества.

Исследование миграционных процессов связано с выявлением факторов заинтересованности, удовлетворенности условиями труда, и оценкой влияния полученных факторов на межгрупповое движение населения.

л_ij=c_iq_ija_j,

где л_ij - интенсивность переходов из исходной группы i (выхода) в новую j (входа); c_i - возможность и способности покинуть группу i (c_i?0); q_ij - привлекательность новой группы по сравнению с исходной (0?q_ij?1); a_j - доступность группы j (a_j?0).

Если считать численность группы i равной n_i, то оценкой случайной величины н_ij - числа переходов из i в j - будет n_ic_iq_ija_j:

н_ij? n_iл_ij=n_ic_iq_ija_j. (16)

На практике для отдельного человека вероятность p перехода в другую группу мала, а численность рассматриваемой группы n велика.

В этом случае действует закон редких событий, то есть пределом н_ij является распределение Пуассона с параметром м=np:



.

С ростом м распределение приближается к нормальному. Преобразованную же величину vн_ij можно считать нормально распределенной.

Если прологарифмировать выражение (16) и сделать необходимые замены переменных, то можно получить модель дисперсионного анализа:

lnvн_ij=Ѕlnн_ij=Ѕ(lnn_i+lnc_i+lnq_ij+lna_j)+е_ij,

X_i,j=2lnvн_ij-lnn_i-lnq_ij,

C_i=lnc_i,

A_j=lna_j,

X_i,j=C_i+A_j+е.

Значения C_i и A_j позволяют получить модель двухфакторного дисперсионного анализа с одним наблюдением в клетке. Обратным преобразованием из C_i и A_j вычисляются коэффициенты c_i и a_j.

При проведении дисперсионного анализа в качестве значений результативного признака Y следует взять величины:

Y_ij=X_i,j-X,

Х=(Х_1,1+Х_1,2+:+Х_mi,mj)/mimj,

где mimj- оценка математического ожидания Х_i,j;

Х_mi и Х_mj - соответственно количество групп выхода и входа.

Уровнями фактора I будут mi групп выхода, уровнями фактора J - mj групп входа. Предполагается mi=mj=m. Встает задача проверки гипотез H_I и H_J о равенствах математических ожиданий величины Y при уровнях I_i и при уровнях J_j, i,j=1,…,m. Проверка гипотезы H_I основывается на сравнении величин несмещенных оценок дисперсии s_I² и s_o². Если гипотеза H_I верна, то величина F^(I)= s_I ²/s_o² имеет распределение Фишера с числами степеней свободы k₁=m-1 и k₂=(m-1)(m-1). Для заданного уровня значимости б находится правосторонняя критическая точка x_пр,б^кр. Если числовое значение F^(I)_чис величины попадает в интервал (x_пр,б^кр, +?), то гипотеза H_I отвергается и считается, что фактор I влияет на результативный признак. Степень этого влияния по результатам наблюдений измеряется выборочным коэффициентом детерминации, который показывает, какая доля дисперсии результативного признака в выборке обусловлена влиянием на него фактора I. Если же F^(I)_чис<x_пр,б^кр, то гипотеза H_Iне отвергаются и считаются, что влияние фактора I не подтвердилось. Аналогично проверяется гипотеза H_J о влиянии фактора J /4/.

2.2 Снование фасонной пряжи с ровничным эффектом

В Костромском Государственном технологическом университете разработана новая структура фасонной нити с переменными геометрическими параметрами. В связи с этим возникает проблема переработки фасонной пряжи в приготовительном производстве. Данное исследование посвящалось процессу снования по вопросам: выбор типа натяжного устройства, дающего минимальный разброс натяжения и выравнивание натяжения, нитей различной линейной плотности по ширине сновального вала.

Объект исследования - льняная фасонная нить четырех вариантов линейной плотности от 140 до 205 текса. Исследовалась работа натяжных приборов трех типов: фарфорового шайбового, двухзонного НС-1П и однозонного НС-1П. Экспериментальное исследование натяжения снующихся нитей производилось на сновальной машине СП-140-3Л. Скорость снования, масса тормозных шайб соответствовали технологическим параметрам снования пряжи.

Для исследования зависимости натяжения фасонной нити от геометрических параметров при сновании проведен анализ для двух факторов: X₁ - диаметр эффекта, X₂- длина эффекта. Выходными параметрами являются натяжение Y₁ и колебание натяжения Y₂.

Полученные уравнения регрессии адекватны экспериментальным данным при уровне значимости 0,95, так как расчетный критерий Фишера для всех уравнений меньше табличного.

Для определения степени влияния факторов Х₁ и Х₂ на параметры Y₁ и Y₂ проведен дисперсионный анализ, который показал, что большее влияние на уровень и колебание натяжения оказывает диаметр эффекта.

Сравнительный анализ полученных тензограмм показал, что минимальный разброс натяжения при сновании данной пряжи обеспечивает двухзонный натяжной прибор НС-1П.

Установлено, что с ростом линейной плотности от 105 до 205 текс прибор НС-1П дает приращение уровня натяжения лишь на 23%, в то время как фарфоровый шайбовый - на 37 %, однозонный НС-1П на 53 %.

При формировании сновальных валов, включающих в себя фасонные и "гладкие" нити, необходима индивидуальная настройка натяжного прибора традиционным методом



3. Дисперсионный анализ в контексте статистических методов

Статистические методы анализа - это методология измерения результатов деятельности человека, то есть перевода качественных характеристик в количественные.

Основные этапы при проведении статистического анализа:

- содержательный анализ исследуемого объекта, системы или процесса. На этом этапе определяется набор входных и выходных параметров (X₁ ,..., X_p; Y₁ ,..., Y_q);

- составление плана сбора исходных данных - значений входных переменных (X₁,...,X_p), числа наблюдений n. Этот этап выполняется при активном планировании эксперимента .

- получение исходных данных и ввод их в компьютер. На этом этапе формируются массивы чисел (x_1i ,..., x_pi ; y_1i ,..., y_qi), i=1,..., n, где n - объем выборки.

- первичная статистическая обработка данных. На данном этапе формируется статистическое описание рассматриваемых параметров:

а) построение и анализ статистических зависимостей;

б) корреляционный анализ предназначен для оценивания значимости влияния факторов (X₁,...,X_p) на отклик Y;

в) дисперсионный анализ используется для оценивания влияния на отклик Y неколичественных факторов (X₁,...,X_p) с целью выбора среди них наиболее важных;

г) регрессионный анализ предназначен для определения аналитической зависимости отклика Y от количественных факторов X;

- интерпретация результатов в терминах поставленной задачи /13/.

В таблице 3.1 приведены статистические методы, с помощью которых решаются аналитические задачи. В соответствующих ячейках таблицы находятся частоты применения статистических методов:

- метка “-” - метод не применяется;

- метка “+” - метод применяется;

- метка “++” - метод широко применяется;

- метка “+++” - применение метода представляет особый интерес /14/.

Дисперсионный анализ подобно t-критерию Стьюдента, позволяет оценить различия между выборочными средними; однако, в отличие от t-критерия, в нем нет ограничений на количество сравниваемых средних. Таким образом, вместо того, чтобы поставить вопрос о различии двух выборочных средних, можно оценить, различаются ли два, три четыре, пять или k средних.

Дисперсионный анализ позволяет иметь дело с двумя или более независимыми переменными (признаками, факторами) одновременно, оценивая не только эффект каждой из них по отдельности, но и эффекты взаимодействия между ними /15/.

К большинству сложных систем применим принцип Парето, согласно которому 20 % факторов определяют свойства системы на 80 %. Поэтому первоочередной задачей исследователя имитационной модели является отсеивание несущественных факторов, позволяющее уменьшить размерность задачи оптимизации модели.

Анализ дисперсии оценивает отклонение наблюдений от общего среднего. Затем вариация разбивается на части, каждая из которых имеет свою причину. Остаточная часть вариации, которую не удается связать с условиями эксперимента, считается его случайной ошибкой. Для подтверждения значимости используется специальный тест - F-статистика.

Дисперсионный анализ определяет, есть ли эффект. Регрессионный анализ позволяет прогнозировать отклик (значение целевой функции) в некоторой точке пространства параметров. Непосредственной задачей регрессионного анализа является оценка коэффициентов регрессии /16/.

Слишком большая размерность выборок затрудняет проведение статистических анализов, поэтому имеет смысл уменьшить размер выборки.

Применив дисперсионный анализ можно выявить значимость влияния различных факторов на исследуемую переменную. Если влияние фактора окажется несущественным, то этот фактор можно исключить из дальнейшей обработки.

3.1 Векторные авторегрессии

Макроэконометристы должны уметь решать четыре логически отличающиеся задачи:

- описание данных;

- макроэкономический прогноз;

- структурный вывод;

- анализ политики.

Описание данных означает описание свойств одного или нескольких временных рядов и сообщение этих свойств широкому кругу экономистов. Макроэкономический прогноз означает предсказание курса экономики, обычно на два-три года или меньше (главным образом потому, что прогнозировать на более длинные горизонты слишком трудно). Структурный вывод означает проверку того, соответствуют ли макроэкономические данные конкретной экономической теории. Макроэконометрический анализ политики происходит по нескольким направлениям: с одной стороны, оценивается влияние на экономику гипотетического изменения инструментов политики (например налоговой ставки или краткосрочной процентной ставки), с другой стороны, оценивается влияние изменения правил политики (например переход к новому режиму монетарной политики). Эмпирический макроэкономический исследовательский проект может включать одну или несколько из этих четырех задач. Каждая задача должна быть решена таким образом, чтобы были учтены корреляции между рядами по времени.

В 1970-х годах эти задачи решались с использованием разнообразных методов, которые, если оценить их с современных позиций, были неадекватны по нескольким причинам. Чтобы описать динамику отдельного ряда, достаточно было просто использовать одномерные модели временных рядов, а чтобы описать совместную динамику двух рядов - спектральный анализ. Однако отсутствовал общепринятый язык, пригодный для систематического описания совместных динамических свойств нескольких временных рядов. Экономические прогнозы делались либо с использованием упрощенных моделей авторегрессии -- скользящего среднего (ARMA), либо с использованием популярных в то время больших структурных эконометрических моделей. Структурный вывод основывался либо на малых моделях с одним уравнением, либо на больших моделях, идентификация в которых достигалась за счет плохо обоснованных исключающих ограничений, и которые обычно не включали ожидания. Анализ политики на основе структурных моделей зависел от этих идентифицирующих предположений.

Наконец, рост цен в 1970-е годы рассматривался многими как серьезная неудача больших моделей, которые в то время использовались для выработки политических рекомендаций. То есть это было подходящее время для появления новой макроэконометрической конструкции, которая могла бы решить эти многочисленные проблемы.

В 1980 году была создана такая конструкция - векторные авторегрессии (VAR). На первый взгляд, VAR - не более, чем обобщение одномерной авторегрессии на многомерный случай, и каждое уравнение в VAR - не более, чем обычная регрессия по методу наименьших квадратов одной переменной на запаздывающие значения себя и других переменных в VAR. Но этот вроде бы простой инструмент дал возможность систематически и внутренне согласованно уловить богатую динамику многомерных временных рядов, а статистический инструментарий, который сопутствует VAR, оказался удобным и, что очень важно, его было легко интерпретировать.

Выделяют три различных VAR-модели:

- приведенная форма VAR;

- рекурсивная VAR;

- структурная VAR.

Все три являются динамическими линейными моделями, которые связывают текущие и прошлые значения вектора Y_t n-мерного временного ряда. Приведенная форма и рекурсивные VAR - это статистические модели, которые не используют никакие экономические соображения за исключением выбора переменных. Эти VAR используются для описания данных и прогноза. Структурная VAR включает ограничения, полученные из макроэкономической теории, и эта VAR используется для структурного вывода и анализа политики.

Приведенная форма VAR выражает Y_t в виде распределенного лага прошлых значений плюс серийно некоррелированный член ошибки, то есть обобщает одномерную авторегрессию на случай векторов. Математически приведенная форма модели VAR - это система n уравнений, которые можно записать в матричной форме следующим образом:

(17)

дисперсионный миграционный векторный авторегрессия

где - это n l вектор констант;

A₁, A₂, ..., A_p - это n n матрицы коэффициентов;

_t, - это nl вектор серийно некоррелированных ошибок, о которых предполагается, что они имеют среднее ноль и матрицу ковариаций .

Ошибки _t, в (17) - это неожиданная динамика в Y_t, остающаяся после учета линейного распределенного лага прошлых значений.

Оценить параметры приведенной формы VAR легко. Каждое из уравнений содержит одни и те же регрессоры (Y_t-1,...,Y_t-p), и нет взаимных ограничений между уравнениями. Таким образом, эффективная оценка (метод максимального правдоподобия с полной информацией) упрощается до обычного МНК, примененного к каждому из уравнений. Матрицу ковариаций ошибок можно состоятельно оценить выборочной ковариационной матрицей полученных из МНК остатков.

Единственная тонкость - определить длину лага p, но это можно сделать, используя информационный критерий, такой как AIC или BIC.

На уровне матричных уравнений рекурсивная и структурная VAR выглядят одинаково. Эти две модели VAR учитывают в явном виде одновременные взаимодействия между элементами Y_t, что сводится к добавлению одновременного члена к правой части уравнения (17). Соответственно, рекурсивная и структурная VAR обе представляются в следующем общем виде:

(18)

где - вектор констант;

B₀,..., B_p - матрицы;

_t -- ошибки.

Наличие в уравнении матрицы B₀ означает возможность одновременного взаимодействия между n переменными; то есть B₀ позволяет сделать так, чтобы эти переменные, относящиеся к одному моменту времени, определялись совместно.

Рекурсивную VAR можно оценить двумя способами. Рекурсивная структура дает набор рекурсивных уравнений, которые можно оценить с помощью МНК. Эквивалентный способ оценивания заключается в том, что уравнения приведенной формы (17), рассматриваемые как система, умножаются слева на нижнюю треугольную матрицу.

Метод оценивания структурной VAR зависит от того, как именно идентифицирована B₀. Подход с частичной информацией влечет использование методов оценивания для отдельного уравнения, таких как двухшаговый метод наименьших квадратов. Подход с полной информацией влечет использование методов оценивания для нескольких уравнений, таких как трехшаговый метод наименьших квадратов.

Необходимо помнить о множественности различных типов VAR. Приведенная форма VAR единственна. Данному порядку переменных в Y_t соответствует единственная рекурсивная VAR, но всего имеется n! таких порядков, т.е. n! различных рекурсивных VAR. Количество структурных VAR - то есть наборов предположений, которые идентифицируют одновременные взаимосвязи между переменными, - ограничено только изобретательностью исследователя.

Поскольку матрицы оцененных коэффициентов VAR затруднительно интерпретировать непосредственно, результаты оценивания VAR обычно представляют некоторыми функциями этих матриц. К таким статистикам разложения ошибки прогноза.

Разложения дисперсии ошибки прогноза вычисляются в основном для рекурсивных или структурных систем. Такое разложение дисперсии показывает, насколько ошибка в j-м уравнении важна для объяснения неожиданных изменений i-й переменной. Когда ошибки VAR некоррелированы по уравнениям, дисперсию ошибки прогноза на h периодов вперед можно записать как сумму компонентов, являющихся результатом каждой из этих ошибок /17/.



3.2 Факторный анализ

В современной статистике под факторным анализом понимают совокупность методов, которые на основе реально существующих связей признаков (или объектов) позволяют выявлять латентные обобщающие характеристики организационной структуры и механизма развития изучаемых явлений и процессов.

Понятие латентности в определении ключевое. Оно означает неявность характеристик, раскрываемых при помощи методов факторного анализа. Вначале имеется дело с набором элементарных признаков X_j, их взаимодействие предполагает наличие определенных причин, особенных условий, т.е. существование некоторых скрытых факторов. Последние устанавливаются в результате обобщения элементарных признаков и выступают как интегрированные характеристики, или признаки, но более высокого уровня. Естественно, что коррелировать могут не только тривиальные признаки X_j, но и сами наблюдаемые объекты N_i поэтому поиск латентных факторов теоретически возможен как по признаковым, так и по объектным данным.

Если объекты характеризуются достаточно большим числом элементарных признаков (m > 3), то логично и другое предположение - о существовании плотных скоплений точек (признаков) в пространстве n объектов. При этом новые оси обобщают уже не признаки X_j, а объекты n_i, соответственно и латентные факторы F_r будут распознаны по составу наблюдаемых объектов:

F_r = c₁n₁ + c₂n_{2 + ... +} c_Nn_N,

где c_i - вес объекта n_i в факторе F_r.

В зависимости от того, какой из рассмотренных выше тип корреляционной связи - элементарных признаков или наблюдаемых объектов - исследуется в факторном анализе, различают R и Q - технические приемы обработки данных.

Название R-техники носит объемный анализ данных по m признакам, в результате него получают r линейных комбинаций (групп) признаков: F_r=f(X_j), (r=1..m). Анализ по данным о близости (связи) n наблюдаемых объектов называется Q-техникой и позволяет определять r линейных комбинаций (групп) объектов: F=f(n_i), (i = l .. N).

В настоящее время на практике более 90% задач решается при помощи R-техники.

Набор методов факторного анализа в настоящее время достаточно велик, насчитывает десятки различных подходов и приемов обработки данных. Чтобы в исследованиях ориентироваться на правильный выбор методов, необходимо представлять их особенности. Разделим все методы факторного анализа на несколько классификационных групп:

- Метод главных компонент. Строго говоря, его не относят к факторному анализу, хотя он имеет с ним много общего. Специфическим является, во-первых, то, что в ходе вычислительных процедур одновременно получают все главные компоненты и их число первоначально равно числу элементарных признаков. Во-вторых, постулируется возможность полного разложения дисперсии элементарных признаков, другими словами, ее полное объяснение через латентные факторы (обобщенные признаки).

- Методы факторного анализа. Дисперсия элементарных признаков здесь объясняется не в полном объеме, признается, что часть дисперсии остается нераспознанной как характерность. Факторы обычно выделяются последовательно: первый, объясняющий наибольшую долю вариации элементарных признаков, затем второй, объясняющий меньшую, вторую после первого латентного фактора часть дисперсии, третий и т.д. Процесс выделения факторов может быть прерван на любом шаге, если принято решение о достаточности доли объясненной дисперсии элементарных признаков или с учетом интерпретируемости латентных факторов.

Методы факторного анализа целесообразно разделить дополнительно на два класса: упрощенные и современные аппроксимирующие методы.

Простые методы факторного анализа в основном связаны с начальными теоретическими разработками. Они имеют ограниченные возможности в выделении латентных факторов и аппроксимации факторных решений. К ним относятся:

- однофакторная модель. Она позволяет выделить только один генеральный латентный и один характерный факторы. Для возможно существующих других латентных факторов делается предположение об их незначимости;

- бифакторная модель. Допускает влияние на вариацию элементарных признаков не одного, а нескольких латентных факторов (обычно двух) и одного характерного фактора;

- центроидный метод. В нем корреляции между переменными рассматриваются как пучок векторов, а латентный фактор геометрически представляется как уравновешивающий вектор, проходящий через центр этого пучка. : Метод позволяет выделять несколько латентных и характерные факторы, впервые появляется возможность соотносить факторное решение с исходными данными, т.е. в простейшем виде решать задачу аппроксимации.

Современные аппроксимирующие методы часто предполагают, что первое, приближенное решение уже найдено каким либо из способов, последующими шагами это решение оптимизируется. Методы отличаются сложностью вычислений. К этим методам относятся:

- групповой метод. Решение базируется на предварительно отобранных каким-либо образом группах элементарных признаков;

- метод главных факторов. Наиболее близок методу главных компонент, отличие заключается в предположении о существовании характерностей;

- метод максимального правдоподобия, минимальных остатков, а-факторного анализа канонического факторного анализа, все оптимизирующие.

Эти методы позволяют последовательно улучшить предварительно найденные решения на основе использования статистических приемов оценивания случайной величины или статистических критериев, предполагают большой объем трудоемких вычислений. Наиболее перспективным и удобным для работы в этой группе признается метод максимального правдоподобия.

Основной задачей, которую решают разнообразными методами факторного анализа, включая и метод главных компонент, является сжатие информации, переход от множества значений по m элементарным признакам с объемом информации n х m к ограниченному множеству элементов матрицы факторного отображения (m х r) или матрицы значений латентных факторов для каждого наблюдаемого объекта размерностью n х r, причем обычно r < m.

Методы факторного анализа позволяют также визуализировать структуру изучаемых явлений и процессов, а это значит определять их состояние и прогнозировать развитие. Наконец, данные факторного анализа дают основания для идентификации объекта, т.е. решения задачи распознавания образа.

Методы факторного анализа обладают свойствами, весьма привлекательными для их использования в составе других статистических методов, наиболее часто в корреляционно-регрессионном анализе, кластерном анализе, многомерном шкалировании и др. /18/.



3.3 Парная регрессия. Вероятностная природа регрессионных моделей

Если рассмотреть задачу анализа расходов на питание в группах с одинаковыми доходами, например в $10.000(x), то это детерминированная величина. А вот Y - доля этих денег, затрачиваемая на питание - случайна и может меняться от года к году. Поэтому для каждого i-го индивида:

где е_i - случайная ошибка;

б и в - константы (теоретически), хотя могут меняться от модели к модели.

Предпосылки для парной регрессии:

- X и Y связаны линейно;

- Х - неслучайная переменная с фиксированными значениями;

- е - ошибки нормально распределены N(0,у²);

- ;

- .

На рисунке 3.1 представлена модель парной регрессии.



Рисунок 3.1 - Модель парной регрессии

Эти предпосылки описывают классическую линейную регрессионную модель.

Если ошибка имеет ненулевое среднее, исходная модель будет эквивалентна новой модели и другим свободным членом, но с нулевым средним для ошибки.

Если выполняются предпосылки, то МНК оценки и являются эффективными линейными несмещенными оценками

Если обозначить:

то что математическое ожидание и дисперсии коэффициентов и будут следующие:

Ковариация коэффициентов:

Если то и распределены тоже нормально:

Отсюда следует, что:

- Вариация в полностью определяется вариацией е;

- Чем выше дисперсия X - тем лучше оценка в.

Полная дисперсия определяется по формуле:



Дисперсия отклонений в таком виде - несмещенная оценка и называется стандартной ошибкой регрессии. N-2 - может быть интерпретировано как число степеней свободы.

Анализ отклонений от линии регрессии может представить полезную меру того, насколько оцененная регрессия отражает реальные данные. Хорошая регрессия та, которая объясняет значительную долю дисперсии Y и наоборот плохая регрессия не отслеживает большую часть колебаний исходных данных. Интуитивно ясно, что всякая дополнительная информация позволит улучшить модель, то есть уменьшить необъясненную долю вариации Y. Для анализа регрессионной модели проводят разложение дисперсии на составляющие, определяют коэффициент детерминации R².

Отношение двух дисперсий распределено по F-распределению, т. е. если проверить на статистическую значимость отличия дисперсии модели от дисперсии остатков, можно сделать вывод о значимости R².

Проверка гипотезы о равенстве дисперсий этих двух выборок:

Если гипотеза Н₀ (о равенстве дисперсий нескольких выборок) верна, t имеет F-распределение с (m₁,m₂)=(n₁-1,n₂-1) степенями свободы.

Посчитав F - отношение как отношение двух дисперсий и сравнив его с табличным значением, можно сделать вывод о статистической значимости R² /2/, /19/.



Заключение

Современные приложения дисперсионного анализа охватывают широкий круг задач экономики, биологии и техники и трактуются обычно в терминах статистической теории выявления систематических различий между результатами непосредственных измерений, выполненных при тех или иных меняющихся условиях.

Благодаря автоматизации дисперсионного анализа исследователь может проводить различные статистические исследования с применение ЭВМ, затрачивая при этом меньше времени и усилий на расчеты данных. В настоящее время существует множество пакетов прикладных программ, в которых реализован аппарат дисперсионного анализа. Наиболее распространенными являются такие программные продукты как:

- MS Excel;

- Statistica;

- Stadia;

- SPSS.

В современных статистических программных продуктах реализованы большинство статистических методов. С развитием алгоритмических языков программирования стало возможным создавать дополнительные блоки по обработке статистических данных.

...