Теория вероятностей

11. Вариационные ряды распределения

11.1 Понятие и виды вариационных рядов распределения

В реальных социально - экономических системах нельзя проводить активные эксперименты, поэтому данные обычно представляют собой наблюдения за происходящим процессом, например: курс валюты на бирже в течение месяца, урожайность пшеницы в хозяйстве за 30 лет, производительность труда рабочих за смену и т.д. Результаты наблюдений ? это, в общем случае, ряд чисел, расположенных в беспорядке, который для изучения необходимо упорядочить (проранжировать).

Операция, заключенная в расположении значений признака по возрастанию, называется ранжированием данных.

После операции ранжирования опытные данные можно сгруппировать так, чтобы в каждой группе признак принимал одно и то же значение, которое называется вариантом (Xi). Значит вариант - это значение признака у единицы совокупности, отличное от значений его у других единиц. Число элементов в каждой группе называется частотой варианта (ni).

Размахом вариации называется число W=xmax-xmin, где

xmax- наибольший вариант, xmin- наименьший вариант.

Сумма всех частот равна определенному числу n, которое называется объемом совокупности:

. (9.1)

Отношение частоты данного варианта к объему совокупности называется относительной частотой () или частостью этого варианта:

 (9.2)

. (9.3)

Последовательность вариант, расположенных в возрастающем порядке, с соответствующими им частотами или частостями называется вариационным рядом (вариация - изменение).

Вариационные ряды бывают дискретными и непрерывными. Дискретным вариационным рядом называется ранжированная последовательность вариант с соответствующими частотами и (или) частостями.

11.2 Графическое изображение рядов распределения и связь между ними

Графически вариационный ряд по дискретному признаку изображается с помощью полигона и кумуляты .



Построение дискретного вариационного ряда нецелесообразно, если число значений признака велико. В этом случае следует построить интервальный вариационный ряд. Для построения такого ряда промежуток изменения признака разбивается на ряд отдельных интервалов и подсчитывается количество значений величины в каждом из них. Длина каждого интервала может быть одинаковой или разной, обычно прогрессивно возрастающей или прогрессивно убывающей.

Будем считать, что отдельные (частичные) интервалы имеют одну и ту же длину. Число интервалов (k), в случае нормально распределённой совокупности, можно определить по формуле Стерджесса

Графически вариационный ряд с равными интервалами изображается в виде гистограммы или кумуляты накопленных частот.

Гистограмма частот

Гистограммой частот называется фигура, состоящая из прямоугольников с основанием h и высотами ni. Для гистограммы относительных частот в качестве высоты рассматривают ni/n. Гистограмма относительных частот является аналогом дифференциальной функции случайной величины.

11.3 Средняя арифметическая и ее свойства

Вариационные ряды позволяют получить первое представление об изучаемом распределении. Далее необходимо исследовать числовые характеристики распределения: положения (средняя арифметическая, мода, медиана); рассеяния (дисперсия, среднее квадратическое отклонение, коэффициент вариации); меры скошенности (коэффициент асимметрии) и островершинности (эксцесс) распределения.

Средней арифметической () дискретного вариационного ряда называется отношение суммы произведений вариант на соответствующие частоты к объему совокупности:

. (9.6)

Средняя арифметическая имеет те же единицы измерения, что и варианты.

Свойства средней арифметической.

1. Средняя арифметическая суммы соответствующих друг другу значений, принадлежащих двум группам наблюдений, равна алгебраической сумме средних арифметических этих групп:

. (9.7)

2. Если ряд наблюдений состоит из двух непересекающихся групп наблюдений, то средняя арифметическая всего ряда наблюдений равна взвешенной средней арифметической групповых средних и , причём весами являются объёмы групп соответственно

. (9.8)

3. Средняя арифметическая постоянной равна самой постоянной

4. Если все варианты умножить на одно и то же число, то средняя арифметическая увеличится в то же число раз:

. (9.9)

5. Сумма отклонений результатов наблюдений от их средней, взвешенная с соответствующими частотами равна нулю

.

6. Если все варианты увеличить (уменьшить) на одно и то же число, то средняя арифметическая увеличится (уменьшится) на то же число, т.е.:

. (9.10)

7. Если все частоты вариантов умножить на одно и то же число, то средняя арифметическая не изменится.

Модой дискретного вариационного ряда называется вариант, имеющий наибольшую частоту.

Медианой дискретного вариационного ряда называется вариант, делящий ряд на две равные части.

Если дискретный вариационный ряд имеет 2n членов в ранжированной совокупности: х1, х2,…,хn, хn+1,…,x2n, то

. (9.11)

Если дискретный вариационный ряд в ранжированной совокупности имеет 2n+1 членов: х1, х2,…,хn-1, хn, хn+1,…,x2n+1, то

. (9.12)

Для интервальных вариационных рядов имеют место формулы:

а) медианы:

(9.13)

где хМе - начало медианного интервала,

h - длина частичного интервала,

n - объем совокупности,

SМе-1 - накопленная частота интервала, предшествующего медианному,

nМе - частота медианного интервала;

б) моды:

, (9.14)

где хМо - начало модального интервала,

h - длина частичного интервала,

nМо - частота модального интервала,

nМо-1 - частота предмодального интервала,

nМо+1 - частота послемодального интервала;

в) средней арифметической, совпадающей с формулой (3.2.1) для дискретного вариационного ряда, причем в качестве вариант xi принимаются середины соответствующих интервалов.

Мода и медиана используются в качестве характеристики среднего

положения в случае, если границы ряда нечеткие или если ряд не симметричен.

11.4 Дисперсия ряда распределения и ее свойства. Среднее квадратическое отклонение

Показатели центральной тенденции (М0,Ме,) не исчерпывают всех свойств распределения. В одних случаях значения признака концентрируются тесно около среднего значения, в других наблюдается значительное рассеяние.

Для изучения степени изменчивости признака вводят показатели вариации:

- размах вариации W=xmax-xmin. (9.15)

- дисперсия дискретного ряда распределения

(9.16)

характеризует средний квадрат отклонения хi от .

Среднее квадратическое отклонение дискретного ряда распределения:

, (9.17)

выражается в тех же единицах, что и хi.

Среднее линейное отклонение:

. (9.18)

Коэффициент вариации:

, (9.1.9)

характеризует относительное значение среднего квадратического отклонения и обычно служит для сравнения колеблемости несоизмеримых показателей.

Свойства дисперсии:

1.Дисперсия постоянной величины равна 0

D*(C)=0.

2.Если все результаты наблюдений увеличить (уменьшить) на одно и то же число С, то дисперсия и среднее квадратическое отклонение не изменятся, т.е.

, (9.20)

3.Если все результаты наблюдений умножить на одно и то же число, то имеет место равенство:

, (9.21)

4.Если все частоты вариантов умножить на одно и то же число, то дисперсия и среднее квадратическое отклонение не изменятся.

5.Свойство минимальности дисперсии.

при

Следствие 1. Средний квадрат отклонений значений xi от их средней арифметической равен среднему квадрату отклонений xi от произвольной постоянной а минус квадрат разности между средней арифметической () и этой произвольной постоянной.

Пусть , тогда

. (9.22)

Следствие 2. Дисперсия равна средней арифметической из квадратов значений признака минус квадрат средней арифметической

.

6.Правило сложения дисперсий. Если объединяются несколько распределений в одно, то общая дисперсия у0*2 нового распределения равна средней арифметической из дисперсий объединяемых распределений, сложенной с дисперсией частных средних относительно общей средней нового распределения. Или, иначе говоря, общая дисперсия равна сумме внутригрупповой и межгрупповой дисперсий :

(9.23)

где nij - частота j-го варианта i-го частного распределения (j=1,…, m; i=1,2,…, к)

xij - j-й вариант i-го частного распределения (j=1,…, m; i=1,2,…, к),

ni - объем i-го частного распределения,

- частота j-го варианта нового распределения,

- объем нового распределения,

средняя ариф. i-го частного распределения, (i=1,...,к),

средняя арифметическая нового распределения,

дисперсия i-го частного распределения,

внутригрупповая дисперсия,

- межгрупповая дисперсия.

11.5 Моменты ряда распределения и связь между ними

Моменты для вариационных рядов в математической статистике находятся по формулам, аналогичным формулам

- начальный момент s - го порядка,

- центральный момент s - го порядка,

- основной момент s - го порядка,

основной момент порядка s,h.

Соотношения между начальными и центральными моментами в математической статистике соответствуют формулам (2.7.8).

Коэффициент асимметрии:

. (9.24)

Эксцесс: . (9.25)

Рассчитаем среднюю арифметическую, дисперсию, коэффициенты асимметрии и эксцесса для примера 3.1.2. Построим вспомогательную таблицу (табл. 5).

12. Выборочный метод

12.1 Генеральная и выборочная совокупность

Вся подлежащая исследованию совокупность объектов называется генеральной совокупностью. В реальных условиях обычно бывает трудно или экономически нецелесообразно, а иногда и невозможно, исследовать всю совокупность, характеризующую изучаемый признак. Поэтому на практике широко применяется выборочное наблюдение, когда обследуется часть генеральной совокупности. Эта отобранная часть и подлежащая изучению называется выборочной совокупностью. Чтобы по результатам выборки можно было достаточно точно судить о параметрах генеральной совокупности она должна формироваться случайным образом. При этом достигается равная вероятность попадания каждой единицы генеральной совокупности в выборку. Свойства (закон распределения и его параметры) генеральной совокупности неизвестны, поэтому возникает задача их оценки по выборке. Для получения хороших оценок характеристик генеральной совокупности необходимо, чтобы выборка была репрезентативной (представительной). Репрезентативная выборка хорошо воспроизводит генеральную совокупность. При проведении выборки возможны ошибки регистрации и репрезентативности. Ошибки регистрации - это неточности ,возникающие при получении данных от каждой единицы совокупности. Ошибки репрезентативности - это расхождения между характеристиками генеральной и выборочной совокупности.

Различают 5 основных типов выборок.

1) Собственно-случайная:

а) повторная (элементы после выбора возвращаются обратно);

б) бесповторная (выбранные элементы не возвращаются).

2) Типическая - генеральная совокупность предварительно разбивается на группы типических элементов, и выборка осуществляется из каждой. Следует различать:

а) равномерные выборки (при равенстве объемов исходных групп в генеральной совокупности выбирается одинаковое количество элементов из каждой);

б) пропорциональные (численность выборок формируют пропорционально численностям или средним квадратическим отклонениям групп генеральной совокупности);

в) комбинированные (численность выборок пропорциональна и средним квадратическим отклонениям, и численностям групп генеральной совокупности).

3) Механическая - отбор элементов проводится через определенный интервал.

4) Серийная - отбор проводится не по одному элементу, а сериями для проведения сплошного обследования.

5) Комбинированная - используются различные комбинации вышеуказанных методов, например, типическая выборка сочетается с механической и собственно случайной.

После осуществления выборки возникает задача оценки числовых характеристик генеральной совокупности по элементам выборочной совокупности.

12.2 Статистические оценки выборочной совокупности и их свойства.

Важнейшей задачей выборочного метода является оценка параметров генеральной совокупности по данным выборки.

Пусть- выборочная характеристика, вычисленная по результатам n наблюдений величины Х, используемая в качестве оценки - характеристики генеральной совокупности (в качестве может быть M(X), D(X) и т.д.).

Качество оценки устанавливается по трем свойствам: состоятельность, несмещенность, эффективность.

1. Состоятельность. Оценка является состоятельной оценкой генеральной характеристики , если для любого е > 0 выполняется следующее равенство

Это означает, что при увеличении объема выборки n выборочная характеристика .

2. Несмещенность. Оценка генеральной характеристики называется несмещенной, если для любого фиксированного числа наблюдений n выполняется равенство .

3. Эффективность. Несмещенная оценка генеральной характеристики называется несмещенной эффективной, если среди всех подобных оценок той же характеристики она имеет наименьшую дисперсию:

Можно показать, что статистики являются состоятельными, несмещенными и эффективными характеристиками математического ожидания M(X) и вероятности р соответственно.

Выборочная дисперсия(далее по тексту ) не обладает свойством несмещенности. На практике используют исправленную выборочную дисперсию S2, которая является несмещенной оценкой дисперсии генеральной совокупности:

(10.1)

S - стандартное отклонение.

Кроме того, в расчётах используют стандартную ошибку выборки:

(10.2)

12.3 Точечные и интервальные оценки

Различают точечные и интервальные оценки.

Точечная оценка характеристики генеральной совокупности - это число, определяемое по выборке. Точечные оценки получают обычно с помощью метода моментов и метода максимального правдоподобия.

Интервальной называют оценку, которая определяется двумя числами- границами интервала. Она позволяет ответить на вопрос: внутри какого интервала и с какой вероятностью находится неизвестное значение оцениваемого параметра генеральной совокупности.

Пусть точечная оценка параметра Чем меньше разность и тем точнее и лучше оценка. Обычно говорят о доверительной вероятности (надежности оценки) p=1-, с которой будет находиться в интервале , где: Д(Д >0) -предельная ошибка выборки, которая может быть либо задана наперёд, либо вычислена; б - риск или уровень значимости (вероятность того, что неравенство будет неверным). Оценка указанного доверительного интервала может быть получена (с наименьшей вероятностью) с помощью неравенства Чебышева (при ). В качестве принимают значения 0,90; 0,95; 0,99; 0,999. Доверительная вероятность показывает, что в

(1-б)100% случаев оценка будет накрываться указанным интервалом.

Точечная оценка вероятности pi определяется как относительная частота:

. (10.4)

12.4 Определение необходимой численности выборки.

Для построения доверительного интервала параметра a - математического ожидания нормального распределения составляют выборочную характеристику (статистику), функционально зависимую от наблюдений и связанную с a, например, для повторного отбора:

. (10.5)

Статистика u распределена по нормальному закону распределения с математическим ожиданием a = 0 и средним квадратическим отклонением =1. Отсюда,

где Ф ? функция Лапласа, uб/2 ? квантиль нормального закона распределения, соответствующая уровню значимости . Доверительный интервал для параметра а:

< a <, (10.6)

где - предельная ошибка выборочной средней.

Формулы предельной ошибки и необходимого объема выборки

для различных способов отбора В таблице:

1) t - квантиль распределения, соответствующая уровню значимости ,

а) при n30

t=u/2 - квантиль нормального закона распределения (прил.1),

б) при n<30 t - квантиль распределения Стьюдента с н=n-1 степенями свободы для двусторонней области (прил.3);

2) 2 - выборочная дисперсия,

а) при n30

,

б) при n<30 вместо 2 берут

;

3) pq - дисперсия относительной частоты в схеме повторных независимых испытаний;

4) N - объем генеральной совокупности;

5) n - объем выборки;

6) - средняя арифметическая групповых дисперсий (внутригрупповая дисперсия);

Выборка	Собственно-случайная	Типическая	Серийная
	Повтор.	бесповторная	Повтор	бесповторная	Повтор.	Бесповторная
Предельная ошибка,	средней,
	доли,
Необходимая численность, n	средней,
	доли,

7) - средняя арифметическая дисперсий групповых долей;

8) 2м.с. - межсерийная дисперсия;

9) pqм.с.- межсерийная дисперсия доли;

10) Nc - число серий в генеральной совокупности;11) nc - число отобранных серий (объем выборки);12) - предельная ошибка выборки ( или ).

13. Проверка статистических гипотез

13.1 Понятие и виды статистических гипотез

Статистической гипотезой называется всякое высказывание о генеральной совокупности, проверяемое по выборке. Статистические гипотезы делятся на:

Параметрические - это гипотезы, сформулированные относительно параметров (среднего значения, дисперсии и т.д.) распределения известного вида;

Непараметрические - это гипотезы, сформулированные относительно вида распределения (например, определение по выборке степени нормальности генеральной совокупности).

Процесс использования выборки для проверки гипотезы называется статистическим доказательством. Основную выдвигаемую гипотезу называют нулевой H0. Наряду с нулевой гипотезой рассматривают ей альтернативную H1. Например, H0: M(х)=1, математическое ожидание генеральной совокупности равно 1; H1: M(х)>1, или M(х)<1, или M(х)1 (математическое ожидание больше 1, или меньше 1, или не равно 1).

Выбор между гипотезами H0 и H1 может сопровождаться ошибками двух родов. Ошибка первого рода б означает вероятность принятия H1, если верна гипотеза H0:. Ошибка второго рода означает вероятность принятия H0, если верна гипотеза H1: . Существует правильное решение двух видов:

и .

Ошибки первого и второго рода

Принятая гипотеза	Н0	Н1
H0 - верна	P(Н0/Н0)=1-	P(Н1/Н0)=
H0 - неверна	P(Н0/Н1)=	P(Н1/Н1)=1-

Правило, по которому принимается решение о том, что верна или не верна гипотеза Н0, называется критерием, где:

=P(Н1/Н0) - уровень значимости критерия;

M=1-=P(Н1/Н1) - мощность критерия.

13.2 Статистический критерий проверки гипотез

Статистическим критерием K называют случайную величину, с помощью которой принимают решение о принятии или отклонении Н0.

Замечание. Для проверки параметрических гипотез используют критерии значимости, основанные на статистиках: u, ч2, t, F (приложения 5-7). Непараметрические гипотезы проверяют с помощью критериев согласия, использующих статистики распределений: , Колмогорова-Смирнова [1, 2, 6, 10] и т.д.

Например, Н0: М(х)=10. В зависимости от альтернативной гипотезы рассматривают три случая.

В этом случае рассматривают двустороннюю критическую область и используют дифференциальную функцию f (K/H0), для определения соответствующих квантилей (границ области принятия гипотезы - левой (К1-/2) и правой (К/2)). Площадь под криволинейной трапецией дифференциальной функции слева от К1-/2 и справа от К/2 равна /2.

Общая площадь ограниченная криволинейной трапецией дифференциальной функции, квантилями и осью абсцисс равна (1 - б) (рис. 27):

(11.1)

2. Если то рассматривается правосторонняя критическая область (площадь под криволинейной трапецией справа от К равна ) (рис. 28):

(11.2)

Алгоритм проверки статистических гипотез состоит из следующих этапов:

Располагая выборочными данными (), формируют нулевую гипотезуи конкурирующую гипотезу Н1.

Задают уровень значимости б (обычно принимают б =0,1; 0,01; 0,05; 0,001).

Рассматривается выборочная статистика наблюдений (критерий) К, обычно одна из перечисленных ниже:

u - нормальное распределение;

ч2- распределение Пирсона (хи - квадрат);

t - распределение Стьюдента;

F - распределение Фишера - Снедекора.

4. На основании выборки - определяют значение критерия (статистики) К (приложения 5-7). В зависимости от вида альтернативной гипотезы выбирают по соответствующей таблице квантили критерия для двусторонней или односторонней области (К1- или К) (приложения 1-4). Если значения критерия попадают в критическую область, то H0 отвергается; в противном случае принимается гипотеза H0 и считается, что Н0 не противоречит выборочным данным (при этом существует возможность ошибки с вероятностью равной ).

Следует отметить, что возможность принятия гипотезы происходит из принципа невозможности наступления маловероятных событий. Те же события, вероятность которых близка к 1, принимаются за достоверные. Возникает проблема выбора уровня риска (уровня значимости ).

В одних случаях возможно пренебрегать событиями р<0,05, в других нельзя пренебрегать событиями, которые могут появиться с р=0,001 (разрушение сооружений, транспортных средств и т.д.).

13.3 Проверка гипотез о равенстве средних. Критерии согласия

Пусть требуется проверить нулевую гипотезу о нормальном законе распределения случайной величины. Уровень значимости принять =0,001 .

Обычно точные параметры гипотетического нормального закона нам неизвестны, поэтому нулевую гипотезу (Н0) словесно можно сформулировать следующим образом: F(х) является функцией нормального распределения с параметрами М(X) =а = и D(X) = .

Для проверки этой нулевой гипотезы найдем точечные оценки математического ожидания и среднего квадратического отклонения нормально распределенной случайной величины:

: (11.4)

При проверке гипотезы о нормальном распределении генеральной совокупности сравниваются эмпирические (наблюдаемые) и теоретические (вычисленные в предположении нормальности распределения) частоты. Для этого используются статистика 2 - Пирсона с =k-r-1 степенями свободы (k - число групп, r - число оцениваемых параметров, в настоящем примере оценивались математическое ожидание и среднее квадратическое отклонение, следовательно, r = 2). Если 2расч. 2кр., то нулевая гипотеза отвергается и считается, что предположение о нормальности распределения не согласуется с опытными данными. В противном случае (2расч. < 2кр.) нулевая гипотеза принимается.

Вычисляются теоретические вероятности рi, попадания СВ ХN в частичные интервалы [xi-1; xi) по формуле:

, (i=1,2,...,k), (11.5)

. (11.6)

Применение критерия 2, для проверки гипотезы о нормальности распределения предполагает наличие в каждом частичном интервале не менее пяти единиц, в противном случае желательно объединять эти интервалы с соседними.

Проверка гипотезы о принадлежности СВ показательному, биномиальному, пуассоновскому или другому распределению основывается на применении в описанном алгоритме соответствующих интегральных функций.

По таблице квантилей 2-распределения , при заданном уровне значимости и числе степеней свободы =k-r-1 находится критическое значение, которое сравнивается с фактически наблюдаемым значением. Если 2расч.< 2кр. , то нет оснований для отклонения нулевой гипотезы о нормальном законе распределения.

Пример. Из нормальной генеральной совокупности сельскохозяйственных предприятий, рассматриваемых по показателю урожайности пшеницы, с известным средним квадратическим отклонением =9,4 и генеральной средней =38,1, извлечена выборка объема n=50. По ней найдена выборочная средняя =42. Требуется при уровне значимости =0,05 проверить нулевую гипотезу Н0:

а) , при конкурирующей гипотезе Н1: 38,1;

б) , при конкурирующей гипотезе Н1: <38,1;

в) , при конкурирующей гипотезе Н1: >38,1.

Решение. Необходимо рассмотреть критерий К=u, где

(11.7)

а) По условию конкурирующая гипотеза имеет вид 38,1, поэтому критическая область двусторонняя. Найдем критическую точку из равенства Ф(uкр.,/2)=(1-)/2=(1-0,05)/2=0,475. Согласно приложения 1: uкр.=1,96.

, поэтому следует отклонить нулевую гипотезу, то есть выборочная и гипотетическая генеральная средняя статистически различаются значимо.

б) По условию конкурирующая гипотеза имеет вид <38,1, поэтому критическая область левосторонняя. Найдем критическую точку из равенства Ф(uкр.,)=(1-2)/2=(1-0,1)/2=0,45. Согласно приложения 1: uкр.= -1,65. uрасч. > uкр., поэтому следует принять нулевую гипотезу Н0, то есть выборочная и гипотетическая генеральная средняя статистически различаются не значимо.

в) По условию конкурирующая гипотеза имеет вид >38,1, поэтому критическая область правосторонняя. Найдем критическую точку из равенства

Ф(uкр.,)=(1-2)/2=(1-0,1)/2=0,45

Согласно приложения 1: uкр.=+1,65. uрасч. > uкр.. поэтому следует отклонить нулевую гипотезу Н0, то есть выборочная и гипотетическая генеральная средняя статистически различаются значимо.

Пример. Оценить существенность различий в средней урожайности двух сортов озимой пшеницы, если для первого сорта средняя урожайность ц/га и выборочная дисперсия , а для второго сорта средняя урожайность и выборочная дисперсия . Объемы выборок n1=5 и n2=5 соответственно.

Решение. Выдвигаем нулевую гипотезу о том, что средние урожайности двух сортов пшеницы не отличаются друг от друга, т.е. , при альтернативной гипотезе -урожайности существенно различны.

Примем уровень значимости .Так как выборки независимы, причем ,то применим критерий t - Стьюдента с степенями свободы.

. (11.8)

Критическое значение t-распределения: ,при числе степеней свободы .

Так как tрасч. > tкр , то нулевую гипотезу следует отклонить. Следовательно, два сорта пшеницы отличаются статистически значимо по величине урожайности.

Если проверяется нулевая гипотеза о равенстве двух выборочных средних (), при конкурирующей гипотезе ( уровень значимости принять равным 0,05), то используется критерий t - Стьюдента с

степенями свободы:

. (11.9)

Пример. Два сорта озимой пшеницы испытывались на одинаковом числе участков на протяжении семи лет (табл.8).

При уровне значимости проверить нулевую гипотезу о существенности различий в урожайности двух сортов озимой пшеницы.

Решение. Так как имеются две зависимости выборки, т.е. существует определенная корреляция между урожайностью сортов по годам, то необходимо оценить значимость не разности двух выборочных средних, а средней разности.

Выдвигаем нулевую гипотезу: средняя величина различий в урожайности пшеницы равна нулю, при .

Вспомогательная таблица для расчета ошибки средней разности

Год	Урожайность, ц/га	Разность
	х2i	x1i
1995	46	53	6	1	1
1996	48	43	5	0	0
1997	46	45	-1	-6	36
1998	51	56	5	0	0
1999	52	58	6	1	1
2000	48	55	7	2	4
2001	52	59	7	2	4
Сумма			35	0	40

По данным таблицы найдем среднюю разность и ошибку средней разности :

; ; ,

где

n - число пар наблюдений.

При =0,05; k=n-1=7-1=6, tкр.=2,45

Сопоставив расчётное значение t с критическим, можно сделать вывод, что два сорта существенно различаются по уровню урожайности.

14. Дисперсионный анализ

14.1 Понятие и модели дисперсионного анализа

Дисперсионный анализ, как метод исследования, появился в работах Р. Фишера (1918-1935 гг.) в связи с исследованиями в сельском хозяйстве для выявления условий, при которых испытываемый сорт с/х культуры даёт максимальный урожай. дальнейшее развитие дисперсионный анализ получил в работах Йеитса. Дисперсионный анализ позволяет ответить на вопрос о наличии существенного влияния некоторых факторов на изменчивость фактора, значения которого могут быть получены в результате опыта. При проверке статистических гипотез предполагается случайность вариации изучаемых факторов. В дисперсионном анализе один или несколько факторов изменяются заданным образом, причём, эти изменения могут влиять на результаты наблюдений. Исследование такого влияния и является целью дисперсионного анализа.

В настоящее время наблюдается все более широкое использование дисперсионного анализа в экономике, социологии, биологии и др., особенно, после появления программных средств, снявших проблемы громоздкости статистических вычислений.

В практической деятельности, в различных областях науки мы часто сталкиваемся с необходимостью оценить влияние различных факторов на те или иные показатели. Часто эти факторы имеют качественный характер (например, качественным фактором, влияющим на экономический эффект, может быть введение новой системы управления производством) и тогда дисперсионный анализ приобретает особую ценность, так как становится единственным статистическим способом исследования, дающим такую оценку.

Дисперсионный анализ дает возможность установить, существенное ли влияние оказывает тот или иной из рассматриваемых факторов на изменчивость признака, а также определить количественно «удельный вес» каждого из источников изменчивости в их общей совокупности. Но дисперсионный анализ позволяет дать положительный ответ лишь о наличии существенного влияния, в противном случае вопрос остается открытым и требует дополнительных исследований (чаще всего - увеличения числа опытов).

В дисперсионном анализе используются следующие термины.

Фактор (Х) - то, что как мы считаем, должно оказывать влияние на результат (результативный признак) Y.

Уровень фактора (или способ обработки, иногда буквально, например - способ обработки почвы) - значения (Х, i = 1,2,…I), которые может принимать фактор.

Отклик - значение измеряемого признака (величина результата Y).

Техника дисперсионного анализа меняется в зависимости от числа изучаемых независимых факторов. Если факторы, вызывающие изменчивость среднего значения признака, принадлежат одному источнику, то мы имеем простую группировку, или однофакторный дисперсионный анализ и далее, соответственно, двойная группировка - двухфакторный дисперсионный анализ, трехфакторный дисперсионный анализ,…, m- факторный. Факторы в многофакторном анализе принято обозначать латинскими буквами: А, В, С и т.д.

Задача дисперсионного анализа - исследование влияния тех или иных факторов (или уровней факторов) на изменчивость средних значений наблюдаемых случайных величин.

Сущность дисперсионного анализа. Дисперсионный анализ состоит в выделении и оценке отдельных факторов, вызывающих изменчивость. С этой целью производят разложение общей дисперсии наблюдаемой частичной совокупности (общей дисперсии признака), вызванной всеми источниками изменчивости, на составляющие дисперсии, порожденные независимыми факторами. Каждая из этих составляющих дает оценку дисперсии , ,…, вызванную конкретным источником изменчивости, в общей совокупности. Для проверки значимости этих составляющих оценок дисперсии их сравнивают с общей дисперсией в общей совокупности (по критерию Фишера).

Например, в двухфакторном анализе мы получим разложение вида:

, (12.1)

где

- общая дисперсия изучаемого признака C;

- доля дисперсии, вызванная влиянием фактора А;

- доля дисперсии, вызванная влиянием фактора В;

- доля дисперсии, вызванная взаимодействием факторов А и В;

- доля дисперсии, вызванная неучтёнными случайными причинами (случайная дисперсия);

В дисперсионном анализе рассматривается гипотеза: Н0 - ни один из рассматриваемых факторов не оказывает влияния на изменчивость признака. Значимость каждой из оценок дисперсии проверяется по величине её отношения к оценке случайной дисперсии и сравнивается с соответствующим критическим значением, при уровне значимости , с помощью таблиц критических значений F-распределения Фишера-Снедекора (прил.4). Гипотеза Н0 относительно того или иного источника изменчивости отвергается, если Fрасч.>Fкр. (например, для фактора В: SB2/Sе2 >Fкр. ).

В дисперсионном анализе рассматриваются эксперименты 3-х видов:

а) эксперименты, в которых все факторы имеют систематические (фиксированные) уровни;

б) эксперименты, в которых все факторы имеют случайные уровни;

в) эксперименты, в которых есть факторы, имеющие случайные уровни, а так же факторы, имеющие фиксированные уровни.

Случаи а), б), в) соответствуют трем моделям, которые рассматриваются в дисперсионном анализе.

Исходные данные для дисперсионного анализа обычно представляются в виде следующей табдицы:

Номер наблюдения j	Уровни фактора
	А1	А2	…	Ар
1	X11	X21	…	Xp1
2	X12	X22	…	Xp2
3	X13	X23	…	Xp3
.	.	.	…	…
.	.	.	…	…
.	.	.	…	…
n	X1n	X2n	…	Xpn
ИТОГИ

Рассмотрим единичный фактор, который принимает р различных уровней, и предположим, что на каждом уровне сделано n наблюдений, что дает N=np наблюдений. (Ограничимся рассмотрением первой модели дисперсионного анализа - все факторы имеют фиксированные уровни.)

Пусть результаты представлены в виде Xij (i=1,2…,р; j=1,2,…,n).

Предполагается, что для каждого уровня n наблюдений имеется средняя, которая равна сумме общей средней и ее вариации обусловленной выбранным уровнем:

, (12.2)

где - общая средняя;

Ai - эффект, обусловленный i - м уровнем фактора;

ij - вариация результатов внутри отдельного уровня фактора. С помощью члена ij принимаются в расчет все неконтролируемые факторы .

Пусть наблюдения на фиксированном уровне фактора нормально распределены относительно среднего значения + Ai с общей дисперсией 2.

Тогда (точка вместо индекса обозначает усреднения соответствующих наблюдений по этому индексу):

А.Xij - X.. = (Xi. - X..) + (Xij - Xi.). (12.3)

После возведения обеих частей уравнения в квадрат и суммирования по i и j получим:

,

так как , но

Иначе сумму квадратов можно записать: S = S1 + S2 . Величина S1 вычисляется по отклонениям p средних от общей средней X.., поэтому S1 имеет (p-1) степеней свободы. Величина S2 вычисляется по отклонениям N наблюдений от р выборочных средних и, следовательно, имеет N-р = np - p=p(n-1) степеней свободы. S имеет (N-1) степеней свободы. По результатам вычислений строится таблица дисперсионного анализа .

Таблица дисперсионного анализа

Источник изменчивости	Суммы квадратов (SS)	Степени свободы (df)	Средние квадраты (MS)
Различия между уровнями		p-1
Различия внутри уровней		N-p
Сумма		N-1

Если гипотеза о том, что влияние всех уровней одинаково, справедлива, то обе величины М1 и М2 (средние квадраты) будут несмещенными оценками 2. Значит, гипотезу можно проверить, вычислив отношение (М1/М2) и сравнив его с Fкр. с н1= (р-1) и н2 = (N-p) степенями свободы .

Если Fрасч.>Fкр., то гипотеза о незначимом влиянии фактора А на результат наблюдений не принимается.

Для оценки существенности различий при Fрасч. Fтабл. вычисляют:

а) ошибку опыта

(12.4)

б) ошибку разности средних

(12.5)

в) наименьшую существенную разность

(12.6)

Сравнивая разность средних значений по вариантам с НСР, делают вывод о существенности различий в уровне средних.

Замечание. Применение дисперсионного анализа предполагает, что:

1) М(еij)=0,

2) D(еij)=у2= const,

3) еij > N (0, у ) или xij> N (a, у ).

14.2 Однофакторный дисперсионный анализ

Рассмотрим несколько наиболее распространенных вариантов эксперимента, организуемого для проведения дисперсионного анализа: однофакторный, двухфакторный и трехфакторный анализ с разным числом уровней факторов и разным числом опытов на каждом уровне.

Однофакторный эксперимент (один фактор А)

Значения измеряемого признака - Х.

1.Эксперимент на двух уровнях, i =1,2 (рис а):

- без повторных опытов, m = 1;

- c повторными опытами, одинаковое число опытов на каждом уровне,

m = 1,2,…,n.

- c повторными опытами, разное число опытов на каждом уровне

m = 1,2,…,n.

2.Эксперимент на нескольких уровнях, i =1,2,…,a (рис.б):

- без повторных опытов, m = 1;

- c повторными опытами, одинаковое число опытов на каждом уровне

m = 1,2,…,n;

- c повторными опытами, разное число опытов на каждом уровне

m = 1,2,…, n.

Таблица представляет исходные данные однофакторного эксперимента на двух уровнях с одинаковым числом повторных опытов. Число групп (H) равно числу уровней: A, A; i=1,2.

Данные для однофакторного анализа, равное число опытов

Уровни (группы)	Результаты опытов: X, m = 1,2,…n
	X	…	X	…	X
A	X	…	X	…	X
A	X	…	X	…	X

15. Понятие о многофакторном дисперсионном анализе

Двухфакторный эксперимент (факторы А и В)

Значения измеряемого признака - Х.

Эксперимент на нескольких уровнях, i =1,2,…,a; j = 1,2,…,b:

- без повторных опытов, m = 1;

- c повторными опытами, одинаковое число опытов на каждом ij- уровне, m = 1,2,…,n;

- c повторными опытами, разное число опытов на каждом ij-уровне, m = 1,2

Данные для двухфакторного анализа на двух уровнях, разное число опытов

№ строки (группы)	Сочетания уровней А В	Результаты опытов: Х; m = 1,2,…n
		X	…	X	…	X	X
1	1; 1	X	…	X	…	X	X
2	1; 2	X	…	X	_	_	_
3	2; 1	X	…	X	…	X	X
4	2; 2	X	…	X	…	X	_

Данные для двухфакторного анализа на нескольких уровнях, равное число опытов

№ строки	Сочетания уровней А В	Наблюденные значения признака в группах, X
		1-й опыт	…	m- опыт	…	n-опыт
1	1; 1	X	…	X	…	X
2	1; 2	X	…	X	…	X
…	…	…	…	…	…	…
ij	i; j	X	…	X	…	X
…	…	…	…	…	…	…
H	а; b	X	…	X	…	X

Число групп (H) равно числу перестановок уровней: ij = 1,2,…,H

Модель однофакторного дисперсионного анализа.

Основное уравнение дисперсионного анализа:

SS = SS+ SSе (12.7)

Одинаковое число повторных опытов (m = 1,2,…,n):

SS = (12.8)

где SS - общая сумма квадратов разностей наблюдений и их среднего значения;

SS= n (12.9)

где SS - сумма квадратов между группами (вклад в общую сумму квадратов, обусловленный различиями в уровнях фактора А);

SS= , (12.10)

где SS - сумма квадратов внутри групп - остаток, вклад в общую сумму квадратов, вызванный случайной изменчивостью данных внутри групп (или сумма квадратов случайных эффектов - ошибка опыта).

= , (12.11)

где - общее среднее, N = an - общее число опытов;

= , (12.12)

где - среднее значение на i уровне фактора А.

Разное число повторных опытов (m =1,2,…,n):

SS =; SS=; SS= ; (12.13)

= ; N = ; = (12.14)

Оценки дисперсий и определение числа степеней свободы

S=

оценка общей дисперсии; н = N - 1 - число степеней свободы при определении общей дисперсии;

S =

 оценка дисперсии по уровням фактора А; н= a -1 - число степеней свободы фактора А;

S=

остаточная оценка дисперсии (дисперсия ошибки);

н = N - a

число степеней свободы при определении ошибки.

н = н+ н = N - 1 = ( a -1) + (N - a) (12.15)

Проверка H- гипотезы

Расчетное значение критерия:

F = . (12.16)

Критическое значение F определяется по прил.4 при б, н = н и н = н. Если

F F при б , н, н, (12.16)

то гипотеза H- принимается. В противном случае - отклоняется.

Двухфакторный дисперсионный анализ. Факторы А и В

Основное уравнение двухфакторного дисперсионного анализа

SS = SS+ SS+ SS+ SS (12.17)

Одинаковое число повторных опытов (m = 1,2,…,n):

SS = , (12.18)

где SS - общая сумма квадратов разностей наблюдений и их среднего значения (сумма квадратов общих эффектов);

SS= bn, (12.19)

где SS - вклад в общую сумму квадратов, обусловленный различиями в уровнях фактора А, или взвешенная сумма квадратов эффектов фактора А (сумма квадратов между группами);

SS = an, (12.20)

где SS - взвешенная сумма квадратов эффектов фактора B (сумма квадратов между группами);

SS= n , (12.21)

где SS - взвешенная сумма квадратов взаимодействия уровней факторов А и В или смешанный эффект факторов А и В (сумма квадратов между группами);

SS= , (12.22)

где SS - сумма квадратов внутри групп - остаток, вклад в общую сумму квадратов, вызванный случайной изменчивостью данных внутри групп;

= , (12.23)

где - общее среднее, N = abn - общее число опытов;

= , = , (12.24)

где , - средние значения на i уровне фактора А, j уровне фактора B соответственно.

= , (12.25)

где - среднее значение при различных сочетаниях уровней ij.

При разном числе повторных опытов (m =1,2,…,n) суммирование ведется не до n, а до n, т.е. - .

Оценки дисперсий и определение числа степеней свободы

S= , (12.26)

где - оценка общей дисперсии; н = N - 1 - число степеней свободы при определении общей дисперсии;

S = , S =,

где - оценка дисперсии по уровням фактора А; н= a -1 - число степеней свободы фактора A; - оценка дисперсии по уровням фактора B ;

н= b -1 - число степеней свободы фактора B;

S= , (12.27)

где - оценка дисперсии по уровням факторов A и B;

нab = (a -1)(b -1)

число степеней свободы взаимодействия факторов A и B;

S= , (12.28)

где - остаточная оценка дисперсии (дисперсия ошибки);

н = N - ab = ab(n - 1)

число степеней свободы при определении ошибки.

Общее число степеней свободы:

= н+ + + н = N - 1 = (a -1)(N - a) (12.29)

Проверка H- гипотезы

Определение расчетного значения критерия:

F = ; F = ; F =; F = . (12.30)

Критическое значение F определяется при н = н и н = н.

Если F F при б , н, н, то гипотеза H- принимается.

В противном случае - отклоняется и продолжается анализ гипотез о влиянии уровней факторов.

16. Корреляционно-регрессионный анализ

16.1 Понятие корреляционной зависимости

В экономике большую роль играет исследование зависимостей и взаимосвязей между объективно существующими явлениями и процессами. Оно дет возможность глубже понять сложный механизм причинно-следственных отношений между явлениями. Для исследования интенсивности, вида и формы причинных влияний в эконометрике применяется корреляционно - регрессионный анализ. Он находит широкое применение при прогнозировании, при решении задач народнохозяйственного и внутрихозяйственного планирования, при выявлении факторов, воздействуя на которые можно вмешиваться в экономический процесс с целью получения нужных результатов

Под причинной связью понимают такое соединение явлений и процессов реальной действительности, когда изменение одного из них - это следствие изменения другого. Часто одно и тоже явление может выступать как результат одной или нескольких причин и в то же время само служит причиной наступления других явлений и процессов.

Функциональная связь y = f(x): для каждой независимой переменной Х существует вполне определенное значение зависимой переменной Y.

Статистическая или стохастическая (вероятностная) связь отражает закономерности только в массовых явлениях.

Статистической зависимостью называют зависимость, при которой изменение одной из величин влечет изменение распределения другой.

Статистическую зависимость называют корреляционной, если при изменении значений одной величины меняется среднее значение другой.

Корреляция означает соответствие, соотношение.

При изучении конкретных зависимостей вводят понятия:

- факторные признаки (факторы) - объясняющие, независимые переменные, причины Х. Могут быть случайными и неслучайными;

- результативные признаки (показатели) - объясняемые зависимые переменные Y, случайные.

Иногда Х и Y можно менять местами.

С корреляционным анализом тесно связан регрессионный. Их объединяют методы обработки данных, отличают цели и формы установления связи. В корреляционном анализе оценивается сила стохастической связи, в регрессионном - форма.

Регрессия - это односторонняя стохастическая зависимость, когда одна из переменных служит причиной для изменения другой.

а) Относительно характера корреляции:

? положительная (равнонаправленная, прямая);

? отрицательная (обратная).

б) Относительно числа переменных:

? простая или парная;

? множественная, с ее помощью можно охватить весь причинно-следственный комплекс;

? частная корреляция, корреляция между двумя переменными при фиксированном влиянии других (вскрывается внутренняя структура соотношений, т.е. элиминируется влияние других факторов).

в) Относительно формы связи:

? линейная;

? нелинейная.

г) Относительно типа связи явлений:

? непосредственная корреляция;

? косвенная корреляция;

? ложная корреляция.

Виды регрессии.

а) Относительно числа явлений (переменных), учитываемых в регрессии:

? простая регрессия (парная) регрессия;

? множественная или частная регрессия.

б) Относительно формы зависимости:

? линейная регрессия;

? нелинейная регрессия.

в) Относительно характера регрессии (имеет смысл только для простой линейной регрессии):

? положительная регрессия;

? отрицательная регрессия.

г) Относительно типа связи явлений:

? непосредственная регрессия - причина прямо воздействует на следствие;

? косвенная регрессия, Y и Х не состоят в прямой зависимости, а детерминируются общей для них причиной, через третью переменную;

? нонсенс- регрессия (абсурдную).

Задачи корреляционного и регрессионного анализа

а) Измерение степени связности (тесноты, силы, строгости, интенсивности) двух и более явлений:

? уточняет (верифицирует) известные связи;

? обнаруживает неизвестные.

б) Отбор факторов, оказывающих наибольшее влияние на Y, на основании степени связности - эти факторы потом используют в регрессионном анализе.

в) Обнаружение неизвестных причинных связей - непосредственно не определяет их, но устанавливает степень необходимости этих связей и достоверность суждения о них, чтобы не было «ложной» корреляции.

г) Установление формы зависимости (для случая парной регрессии):

? убывающая;

? возрастающая.

д) Определение функции регрессии.

е) Оценка неизвестных значений зависимой переменной - можно воспроизвести значение Y при заданных значениях Х внутри интервала (интерполяция) и вне интервала (экстраполяция заданных изменений Х).

Корреляционная связь чаще всего характеризуется выборочным коэффициентом корреляции r, который характеризует степень линейной функциональной зависимости между Х и Y. Коэффициент корреляции имеет следующие свойства:

;

Если r= 1, то между Х и Y существует функциональная линейная

зависимость;

Если r=0, то Х и Y некоррелированны

Если Х и Y образуют систему нормально зависимых СВ, то из их некоррелированности следует их независимость;

Коэффициенты корреляции Y на X и X наY совпадают.

Существует достаточно много методов оценки r, основные из них:

а) в случае парной зависимости - коэффициент корреляции Пирсона:

, (13.1)

R2 - множественный коэффициент детерминации, характеризующий долю зависимости независимой переменной от зависимых. Коэффициент корреляции характеризует степень линейной зависимости между переменными. Нелинейная связь не обнаруживается. В этом случае для оценки используется корреляционное отношение. Корреляционным отношением Y и X называется отношение межгруппового среднего квадратического отклонения дy переменной Y к её общему среднему квадратическому отклонению уy

, (13.2)

где межгрупповая дисперсия определяется по формуле

.

.Основные свойства корреляционных отношений:

1) ;

2) если з=0,то корреляционная связь отсутствует;

3) если з=1,то переменные связаны функционально;

4) для линейной зависимости между переменными X иY необходимо и достаточно, чтобы выполнялось равенство ;

5) зXY зYX;

6)

В других случаях (когда вид распределения неизвестен) используют меры связи, не регламентирующие нормальность выборок (методы непараметрической статистики), например, коэффициент ранговой корреляции Спирмена -rs:

(13.3)

где - квадраты разности рангов,

n - число наблюдений (число пар рангов).

Ранг - это порядковый номер значений признака, расположенных в порядке возрастания или убывания их величин.

16.2 Оценка методом наименьших квадратов коэффициентов регрессии

По результатам эксперимента могут быть определены не «истинные» коэффициенты регрессии , соответствующие генеральной совокупности, а лишь их оценки B = (b0,b1, … ,bj,…, bd), вычисленные по выборке объемом n. В этом случае уравнение регрессии в векторной форме имеет вид:

Y=(Х,В), (13.4)

где Y - предсказанные (прогнозируемые) значения выходной величины.

При выводе и использовании формул регрессионного анализа удобнее пользоваться векторной формой представления уравнений регрессии:

=Х+ ; Y=ХВ , (13.5)

где - вектор наблюдений; Х - матрица значений независимых переменных; ,В - векторы коэффициентов и их оценок соответственно; - вектор ошибок:



Первый столбец матрицы Х содержит фиктивную переменную

х i0=1, i=1,2,…, n.

После вычисления коэффициентов регрессии нужно вернуться к первоначальным обозначениям для того, чтобы облегчить интерпретацию результатов.

Задачи регрессионного анализа:

вычисление коэффициентов регрессии;

проверка значимости коэффициентов регрессии;

проверка адекватности модели;

выбор “лучшей” регрессии;

- вычисление стандартных ошибок.

Проверка адекватности модели основана на методах дисперсионного анализа.

Парная регрессия.Рассмотрим решение системы нормальных уравнений в простейшем случае - линейная регрессия от одного фактора х, число определяемых коэффициентов:

d=2;

Система нормальных уравнений

 (13.6)

Ршив систему (4.4.8??) относительно b0 и b1, получим искомое уравнение, которое носит название регрессии Y на Х.

Если Х и Y - система двух нормально распределенных случайных величин, то, преобразуя (13.6) уравнение регрессии Y на Х можно записать:

(13.7)

Соответственно уравнение регрессии Х на Y:

(13.8)

После построения уравнения регрессии возникает вопрос о качестве решения. Адекватность линии регрессии зависит от того, какая часть суммы квадратов относительно среднего обусловлена суммой квадратов относительно регрессии, а какая суммой квадратов обусловленной регрессией. Суммы квадратов связаны с некоторым числом - числом их степеней свободы =df. Это число показывает, сколько независимых элементов информации (из n чисел y1, y2,...,yn) необходимо для образования данной суммы квадратов.

Для построения таблицы дисперсионного анализа необходимо получить средние квадраты (MS), для этого каждая сумма SS делится на соответствующие число степеней свободы

 df ( ).

Если в уравнении регрессии

(y=b0+b1x) b1=0

то величина

распределена по распределению Фишера c (1, n-2) степенями свободы. Этот факт используется для проверки гипотезы Н0: b1=0 с уровнем значимости (риском ошибиться не более чем в 100% случаев), против альтернативы Н1: b10.

Обобщим все в таблице дисперсионного анализа

Таблица дисперсионного анализа (основное разложение)

Источник вариации	Число степеней свободы, df	Суммы квадратов, SS	Средние квадраты, MS	Fрасч.	Fкр.
Обусловленный регрессией	1		MSR		F(1, n-2)
Относительно регрессии (остаток)	n-2
Общий, скорректирован-ный на среднее Y	n-1

Если Fрасч.>Fкр. при заданном уровне значимости и соответствующих числах степеней свободы, то гипотеза Н0: b1=0 отбрасывается с риском ошибиться не более чем в 100% случаев (и уравнение регрессии считается статистически зна...