Анализ данных в линейной регрессионной модели

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Московский Государственный Институт

Электронной Техники (ТУ)

Курсовая работа

по «Теории вероятностей и математической статистике»

« Анализ данных в линейной регрессионной модели»

Выполнила:

Марычева А.А.

ЭКТ-22

Проверил:

Гавриков А.И.

Москва 2004

Данные (Вариант 14):

X	Y
5,89	3,41
5,34	4,08
7,55	5,67
7,66	5,74
3,56	3,86
7,42	5,14
7,81	5,47
5,02	3,85
8,90	6,17
7,87	5,87
7,55	6,79
6,58	5,10
4,67	3,64
7,28	5,39
4,81	3,76
7,83	4,85
9,32	5,43
9,68	6,06
11,26	7,49
6,00	4,80
7,31	4,87
8,87	5,82
6,26	5,46
5,09	3,62
6,91	5,69
8,86	6,51
9,98	7,40
9,11	6,28
7,89	5,18
5,17	4,54
5,17	3,98
5,08	2,74
6,59	4,76
6,91	4,44
8,60	5,90
3,81	2,82
6,18	4,39
7,88	5,76
9,82	7,64
4,20	3,52
8,12	5,58
5,29	3,88
6,89	4,36
5,17	3,95
5,37	3,39
8,27	5,97
4,69	2,86
7,33	5,33
6,20	4,19
5,52	4,12

2. Теоретическая часть

2.1 Основные задачи математической статистики

Математические законы теории вероятностей не являются беспредметными абстракциями, лишенными физического содержания; они представляют собой математическое выражение реальных закономерностей, фактически существующих в массовых случайных явлениях природы.

До сих пор, говоря о законах распределения случайных величин, мы не затрагивали вопроса о том, откуда берутся, на каком основании устанавливаются эти законы распределения. Ответ на вопрос вполне определенен - в основе всех этих характеристик лежит опыт; каждое исследование случайных явлений, выполняемое методами теории вероятностей, прямо или косвенно опирается на экспериментальные данные. Оперируя такими понятиями, как события и их вероятности, случайные величины, их законы распределения и числовые характеристики, теория вероятностей дает возможность теоретическим путем определять вероятности одних событий через вероятности других, законы распределения и числовые характеристики одних случайных величин через законы распределения и числовые характеристики других. Такие косвенные методы позволяют значительно экономить время и средства, затрачиваемые на эксперимент, но отнюдь не исключают самого эксперимента. Каждое исследование в области случайных явлений, как бы отвлеченно оно ни было, корнями своими всегда уходит в эксперимент, в опытные данные, в систему наблюдений.

Разработка методов регистрации, описания и анализа статистических экспериментальных данных, получаемых в результате наблюдения массовых случайных явлений, составляет предмет специальной науки - математической статистики.

Все задачи математической статистики касаются вопросов обработки наблюдений над массовыми случайными явлениями, но в зависимости от характера решаемого практического вопроса и от объема имеющегося экспериментального материала эти задачи могут принимать ту или иную форму.

Охарактеризуем вкратце некоторые типичные задачи математической статистики, часто встречаемые на практике.

2.1.13адача определения закона распределения случайной величины (или системы случайных величин) по статистическим данным

Что закономерности, наблюдаемые в массовых случайных явлениях, проявляются тем точнее и отчетливее, чем больше объем статистического материала. При обработке обширных по своему объему статистических данных часто возникает вопрос об определении законов распределения тех или иных случайных величин. Теоретически при достаточном количестве опытов свойственные этим случайным величинам закономерности будут осуществляться сколь угодно точно. На практике нам всегда приходится иметь дело с ограниченным количеством экспериментальных данных; в связи с этим результаты наших наблюдений и их обработки всегда содержат больший или меньший элемент случайности. Возникает вопрос о том, какие черты наблюдаемого явления относятся к постоянным, устойчивым и действительно присущи ему, а какие являются случайными и проявляются в данной серии наблюдений только за счет ограниченного объема экспериментальных данных. Естественно, к методике обработки экспериментальных данных следует предъявить такие требования, чтобы она, по возможности, сохраняла типичные, характерные черты наблюдаемого явления и отбрасывала все несущественное, второстепенное, связанное с недостаточным объемом опытного материала. В связи с этим возникает характерная для математической статистики задача сглаживания или выравнивания статистических данных, представления их в наиболее компактном виде с помощью простых аналитических зависимостей.

2.1.2 Задача проверки правдоподобия гипотез

Эта задача тесно связана с предыдущей; при решении такого рода задач мы обычно не располагаем настолько обширным статистическим материалом, чтобы выявляющиеся в нем статистические закономерности были в достаточной мере свободны от элементов случайности. Статистический материал может с большим или меньшим правдоподобием подтверждать или не подтверждать справедливость той или иной гипотезы. Например, может возникнуть такой вопрос: согласуются ли результаты эксперимента с гипотезой о том, что данная случайная величина подчинена закону распределения? Другой подобный вопрос: указывает ли наблюденная в опыте тенденция к зависимости между двумя случайными величинами на наличие действительной объективной зависимости между ними или же она объясняется случайными причинами, связанными с недостаточным объемом наблюдений? Для решения подобных вопросов математическая статистика выработала ряд специальных приемов.

2.1.3Задача нахождения неизвестных параметров распределения

Часто при обработке статистического материала вовсе не возникает вопрос об определении законов распределения исследуемых случайных величин. Обыкновенно это бывает связано с крайне недостаточным объемом экспериментального материала. Иногда же характер закона распределения качественно известен до опыта, из теоретических соображений; например, часто можно утверждать заранее, что случайная величина подчинена нормальному закону. Тогда возникает более узкая задача обработки наблюдений -- определить только некоторые параметры (числовые характеристики) случайной величины или системы случайных величин. При небольшом числе опытов задача более или менее точного определения этих параметров не может быть решена; в этих случаях экспериментальный материал содержит в себе неизбежно значительный элемент случайности; поэтому случайными оказываются и все параметры, вычисленные на основе этих данных. В таких условиях может быть поставлена только задача об определении так называемых «оценок» или «подходящих значений» для искомых параметров, т. е. таких приближенных значений, которые при массовом применении приводили бы в среднем к меньшим ошибкам, чем всякие другие. С задачей отыскания «подходящих значений» числовых характеристик тесно связана задача оценки их точности и надежности.

2.2 Статистическое описание и выборочные характеристики двумерного случайного вектора

Пусть (xi,yi), i = 1,2,......,n ,- выборка объема n из наблюдений случайного двумерного вектора (X,Y). Предварительное представление о двумерной генеральной совокупности можно получить, изображая элементы выборки точками на плоскости с выбранной декартовой прямоугольной системой координат. Это представление выборки называется диаграммой рассеивания.

Построить диаграмму рассеяния нанести на нее уравнения регрессии Y на X

y=*0 +*1x и X на Y x=*0 +*1y.

Сначала вычислим суммы

xi , yi ,x2i ,y2i , xiyi , (xi+yi)2

Для контроля правильности вычислений используется тождество

 (xi+yi)2= x2i + 2 xiyi + y2i

Выборочные средние находятся по формулам

=*1,0=xi/n , =*0,1=yi /n. (1)

Затем вычисляются суммы квадратов отклонений от среднего и произведений отклонений от средних :

Qx=(xi - )2=x2i - (x)2i/n , (2)

Qy=(yi - )2=y2i - (y)2i/n , (3)

Qxy=(xi - )(yi - )=xiyi - (x i)(yi )/n , (4)

Отсюда

D*x= Qx/n , D*y= Qy/n ,

R=*1,1/ (D*x D*y)1/2= Qxy/( Qx Qy)1/2 (5)

Выборочная линейная регрессия Y на X по выборке (xi , yi ), i= 1,......, n определяется уравнением

y=*0 +*1x= + r (D*y / D*x ) (x - )

Коэффициенты *0 и *1 называются выборочными коэффициентами регрессии. Они вычисляются по формулам

1*=[n xiyi - (x i)(yi )]/(n x2i - (xi)2 ) = Qxy / Qx (6)

0* = - 1* (7)

Аналогично определяется выборочная линейная регрессия X на Y :

x=*0 +*1y = + r (D*x / D*y ) (y - )

1*=[n xiyi - (x i)(yi )]/(n y2i - (yi)2 ) = Qxy / Qy(8)

0*= - *1(9)

Для контроля правильности расчетов используют соотношение

(1*1*)1/2= r (10)

Прямые

y=*0 +*1x , x=*0 +*1y

пересекаются в точке с координатами (,)

Функция y=*0 +*1x

Определяет выборочную (эмпирическую) регрессию Y на X. Последняя является оценкой предполагаемой (теоретической) регрессии по результатам наблюдений. Разности между наблюдаемыми значениями переменной Y при x=xi , i=1,2,....,n, и расчетными значениями i=*0 +*1xi называются остатками и обозначаются ei:

ei = yi -i, i = 1,2,......,n . (11)

Качество аппроксимации результатов наблюдений (xi,yi), i = 1,2,......,n , выборочной регрессии определяется величиной остаточной дисперсии, вычисляемой по формуле

S2= e2i /(n-2)=1/(n-2) [ yi - (*0 +*1xi)]2=Qe/(n-2) (12)

Величина Qe определяемая выражением

Qe = e2i= (yi - i)2 (13)

Называется остаточной суммой квадратов.

В практических вычислениях остаточную сумму квадратов получают из тождества

(yi - i)2 = (i - i )2 + (yi - i) 2 (14)

Которое записывается в виде

Qy = Qr + Qe , где

Qy= (yi - i)2= y2i - n*(i )2,

Qr = (i - i )2=*1 Qxy=*21 Qx= Q2xy/ Qx (15)

Величина Qr называется суммой квадратов, обусловленной регрессией регрессией.

Полезной характеристикой линейной регрессии является коэффициент детерминации R2 , вычисляемый по формуле

R2= Qr / Qy =1 - (Qe / Qy) (16)

Коэффициент детерминации R2 равен той доле разброса результатов наблюдений (xi,yi), i = 1,2,......,n , относительно горизонтальной прямой y= , которая объясняется выборочной регрессией. Величина R является оценкой коэффициента корреляции между результатами наблюдений yi и вычисленными значениями i , предсказываемыми регрессией , т.е.

R= p*y= ry

В случае линейной регрессии Y на x (одной независимой переменной x) между коэффициентом R и выборочным коэффициентом корреляции rxy имеется следующее соотношение:

rxy = ( знак *1 ) R .

Доверительным интервалом для параметра называется интервал , содержащий истинное значение с заданной вероятностью , т.е. . Число называется доверительной вероятностью, а значение - уровнем значимости. Статистики , определяемые по выборке из генеральной совокупности с неизвестным параметром , называются нижней и верхней границами доверительного интервала.

Границы доверительных интервалов для параметров линейной регрессии имеют вид:

,

, где - квантиль распределения Стьюдента с n-2 степенями свободы.

Границы доверительного интервала для среднего значения , соответствующего заданному значению , определяются формулой:

.

Доверительный интервал для дисперсии ошибок при неизвестном и при доверительной вероятности имеет вид , где - квантиль распределения с n-2 степенями свободы.

2.3 Однофакторный дисперсионный анализ

Пусть результаты наблюдений составляют l независимых выборок (групп), полученных из l нормально распределенных генеральных совокупностей, которые имеют, вообще говоря, различные средние m1 , m2 , ..... , ml и равные дисперсии 2. Проверяется гипотеза о равенстве средних H0 m1= m2 = ..... =ml. На практике такая задача возникает при исследовании влияния, которое оказывает изменение некоторого фактора на измеряемую величину. Например, если измерения проводятся на l различных приборах, то можно исследовать влияние фактора «прибор» на результаты измерений. В данном случае нас интересует вопрос, имеют ли различные приборы одну и ту же систематическую ошибку (гипотеза H0) . При l = 2 для проверки гипотезы H0 используется известные критерии значимости. Если l > 2, то для проверки гипотезы о равенстве l средних применяют однофакторный дисперсионный анализ, суть которого состоит в следующем.

Пусть xik обозначает i-й элемент k-й выборки , i = 1,2,......,n , k = 1,2,......,l , k-выборочное среднее k-й выборки, т.е.

k=(1/nk) xik = (1/n) x ..k ,

k*- общее выборочное среднее, т.е.

=(1/n) xik = (1/n) x . . ,

где n - общее число наблюдений, n= nk

Общая сумма квадратов отклонений наблюдений от общего среднего x* может быть представлена так :

( xik - )2= nk (k - )2+ ( xik - k)2 (17)

Это основное тождество дисперсионного анализа. Запишем его в виде

Q=Q1+Q2 (18)

Где Q- общая сумма квадратов отклонений наблюдений от общего среднего, Q1 - сумма квадратов отклонений выборочных средних x*k от общего среднего x* (между группами), Q2-сумма квадратов отклонений наблюдений от выборочных средних групп (внутри групп).

Тождество (1) легко проверяется , если воспользоваться очевидным равенством

( xik - )= [(k - )+ ( xik - k)]

и учесть, что

( xik - k) (k - )=0

в силу определения средних k и

Если верна гипотеза H0: m1= m2 = .....= ml, то статистики Q1/2 и Q2/2 независимы и имеют распределение 2 с l-1 и n-l степенями свободы. Следовательно, статистики S21= Q1/(l-1) и S22= Q2/(n-l) являются несмещенными оценками неизвестной дисперсии 2. Оценка S21 характеризует рассеяние групповых средних, а оценка S22-рассеяние внутри групп, которое обусловлено случайными вариациями результатов наблюдений. Значительное превышение величины S21 над значением величины S22 можно объяснить различием средних в группах. Отношение этих оценок имеет распределение Фишера с l-1 и n-l степенями свободы, т.е.

S21/S22= Q1(n-l)/(l-1)Q2 = F(l-1,n-l) (19)

Статистика используется для проверки гипотезы H0: m1= m2 = .....= ml. Гипотеза H0 не противоречит результатам наблюдений, если выборочное значение Fв статистики меньше квантили F1-(l-1,n-l) , т.е. если Fв< F1-(l-1,n-l). В этом случае и Q2/(n-l) являются несмещенными оценками параметров m и 2 .Если Fв< F1-(l-1,n-l), то гипотеза H0 отклоняется и следует считать, что среди средних m1, m2 , ....., ml имеется хотя бы два не равных друг другу.

Линейные контрасты

Если гипотеза о равенстве средних отклоняется, то требуется определить, какие именно группы имеют значимое различие средних. Для этих целей используется метод линейных контрастов. Линейный контраст Lk определяется как линейная комбинация

Lk=ckmk

где ck k = 1,2,......,l- константы, однозначно определяемые из формулировки проверяемых гипотез, причем ck = 0 . Оценка Lk равна Lk* =ckx*k, а оценка дисперсии Lk* равна

S2LK = D[Lk*] = *2 (c2k/nk) = Q2/(n-l) (c2k/nk)

Границы доверительного интервала для Lk имеют вид

Lk* SLK [(l-1) F1-(l-1,n-l)]1/2

3. Практическая часть

1. Уравнения регрессии Y на X y=*0 +*1x и X на Y

x= *0 + *1y

Объем выборки n=50. Предварительно вычислим

xi = 344,54; yi = 247,52; x2i =2528,4242; y2i =1297,034 ,

xiyi = 1800,8764; (xi+yi)2= 7427,211

Тогда по формуле (1) найдём выборочные средние:

=xi/n ==6,8908 , =yi/n = =4,9504

Для контроля правильности вычислений используется тождество

(xi+yi)2= x2i + 2 xiyi + y2i

x2i + 2 xiyi + y2i = 2528,4242+2*1800,8764+1297,034 =7427,211 = (xi+yi)2

Следовательно, вычисления проведены верно.

По формулам (2)-(4) находим суммы квадратов отклонений от среднего и произведение отклонений от средних:

Qx= x2i - (x)2i/n = 2528,4242- = 154,267968

Qy= y2i - (y)2i/n = 1297,034 - = 71,710992

Qxy= xiyi - (x i)(yi )/n = 1800,8764- = 95,265584

Окончательно из соотношений (5) получаем

D*x = Qx/n = 3,0854 , D*y = Qy/n = 1,4342

r = Qxy/( Qx Qy)1/2 = 0,9057

По формулам (6) и (7) найдем оценки коэффициентов регрессии

1*= Qxy / Qx = 0,6175

0* = - 1* = 4,9504 - 0,6175*6,8908 0,6951

Таким образом, выборочная линейная регрессия Y на Х имеет вид:

y = *0 +*1x = 0,6951+0,6175*x

Аналогично по формулам (8) и (9) находим:

1*= Qxy / Qy = 1,3285

0*=- *1 =6,8908 - 1,3285*4,9504 =0,3144

Отсюда, выборочная линейная регрессия X на Y имеет уравнение:

x = *0 +*1y = 0,3144+1,3285*y

Для контроля правильности расчетов используем соотношение (10):

(1*1*)1/2= r = = 0,9057 = r

Следовательно, расчёты верны.

Прямые

y=0,6951+0,6175*x, x=0,3144+1,3285*y

пересекаются в точке с координатами (6,8908; 4,9504)

2. Вычисление ei , Qe , Qr , S2 , R2, rxy

Вычисляем остатки:

ei = yi -i, i = 1,2,......,n . Все остатки приведены в таблице.

Находим остаточную сумму квадратов Qe

Qe = e2i = 12,881336

По формуле (15) находим сумму квадратов, обусловленную регреccией Qr

Qr= Qy -Qe = 71,710992-12,881336 = 58,829656

Оценка остаточной дисперсии по формуле (12) равна

S2= Qe/(n-2) = 12,881336 /(50-2) 0,26836

Коэффициент детерминации R2 по формуле (16)

R2= Qr / Qy = = 0,82037

Выборочный коэффициент корреляции

rxy= ( знак *1 ) R = 0,905744

3.Доверительные интервалы.

Значение квантили t1-/2(n-2)= t0,95(48) = 1,678 (таблица П6)

Границы доверительных интервалов равны: для коэффициента 0*:

0* t1-/2(n-2) * s * =

0,6951 1,678*(0,26836*2528,4242/50*154,267968)1/2 = 0,6951 0,4977

min = 0,1974 max = 1,1928

для коэффициента 1*

1* t1-/2(n-2) * s * = 0,6175 1,678*(0,26836/154,267968)1/2 =

0,6175 0,0699

min = 0,5475 max = 0,6875

Границы доверительного интервала для значения Y0 соответствующего заданному значению переменной x=x0:

y0* t1-/2(n-2) * s *[ + ()]1/2 =

= y0* 0,86926*

Границы доверительного интервала для дисперсии ошибок наблюдений 2

< 2 <

48*0,26836/64,6665 < 2 < 48*0,26836/33,2

0,1992< 2 <0,3880

4. Вычисление S21 S22 с помощью однофакторного дисперсионного анализа и проверка гипотезы H0

Задача заключается в проверке гипотезы H0 : m1=m2 где mk- математическое ожидание чисел k-й группы.В нашем случае l=2,n=100.

Вычисления удобно проводить в такой последовательности

x . .= xik= 344,54+ 247,52= 592,06

x2ik= 2528,4242 + 1297,034 = 3825,4582

Далее из (17) и (18) получаем

Q=3825,4582 - 320,1078

Q1 = = 94,1288

Q2 = Q - Q1 = 225,979

Найдем статистики S21 и S22

S12= = 94,1288

S22= = 225,979/98 = 2,3059

Найдем выборочное значение статистики H0 по формуле (19):

Fв= = = 40,82

Так как квантиль распределения Фишера F1-(1,n-2)= F0,9 (1,48)=2,84 , что меньше выборочного значения статистики Fв, то гипотеза H0 отклоняется на уровне значимости = 0,1.

Размещено на Allbest.ru

...