Анализ данных в линейной регрессионной модели

Размещено на http://www.allbest.ru/

Московский Государственный Институт

Электронной Техники (ТУ)

Курсовая работа по

"Теории вероятностей и математической статистике"

"Анализ данных в линейной регрессионной модели"

МОСКВА

2003 г

Данные

X	Y	Остатки
6,15	18,94	0,849025
7,07	18,51	0,034005
7,35	18,46	-0,13318
8,16	18,58	-0,35216
3,73	16,18	-0,89821
5,67	17,84	-0,0501
4,95	17,42	-0,16878
4,11	17,19	-0,04724
7,81	19,05	0,264315
4,29	17,48	0,167435
6,68	17,91	-0,40278
3,25	16,82	-0,05732
6,49	18,44	0,206735
4,71	17,53	0,041665
3,25	17,29	0,412675
7,34	18,6	0,01101
7,4	18,96	0,3459
4,78	17,84	0,32237
6,18	18,82	0,71647
6,44	18,8	0,58766
6,45	17,73	-0,48653
7,58	18,57	-0,11943
6,18	17,74	-0,36353
7,53	19,89	1,221495
4,76	17,44	-0,06926
5,78	18,24	0,30387
6,97	19,01	0,575855
4,58	16,25	-1,18393
3,45	16,56	-0,40103
5,04	17,15	-0,47644
7,08	17,75	-0,73018
5,04	18,35	0,72356
4,92	16,77	-0,80622
5,82	17,41	-0,54287
6,31	18,71	0,552065
6,59	19,05	0,774885
9,11	17,32	-2,00974
9,91	19,65	-0,01454
5,78	18,22	0,28387
3,4	16,55	-0,3901
3,83	17,65	0,529945
4,75	17,86	0,354925
3,32	17,33	0,42338
5,82	17,16	-0,79287
4,79	17,42	-0,10181
5,13	16,54	-1,12411
8,63	19,92	0,791145
3,94	17,2	0,03391
5,21	18,57	0,872415
3,7	17,39	0,32435

Статистическое описание и выборочные характеристики двумерного случайного вектора

Пусть (x_i,y_i), i = 1,2,......,n ,- выборка объема n из наблюдений случайного двумерного вектора (X,Y). Предварительное представление о двумерной генеральной совокупности можно получить, изображая элементы выборки точками на плоскости с выбранной декартовой прямоугольной системой координат. Это представление выборки называется диаграммой рассеивания.

Построить диаграмму рассеяния нанести на нее уравнения регресси Y на X

y=^*₀ +^*₁x и X на Y x=^*₀ +^*₁y.

Сначала вычислим суммы

x_i , y_i ,x²_i ,y²_i , x_iy_i , (x_i+y_i)²

Для контроля правильности вычислений используется тождество

 (x_i+y_i)²= x²_i + 2 x_iy_i + y²_i

Выборочные средние находятся по формулам

x^*=^*_1,0=(1/n) x_i , y^*=^*_0,1=(1/n) y_{i .} (1)

Затем вычисляются суммы квадратов отклонений от среднего и произведений отклонений от средних :

Q_x=(x_i - x^*)²=x²_i - (x)²_i/n , (2)

Q_y=(y_i - y^*)²=y²_i - (y)²_i/n , (3)

Q_xy=(x_i - x^*)(y_i - y^*)=x_iy_i - (x _i)(y_i )/n , (4)

Отсюда

D^*_x= (1/n) Q_x , D^*_y= (1/n) Q_y ,

R=(^*_1,1)/ (D^*_x D^*_y)^1/2= (Q_xy)/( Q_x Q_y)^1/2 (5)

Выборочная линейная регрессия Y на X по выборке (x_i , y_i ), i= 1,......, n определяется уравнением

y=^*₀ +^*₁x= y^* + r (D^*_y / D^*_x ) (x - x^*)

Коэффициенты ^*₀ и ^*₁ называются выборочными коэффициентами регрессии. Они вычисляются по формулам

₁^*=[n x_iy_i - (x _i)(y_i )]/(n x²_i - (x_i)² ) = Q_xy / Q_x (6)

₀^* = y^*- ₁^*x^* (7)

Аналогично определяется выборочная линейная регрессия X на Y :

x=^*₀ +^*₁y = x^* + r (D^*_x / D^*_y ) (y - y^*)

₁^*=[n x_iy_i - (x _i)(y_i )]/(n y²_i - (y_i)² ) = Q_xy / Q_y (8)

₀^*= x^*- ^*₁y^* (9)

Для контроля правильности расчетов используют соотношение

(₁^*₁^*)^1/2= r (10)

Прямые

y=^*₀ +^*₁x , x=^*₀ +^*₁y

Пересекаются в точке с координатами (x^*, y^* )

Функция y=^*₀ +^*₁x

Определяет выборочную (эмпирическую ) регрессию Y на x. Последняя является оценкой предполагаемой (теоретической) регрессии по результатам наблюдений. Разности между наблюдаемыми значениями переменной Y при x=x_i , i=1,2,....,n, и расчетными значениями y_i=^*₀ +^*₁x называются остатками и обозначаются e_i :

e_i = y_i - y _i, i = 1,2,......,n . (11)

Качество аппроксимации результатов наблюдений (x_i,y_i), i = 1,2,......,n , выборочной регрессии определяется величиной остаточной дисперсии , вычисляемой по формуле

S²= e²_i /(n-2)=1/(n-2) [ y_i - (^*₀ +^*₁x_i)]²=Q_e/(n-2) (12)

Величина Q_e определяемая выражением

Q_e = e²_i= (y_i - y _i)² (13)

Называется остаточной суммой квадратов.

В практических вычислениях остаточную сумму квадратов получают из тождества

(y_i - y^*_i)² = (y_i - y^*_i )² + (y_i - y_i) ² (14)

Которое записывается в виде

Q_y = Q_r + Q_e , где

Q_y= (y_i - y^*_i)²= y²_i - n*(y^*_i )²,

Q_r = (y_i - y^*_i )²=^*₁ Q_xy=^2*₁ Q_x= Q²_xy/ Q_x (15)

Величина Q_r называется суммой квадратов, обусловленной регрессией регрессией.

Полезной характеристокой линейной регрессии является коэффициент детерминации R² , вычисляемый по формуле

R²= Q_r / Q_y =1 - (Q_e / Q_y) (16)

Коэффициент детерминации R² равен той доле разброса результатов наблюдений (x_i,y_i), i = 1,2,......,n , относительно горизонтальной прямой y=y^* , которая объсняется выборочной регрессией .

Величина R= + (R²)^1/2 является оценкой коэффициента корреляции между результатами наблюдений y_i и вычисленными значениями y_i , предсказываемыми регрессией , т.е.

R= p^*_yy= r_yy

В случае линейной регрессии Y на x (одной независимой переменной x) между коэффициентом R и выборочным коэффициентом корреляции r_xy имеется следующее соотношение :

r_xy = ( знак ^*₁ ) R .

Однофакторный дисперсионный анализ

Пусть результаты наблюдений составляют l независимых выборок ( групп ), полученных из l нормально распределенных генеральных совокупностей, которые имеют, вообще говоря, различные средние m₁ , m₂ , ..... , m_l и равные дисперсии ². Проверяется гипотеза о равенстве средних H₀ m₁= m₂ = ..... =m_l. На практике такая задача возникает при исследовании влияния, которое оказывает изменение некоторого фактора на измеряемую величину. Например, если измерения проводятся на l различных приборах, то можно исследовать влияние фактора «прибор» на результаты измерений. В данном случае на синтересует вопрос, имеют ли различные приборы одну и ту же систематическую ошибку ( гипотеза H₀ ) . При l=2 для проверки гипотезы H₀ используется известные критерии значимости. Если l>2, то для проверки гипотезы о равенстве l средних применяют однофакторный дисперсионный анализ, суть которого состоит в следующем.

Пусть x_ik обозначает i-й элемент k-й выборки , i = 1,2,......,n , k = 1,2,......,n , x^*_k-выборочное среднее k-й выборки, т.е.

x^*_k=(1/n_k) x_ik = (1/n) x ._.k ,

k^*- общее выборочное среднее, т.е.

x^*=(1/n) x_ik = (1/n) x . . ,

где n - общее число наблюдений, n= n_k

Общая сумма квадратов отклонений наблюдений от общего среднего x^* может быть предтавлена так :

( x_ik - x^*)²= n_k ( x^*_k - x^*)²+ ( x_ik - x^*_k)² (17)

Это основное тождество дисперсионного анализа. Запишем его в виде

Q=Q₁+Q₂ (18)

Где Q- общая сумма квадратов отклонений наблюдений от общего среднего, Q₁ - сумма квадратов отклонений выборочных средних x^*_k от общего среднего x^* (между группами), Q₂-сумма квадратов отклонений наблюдений от выборочных средних групп (внутри групп).

Тождество (1) легко проверяется , если воспользоваться очевидным равенством

( x_ik - x^*)= [( x^*_k - x^*)+ ( x_ik - x^*_k)]

и учесть, что

( x_ik - x^*_k) ( x^*_k - x^*)=0

в силу определения средних x^*_k и x^*

Если верна гипотеза H₀: m₁= m₂ = .....= m_l, то статистики Q_1/² и Q₂/² независимы и имеют распределение ² с l-1 и n-l степенями свободы. Следовательно, статистики S²₁₌ Q₁/(l-1) и S²₂₌ Q₂/(n-l) являются несмещенными оценками неизвесной дисперсии ². Оценка S²₁ характеризует рассеяние групповых средних, а оценка S²₂-рассеяние внутри групп, которое обусловленно случайными вариациями результатов наблюдений. Значительное превышение величины S²₁ над значением величины S²₂ можно объяснить различием средних в группах. Отношение этих оценок имеет распределение Фишера с l-1 и n-l степенями свободы, т.е.

S²₁/S²₂₌ Q₁/(l-1)Q₂/(n-l)=F(l-1,n-l)

Статистика используется для проверки гипотезы H₀: m₁= m₂ = .....= m_l. Гипотеза H₀ не противоречит результатам наблюдений, если выборочное значение F_в статистики меньше квантили F_1-(l-1,n-l) , т.е. если F_в< F_1-(l-1,n-l). В этом случае x^* и Q₂/(n-l) являются несмещенными оценками параметров m и ² .Если F_в< F_1-(l-1,n-l), то гипотеза H₀ отклоняется и следует считать, что среди средних m₁, m₂ , ....., m_l имеется хотя бы два не равных друг другу.

Линейные контрасты

Если гипотеза о равенстве средних отклоняется, то требуется определить, какие именно группы имеют значимое различие средних. Для этих целей используется метод линейных контрастов. Линейный контраст Lk определяется как линейная комбинация

Lk=c_km_k

где c_k k = 1,2,......,l- константы, однозначно определяемые из формулировки проверяемых гипотез, причем c_k = 0 . Оценка Lk равна Lk^* =c_kx^*_k, а оценка дисперсии Lk^* равна

S²_LK = D[Lk^*] = ^*2 (c²_k/n_k) = Q₂/(n-l) (c²_k/n_k)

Границы доверительного интервала для Lk имеют вид

Lk^* S_LK [(l-1) F_1-(l-1,n-l)]^1/2

Практическая часть

1)Уравнения регрессии Y на X y=^*₀ +^*₁x и X на Y x=^*₀ +^*₁y

Объем выборки n=50. Предварительно вычислим

x_i = 287,21, y_i = 896,06 , x²_i = 1778,5947 , y²_i = 16099,5576 , x_iy_i = 5201,0637

Тогда по формуле (1)

x^*== 5,7442 , y^*==17,9212

Для контроля правильности вычислений используется тождество

(x_i+y_i)²= 28280,2797

x²_i + 2 x_iy_i + y²_i = 1778,5947+2*5201,0637+16099,5576=28280,2797

Следовательно, вычисления проведены верно . Предварительно найдем

Q_x=1778,5947 - = 128,803

Q_y=16099,5576 - = 41,0871

Q_xy=5201,0637 - = 53,9158

Окончательно из соотношений (5) получаем

D^*_x=2,5761 , D^*_y = 0,8217

R=0,7411

По формулам (6) и (7) найдем оценки коэффициентов регрессии

₁^*= = 0,4185

₀^* = = 15,5172

₁^*= =1,3122

₀^*==-17,7720

Таким образом, выборочная линейная регрессия Y на Х имеет вид:

y=15,5172+0,4185*x

выборочная линейная регрессия X на Y:

x=-17,7720+1,3122 *y

Точка пересечения (5,7442 ; 17,9212)

2)Вычисление e_{i ,} Q_e , Q_r , S² , R², r_xy

Вычисляем остатки:

e_i = y_i - y _i, i = 1,2,......,n . Все остатки приведены в таблице 1.

Находим остаточную сумму квадратов Q_e

Q_e = e²_i=18,5184

двумерный выборочный дисперсионный регрессия

По формуле (15) находим сумму квадратов, обусловленную регрессией Q_r

Q_r= Q_y -Q_e = 41,0871-18,5184=22,5687

Оценка дисперсии ошибок наблюдений по формуле (12) равна

S²=18,5184/(50-2)=0,3858

Коэффициент детерминации R² по формуле (16)

R²= = 0,5493

Выборочный коэффициент корреляции

r_xy= + (0,5493)^1/2=0,7414

3)Доверительные интервалы

Значение квантили t_1-/2(n-2)= t_1-/2(48) = 1,678 (таблица П6)

Границы доверительных интервалов равны: для коэффициента ₀^*:

₀^* = 15,5172 0,5477

для коэффициента ₁^*

₁^* t_1-/2(n-2) * s * []^1/2 = 0,4185 0,0918

Границы доверительного интервала для значения Y₀ соответствующего заданному значению переменной x=x₀:

y₀^* t_1-/2(n-2) * s *[ + ()]^1/2 =

= y₀^* 1,0422*

Границы доверительного интервала для дисперсии ошибок наблюдений ²

< ² <

0,2864 < ² < 0,5578

Этот результат означает, что полученное уравнение регрессии на 54,93% объясняет общий разброс результатов наблюдений относительно горизонтальной прямой y=17,9212. Выборочный

4)Однофакторный дисперсионный анализ

Задача заключается в проверке гипотезы H₀ : m₁=m₂ где m_k- математическое ожидание чисел k-й группы. В нашем случае l=2,n=100.

Вычисления удобно проводить в такой последовательности

x . .= x_ik=287,21+896,06=1183,27

x²_ik=1778,5947 + 16099,5576 =17878,1523

Далее из (17) и (18) получаем

Q=17878,1523 - = 3876,8733

Q₁= =3706,9832

Q₂ = Q - Q₁=169,88

Найдем статистики S²₁ и S²₂

S²₁= = 3706,9832

S²₁= = 1,7335

Найдем выборочное значение статистики H₀

F_в= = 2138,4385

Так как квантиль распределения Фишера F_1-(1,n-2)= F_0,9 (1,48)=2,84 , что меньше выборочного значения статистики F_в, то гипотеза H₀ отклоняется на уровне значимости = 0,1.

Размещено на Allbest.ru

...