Размещено на http://www.allbest.ru/

Московский Государственный Институт

Электронной Техники (ТУ)

Курсовая работа по

«Теории вероятностей и математической статистике»

« Анализ данных в линейной регрессионной модели»

Выполнил студент ЭКТ-22:

Орехов М.В.

Преподаватель: Гавриков А.И.

МОСКВА 2004 г

Вводимые данные	ДXІ	ДYІ	Произведение величин	Остатки	Остаточная сумма квадратов
X	Y	(X-ср(y))І	(Y-ср(y))І	XІ	YІ	XY	(X+Y)І	ei	Qe
6,15	18,94	0,1647	1,0380	37,8225	358,7236	116,4810	629,5081	0,8489	0,7207
7,07	18,51	1,7577	0,3467	49,9849	342,6201	130,8657	654,3364	0,0338	0,0011
7,35	18,46	2,5786	0,2903	54,0225	340,7716	135,6810	666,1561	-0,1334	0,0178
8,16	18,58	5,8361	0,4340	66,5856	345,2164	151,6128	715,0276	-0,3524	0,1242
3,73	16,18	4,0570	3,0318	13,9129	261,7924	60,3514	396,4081	-0,8981	0,8065
5,67	17,84	0,0055	0,0066	32,1489	318,2656	101,1528	552,7201	-0,0501	0,0025
4,95	17,42	0,6308	0,2512	24,5025	303,4564	86,2290	500,4169	-0,1688	0,0285
4,11	17,19	2,6706	0,5347	16,8921	295,4961	70,6509	453,6900	-0,0471	0,0022
7,81	19,05	4,2675	1,2742	60,9961	362,9025	148,7805	721,4596	0,2641	0,0697
4,29	17,48	2,1147	0,1947	18,4041	305,5504	74,9892	473,9329	0,1675	0,0281
6,68	17,91	0,8757	0,0001	44,6224	320,7681	119,6388	604,6681	-0,4029	0,1623
3,25	16,82	6,2210	1,2126	10,5625	282,9124	54,6650	402,8049	-0,0571	0,0033
6,49	18,44	0,5562	0,2692	42,1201	340,0336	119,6756	621,5049	0,2066	0,0427
4,71	17,53	1,0696	0,1530	22,1841	307,3009	82,5663	494,6176	0,0417	0,0017
3,25	17,29	6,2210	0,3984	10,5625	298,9441	56,1925	421,8916	0,4129	0,1704
7,34	18,6	2,5466	0,4608	53,8756	345,9600	136,5240	672,8836	0,0108	0,0001
7,4	18,96	2,7417	1,0791	54,7600	359,4816	140,3040	694,8496	0,3457	0,1195
4,78	17,84	0,9297	0,0066	22,8484	318,2656	85,2752	511,6644	0,3224	0,1039
6,18	18,82	0,1899	0,8078	38,1924	354,1924	116,3076	625,0000	0,7164	0,5132
6,44	18,8	0,4841	0,7723	41,4736	353,4400	121,0720	637,0576	0,5875	0,3452
6,45	17,73	0,4982	0,0366	41,6025	314,3529	114,3585	584,6724	-0,4866	0,2368
7,58	18,57	3,3702	0,4209	57,4564	344,8449	140,7606	683,8225	-0,1197	0,0143
6,18	17,74	0,1899	0,0328	38,1924	314,7076	109,6332	572,1664	-0,3636	0,1322
7,53	19,89	3,1891	3,8762	56,7009	395,6121	149,7717	751,8564	1,2213	1,4915
4,76	17,44	0,9686	0,2316	22,6576	304,1536	83,0144	492,8400	-0,0692	0,0048
5,78	18,24	0,0013	0,1016	33,4084	332,6976	105,4272	576,9604	0,3038	0,0923
6,97	19,01	1,5026	1,1855	48,5809	361,3801	132,4997	674,9604	0,5757	0,3314
4,58	16,25	1,3554	2,7929	20,9764	264,0625	74,4250	433,8889	-1,1839	1,4016
3,45	16,56	5,2634	1,8529	11,9025	274,2336	57,1320	400,4001	-0,4009	0,1607
5,04	17,15	0,4959	0,5947	25,4016	294,1225	86,4360	492,3961	-0,4764	0,2270
7,08	17,75	1,7844	0,0293	50,1264	315,0625	125,6700	616,5289	-0,7304	0,5334
5,04	18,35	0,4959	0,1839	25,4016	336,7225	92,4840	547,0921	0,7236	0,5236
4,92	16,77	0,6793	1,3253	24,2064	281,2329	82,5084	470,4561	-0,8062	0,6500
5,82	17,41	0,0057	0,2613	33,8724	303,1081	101,3262	539,6329	-0,5429	0,2948
6,31	18,71	0,3201	0,6222	39,8161	350,0641	118,0601	626,0004	0,5520	0,3047
6,59	19,05	0,7154	1,2742	43,4281	362,9025	125,5395	657,4096	0,7748	0,6002
9,11	17,32	11,3286	0,3614	82,9921	299,9824	157,7852	698,5449	-2,0101	4,0405
9,91	19,65	17,3539	2,9887	98,2081	386,1225	194,7315	873,7936	-0,0150	0,0002
5,78	18,22	0,0013	0,0893	33,4084	331,9684	105,3116	576,0000	0,2838	0,0806
3,4	16,55	5,4953	1,8802	11,5600	273,9025	56,2700	398,0025	-0,3899	0,1521
3,83	17,65	3,6642	0,0735	14,6689	311,5225	67,5995	461,3904	0,5301	0,2810
4,75	17,86	0,9884	0,0037	22,5625	318,9796	84,8350	511,2121	0,3550	0,1260
3,32	17,33	5,8767	0,3495	11,0224	300,3289	57,5356	426,4225	0,4235	0,1794
5,82	17,16	0,0057	0,5794	33,8724	294,4656	99,8712	528,0804	-0,7929	0,6287
4,79	17,42	0,9105	0,2512	22,9441	303,4564	83,4418	493,2841	-0,1018	0,0104
5,13	16,54	0,3772	1,9077	26,3169	273,5716	84,8502	469,5889	-1,1241	1,2636
8,63	19,92	8,3278	3,9952	74,4769	396,8064	171,9096	815,1025	0,7908	0,6254
3,94	17,2	3,2551	0,5201	15,5236	295,8400	67,7680	446,8996	0,0340	0,0012
5,21	18,57	0,2854	0,4209	27,1441	344,8449	96,7497	565,4884	0,8724	0,7611
3,7	17,39	4,1788	0,2822	13,6900	302,4121	64,3430	444,7881	0,3245	0,1053
?X	?Y	?ДX	?ДY	?XІ	?YІ	?XY	?(X+Y)І	?ei	?eiІ
287,21	896,06	128,80	41,09	1778,59	16099,56	5201,06	28280,28	0,0000	18,5184

Теоретическая часть

Основные задачи математической статистики

Математические законы теории вероятностей не являются беспредметными абстракциями, лишенными физического содержания; они представляют собой математическое выражение реальных закономерностей, фактически существующих в массовых случайных явлениях природы.

До сих пор, говоря о законах распределения случайных величин, мы не затрагивали вопроса о том, откуда берутся, на каком основании устанавливаются эти законы распределения. Ответ на вопрос вполне определенен - в основе всех этих характеристик лежит опыт; каждое исследование случайных явлений, выполняемое методами теории вероятностей, прямо или косвенно опирается на экспериментальные данные. Оперируя такими понятиями, как события и их вероятности, случайные величины, их законы распределения и числовые характеристики, теория вероятностей дает возможность теоретическим путем определять вероятности одних событий через вероятности других, законы распределения и числовые характеристики одних случайных величин через законы распределения и числовые характеристики других. Такие косвенные методы позволяют значительно экономить время и средства, затрачиваемые на эксперимент, но отнюдь не исключают самого эксперимента. Каждое исследование в области случайных явлений, как бы отвлеченно оно ни было, корнями своими всегда уходит в эксперимент, в опытные данные, в систему наблюдений.

Разработка методов регистрации, описания и анализа статистических экспериментальных данных, получаемых в результате наблюдения массовых случайных явлений, составляет предмет специальной науки- математической статистики.

Все задачи математической статистики касаются вопросов обработки наблюдений над массовыми случайными явлениями, но в зависимости от характера решаемого практического вопроса и от объема имеющегося экспериментального материала эти задачи могут принимать ту или иную форму.

Охарактеризуем вкратце некоторые типичные задачи математической статистики, часто встречаемые на практике.

3адача определения закона распределения случайной величины (или системы случайных величин) по статистическим данным

Что закономерности, наблюдаемые в массовых случайных явлениях, проявляются тем точнее и отчетливее, чем больше объем статистического материала. При обработке обширных по своему объему статистических данных часто возникает вопрос об определении законов распределения тех или иных случайных величин. Теоретически при достаточном количестве опытов свойственные этим случайным величинам закономерности будут осуществляться сколь угодно точно. На практике нам всегда приходится иметь дело с ограниченным количеством экспериментальных данных; в связи с этим результаты наших наблюдений и их обработки всегда содержат больший или меньший элемент случайности. Возникает вопрос о том, какие черты наблюдаемого явления относятся к постоянным, устойчивым и действительно присущи ему, а какие являются случайными и проявляются в данной серии наблюдений только за счет ограниченного объема экспериментальных данных. Естественно, к методике обработки экспериментальных данных следует предъявить такие требования, чтобы она, по возможности, сохраняла типичные, характерные черты наблюдаемого явления и отбрасывала все несущественное, второстепенное, связанное с недостаточным объемом опытного материала. В связи с этим возникает характерная для математической статистики задача сглаживания или выравнивания статистических данных, представления их в наиболее компактном виде с помощью простых аналитических зависимостей.

Задача проверки правдоподобия гипотез

Эта задача тесно связана с предыдущей; при решении такого рода задач мы обычно не располагаем настолько обширным статистическим материалом, чтобы выявляющиеся в нем статистические закономерности были в достаточной мере свободны от элементов случайности. Статистический материал может с большим или меньшим правдоподобием подтверждать или не подтверждать справедливость той или иной гипотезы. Например, может возникнуть такой вопрос: согласуются ли результаты эксперимента с гипотезой о том, что данная случайная величина подчинена закону распределения? Другой подобный вопрос: указывает ли наблюденная в опыте тенденция к зависимости между двумя случайными величинами на наличие действительной объективной зависимости между ними или же она объясняется случайными причинами, связанными с недостаточным объемом наблюдений? Для решения подобных вопросов математическая статистика выработала ряд специальных приемов.

Задача нахождения неизвестных параметров распределения

Часто при обработке статистического материала вовсе не возникает вопрос об определении законов распределения исследуемых случайных величин. Обыкновенно это бывает связано с крайне недостаточным объемом экспериментального материала. Иногда же характер закона распределения качественно известен до опыта, из теоретических соображений; например, часто можно утверждать заранее, что случайная величина подчинена нормальному закону. Тогда возникает более узкая задача обработки наблюдений -- определить только некоторые параметры (числовые характеристики) случайной величины или системы случайных величин. При небольшом числе опытов задача более или менее точного определения этих параметров не может быть решена; в этих случаях экспериментальный материал содержит в себе неизбежно значительный элемент случайности; поэтому случайными оказываются и все параметры, вычисленные на основе этих данных. В таких условиях может быть поставлена только задача об определении так называемых «оценок» или «подходящих значений» для искомых параметров, т. е. таких приближенных значений, которые при массовом применении приводили бы в среднем к меньшим ошибкам, чем всякие другие. С задачей отыскания «подходящих значений» числовых характеристик тесно связана задача оценки их точности и надежности.

Статистическое описание и выборочные характеристики двумерного случайного вектора

Пусть (x_i,y_i), i = 1,2,......,n,- выборка объема n из наблюдений случайного двумерного вектора (X,Y). Предварительное представление о двумерной генеральной совокупности можно получить, изображая элементы выборки точками на плоскости с выбранной декартовой прямоугольной системой координат. Это представление выборки называется диаграммой рассеивания.

Построить диаграмму рассеяния нанести на нее уравнения регресси Y на X

y=^*₀ +^*₁x и X на Y x=^*₀ +^*₁y.

Сначала вычислим суммы

x_i, y_i,x²_i,y²_i, x_iy_i, (x_i+y_i)²

Для контроля правильности вычислений используется тождество

(x_i+y_i)²= x²_i + 2 x_iy_i + y²_i

Выборочные средние находятся по формулам

x^*=^*_1,0=(1/n) x_i, y^*=^*_0,1=(1/n) y_i. (1)

Затем вычисляются суммы квадратов отклонений от среднего и произведений отклонений от средних:

Q_x=(x_i - x^*)²=x²_i - (x)²_i/n, (2)

Q_y=(y_i - y^*)²=y²_i - (y)²_i/n, (3)

Q_xy=(x_i - x^*)(y_i - y^*)=x_iy_i - (x _i)(y_i )/n, (4)

Отсюда

D^*_x= (1/n) Q_x, D^*_y= (1/n) Q_y,

R=(^*_1,1)/ (D^*_x D^*_y)^1/2= (Q_xy)/( Q_x Q_y)^1/2 (5)

Выборочная линейная регрессия Y на X по выборке (x_i, y_i ), i= 1,......, n определяется уравнением

y=^*₀ +^*₁x= y^* + r (D^*_y / D^*_x ) (x - x^*)

Коэффициенты ^*₀ и ^*₁ называются выборочными коэффициентами регрессии. Они вычисляются по формулам

₁^*=[n x_iy_i - (x _i)(y_i )]/(n x²_i - (x_i)² ) = Q_xy / Q_x (6)

₀^* = y^*- ₁^*x^* (7)

Аналогично определяется выборочная линейная регрессия X на Y:

математический вероятность регрессия статистический

x=^*₀ +^*₁y = x^* + r (D^*_x / D^*_y ) (y - y^*)

₁^*=[n x_iy_i - (x _i)(y_i )]/(n y²_i - (y_i)² ) = Q_xy / Q_y (8)

₀^*= x^*- ^*₁y^* (9)

Для контроля правильности расчетов используют соотношение

(₁^*₁^*)^1/2= r (10)

Прямые

y=^*₀ +^*₁x, x=^*₀ +^*₁y

Пересекаются в точке с координатами (x^*, y^* )

Функция y=^*₀ +^*₁x

Определяет выборочную (эмпирическую ) регрессию Y на x. Последняя является оценкой предполагаемой (теоретической) регрессии по результатам наблюдений. Разности между наблюдаемыми значениями переменной Y при x=x_i, i=1,2,....,n, и расчетными значениями y_i=^*₀ +^*₁x называются остатками и обозначаются e_i:

e_i = y_i - y _i, i = 1,2,......,n. Все остатки приведены в таблице 1. (11)

Качество аппроксимации результатов наблюдений (x_i,y_i), i = 1,2,......,n, выборочной регрессии определяется величиной остаточной дисперсии, вычисляемой по формуле

S²= e²_i /(n-2)=1/(n-2) [ y_i - (^*₀ +^*₁x_i)]²=Q_e/(n-2) (12)

Величина Q_e определяемая выражением

Q_e = e²_i= (y_i - y _i)² (13)

Называется остаточной суммой квадратов.

В практических вычислениях остаточную сумму квадратов получают из тождества

(y_i - y^*_i)² = (y_i - y^*_i )² + (y_i - y_i) ² (14)

Которое записывается в виде

Q_y = Q_r + Q_e, где

Q_y= (y_i - y^*_i)²= y²_i - n*(y^*_i )²,

Q_r = (y_i - y^*_i )²=^*₁ Q_xy=^2*₁ Q_x= Q²_xy/ Q_x (15)

Величина Q_r называется суммой квадратов, обусловленной регрессией регрессией.

Полезной характеристокой линейной регрессии является коэффициент детерминации R², вычисляемый по формуле

R²= Q_r / Q_y =1 - (Q_e / Q_y) (16)

Коэффициент детерминации R² равен той доле разброса результатов наблюдений (x_i,y_i), i = 1,2,......,n, относительно горизонтальной прямой y=y^*, которая объсняется выборочной регрессией. Величина R= + (R²)^1/2 является оценкой коэффициента корреляции между результатами наблюдений y_i и вычисленными значениями y_i, предсказываемыми регрессией, т.е.

R= p^*_yy= r_yy

В случае линейной регрессии Y на x (одной независимой переменной x) между коэффициентом R и выборочным коэффициентом корреляции r_xy имеется следующее соотношение:

r_xy = ( знак ^*₁ ) R.

Однофакторный дисперсионный анализ

Пусть результаты наблюдений составляют l независимых выборок ( групп ), полученных из l нормально распределенных генеральных совокупностей, которые имеют, вообще говоря, различные средние m₁, m₂,....., m_l и равные дисперсии ². Проверяется гипотеза о равенстве средних H₀ m₁= m₂ =..... =m_l. На практике такая задача возникает при исследованиии влияния, которое оказывает изменение некоторого фактора на измеряемую величину. Например, если измерения проводятся на l различных приборах, то можно исследовать влияние фактора «прибор» на результаты измерений. В данном случае на синтересует вопрос, имеют ли различные приборы одну и ту же систематическую ошибку ( гипотеза H₀ ). При l=2 для проверки гипотезы H₀ используется известные критерии значимости. Если l>2, то для проверки гипотезы о равенстве l средних применяют однофакторный дисперсионный анализ, суть которого состоит в следующем.

Пусть x_ik обозначает i-й элемент k-й выборки, i = 1,2,......,n, k = 1,2,......,n, x^*_k-выборочное среднее k-й выборки, т.е.

x^*_k=(1/n_k) x_ik = (1/n) x._.k,

k^*- общее выборочное среднее, т.е.

x^*=(1/n) x_ik = (1/n) x..,

где n - общее число наблюдений, n= n_k

Общая сумма квадратов отклонений наблюдений от общего среднего x^* может быть предтавлена так:

( x_ik - x^*)²= n_k ( x^*_k - x^*)²+ ( x_ik - x^*_k)² (17)

Это основное тождество дисперсионного анализа. Запишем его в виде

Q=Q₁+Q₂ (18)

Где Q- общая сумма квадратов отклонений наблюдений от общего среднего, Q₁ - сумма квадратов отклонений выборочных средних x^*_k от общего среднего x^* (между группами), Q₂-сумма квадратов отклонений наблюдений от выборочных средних групп (внутри групп).

Тождество (1) легко проверяется, если воспользоваться очевидным равенством

( x_ik - x^*)= [( x^*_k - x^*)+ ( x_ik - x^*_k)]

и учесть, что

( x_ik - x^*_k) ( x^*_k - x^*)=0

в силу определения средних x^*_k и x^*

Если верна гипотеза H₀: m₁= m₂ =.....= m_l, то статистики Q_1/² и Q₂/² независимы и имеют распределение ² с l-1 и n-l степенями свободы. Следовательно, статистики S²₁₌ Q₁/(l-1) и S²₂₌ Q₂/(n-l) являются несмещенными оценками неизвесной дисперсии ². Оценка S²₁ характеризует рассеяние групповых средних, а оценка S²₂-рассеяние внутри групп, которое обусловленно случайными вариациями результатов наблюдений. Значительное превышение величины S²₁ над значением величины S²₂ можно объяснить различием средних в группах. Отношение этих оценок имеет распределение Фишера с l-1 и n-l степенями свободы, т.е.

S²₁/S²₂₌ Q₁/(l-1)Q₂/(n-l)=F(l-1,n-l)

Статистика используется для проверки гипотезы H₀: m₁= m₂ =.....= m_l. Гипотеза H₀ не противоречит результатам наблюдений, если выборочное значение F_в статистики меньше квантили F_1-(l-1,n-l), т.е. если F_в< F_1-(l-1,n-l). В этом случае x^* и Q₂/(n-l) являются несмещенными оценками параметров m и ².Если F_в< F_1-(l-1,n-l), то гипотеза H₀ отклоняется и следует считать, что среди средних m₁, m₂,....., m_l имеется хотя бы два не равных друг другу.

Практическая часть

1)Уравнения регрессии Y на X y=^*₀ +^*₁x и X на Y x=^*₀ +^*₁y

Объем выборки n=50. Предварительно вычислим

x_i = 287,21, y_i = 896,06, x²_i = 1778,5947, y²_i = 16099,5576, x_iy_i = 5201,0637

Тогда по формуле (1)

x^*== 5,7442 , y^*==17,9212

Для контроля правильности вычислений используется тождество

(x_i+y_i)²= 28280,2797

x²_i + 2 x_iy_i + y²_i = 1778,5947+2*5201,0637+16099,5576=28280,2797

Следовательно, вычисления проведены верно. Предварительно найдем

Q_x=1778,5947 - = 128,803

Q_y=16099,5576 - = 41,0871

Q_xy=5201,0637 - = 53,9158

Окончательно из соотношений (5) получаем

D^*_x=2,5761, D^*_y = 0,8217

R=0,7411

По формулам (6) и (7) найдем оценки коэффициентов регрессии

₁^*= = 0,4185

₀^* = = 15,5172

₁^*= =1,3122

₀^*==-17,7720

Таким образом, выборочная линейная регрессия Y на Х имеет вид:

y=15,5172+0,4185*x

выборочная линейная регрессия X на Y:

x=-17,7720+1,3122 *y

Точка пересечения (5,7442 ; 17,9212)

2)Вычисление e_i, Q_e, Q_r, S², R², r_xy

Вычисляем остатки:

e_i = y_i - y _i, i = 1,2,......,n. Все остатки приведены в таблице 1.

Находим остаточную сумму квадратов Q_e

Q_e = e²_i=18,5184

По формуле (15) находим сумму квадратов, обусловленную регреггией Q_r

Q_r= Q_y -Q_e = 41,0871-18,5184=22,5687

Оценка дисперсии ошибок наблюдений по формуле (12) равна

S²=18,5184/(50-2)=0,3858

Коэффициент детерминации R² по формуле (16)

R²= = 0,5493

Выборочный коэффициент корреляции

r_xy= + (0,5493)^1/2=0,7414

3)Доверительные интервалы

Значение квантили (=0,1) t_1-/2(n-2)= t_0,950(48) = 1,678 (таблица П6)

Границы доверительных интервалов равны: для коэффициента ₀^*:

₀^* = 15,5172 0,5477

для коэффициента ₁^*

₁^* t_1-/2(n-2) * s * []^1/2 = 0,4185 0,0918

Границы доверительного интервала для значения Y₀ соответствующего заданному значению переменной x=x₀:

y₀^* t_1-/2(n-2) * s *[ + ()]^1/2 = y₀^* 1,0422*

Границы доверительного интервала для дисперсии ошибок наблюдений ²

< ² < (²_0,950(48)= 64,6665; ²_0,05(48)= 33,2000)

0,2864 < ² < 0,5578

Этот результат означает, что полученное уравнение регрессии на 54,93% объясняет общий разброс результатов наблюдений относительно горизонтальной прямой y=17,9212. Выборочный коэффициент корреляции r_xy= + (0,5493)^1/2=0,7414

4)Однофакторный дисперсионный анализ

Задача заключается в проверке гипотезы H₀: m₁=m₂ где m_k- математическое ожидание чисел k-й группы.В нашем случае l=2,n=100.

Вычисления удобно проводить в такой последовательности

x..= x_ik=287,21+896,06=1183,27

x²_ik=1778,5947 + 16099,5576 =17878,1523

Далее из (17) и (18) получаем

Q=17878,1523 - = 3876,8733

Q₁= =3706,9832

Q₂ = Q - Q₁=169,88

Найдем статистики S²₁ и S²₂

S²₁= = 3706,9832

S²₁= = 1,7335

Найдем выборочное значение статистики H₀

F_в= = 2138,4385

Так как квантиль распределения Фишера F_1-(1,n-2)= F_0,9 (1,48)=2,84, что меньше выборочного значения статистики F_в, то гипотеза H₀ отклоняется на уровне значимости = 0,1. Таким образом, линейная регрессия Y на x статистически значима.

Размещено на Allbest.ru

...