Нелинейная регрессия

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Контрольная работа

Нелинейная регрессия

План

1. Нелинейная регрессия. Линеаризация, оценка коэффициентов

2. Корреляция для нелинейной регрессии. Тест Бокса-Кокса

3. Коэффициент эластичности как характеристика силы связи фактора с результатом

Литература

1. Нелинейная регрессия. Линеаризация, оценка коэффициентов

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций. Различают два класса нелинейных регрессий:

- регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;

- регрессии, нелинейные по оцениваемым параметрам.

Примером нелинейной регрессии по включаемым в нее объясняющим переменным могут служить следующие функции:

- полиномы разных степеней - , , … (анализ издержек от объема выпуска);

- равносторонняя гипербола - (зависимость между объемом выпуска и средними фиксированными издержками, между доходом и спросом на блага, между уровнем безработицы и процентным изменением заработной платы).

К нелинейным регрессиям по оцениваемым параметрам относятся функции:

- степенная - (зависимость между расходами и прибылью);

- показательная - (производственная функция Кобба-Дугласа);

- экспоненциальная - (при анализе изменений переменной с постоянным темпом прироста).

Нелинейные регрессии по включаемым переменным позволяют использовать МНК для оценки параметров, так как эти функции линейны по параметрам.

Рассмотрим параболу . Введем замену: . Получим: - уравнение множественной линейной регрессии. Парабола 2-й степени целесообразна к применению. Если для определенного интервала значений фактора меняется характер связи признаков: прямая связь меняется на обратную или наоборот. Кривая, для которой b > 0, c < 0 используется при изучении зависимости з/п работников физического труда от возраста. При b < 0, c > 0 - зависимость затрат на производство от объема выпуска. Часто можно использовать лишь сегмент параболы.

Аналогично линеаризуются полиномы любой степени. Ограничения в использовании полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и, соответственно, менее однородна совокупность по результативному признаку.

Равносторонняя гипербола может быть использована для характеристики связи удельных расходов сырья, материалов, топлива с объемами выпускаемой продукции, временем обращения товаров от величины товарооборота. Классическим примером является кривая Филлипса, характеризующая соотношение между нормой безработицы х и процентом прироста з/п у. После замены

z = 1/x получим - уравнение парной линейной регрессии. При b > 0 - кривая Филипса, при b < 0, кривая Энгеля, характеризующая связь доли расходов на товары длительного пользования и общих сумм расходов (или доходов).

Аналогично линеаризуются и другие нелинейные по переменным функции.

Замечание. Если зависимость между х и у нелинейна, а её представили линейной зависимостью, то:

- по графику уравнения регрессии (для парной) и точкам корреляционного поля можно определить необходимость нелинейного описания зависимости;

- в случае множественной регрессии можно проанализировать остатки регрессии. Обычно они должны чередоваться «+» и «-», большие и малые. При нелинейной зависимости нет случайного чередования остатков.

Класс функций, нелинейных по параметрам, в свою очередь, делится на два типа:

- нелинейные модели внутренне линейные;

- нелинейные модели внутренне нелинейные.

Внутренне линейные модели могут быть приведены к линейному виду.

Например.

1) - внутренне линейна, так как - линейна по параметрам;

2) - внутренне нелинейна;

3) - внутренне нелинейна;

4) - внутренне линейна, так как ;

5) - внутренне линейна, так как ;

5) - логистическая функция - внутренне линейна -

; ; .

Замечание: чтобы получить аддитивный случайный член в уравнении регрессии, необходимо в исходной модели иметь мультипликативную случайную составляющую. Чтобы t- и F- критерии были применимы, необходимо, чтобы преобразованный случайный член имел нормальное распределение, т.е. исходный - логарифмически нормальное распределение

().

Внутренне нелинейные модели не могут быть приведены к линейному виду, и для оценки их параметров используют итеративные процедуры.

Итеративные процедуры используют принцип минимизации суммы квадратов остатков и включают следующие шаги:

1. Принимаются некоторые правдоподобные значения параметров.

2. Вычисляются по фактическим х.

3. Определяются и .

4. Вносятся небольшие изменения в оценки параметров.

5. Вычисляются новые , , .

6. Если < S, то новые оценки лучше, их следует использовать в качестве новой отправной точки.

7. Шаги 4, 5, 6 повторяются до тех пор, пока окажется невозможным внести изменения, уменьшающие S.

8. Делается вывод о минимизации S, и последние оценки принимаются за оценки параметров.

Недостаток - медленное оценивание, однако в последнее время разработаны различные математические процедуры, позволяющие быстро находить приемлемое требуемое решение.

2. Корреляция для нелинейной регрессии. Тест Бокса-Кокса

Уравнение нелинейной регрессии, так же как и в линейной зависимости, дополняется показателями корреляции:

= 1- ; .

Величину R2 для нелинейных связей называют индексом детерминации, а R - индексом корреляции. Чем ближе значение R2 к 1, тем связь рассматриваемых признаков теснее, тем более надежно уравнение регрессии.

Если после преобразования уравнение регрессии (нелинейное по объясняющим переменным) принимает форму линейного парного уравнения регрессии, то для оценки тесноты связи может быть использован линейный коэффициент корреляции Ryx = ryz, где z - преобразованная величина признака-фактора, например z = 1/x или z = ln x.

Если преобразования в линейную форму связаны с результативным признаком (нелинейность по параметрам), то линейный коэффициент корреляции по преобразованным значениям признаков дает лишь приближенную оценку тесноты связи. Он численно не совпадает с R, R r, так как r рассчитывается между lny и lnx, а коэффициент детерминации использует суммы квадратов отклонений признака y, а не его логарифма.

R2 для нелинейной регрессии имеет тот же смысл, что и коэффициент детерминации.

Оценка существенности индекса корреляции производится так же, как и оценка надежности коэффициента корреляции. Индекс корреляции R используется для проверки существенности уравнения нелинейной регрессии в целом по F - критерию Фишера:

F = ,

где n - число наблюдений, р - число параметров при х.

Индекс детерминации R2 можно сравнивать с коэффициентом детерминации r2 для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем величина коэффициента детерминации r2 меньше индекса детерминации R2. Близость этих показателей означает, что нет необходимости усложнять форму уравнения регрессии и можно использовать линейную функцию. Практически, если величина (R2 - r2) 0,1, то предположение о линейной форме связи считается оправданным. В противном случае проводится оценка существенности различий R2, вычисленных по одним и тем же исходным данным, через t - критерий Стьюдента:

,

где - ошибка разности между R2 и r2.

Если tнабл > tкр, то различия между рассматриваемыми показателями корреляции существенны и замена нелинейной регрессии уравнением линейной функции невозможно. Если t < 2, то различия между R и r несущественны, и, следовательно, возможно применение линейной регрессии, даже если есть предположение о некоторой нелинейности рассматриваемых соотношений признаков фактора и результата.

Если R2 и r2 приблизительно равны, используют стандартную процедуру, известную под названием теста Бокса-Кокса. Тест включает следующие шаги:

1) определяется среднее геометрическое y в выборке;

2) пересчитываются наблюдения где - пересчитанные значения для i-го наблюдения;

3) оценивается регрессия для вместо y и для логарифмической модели ln y* вместо ln y;

4) определяют величину , где z - отношение значений суммы квадратов отклонений в пересчитанных регрессиях, n - число наблюдений.

Эта статистика имеет распределение с 1-й степенью свободы. Если < кр(1,), то разница значима. Модель с меньшей суммой квадратов отклонений обеспечивает лучшее соответствие.

3. Коэффициент эластичности как характеристика силы связи фактора с результатом

нелинейный регрессия эластичность уравнение

Коэффициент эластичности представляет собой показатель силы связи фактора х с результатом у, показывающий, на сколько % изменится значение у при изменении значения фактора на 1 %. Коэффициент эластичности рассчитывается как относительное изменение у на единицу относительного изменения х:

.

Различают обобщающие (средние) и точечные коэффициенты эластичности.

Обобщающий коэффициент эластичности рассчитывается для среднего значения :

и показывает, на сколько % изменится у относительно своего среднего уровня при росте х на 1 % относительно своего среднего уровня.

Точечный коэффициент эластичности рассчитывается для конкретного значения х = х0:

и показывает, на сколько % изменится у относительно уровня у(х0) при увеличении х на 1 % от уровня х0.

В зависимости от вида зависимости между х и у формулы расчета коэффициентов эластичности будут меняться. Основные формулы приведем в таблице.

Вид функции y(x)	Точечный коэффициент Эхо	Средний коэффициент
Линейная,	Эхо =
Парабола,	Эхо =
Гипербола,	Эхо =
Степенная,	Эхо = b
Показательная,	Эхо =

Только для степенных функций коэффициент эластичности представляет собой постоянную независимую от х величину. Именно поэтому степенные функции широко используются в эконометрических исследованиях. Параметр b в таких функциях имеет четкую экономическую интерпретацию - он показывает процентное изменение результата при увеличении фактора на 1 %. Так, если зависимость спроса у от цен х характеризуется уравнением вида: , то, следовательно, с увеличением цен на 1 % спрос снижается в среднем на 1,5 %.

Несмотря на широкое использование в эконометрике коэффициентов эластичности, возможны случаи, когда их расчет экономического смысла не имеет. Это происходит тогда, когда для рассматриваемых признаков бессмысленно определение изменения значений в %. Например, бессмысленно определять, на сколько % изменится заработная плата с ростом возраста рабочего на 1 %. В такой ситуации степенная функция, даже если она оказывается наилучшей по формальным соображениям (исходя из наибольшего R2), не может быть экономически интерпретирована.

Пример 1. Анализируется прибыль предприятия Y в зависимости от расходов на рекламу Х. По наблюдениям за 9 лет получены следующие данные:

Y	5	7	13	15	20	25	22	20	17
X	8,8	1,0	1,8	2,5	4,0	5,7	7,5	8,3	8,8

а) постройте корреляционное поле и выдвиньте предположение о формуле зависимости между рассматриваемыми показателями;

б) оцените по МНК коэффициенты линейной регрессии и оцените качество построенной регрессии;

в) оцените по МНК коэффициенты квадратичной регрессии и оцените её качество.

Какую из моделей вы предпочтете?

Решение

1) Построим поле корреляции, используя «Мастер диаграмм»

2) Построим уравнение линейной регрессии .

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,751709
R-квадрат	0,565066
Нормированный R-квадрат	0,502933
Стандартная ошибка	4,742604
Наблюдения	9
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	1	204,554	204,554	9,094402	0,019505
Остаток	7	157,446	22,49229
Итого	8	362
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%	Верхние 95%	Нижние 95,0%
Y-пересечение	8,859876	2,846918	3,112094	0,017031	2,127985	15,59177	2,127985
x	1,590622	0,527448	3,015693	0,019505	0,343405	2,837839	0,343405

Средняя ошибка аппроксимации составит 30,9 % > 8-10 %.

3) Построим уравнение квадратичной зависимости

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,992323
R-квадрат	0,984706
Нормированный R-квадрат	0,979607
Стандартная ошибка	0,960608
Наблюдения	9
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	2	356,4634	178,2317	193,149	3,58E-06
Остаток	6	5,536609	0,922768
Итого	8	362
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%	Верхние 95%	Нижние 95,0%
Y-пересечение	-0,98655	0,959919	-1,02774	0,343709	-3,33538	1,362291	-3,33538
x	8,470654	0,546761	15,49244	4,58E-06	7,132779	9,808529	7,132779
x^2	-0,7221	0,05628	-12,8306	1,38E-05	-0,85982	-0,58439	-0,85982

Средняя ошибка аппроксимации составит 4,5 % < 8-10 %.

4) Проведём оценку существенности различий R2, вычисленных по одним и тем же исходным данным, через t - критерий Стьюдента:

,

где :

, , , , .

Т.к. tнабл < tкр, то различия между рассматриваемыми показателями корреляции несущественны и, следовательно, возможно применение линейной регрессии.

Вывод: лучшим уравнением по совокупности показателей является квадратичная регрессия.

Замечание. Мастер диаграмм. Тип - точечная. Диаграмма - добавить линию тренда…

Пример 2. Анализируется индекс потребительских цен Y по объему денежной массы Х на основании данных с 1981 по 1997 год. Необходимо:

1) построить корреляционное поле;

2) построить регрессии: У на Х; Y на lnX; lnY на Х; lnY на lnX;

3) проинтерпретировать коэффициенты регрессии для каждой из моделей;

4) по каждой из моделей определить эластичность Y по Х;

5) определить целесообразность выбора предложенных моделей.

Решение

1) построим корреляционное поле

2) строим уравнения всех регрессий:

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,976836
R-квадрат	0,954209
Нормированный R-квадрат	0,951157
Стандартная ошибка	4,313545
Наблюдения	17
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	1	5816,018	5816,018	312,5771	1,87E-11
Остаток	15	279,1	18,60667
Итого	16	6095,118
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%	Верхние 95%
Y-пересечение	38,01618	3,464674	10,97251	1,45E-08	30,6314	45,40095
x	0,265648	0,015025	17,67985	1,87E-11	0,233622	0,297674

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,976831
R-квадрат	0,954198
Нормированный R-квадрат	0,951144
Стандартная ошибка	4,314076
Наблюдения	17
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	1	5815,949	5815,948851	312,4964	1,87E-11
Остаток	15	279,1688	18,61125308
Итого	16	6095,118
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%	Верхние 95%
Y-пересечение	-192,679	16,38698	-11,75805947	5,71E-09	-227,607	-157,751
lnx	54,16123	3,06384	17,67756659	1,87E-11	47,63081	60,69165

ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,972099
R-квадрат	0,944976
Нормированный R-квадрат	0,941308
Стандартная ошибка	0,050994
Наблюдения	17
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	1	0,669884	0,669884	257,6084	7,44E-11
Остаток	15	0,039006	0,0026
Итого	16	0,70889
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%	Верхние 95%
Y-пересечение	3,921623	0,040959	95,74539	2,54E-22	3,834321	4,008924
x	0,002851	0,000178	16,05018	7,44E-11	0,002472	0,00323



ВЫВОД ИТОГОВ
Регрессионная статистика
Множественный R	0,983605
R-квадрат	0,967479
Нормированный R-квадрат	0,965311
Стандартная ошибка	0,039204
Наблюдения	17
Дисперсионный анализ
	df	SS	MS	F	Значимость F
Регрессия	1	0,685836	0,685836444	446,2417	1,43E-12
Остаток	15	0,023054	0,001536917
Итого	16	0,70889
	Коэффициенты	Стандартная ошибка	t-статистика	P-Значение	Нижние 95%	Верхние 95%
Y-пересечение	1,409022	0,148914	9,46196281	1,03E-07	1,091618	1,726425
lnx	0,588151	0,027842	21,1244329	1,43E-12	0,528806	0,647495

3) Составим сводную таблицу

	R^2	F	Значимость F	ta	tb	A	Э
Y на X	0,954209	312,5771	1,87E-11	10,97251	17,67985	3,40%	0,605689
Y на lnX	0,954198	446,2417	1,87E-11	-11,7581	17,67757	3,50%	0,544866
lnY на X	0,944976	257,6084	7,44E-11	95,74539	16,05018	0,04%	0,626711
lnY на lnX	0,967479	446,2417	1,43E-12	9,461963	21,12443	0,03%	0,588151

Литература

1. Колемаев В.А. Эконометрика. М.: ИНФРА-М, 2004.-160 с.

2. Замков О.О. Эконометрические методы в макроэкономическом анализе: Курс лекций. М.:ГУ ВШЭ, 2001. - 122 с.

3. Тихомиров Н.П., Дорохина Е.Ю. Эконометрика. М.: Изд-во «Экзамен», 2003. - 512 с.

4. Дорохина Е.Ю., Пресняков Л.Ф., Тихомиров Н.П. Сборник задач по эконометрике. М.: Изд-во «Экзамен», 2003. -224 с.

5. Джонстон Дж. Эконометрические методы. М.: Статистика, 1980

6. Дубров А.М. Многомерные статистические методы. М.: Финансы и статистика, 2000.

Размещено на Allbest.ru

...