Основы регрессионного анализа

Размещено на http://www.allbest.ru/

Введение

Эконометрика- это раздел экономики, занимающийся разработкой и применением статистических методов для измерений взаимосвязей между экономическими переменными.

Задачей регрессионного анализа является подбор математических формул, наилучшим образом описывающих экспериментальные данные.

Математическая постановка задачи регрессии заключается в следующем. Зависимость величины (числового значения) определенного свойства случайного процесса или физического явления Y от другого переменного свойства или параметра Х, которое в общем случае также может относиться к случайной величине, зарегистрирована на множестве точек xk множеством значений yk, при этом в каждой точке зарегистрированные значения yk и xk отображают действительные значения Y(хk) со случайной погрешностью, распределенной, как правило, по нормальному закону.

Для определения параметров функция остаточных ошибок дифференцируется по всем параметрам, полученные уравнения частных производных приравниваются нулю и решаются в совокупности относительно всех значений параметров. Виды регрессии обычно называются по типу аппроксимирующих функций: полиномиальная, экспоненциальная, логарифмическая и т.п.

регрессия числовой переменное задача

1. Нелинейная регрессия

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций. Различают два класса нелинейных регрессий:

- регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам;

- регрессии, нелинейные по оцениваемым параметрам.

Примером нелинейной регрессии по включаемым в нее объясняющим переменным могут служить следующие функции:

- полиномы разных степеней

, , …

(анализ издержек от объема выпуска);

- равносторонняя гипербола -

(зависимость между объемом выпуска и средними фиксированными издержками, между доходом и спросом на блага, между уровнем безработицы и процентным изменением заработной платы).

К нелинейным регрессиям по оцениваемым параметрам относятся функции:

- степенная -

(зависимость между расходами и прибылью);

- показательная -

(производственная функция Кобба-Дугласа);

- экспоненциальная -

(при анализе изменений переменной с постоянным темпом прироста)

Нелинейные регрессии по включаемым переменным позволяют использовать МНК для оценки параметров, так как эти функции линейны по параметрам.

Рассмотрим параболу

.

Введем замену:

. Получим:

- уравнение множественной линейной регрессии. Парабола 2-й степени целесообразна к применению. Если для определенного интервала значений фактора меняется характер связи признаков: прямая связь меняется на обратную или наоборот. Кривая, для которой b > 0, c < 0 используется при изучении зависимости з/п работников физического труда от возраста. При b < 0, c > 0 - зависимость затрат на производство от объема выпуска. Часто можно использовать лишь сегмент параболы.

Аналогично линеаризуются полиномы любой степени. Ограничения в использовании полиномов более высоких степеней связаны с требованием однородности исследуемой совокупности: чем выше порядок полинома, тем больше изгибов имеет кривая и, соответственно, менее однородна совокупность по результативному признаку.

Равносторонняя гипербола

может быть использована для характеристики связи удельных расходов сырья, материалов, топлива с объемами выпускаемой продукции, временем обращения товаров от величины товарооборота. Классическим примером является кривая Филлипса, характеризующая соотношение между нормой безработицы х и процентом прироста з/п у. После замены

z = 1/x получим

- уравнение парной линейной регрессии. При b > 0 - кривая Филипса, при b < 0, кривая Энгеля, характеризующая связь доли расходов на товары длительного пользования и общих сумм расходов (или доходов).

Аналогично линеаризуются и другие нелинейные по переменным функции.

Замечание. Если зависимость между х и у нелинейна, а её представили линейной зависимостью, то:

- по графику уравнения регрессии (для парной) и точкам корреляционного поля можно определить необходимость нелинейного описания зависимости;

- в случае множественной регрессии можно проанализировать остатки регрессии. Обычно они должны чередоваться «+» и «-», большие и малые. При нелинейной зависимости нет случайного чередования остатков.

Класс функций, нелинейных по параметрам, в свою очередь, делится на два типа:

- нелинейные модели внутренне линейные;

- нелинейные модели внутренне нелинейные.

Внутренне линейные модели могут быть приведены к линейному виду.

Например.

1) - внутренне линейна, так как

- линейна по параметрам;

2) - внутренне нелинейна;

3) - внутренне нелинейна;

4) - внутренне линейна, так как

;

5) - внутренне линейна, так как ;

5) - логистическая функция - внутренне линейна

; ; .

Замечание: чтобы получить аддитивный случайный член в уравнении регрессии, необходимо в исходной модели иметь мультипликативную случайную составляющую. Чтобы t- и F- критерии были применимы, необходимо, чтобы преобразованный случайный член имел нормальное распределение, т.е. исходный - логарифмически нормальное распределение

().

Внутренне нелинейные модели не могут быть приведены к линейному виду, и для оценки их параметров используют итеративные процедуры.

Итеративные процедуры используют принцип минимизации суммы квадратов остатков и включают следующие шаги:

1. Принимаются некоторые правдоподобные значения параметров.

2. Вычисляются по фактическим х.

3. Определяются и .

4. Вносятся небольшие изменения в оценки параметров.

5. Вычисляются новые , , .

6. Если < S, то новые оценки лучше, их следует использовать в качестве новой отправной точки.

7. Шаги 4, 5, 6 повторяются до тех пор, пока окажется невозможным внести изменения, уменьшающие S.

8. Делается вывод о минимизации S, и последние оценки принимаются за оценки параметров. Недостаток - медленное оценивание, однако в последнее время разработаны различные математические процедуры, позволяющие быстро находить приемлемое требуемое решение.

2. Парная линейная регрессия

Парная регрессия представляет собой уравнение, описывающее связь между двумя переменными: зависимой переменной и независимой переменной . Иногда переменную называют результатом, а переменную - фактором: , при этом функция может быть как линейной, так и нелинейной. В данной главе более детально рассмотрим линейную парную регрессию. Предположим, что у нас есть набор значений двух переменных

Параметр соответствует отрезку прямой, отсекаемому линией регрессии при пересечении с осью ординат, параметр b определяет наклон линии регрессии к оси абсцисс. При этом параметр a традиционно принято называть свободным членом регрессии, а параметр - коэффициентом регрессии, который показывает, на сколько единиц в среднем изменится значение при изменении на одну единицу.

Допустим, что нашей задачей является подбор функции из параметрического семейства функций наилучшим образом описывающая зависимость от В качестве меры отклонения функции от исходных наблюдений можно использовать:

- сумму квадратов отклонений;

- сумму модулей отклонений;

- другие меры отклонений.

Согласно методу наименьших квадратов (МНК) неизвестные параметры модели выбираются таким образом, чтобы сумма квадратов отклонений эмпирических значений от модельных была минимальной:

Среди преимуществ метода наименьших квадратов следует особенно отметить лёгкость вычислительной процедуры и хорошие по статистическим свойствам оценки.

Данные факты объясняют широкое применение данного метода в статистическом анализе. Из недостатков наиболее существенным является - чувствительность к выбросам. Согласно необходимому условию экстремума функции нескольких переменных, необходимо найти частные производные по этим переменным и приравнять их к нулю. После ряда преобразований получим:

Разделим обе части полученной выше системы на , получим систему нормальных уравнений:

Решив полученную систему относительно неизвестных параметров , получим:

Таким образом, остатки, оцененные таким образом, можно представить следующим образом:

Свойства оценок МНК определяются предположениями относительно свойств случайного возмущения в модели наблюдений. Эти предположения обычно называются условиями Гаусса - Маркова.

Условия Гаусса-Маркова:

1. - условие, гарантирующее несмещённость оценок МНК.

2. - условие гомоскедастичности, его нарушение приводит к проблеме гетероскедастичности.

3. - условие отсутствия автокорреляции предполагает отсутствие систематической связи между значениями случайного члена в любых двух наблюдениях. Если данное условие не выполняется, то в модели возникает проблема автокорреляции случайных возмущений.

4. для всех условие независимости случайного возмущения и объясняющей переменной. Значение любой независимой переменной в каждом наблюдении должно считаться экзогенным, полностью определяемым внешними причинами, не учитываемыми в уравнении регрессии.

Достаточно часто накладывают ещё одно условие на остатки модели, но данное условие не является условием Гаусса-Маркова: , оно очень полезно для проверки многих гипотез.

3. Полиномиальная регрессия

Полиномиальная (или 'фиксированная нелинейная') регрессия позволяет оценить зависимость между зависимой переменной и одной или несколькими независимыми (предикторными) переменными, а также с квадратами, кубами и другими степенями этой независимой переменной. Например, для одной независимой переменной можно подогнать коэффициенты в таком уравнении регрессии:

y² = a + b₁*x +b₂*x²

Здесь зависимая переменная y является линейной функцией от x и x². Полиномиальная регрессия необходима в случаях, когда исследователь хочет оценить нелинейную зависимость. Например, стресс (независимая переменная) может иметь нелинейную связь с выполнением сложной задачи (зависимой переменной). При снижении стресса выполнение может улучшиться, а при увеличении стресса выше некоторого среднего уровня выполнение может ухудшиться. При этом нелинейная (квадратичная) компонента - коэффициент регрессии в уравнении регрессии может оказаться значимым.

4. Множественная регрессия

Пример решения задач.

Нелинейная регрессия.

Построить уравнение регрессии y=f(x) для выборки x_i, y_i, (i=1,2,...,10).

В качестве f(x) рассмотреть четыре типа функций - линейная, степенная, показательная и гиперболу:

Необходимо найти их коэффициенты а и b, и, сравнив показатели качества, выбрать функцию, которая наилучшим образом описывает зависимость.

Решение:

Введем данные в таблицу вместе с подписями.

Рассмотрим гиперболическую регрессию. Для ее получения преобразуем данные. В третьей строке введем подпись «1/х». Получим характеристики регрессионной модели.

Таблица 1

Уравнение регрессии равно y^=-11,186+22,691/xi

P=1,013

Размещено на Allbest.ru