Оценка качества уравнения парной регрессии: коэффициент детерминации, стандартная ошибка уравнения регрессии, t-критерий Стьюдента, F - критерий Фишера

Размещено на http://www.Allbest.Ru/

1

Министерство высшего и среднего специального образования

Национальный университет Узбекистана имени Мирзо Улугбека

Заочное отделение экономического факультета

Направление: Экономика (по отраслям и сферам)

РЕФЕРАТ

по предмету «Эконометрика»

по тему:

Оценка качества уравнения парной регрессии: коэффициент детерминации, стандартная ошибка уравнения регрессии, t-критерий Стьюдента, F-критерий Фишера

Выполнила: Шухратова Н.

Студентка 3-курса

Принял: преп. Отаев Ш.

Содержание

1. Модель множественной регрессии

2. Оценка параметров линейного уравнения множественной регрессии

1. F-критерий Фишера

Литература

1. Модель множественной регрессии

На любой экономический показатель чаще всего оказывает влияние не один, а несколько факторов. Например, спрос на некоторое благо определяется не только ценой данного блага, но и ценами на замещающие и дополняющие блага, доходом потребителей и многими другими факторами. В этом случае вместо парной регрессии рассматривается множественная регрессия

(1)

Множественная регрессия широко используется в решении проблем спроса, доходности акций, при изучении функции издержек производства, в макроэкономических расчетах и в ряде других вопросов экономики. В настоящее время множественная регрессия - один из наиболее распространенных методов в эконометрике. Основной целью множественной регрессии является построение модели с большим числом факторов, а также определение влияния каждого фактора в отдельности и совокупного их воздействия на моделируемый показатель.

Множественный регрессионный анализ является развитием парного регрессионного анализа в случаях, когда зависимая переменная связана более чем с одной независимой переменной. Большая часть анализа является непосредственным расширением парной регрессионной модели, но здесь также появляются и некоторые новые проблемы, из которых следует выделить две. Первая проблема касается исследования влияния конкретной независимой переменной на зависимую переменную, а также разграничения её воздействия и воздействий других независимых переменных. Второй важной проблемой является спецификация модели, которая состоит в том, что необходимо ответить на вопрос, какие факторы следует включить в регрессию (1), а какие - исключить из неё. В дальнейшем изложение общих вопросов множественного регрессионного анализа будем вести, разграничивая эти проблемы. Поэтому вначале будем полагать, что спецификация модели правильна.

Самой употребляемой и наиболее простой из моделей множественной регрессии является линейная модель множественной регрессии:

(2)

По математическому смыслу коэффициенты в уравнении (2) равны частным производным результативного признака y по соответствующим факторам:

,,…,.

Параметр б называется свободным членом и определяет значение y в случае, когда все объясняющие переменные равны нулю. Однако, как и в случае парной регрессии, факторы по своему экономическому содержанию часто не могут принимать нулевых значений, и значение свободного члена не имеет экономического смысла. При этом, в отличие от парной регрессии, значение каждого регрессионного коэффициента равно среднему изменению y при увеличении x_j на одну единицу лишь при условии, что все остальные факторы остались неизменными. Величина е представляет собой случайную ошибку регрессионной зависимости.

Попутно отметим, что наиболее просто можно определять оценки параметров , изменяя только один фактор x_j, оставляя при этом значения других факторов неизменными. Тогда задача оценки параметров сводилась бы к последовательности задач парного регрессионного анализа по каждому фактору. Однако такой подход, широко используемый в естественнонаучных исследованиях, (физических, химических, биологических), в экономике является неприемлемым. Экономист, в отличие от экспериментатора - естественника, лишен возможности регулировать отдельные факторы, поскольку не удаётся обеспечить равенство всех прочих условий для оценки влияния одного исследуемого фактора.

Получение оценок параметров уравнения регрессии (2) - одна из важнейших задач множественного регрессионного анализа. Самым распространенным методом решения этой задачи является метод наименьших квадратов (МНК). Его суть состоит в минимизации суммы квадратов отклонений наблюдаемых значений зависимой переменной y от её значений , получаемых по уравнению регрессии. Поскольку параметры являются случайными величинами, определить их истинные значения по выборке невозможно. Поэтому вместо теоретического уравнения регрессии (2) оценивается так называемое эмпирическое уравнение регрессии, которое можно представить в виде:

(3)

Здесь - оценки теоретических значений , или эмпирические коэффициенты регрессии, е - оценка отклонения е. Тогда расчетное выражение имеет вид:

(4)

Пусть имеется n наблюдений, объясняющих переменных и соответствующих им значений результативного признака:

(5)

Для однозначного определения значений параметров уравнения (4) объем выборки n должен быть не меньше количества параметров, т.е. . В противном случае значения параметров не могут быть определены однозначно. Если n=p+1, оценки параметров рассчитываются единственным образом без МНК простой подстановкой значений (5) в выражение (4). Получается система (p+1) уравнений с таким же количеством неизвестных, которая решается любым способом, применяемым к системам линейных алгебраических уравнений (СЛАУ). Однако с точки зрения статистического подхода такое решение задачи является ненадежным, поскольку измеренные значения переменных (5) содержат различные виды погрешностей. Поэтому для получения надежных оценок параметров уравнения (4) объём выборки должен значительно превышать количество определяемых по нему параметров. Практически, как было сказано ранее, объём выборки должен превышать количество параметров при x_j в уравнении (4) в 6-7 раз. Для проведения анализа в рамках линейной модели множественной регрессии необходимо выполнение ряда предпосылок МНК. В основном это те же предпосылки, что и для парной регрессии, однако здесь нужно добавить предположения, специфичные для множественной регрессии. Спецификация модели имеет вид (2).

Отсутствие мультиколлинеарности: между объясняющими переменными отсутствует строгая линейная зависимость, что играет важную роль в отборе факторов при решении проблемы спецификации модели.

Ошибки имеют нормальное распределение . Выполнимость этого условия нужна для проверки статистических гипотез и построения интервальных оценок.

При выполнимости всех этих предпосылок имеет место многомерный аналог теоремы Гаусса - Маркова: оценки , полученные по МНК, являются наиболее эффективными (в смысле наименьшей дисперсии) в классе линейных несмещенных оценок.

макроэкономический линейный множественный регрессия

2. Оценка параметров линейного уравнения множественной регрессии

Рассмотрим три метода расчета параметров множественной линейной регрессии.

Матричный метод. Представим данные наблюдений и параметры модели в матричной форме.

- n - мерный вектор - столбец наблюдений зависимой переменной;

- (p+1) - мерный вектор - столбец параметров уравнения регрессии (3);

- n - мерный вектор - столбец отклонений выборочных значений y_i от значений , получаемых по уравнению (4).

Для удобства записи столбцы записаны как строки и поэтому снабжены штрихом для обозначения операции транспонирования.

Наконец, значения независимых переменных запишем в виде прямоугольной матрицы размерности :

Каждому столбцу этой матрицы отвечает набор из n значений одного из факторов, а первый столбец состоит из единиц, которые соответствуют значениям переменной при свободном члене.

В этих обозначениях эмпирическое уравнение регрессии выглядит так:

 (6)

Отсюда вектор остатков регрессии можно выразить таким образом:

(7)

Таким образом, функционал , который, собственно, и минимизируется по МНК, можно записать как произведение вектора - строки е' на вектор - столбец е:

(8)

В соответствии с МНК дифференцирование Q по вектору В приводит к выражению:

(9)

которое для нахождения экстремума следует приравнять к нулю. В результате преобразований получаем выражение для вектора параметров регрессии:

(10)

Здесь - матрица, обратная к .

Пример:

Бюджетное обследование пяти случайно выбранных семей дало следующие результаты (в тыс. руб.):

макроэкономический линейный множественный регрессия

Семья	Накопления, S	Доход, Y	Имущество, W
1	3	40	60
2	6	55	36
3	5	45	36
4	3,5	30	15
5	1,5	30	90

Оценить регрессию S на Y и W.

Введем обозначения:

S = [3;6;5;3,5;1,5]' - вектор наблюдений зависимой переменной;

B = [a; b₁; b₂]' - вектор параметров уравнения регрессии;

Решить эту систему можно любым подходящим способом, например, методом определителей или методом Гаусса. При небольшом количестве определяемых параметров использование определителей предпочтительнее.

Применяя МНК к уравнению (12), после соответствующих преобразований получим систему нормальных уравнений:

(14)

В этой системе - элементы расширенной матрицы парных коэффициентов корреляции или, другими словами, коэффициенты парной корреляции между различными факторами или между факторами и результативным признаком. Имея измеренные значения всех переменных, вычислить матрицу парных коэффициентов корреляции на компьютере не составляет большого труда, используя, например, табличный процессор MS Excel или программу Statistica.

Решением системы (14) определяются в - коэффициенты. Эти коэффициенты показывают, на сколько значений с.к.о. изменитися в среднем результат, если соответствующий фактор х_j изменится на одну с.к.о. при неизменном среднем уровне других факторов. Поскольку все переменные заданы как центрированные и нормированные, в - коэффициенты сравнимы между собой. Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии, в отличие от коэффициентов обычной регрессии, которые несравнимы между собой.

Пусть функция издержек производства y (тыс. руб.) характеризуется уравнением вида:

где факторами являются основные производственные фонды (тыс. руб.) и численность занятых в производстве (чел.). Отсюда видно, что при постоянной занятости рост стоимости основных производственных фондов на 1 тыс. руб. влечет за собой увеличение затрат в среднем на 1,2 тыс. руб., а увеличение числа занятых на одного человека при неизменной технической оснащенности приводит к росту затрат в среднем на 1,1 тыс. руб.. Однако это не означает, что первый фактор сильнее влияет на издержки производства по сравнению со вторым. Такое сравнение возможно, если обратиться к уравнению регрессии в стандартизованном масштабе. Пусть оно выглядит так:

Это означает, что с ростом первого фактора на одно с.к.о. при неизменном числе занятых затраты на продукцию увеличиваются в среднем на 0,5 с.к.о. Так как в₁<в₂ (0,5<0,8), то можно заключить, что большее влияние на производство продукции оказывает второй фактор, а не первый, как кажется из уравнения регрессии в натуральном масштабе.

В парной зависимости стандартизованный коэффициент регрессии есть не что иное, как линейный коэффициент корреляции r. Подобно тому, как в парной зависимости коэффициенты регрессии и корреляции связаны между собой, так и во множественной регрессии коэффициенты «чистой» регрессии b_j связаны с в - коэффициентами:

(15)

Это позволяет от уравнения регрессии в стандартизованном масштабе:

(16)

переходить к уравнению регрессии в натуральном масштабе (4). Параметр а определяется так:

(17)

В случае справедливости Н₀ приведенная статистика имеет распределение Фишера с числом степеней свободы р и (n-p-1). Здесь - потеря качества уравнения в результате отбрасывания k факторов; k - число дополнительно появившихся степеней свободы; - необъясненная дисперсия первоначального уравнения.

Другим методом оценки мультиколлинеарности факторов может служить определитель матрицы парных коэффициентов корреляции между факторами (37). Обоснованием данного подхода служат такие рассуждения. Если бы факторы не коррелировали между собой, то в определителе (37) все внедиагональные элементы равнялись бы нулю, а на диагонали стояли бы единицы. Такой определитель равен единице. Если же, наоборот, между факторами существует полная линейная зависимость и все коэффициенты межфакторной корреляции равны единице, то определитель такой матрицы равен нулю. Следовательно, чем ближе к нулю определитель (37), тем сильнее мультиколлинеарность факторов и ненадежнее результаты множественной регрессии. И наоборот, чем ближе к единице величина (37), тем меньше мультиколлинеарность факторов.

Для оценки значимости мультиколлинеарности факторов выдвигается гипотеза Н₀: Дr₁₁ = 1. Доказано, что величина имеет приближенное распределение ч²с степенями свободы. Если , то гипотеза Н₀ отклоняется, мультиколлинеарность считается доказанной.

Другим методом выявления мультиколлинеарности является анализ коэффициентов множественной детерминации факторов. Для этого в качестве зависимой переменной рассматривается каждый из факторов. Например, коэффициент рассчитывается по следующей регрессии:

где первый фактор взят в качестве результативного признака, а остальные факторы - как независимые переменные, влияющие на первый фактор. Чем ближе такой R² к единице, тем сильнее проявляется мультиколлинеарность факторов.

Оставляя в уравнении регрессии факторы с минимальной R², можно решить проблему отбора факторов.

При этом рассчитывается статистика:

(18)

если коэффициент статистически значим, то

В этом случае x_j является линейной комбинацией других факторов, и его можно исключить из регрессии.

Перечислим основные последствия мультиколлинеарности:

Большие дисперсии оценок. Это затрудняет нахождение истинных значений определяемых величин и расширяет интервальные оценки, ухудшая их точность.

Уменьшаются t - статистики коэффициентов, что может привести к неоправданному выводу о несущественности влияния соответствующего фактора на зависимую переменную.

Оценки коэффициентов по МНК и их стандартные ошибки становятся очень чувствительными к малейшим изменениям данных, т.е. они становятся неустойчивыми.

Затрудняется определение вклада каждой из объясняющих переменных в объясняемую уравнением регрессии дисперсию зависимой переменной.

Возможно получение неверного знака у коэффициента регрессии.

Единого подхода к устранению мультиколлинеарности не существует. Существует ряд методов, которые не являются универсальными и применимы в конкретных ситуациях. Простейшим методом устранения мультиколлинеарности является исключение из модели одной или нескольких коррелированных переменных. Здесь необходима осторожность, чтобы не отбросить переменную, которая необходима в модели по своей экономической сущности, но зачастую коррелирует с другими переменными (например, цена блага и цены заменителей данного блага).

Иногда для устранения мультиколлинеарности достаточно увеличить объем выборки. Например, при использовании ежегодных данных можно перейти к поквартальным данным. Это приведёт к сокращению дисперсии коэффициентов регрессии и увеличению их статистической значимости. Однако при этом можно усилить автокорреляцию, что ограничивает возможности такого подхода.

В некоторых случаях изменение спецификации модели, например, добавление существенного фактора, решает проблему мультиколлинеарности. При этом уменьшается остаточная СКО, что приводит к уменьшению стандартных ошибок коэффициентов.

В ряде случаев минимизировать либо вообще устранить проблему мультиколлинеарности можно с помощью преобразования переменных.

Например, пусть эмпирическое уравнение регрессии имеет вид:

где факторы коррелированы. Здесь можно попытаться определить отдельные регрессии для относительных величин:

(19)

Возможно, что в моделях, аналогичных (40), проблема мультиколлинеарности будет отсутствовать.

Теперь рассмотрим другой вопрос, имеющий важное значение для проблем, связанных со спецификацией модели множественной регрессии. Это частная корреляция. С помощью частных коэффициентов корреляции проводится ранжирование факторов по степени их влияния на результат. Кроме того, частные показатели корреляции широко используются при решении проблем отбора факторов: целесообразность включения того или иного фактора в модель доказывается величиной показателя частной корреляции.

Частные коэффициенты корреляции характеризуют тесноту связи между результатом и соответствующим фактором при устранении влияния других факторов, включенных в уравнение регрессии.

Показатели частной корреляции представляют собой отношение сокращения остаточной дисперсии за счет дополнительного включения в модель нового фактора к остаточной дисперсии, имевшей место до введения его в модель.

Высокое значение коэффициента парной корреляции между исследуемой зависимой и какой - либо независимой переменной может означать высокую степень взаимосвязи, но может быть обусловлено и другой причиной, например, третьей переменной, которая оказывает сильное влияние на две первые, что и объясняет их высокую коррелированность. Поэтому возникает задача найти «чистую» корреляцию между двумя переменными, исключив (линейное) влияние других факторов. Это можно сделать с помощью коэффициента частной корреляции.

Коэффициенты частной корреляции определяются различными способами. Рассмотрим некоторые из них. Для простоты предположим, что имеется двухфакторная регрессионная модель:

(20)

и имеется набор наблюдений . Тогда коэффициент частной корреляции между у и, например, х₁ после исключения влияния х₂ определяется по следующему алгоритму:

Осуществим регрессию у на х₂ и константу и получим прогнозные значения .

Осуществим регрессию х₁ на х₂ и константу и получим прогнозные значения .

Удалим влияние х₂, взяв остатки и .

Определим выборочный коэффициент частной корреляции между у и х₁ при исключении х₂ как выборочный коэффициент корреляции между e_y и e₁:

(21)

Значения частных коэффициентов корреляции лежат в интервале [-1,1], как у обычных коэффициентов корреляции. Равенство нулю означает отсутствие линейного влияния переменной х₁ на у.

Существует тесная связь между коэффициентом частной корреляции и коэффициентом детерминации R²:

(21)

где - обычный коэффициент корреляции.

В ряде случаев, зная характер исходных данных, можно предвидеть гетероскедастичность и попытаться устранить её ещё на стадии спецификации. Однако значительно чаще эту проблему приходится решать после построения уравнения регрессии.

Графическое построение отклонений от эмпирического уравнения регрессии позволяет визуально определить наличие гетероскедастичности. В этом случае по оси абсцисс откладываются значения объясняющей переменной x_i (для парной регрессии) либо линейную комбинацию объясняющих переменных:

(для множественной регрессии), а по оси ординат либо отклонения e_i, либо их квадраты .

Значимость уравнения множественной регрессий в целом, так же, как и в парной регрессии, оценивается с помощью F-критерия Фишера:

(22)

Где - факторная сумма квадратов на одну степень свободы;

- остаточная сумма квадратов на одну степень свободы;

- коэффициент (индекс) множественной детерминации;

m - число параметров при переменных х (в линейной регрессии совпадает с числом включенных в модель факторов);

n - число наблюдений.

3. F-критерий Фишера

Оценивается значимость не только уравнения в целом, но и фактора, дополнительно включенного в регрессионную модель. Необходимость такой оценки связана с тем, что не каждый фактор, вошедший вариации в модель, может существенно увеличивать долю объясненной вариации результативного признака. Кроме того, при наличии в модели нескольких факторов они могут вводиться в модель в разной последовательности. Ввиду корреляции между факторами значимость одного и того же фактора может быть разной в зависимости от последовательности его введения в модель. Мерой для оценки включения фактора в модель служит частный F- критерий, т.е. .

(23)

Где - коэффициент множественной детерминации для модели с полным набором факторов;

- тот же показатель, но без включения в модель фактора ;

- число наблюдений;

- число параметров в модели (без свободного члена).

Критерий для коэффициента регрессии при i-м факторе, t_bi, а именно:

Если уравнение содержит больше двух факторов, то соответствующая программа РС дает таблицу дисперсионного анализа, показывая значимость последовательного добавления к уравнению регрессии соответствующего фактора. Так, если рассматривается уравнение: то определяются последовательно F-критерий для уравнения с одним фактором х₁, далее F-критерий для дополнительного включения в модель фактора х₂, т.е. для перехода от однофакторного уравнения регрессии к двухфакторному, и наконец, F-критерий для дополнительного включения в модель фактора х₃, т.е. дается оценка значимости фактора х₃ после включения в модель факторов х₁ и х₂. В этом случае F-критерий для дополнительного включения фактора х₂ после х₁ является последовательным в отличие от F-критерия для дополнительного включения фактора х₃, который является частным F-критерием, ибо оценивает значимость фактора в предположении, что он включен в модель последним. С t-критерием Стьюдента связан именно частный F-критерий. Последовательный F-критерий может интересовать исследователя на стадии формирования модели.

Оценка значимости коэффициентов чистой регрессии по t-критерию Стьюдента может быть проведена и без расчета частных F-критериев. В этом случае, как и в парной регрессии, для каждого фактора используется формула:

где b_i - коэффициент чистой регрессии при факторе х_i

m_bi - среднеквадратическая ошибка коэффициента регрессии b_i

Для уравнения множественной регрессии:

среднеквадратическая ошибка коэффициента регрессии может быть определена по следующей формуле

(24)

 - среднеквадратическое отклонение для признака у;

- среднеквадратическое отклонение для признака х_i

- коэффициент детерминации для уравнения множественной регрессии.

- коэффициент детерминации для значимости фактора х_i со всеми другими факторами уравнения множественной регрессии.

n - m - 1 - число степеней свободы для остаточной суммы квадратов отклонений.

Как видим, чтобы воспользоваться данной формулой, необходимы матрица межфакторной корреляции и расчет по ней соответствующих коэффициентов детерминации. Так, для уравнения

оценка значимости коэффициентов регрессии b1, b2, b3 предполагает расчет трех межфакторных коэффициентов детерминации, а именно: , .

Вместе с тем, если учесть, что

то можно убедиться, что

На основе соотношения b_i и m_bi получим

Аналогично можно оценивать и существенность частных показателей корреляции. Фактическое значение частного коэффициента корреляции сравнивается с табличным значением при или и числе степеней свободы k=n-h-2, где n- число наблюдений, h - число исключенных переменных. Так, если n =30 и оценивается существенность частного коэффициента корреляции второго порядка (например, ), то h = 2 и k = 26.

Если h является наивысшим порядком расчета частных коэффициентов корреляции для уравнения регрессии, то практически величина k совпадает с числом степеней свободы для остаточной вариации с n-m-1. Так, в уравнении, рассчитанном при n = 30, n-m-1 = 26. Если же уравнение регрессии дополняется расчетом частных коэффициентов корреляции разных порядков (второго, третьего и т.п.), то

K = n-h-2

Если величина частного F-критерия выше табличного значения, то это означает одновременного не только значимость рассматриваемого коэффициента регрессии, но и значимость частного коэффициента корреляции. Существует взаимосвязь между квадратом частного коэффициента корреляции и частным F-критерием, а именно:

Где - частный коэффициент детерминации фактора с y при неизменном уровне всех других факторов.

- доля остаточной вариации уравнения регрессии , включающего все факторы, кроме фактора

- доля остаточной вариации для уравнения регрессии с полным набором факторов.

Пример. Для рассматриваемой регрессии

; ;

Тогда

что соответствует ранее определенной величине.

Взаимосвязь показателей частного коэффициента корреляции, частного F-критерия и t- критерия Стьюдента для коэффициентов чистой регрессии может использоваться в процедуре отбора факторов. Отсев факторов при построении уравнения регрессии методом исключения практически можно осуществлять не только по частным коэффициентам корреляции, исключая на каждом шаге фактор с наименьшим незначимым значением частного коэффициента корреляции, но и по величинам t_bi и F_xi. Частный F-критерий широко используется и при построении модели методом включения переменных и шаговым регрессионным методом.

Используемая литература

1. Анатольев С. Эконометрика для подготовленных. 2003 - 64 с.

2. Леванова Л.Н. Основы эконометрики. 2003 - 34 с.

3. Перцев Н.В. Лекции по эконометрике. Часть 2. Вычислительные аспекты. 2003 - 31 с.

Размещено на allbest.ru

...