МНК в экономическом анализе

Размещено на http://www.allbest.ru/

Академия гуманитарных наук и образования

Негосударственное образовательное учреждение высшего профессионального образования

Омская гуманитарная академия

Социально-экономический факультет

Контрольная работа

на тему: МНК в экономическом анализе

Выполнила:

Бикбаева З.Я.

Проверила:

Сечкина О.В.

Омск, 2014 год



Содержание

1. Обобщенный МНК. Оценки МНК, их свойства

2. Алгоритмы, средства вычисления оценок. Компьютеризация метода

3. Косвенный метод наименьших квадратов

Список литературы



1. Обобщенный МНК. Оценки МНК, их свойства

Обобщённый метод наименьших квадратов (ОМНК, GLS - англ. Generalized Least Squares) - метод оценки параметров регрессионных моделей, являющийся обобщением классического метода наименьших квадратов. Обобщённый метод наименьших квадратов сводится к минимизации «обобщённой суммы квадратов» остатков регрессии, где вектор остатков, симметрическая положительно определенная весовая матрица. Обычный МНК является частным случаем обобщённого, когда весовая матрица пропорциональна единичной. Необходимо отметить, что обычно обобщённым методом наименьших квадратов, называют частный случай, когда в качестве весовой матрицы используется матрица, обратная ковариационной матрице случайных ошибок модели.

Оценки МНК, их свойства.

Способ оценивания представляет собой формулу для оценивания параметров генеральной совокупности. Более конкретно, оценкой параметра q по выборке называется произвольная функция от выборочных значений. Так как предполагаемые выборочные значения являются СВ, то и q* является СВ. Как только произведена выборка, у нас будет набор чисел, которые будут использованы для получения численной оценки параметра q. Таким образом, метод оценивания - формула, оценка - число. Если будут извлекаться другие выборки, то метод оценивания будет один и тот же, а оценки могут меняться от выборки к выборке.

Естественно потребовать, чтобы значения оценки по каждой выборке были близки к истинному значению оцениваемого параметра, которое будем обозначать q и которого мы не знаем. Обычно к оценкам параметров генеральной совокупности, которые являются случайными величинами, выдвигаются следующие требования.

1) Несмещенность q* называется несмещенной оценкой q, если:



М * (q*) = q (1.1)

2) Эффективность. Можно получить несколько несмещенных оценок одного и того же параметра. Среди них следует выбрать оценку с наименьшей дисперсией, которую называют эффективной.

3) Состоятельность. q* называется состоятельной оценкой q, если с увеличением объема выборки оценка q* приближается к истинному значению q. Формально это записывается с помощью предела по вероятности: для любого e>0:

Очень часто, для проверки состоятельности оценок используются теорема Чебышева (закон больших чисел) и центральная предельная теорема.

Теорема Чебышева (частный случай). Пусть Х1, Х2 - независимые и одинаково распределенные СВ с математическими ожиданиями и дисперсиями. Тогда:

Центральная предельная теорема. Пусть Х1, Х2, Хn - независимые и одинаково распределенные СВ с математическими ожиданиями и дисперсиями. Введем СВ и:



Тогда закон распределения СВ, которую называют нормированной суммой СВ, стремится к нормальному закону с параметром 0.

Примеры построения оценок.

Пример 1.1: Оценка математического ожидания mx признака x в генеральной совокупности. Пусть X1, X2… X3 - предполагаемая выборка, по которой мы собираемся оценить mx. По соглашению математическое ожидание каждой компоненты Xt равно:

M(X1) = mx * (t = 1.2…n)

Т. е., каждая выборочная компонента может служить несмещенной оценкой неизвестной величины mx. Средняя выборочная так же будет несмещенной оценкой mx. Действительно, по свойствам математического ожидания:

Рассмотрим далее свойство эффективности оценок. Для этого предположим, что найдено несколько несмещенных независимых оценок параметра mx, дисперсия каждой из которых D(X1), т. е., равна дисперсии признака X. Будем искать линейную комбинацию оценок X, удовлетворяющую условиям несмещенности и минимальности дисперсии параметра mx:

Из требования несмещенности:



В результате получаем задачу на условный экстремум для функции k переменных:

Для решения задачи по методу Лагранжа, составляем функцию:

Необходимые условия экстремума:

Так как:

Тогда точка примет вид:



- что является точкой условного минимума функции, т. е., оценка:

- это имеет минимальную дисперсию при условии:

- при равной:

Применим теорему Чебышева:

Отсюда следует, что оценка X является и состоятельной оценкой математического ожидания ГС.

Пример 1.2: Оценка дисперсии Dx признака X в генеральной совокупности. Как и в примере 1.1, рассмотрим оценку по формуле:



Для проверки несмещенности найдем математическое ожидание:

Таким образом, оценка генеральной дисперсии с помощью выборочной дисперсии является смещенной. Чтобы получить несмещенную оценку дисперсии, выборочную дисперсию следует умножить на поправочный коэффициент:

Т. е., вместо выборочной дисперсии D для оценки следует взять исправленную выборочную дисперсию:

Для проверки состоятельности оценки D найдем предел по вероятности от правой части. Первое слагаемое:

Является средним арифметическим n независимых, одинаково распределенных:

СВ * (X1 - mx)²



По закону больших чисел:

Т. е., исправленная дисперсия так же является состоятельной оценкой генеральной дисперсии.

Пример 1.3: Ковариация (корреляционный момент) между СВ X и Y определяется как математическое ожидание произведения СВ:

Покажем, что несмещенной оценкой ковариации является выборочный корреляционный момент:

Предварительно преобразуем это выражение:



Заменяя:

Получаем:

Так как в 1-й сумме n слагаемых, то математическое ожидание 1-й суммы равно:

Во второй сумме n2 слагаемых, причем для n из них (когда i=j) математическое ожидание равно xr.

А для остальных равно нулю. Тогда математическое ожидание 2-й суммы равно:

Т. е., Sxr является несмещенной оценкой для xr.

Состоятельность оценки Sxr доказывается точно таким же образом, как и состоятельность S2 при оценке дисперсии. Выражение:



Является средним арифметическим n независимых, одинаково распределенных СВ:

По закону больших чисел:

Предел по вероятности 1-й суммы «В» равен:

Пределы по вероятности остальных слагаемых в равны нулю.

Свойства оценок на основе МНК.

Возможны разные виды уравнений множественной регрессии: линейные и нелинейные. Ввиду четкой интерпретации параметров наиболее широко используется линейная функция.

В линейной множественной регрессии параметры при называются коэффициентами «чистой» регрессии.

Они характеризуют среднее изменение результата с изменением соответствующего фактора на единицу при неизмененном значении других факторов, закрепленных на среднем уровне.

Рассмотрим линейную модель множественной регрессии.

Классический подход к оцениванию параметров линейной модели множественной регрессии основан на методе наименьших квадратов (МНК). МНК позволяет получить такие оценки параметров, при которых сумма квадратов отклонений фактических значений результативного признака от расчетных минимальна.

Как известно из курса математического анализа, для того чтобы найти экстремум функции нескольких переменных, надо вычислить частные производные первого порядка по каждому из параметров и приравнять их к нулю.

После элементарных преобразований приходим к системе линейных нормальных уравнений для нахождения параметров линейного уравнения множественной регрессии.

Метод наименьших квадратов применим и к уравнению множественной регрессии в стандартизированном масштабе.

Стандартизированные переменные для которых среднее значение равно нулю, а среднее квадратическое отклонение равно единице (стандартизированные коэффициенты регрессии).

Стандартизованные коэффициенты регрессии показывают, на сколько единиц изменится в среднем результат, если соответствующий фактор изменится на одну единицу при неизменном среднем уровне других факторов. В силу того, что все переменные заданы как центрированные и нормированные, стандартизованные коэффициенты регрессии можно сравнивать между собой.

Сравнивая их друг с другом, можно ранжировать факторы по силе их воздействия на результат. В этом основное достоинство стандартизованных коэффициентов регрессии в отличие от коэффициентов «чистой» регрессии, которые несравнимы между собой.

Применяя МНК к уравнению множественной регрессии в стандартизированном масштабе, получим систему нормальных уравнений.

Поэтому можно переходить от уравнения регрессии в стандартизованном масштабе к уравнению регрессии в натуральном масштабе переменных.

Рассмотренный смысл стандартизованных коэффициентов регрессии позволяет их использовать при отсеве факторов - из модели исключаются факторы с наименьшим значением.

На основе линейного уравнения множественной регрессии могут быть найдены частные уравнения регрессии: т. е., уравнения регрессии, которые связывают результативный признак с соответствующим фактором при закреплении остальных факторов на среднем уровне.

При подстановке в эти уравнения средних значений соответствующих факторов они принимают вид парных уравнений линейной регрессии.

В отличие от парной регрессии частные уравнения регрессии характеризуют изолированное влияние фактора на результат, ибо другие факторы закреплены на неизменном уровне.

Эффекты влияния других факторов присоединены в них к свободному члену уравнения множественной регрессии. Это позволяет на основе частных уравнений регрессии определять частные коэффициенты эластичности, при которой коэффициент регрессии для фактора в уравнении множественной регрессии - частное уравнение регрессии.

Наряду с частными коэффициентами эластичности могут быть найдены средние по совокупности показатели эластичности: которые показывают на сколько процентов в среднем изменится результат, при изменении соответствующего фактора на 1%. Средние показатели эластичности можно сравнивать друг с другом и соответственно ранжировать факторы по силе их воздействия на результат.

2. Алгоритмы, средства вычисления оценок. Компьютеризация метода

Алгоритмы вычисления оценок (АВО) были предложены академиком РАН Ю.И. Журавлевым в начале 70-х годов прошлого века. В их описании были отражены передовые концепции решения задач распознавания.

Принципы, использованные в модели АВО:

- Решение о классификации объекта принимается с помощью анализа оценок близости объекта к классам. За какой класс оценка близости выше к тому классу и относят объект. Оценки вычисляет распознающий оператор. Классифицирует объекты на основе оценок их близостей к классам решающее правило;

- При вычислении оценок близости к классам учитывают близость/дальность объекта к эталонным объектам. Близость/схожесть описаний, малое расстояние между значениями признаков. При этом оценка близости объекта к классу тем выше, чем ближе он к эталонным объектам данного класса и дальше от эталонных объектов других классов;

- Близость распознаваемого объекта S к эталонному определяется на основе расстояний и формализуется понятием функция близости.

Определение модели АВО.

В этой модели алгоритм распознавания представляется в виде суперпозиции распознающего оператора (РО)B.

Так же тут подразумевается и решающее правило (РП).

3. Косвенный метод наименьших квадратов

В системе одновременных уравнений каждое уравнение не может рассматриваться как самостоятельная часть системы, поэтому оценки неизвестных коэффициентов данных уравнений нельзя определить с помощью классического метода наименьших квадратов, т. к. - нарушаются три основных условия применения этого метода:

а) между переменными системы уравнений существует одновременная зависимость, т. е., в первом уравнении системы y1 является функцией от y2, а во втором уравнении уже y2 является функцией от y1;

б) наличие проблема мультиколлинеарности, т. е., во втором уравнении системы y2 зависит от x1, а в других уравнениях обе переменные являются факторными;

в) случайные ошибки уравнения коррелируют с результативными переменными.

Следовательно, если неизвестные коэффициенты системы одновременных уравнений оценивать с помощью классического метода наименьших квадратов, то в результате мы получим смещённые и несостоятельные оценки.

Косвенный метод наименьших квадратов используется для получения оценок неизвестных коэффициентов системы одновременных уравнений, удовлетворяющих свойствам эффективности, несмещённости и состоятельности.

Косвенный метод наименьших квадратов применяется только в том случае, если структурная форма системы одновременных уравнений является точно идентифицированной.

Алгоритм метода наименьших квадратов реализуется в три этапа:

1. на основе структурной формы системы одновременных уравнений составляется её приведённая форма, все параметры которой выражены через структурные коэффициенты;

2. приведённые коэффициенты каждого уравнения оцениваются обычным методом наименьших квадратов;

3. на основе оценок приведённых коэффициентов системы одновременных уравнений определяются оценки структурных коэффициентов через приведённые уравнения.

Рассмотрим применение косвенного метода наименьших квадратов на примере структурной формы модели спроса и предложения:

Было доказано, что структурная форма модели спроса и предложения является точно идентифицированной, поэтому для определения оценок неизвестных параметров данной модели можно применить косвенный метод наименьших квадратов.

1) запишем приведённую форму модели спроса и предложения:

2) определим оценки коэффициентов приведённой формы модели спроса и предложения с помощью обычного метода наименьших квадратов. Тогда система нормальных уравнений для определения коэффициентов первого уравнения приведённой формы модели будет иметь вид:

Система нормальных уравнений для определения коэффициентов второго уравнения приведённой формы модели записывается аналогично. Решением данных систем нормальных уравнений будут численные оценки приведённых коэффициентов A1, A2, A3 и B1, B2, B3. Для определения по оценкам приведённых коэффициентов получить оценки структурных коэффициентов первого уравнения, необходимо из второго приведённого уравнения выразить переменную It и подставить полученное выражение в первое уравнение приведённой формы модели.

Для определения оценок структурных коэффициентов второго уравнения, необходимо из второго приведённого уравнения выразить переменную Pt-1 и подставить полученное выражение в первое уравнение приведённой формы модели.

Начнем с задачи точечного и доверительного оценивания линейной прогностической функции одной переменной.

Исходные данные - набор n пар чисел tk, xk, k, n.

При условиях, что tk - независимая переменная (например, время), а xk - зависимая (например, индекс инфляции, курс доллара США, объем месячного производства или размер дневной выручки торговой точки). Предполагается, что переменные связаны зависимостью:

xk = a (tk - tср)+ b + ek, k = 1.2,…,n

Где:

a и b - параметры, неизвестные исследователю и подлежащие оцениванию;

ek - погрешности, искажающие зависимость.

Среднее арифметическое моментов времени:

tср = (t1 + t2 +…+tn) / n

Тут введено в модель для облегчения дальнейших выкладок.

Обычно оценивают параметры a и b линейной зависимости методом наименьших квадратов. Затем восстановленную зависимость используют для точечного и интервального прогнозирования.

Как известно, метод наименьших квадратов был разработан великим немецким математиком К. Гауссом в 1794 г.

Согласно этому методу для расчета наилучшей функции, приближающей линейным образом зависимость x от t, следует рассмотреть функцию двух переменных:



Оценки метода наименьших квадратов - это такие значения a* и b*, при которых функция f(a,b) достигает минимума по всем значениям аргументов. Чтобы найти эти оценки, надо вычислить частные производные от функции f(a,b) по аргументам a и b, приравнять их 0, затем из полученных уравнений найти оценки: Имеем:

Преобразуем правые части полученных соотношений. Вынесем за знак суммы общие множители 2 и (-1). Затем рассмотрим слагаемые. Раскроем скобки в первом выражении, получим, что каждое слагаемое разбивается на три. Во втором выражении также каждое слагаемое есть сумма трех. Значит, каждая из сумм разбивается на три суммы. Имеем:

Приравняем частные производные 0. Тогда в полученных уравнениях можно сократить множитель (-2).

Поскольку:

Следовательно, оценки метода наименьших квадратов имеют вид:



Эту оценку нетрудно преобразовать и к виду:

Следовательно, восстановленная функция, с помощью которой можно прогнозировать и интерполировать, имеет вид:

x*(t) = a * (t - tср) + b*

Обратим внимание на то, что использование tср в последней формуле ничуть не ограничивает ее общность.

Сравним с моделью вида:

xk = c tk+ d + ek, k = 1.2,…,n

Ясно, что:

Аналогичным образом связаны оценки параметров:



Для получения оценок параметров и прогностической формулы нет необходимости обращаться к какой-либо вероятностной модели. Однако для того, чтобы изучать погрешности оценок параметров и восстановленной функции, т. е., строить доверительные интервалы для a*, b* и x*(t), подобная модель необходима.

Непараметрическая вероятностная модель.

Пусть значения независимой переменной t детерминированы, а погрешности ek или k = 1.2 - независимые одинаково распределенные случайные величины с нулевым математическим ожиданием и дисперсией неизвестной исследователю.

В дальнейшем неоднократно будем использовать Центральную Предельную Теорему (ЦПТ) теории вероятностей для величин ek или k = 1.2 (с весами).

Поэтому для выполнения ее условий необходимо предположить, например, что погрешности ek или k = 1.2, финитны или имеют конечный третий абсолютный момент.

Однако заострять внимание на этих внутри математических "условиях регулярности" нет необходимости.

Асимптотические распределения оценок параметров. Из формулы (2) следует, что:

Согласно ЦПТ оценка b* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией оценка которой приводится ниже:



Отметим, что многомерная нормальность имеет быть, когда каждое слагаемое в формуле (6) мало сравнительно со всей суммой, т. е.:

Несмещенность и асимптотическая нормальность оценок метода наименьших квадратов позволяют легко указывать для них асимптотические доверительные границы (аналогично границам в предыдущей главе) и проверять статистические гипотезы, например, о равенстве определенным значениям, прежде всего 0. Асимптотическое распределение прогностической функции. Из формул (5) и (6) следует, что:

При этом:

В соответствии:



Во многих литературных источниках рассматривается параметрическая вероятностная модель метода наименьших квадратов. В ней предполагается, что погрешности имеют нормальное распределение. Это предположение позволяет математически строго получить ряд выводов.

Так, распределения статистик вычисляются точно, а не в асимптотике, соответственно вместо квантилей нормального распределения используются квантили распределения Стьюдента, а остаточная сумма квадратов SS делится не на n, а на (n-2). Ясно, что при росте объема данных различия стираются.

Рассмотренный выше непараметрический подход не использует нереалистическое предположение о нормальности погрешностей. Распределения, встречающиеся в задачах менеджмента, как правило, не являются нормальными.

Платой за отказ от нормальности является асимптотический характер результатов. В случае простейшей модели метода наименьших квадратов оба подхода дают практически совпадающие рекомендации. Это не всегда так, не всегда два подхода бают близкие результаты. Например, в задаче обнаружения выбросов методы, опирающиеся на нормальное распределение, нельзя считать обоснованными, и обнаружено это было с помощью непараметрического подхода.

Общие принципы. Кратко сформулируем несколько общих принципов построения, описания и использования эконометрических методов анализа данных. Во-первых, должны быть четко сформулированы исходные предпосылки, т. е., полностью описана используемая вероятностно-статистическая модель. Во-вторых, не следует принимать предпосылки, которые редко выполняются на практике. В-третьих, алгоритмы расчетов должны быть корректны с точки зрения математико-статистической теории. В-четвертых, алгоритмы должны давать полезные для практики выводы.

Применительно к задаче восстановления зависимостей это означает, что целесообразно применять непараметрический подход, что и сделано выше.

Пример оценивания по методу наименьших квадратов. Пусть даны n = 6 пар чисел (tk, xk) так же k = 1, 2, 6, представленных во втором и третьем столбцах табл. В соответствии с формулами выше для вычисления оценок метода наименьших квадратов достаточно найти суммы выражений, представленных в четвертом и пятом столбцах табл.

Табл. - Расчет по методу наименьших квадратов при построении линейной прогностической функции одной переменной:

В соответствии:

Следовательно, прогностическая формула имеет вид:



Это те значения, которые полученная в результате расчетов прогностическая функция принимает в тех точках, в которых известны истинные значения зависимой переменной xi.

Вполне естественно сравнить восстановленные и истинные значения. Это и сделано в шестом - восьмом столбцах табл.

Для простоты расчетов в шестом столбце представлены произведения, седьмой отличается от шестого добавлением константы 9,03 и содержит восстановленные значения. Восьмой столбец - это разность третьего и седьмого.

Непосредственный анализ восьмого столбца табл.1 показывает, что содержащиеся в нем числа сравнительно невелики по величине по сравнению с третьим столбцом (на порядок меньше по величине). Кроме того, знаки "+" и "-" чередуются.

Эти два признака свидетельствуют о правильности расчетов. При использовании метода наименьших квадратов знаки не всегда чередуются. Однако если сначала идут только плюсы, а потом только минусы (или наоборот, сначала только минусы, а потом только плюсы), то это верный показатель того, что в вычислениях допущена ошибка.

Верно следующее утверждение.

Теорема:

Однако сумма по восьмому столбцу дает 0,06, а не 0. Незначительное отличие от 0 связано с ошибками округления при вычислениях. Близость суммы значений зависимой переменной и суммы восстановленных значений - практический критерий правильности расчетов.

В последнем девятом столбце табл. приведены квадраты значений из восьмого столбца. Их сумма - это остаточная сумма квадратов SS = 13,64. В соответствии со сказанным выше оценками дисперсии погрешностей и их среднего квадратического отклонения являются:

Рассмотрим распределения оценок параметров. Оценка b* имеет асимптотически нормальное распределение с математическим ожиданием b и дисперсией, которая оценивается как 2,27 ч 6 = 0,38 (здесь считаем, что 6 - "достаточно большое" число). Оценкой среднего квадратического отклонения является 0,615. Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра b имеет вид (26,83 - 1,96.0,615,26,83 + 1,96.0,615) = (25,625,28,035).

В формулах для дисперсий участвует величина:

Подставив численные значения, получаем, что:

Дисперсия для оценки а* коэффициента при линейном члене прогностической функции оценивается как 2,27 ч 63,1=0,036, а среднее квадратическое отклонение - как 0,19.

Следовательно, при доверительной вероятности 0,95 доверительный интервал для параметра а имеет вид (3,14 - 1,96.0,19,3,14 + 1,96,0,19) = (2,77,3,51).

Прогностическая формула с учетом погрешности имеет вид (при доверительной вероятности 0,95):

В этой записи сохранено происхождение различных составляющих. Упростим:

Например, при t = 12 эта формула дает:

алгоритм вычисление уравнение

Следовательно, нижняя доверительная граница - это 44,095, а верхняя доверительная граница - это 49,325.

Насколько далеко можно прогнозировать? Обычный ответ таков - до тех пор, пока сохраняется тот стабильный комплекс условий, при котором справедлива рассматриваемая зависимость.

Изобретатель метода наименьших квадратов Карл Гаусс исходил из задачи восстановления орбиты астероида (малой планеты) Церера. Движение подобных небесных тел может быть рассчитано на сотни лет. А вот параметры комет (например, срок возвращения) не поддаются столь точному расчету, поскольку за время пребывания в окрестности Солнца сильно меняется масса кометы.

В социально-экономической области горизонты надежного прогнозирования еще менее определены. В частности, они сильно зависят от решений центральной власти.

Чтобы выявить роль погрешностей в прогностической формуле, рассмотрим формальный предельный переход. Тогда слагаемые 9,03,1 ч 6,5,67 становятся бесконечно малыми, и:

Таким образом, погрешности составляют около:

В социально-экономических исследованиях подобные погрешности считаются вполне приемлемыми.



Список литературы

1. О.О. Замков, А.В. Толстопятенко, Р.Н. Черемных Взвешенный метод наименьших квадратов Взвешенный метод наименьших квадратов Математические методы в экономике. - М.: Дис., 1997.

2. Доугерти К. Введение в эконометрику. - М.: ИНФРА-М, 1997. - 402 с.

3. Кремер Н.Ш., Путко Б.А. Эконометрика: Учебник для вузов / Под ред. проф. Н.Ш. Кремера. - М.: ЮНИТИ-ДАНА, 2002. - 311 с.

4. Эконометрика: Учебник / Под ред. И.И. Елисеевой. - М.: Финансы и статистика, 2002. - 344 с.

5. Учебник. М.: Издательство "Изумруд", 2003.

Размещено на Allbest.ru

...