Байесовский подход в эконометрике и его реализация в программной среде R

Размещено на http://www.allbest.ru/

Байесовский подход в эконометрике и его реализация в программной среде R

Бабешко Л.О.

ФГОБУ ВО «Финансовый университет при Правительстве РФ», Москва

Процедура байесовского оценивания применима к широкому спектру моделей, рассматриваемых в рамках дисциплин эконометрического блока: регрессионных моделей, моделей с дискретной зависимой переменной, моделей временных рядов, систем одновременных уравнений, моделей для панельных данных. Она обладает значительным преимуществом по сравнению с классическими методами в точности статистического вывода при небольших объемах выборок данных, которые характерны для эконометрических исследований. В работе рассмотрены примеры оценивания модели множественной регрессии байесовским методом и выполнено сравнение аналитического решения с результатом оценивания методом MCMC (Markov Chain Monte Carlo) в программной среде R. Алгоритм цепи заключается в последовательном совершении переходов от одного распределения плотности вероятности к другому. В результате переходов получается выборка из большого числа распределений. Важным этапом оценивания в рамках МСМС, для получения корректных оценок математических ожиданий на основе сгенерированных инвариантных распределений, является проверка выполнения двух ограничений: эргодичность и сходимость Марковской цепи. Для выполнения тестирования данных предпосылок в программной среде R имеется целый арсенал тестов в пакете coda. В работе приводятся результаты диагностики при помощи теста raftery.diag() (Raftery, A.E. and Lewis, S).

Ключевые слова: байесовская регрессия, функция правдоподобия, метод Гиббса, метод Метрополиса- Г астингса, пакет Coda, метод Монте-Карло по схеме Марковской цепи.

BAYESIAN APPROACH IN ECONOMETRICS AND ITS IMPLEMENTATION IN THE R SOFTWARE ENVIRONMENT

Babeshko L.O.

Financial University under the Government of the Russian Federation, Moscow

The Bayesian estimation procedure is applicable to a wide range of models considered in the framework of econometric block disciplines: regression models, models with a discrete dependent variable, time series models, systems of simultaneous equations, models for panel data. It has a significant advantage compared to classical methods in the accuracy of statistical inference with small data samples, which are characteristic of econometric studies. In this paper, the evaluation examples of the multiple regression model by the Bayesian method are considered, and the analytical solution is compared with the MCMC (Markov Chain Monte Carlo) estimation result in the software environment R. The chain algorithm consists of successive transitions from one probability density to another. As a result of transitions, a sample of many distributions is obtained. An important stage of estimation in the framework of the MSMS, to obtain correct estimates of mathematical expectations based on the generated invariant distributions, is to check whether two constraints are satisfied: ergodicity and Markov chain convergence. To test these prerequisites in the R software environment, there is a whole arsenal of tests in the coda package. The paper provides diagnostic results using the raftery.diag () test (Raftery, A.E. and Lewis, S). байесовское оценивание эконометрический блок

Keywords: Bayesian regression, likelihood function, Gibbs method, Metropolis-Hastings method, Coda package, Markov chain Monte Carlo.

В настоящее время, с развитием информационных технологий, байесовские методы нашли широкое применение в теории и практике эконометрических исследований и включены в учебные программы магистерской подготовки ведущих университетов в качестве дисциплин по выбору, основное назначение которых - дать представление о современных подходах байесовского оценивания и методах их реализации в статистических пакетах прикладных программ.

В байесовском подходе оптимальным образом используется информация из двух источников: априорная информация о моделируемом объекте (информация, полученная из предыдущих исследований или теоретических предположений) и статистическая информация, содержащаяся в результатах наблюдений. Обновленная информация (апостериорная вероятность) - результат применения формулы Байеса:

Основное преимущество применения байесовского подхода в его унифицированности, вне зависимости от типа моделей, и включает следующие этапы: выбор стохастической модели, генерирующей наблюдения; формулировка априорных допущений относительно значений параметров; формирование выборки; информация об апостериорной ФПВ и её обобщающих характеристиках (меры центральной тенденции и дисперсии, апостериорные интервалы). Байесовские методы имеют точностные преимущества по сравнению с классическими в условиях малых выборок, что характерно для эконометрических данных.

Работа нацелена на апробацию алгоритмов байесовского метода оценивания в рамках аналитического и численного МСМС-подхода, с выполнением оценивания и диагностики предпосылок метода в программной среде R.

Результаты исследования и их обсуждение. Процедура байесовского оценивания применима к широкому спектру моделей, рассматриваемых в рамках дисциплин эконометрического блока: регрессионных моделей, моделей с дискретной зависимой переменной, моделей временных рядов, систем одновременных уравнений, моделей для панельных данных. Программы дисциплин байесовского подхода в эконометрике, как правило, включают байесовский анализ классической модели линейной регрессии и байесовский подход с применением метода Монте-Карло по схеме Марковской цепи.

Выбор априорного распределения, задающего начальное представление о поведении параметров модели, базируется на семействе сопряженных распределений, для которых априорное и апостериорное распределения принадлежат одному и тому же семейству распределений.

Для существования сопряженного семейства априорных распределений функция правдоподобия должна быть представлена в виде произведения достаточных статистик:

Для формирования семейства распределений, сопряжённого с наблюдаемой генеральной совокупностью, в случае представления функции правдоподобия в виде произведения (3) достаточно одного перехода. При этом в качестве априорных распределений при решении практических задач применяют два вида функций [2]:

для параметров, принимающих как положительные, так и отрицательные значения на числовой оси, априорная функция плотности принимает постоянное значение

и поскольку в данном случае в функции (4) нет никакой информации о параметрах модели, в обозначении используется индекс САЗ - скудность априорных знаний;

для параметров, принимающих только положительные значения на числовой оси

где 0 случайный параметр. Таким образом, для построения семейства априорных распределений, сопряженных с наблюдаемой генеральной совокупностью, необходимо проверить возможность представления функции правдоподобия в виде произведения достаточных статистик и в зависимости от знаков параметров модели выбрать САЗ- апостериорное распределение:

В байесовских моделях эконометрики в качестве элементов вектора 0 включают вектор параметров моделей, дисперсии возмущений, автоковариационные матрицы возмущений и оценок параметров. Оценим модель множественной линейной регрессии байесовским методом:

первое слагаемое включает ошибку оценки (прогноза) эндогенной переменной, второе - ошибку оценки вектора параметров. Выразим первое слагаемое через несмещенную оценку дисперсии возмущений

Для определения параметров байесовской регрессии аналитическим способом, необходимо вычислить параметры сопряженного с наблюдаемой генеральной совокупностью априорного распределения. Обычно для этой цели применяется метод моментов, использующий оценки числовых характеристик, полученные по выборочным данным в рамках ММП-оценивания.

В качестве примера рассмотрим оценку параметров модели линейной регрессии байесовским методом по данным таблицы 1.

Таблица 1

Выборочные данные [3]

Оценим частное распределение параметра точности h в нормальной части распределения (12). Он имеет гамма-распределение с параметрами а и 0. Используя значения числовых характеристик и метод моментов, получим:

При практической реализации алгоритма байесовского оценивания, в пакетах прикладных программ, выполняется многократное генерирование случайных величин с заданным распределением. Эффективными средствами генерации таких выборок являются итерационные методы Монте-Карло, использующие цепи Маркова MCMC (Monte Carlo Markov chain) [4]. Для генерации выборки, как правило, используются методы Гиббса (Gibbs sampler) и Метрополиса-Гастингса (Metropolis-Hastings sampler). В генераторе Гиббса вначале инициализируется начальный вектор параметров, например для рассматриваемой регрессионной модели с двумя параметрами

с основными параметрами: formula - спецификация регрессионной модели; data - данные в форме data.frame; b0 - априорное среднее значение вектора параметров; B0 - априорное значение автоковариационной матрицы оценок параметров. В таблице 2 приведен фрагмент протокола результатов оценивания регрессионной модели байесовским методом по данным таблицы 1.

Таблица 2

Результаты оценивания

Важным этапом оценивания в рамках МСМС, для получения корректных оценок математических ожиданий на основе сгенерированных инвариантных распределений, является проверка выполнения двух ограничений: эргодичности и сходимости Марковской цепи. Для выполнения тестирования данных предпосылок в программной среде R имеется целый арсенал тестов в пакете coda: geweke.diag ( ) (Geweke), gelman.diag( ) (Gelman and Rubin), heidel.diag( ) (Heidelberger and Welch), raftery.diag( ) (Raftery and Lewis). Ниже приводится протокол результатов диагностики при помощи теста

В последнем столбце протокола - оценка «коэффициента зависимости» степени, до которой автокорреляция увеличивает требуемый размер выборки (bound Dependence factor (I)). Значения I > 5 указывают на сильную автокорреляцию, которая может быть связана с плохим выбором начального значения или высокими апостериорными корреляциями. В рассматриваемом примере этот показатель меньше 5 для всех параметров модели, следовательно, проблем со сходимостью нет.

Заключение. Результат оценивания модели множественной регрессии (7), по данным таблицы 1, в рамках аналитического байесовского подхода, алгоритм которого включает: проверку условия существования сопряженного семейства априорных распределений; определение общего вида семейства априорных распределений, сопряженных с функцией правдоподобия, и подбор значений их параметров; трансформацию значений параметров при переходе от априорного сопряженного распределения к апостериорному - показывает значительное повышение точности интервального оценивания по сравнению с классическим ММП-оцениванием и оценками в рамках метода MCMC.

Данный факт особенно важен для повышения мотивации бакалавров экономических направлений вузов к изучению байесовского подхода в статистике и эконометрике и к его использованию при изучении специальных дисциплин, ориентированных на будущую профессию. Задача преподавателей - разработать методику обучения байесовского подхода в эконометрике с использованием современных эконометрических пакетов в форме специально адаптированных программных продуктов. В данной статье для реализации байесовского подхода в эконометрике предлагается использовать программную среду R, которая пользуется широкой поддержкой научного сообщества, сообщества разработчиков и пользователей и применяется при решении базовых задач высшей математики студентами общеэкономических специальностей Финансового университета. R позволяет создавать программы с высокой степенью интерактивности обучаемого, что очень важно для процесса обучения [7].

Список литературы

1. Де Гроот М. Оптимальные статистические решения. М.: МИР, 1974. 491 c.

2. Айвазян С.А., Фантаццини Д. Эконометрика-2: Продвинутый курс с приложениями в финансах: учебник. М.: Магистр: Инфра-Ь, 2014. 944 c.

3. Бабешко Л.О., Бич М.Г., Орлова И.В. Эконометрика и эконометрическое моделирование: учебник. М.: Вузовский учебник: ИНФРА-М, 2017. 385 c.

4. Шитиков В.К., Розенберг Г.С. Рандомизация и бутстреп: статистический анализ в биологии и экологии с использованием R. Тольятти: «Кассандра», 2013. 305 c.

5. Martin A.D., Quinn K.M., Park J.H. MCMCpack: Markov Chain Monte Carlo in R. Journal of Statistical Software. 2011. Vol. 42. Issue 9. 21 p.

6. Fornalski K.W. Applications of the robust Bayesian regression analysis. International Journal of Society Systems Science. 2015. Vol. 7. № 4. P. 314-333.

7. Гущин Ю.В. Интерактивные методы обучения в высшей школе // Психологический журнал. 2012. № 2. С. 1-18.

Размещено на Allbest.ru