Размещено на http://www.allbest.ru/

Авторегрессия мультирядов

И.А. Пахнутов

Аннотация

Рассмотрены вопросы реализации авторегрессионных моделей VAR(k) для векторных временных рядов. Указан практический способ получения оценок параметров модели путем решения соответствующей вариационной задачи. Приведены примеры.

временные ряды, статистика, точечные оценки

Эконометристы нередко имеют дело со связанными временными рядами, которые желательно было бы анализировать совместно. Такие связанные ряды будем называть многомерными временными рядами или мультирядами. Популярный для одномерных рядов анализ часто реализуется (после стандартной в таких ситуациях предварительной обработки) в виде моделей авторегрессии выбранного порядка:

ys = ?aiys-i + b + еs, s=k,…,n-1,

где y0, y1,…, yn-1 - члены временного ряда, k - порядок модели, еs (некор-релированные с одинаковой дисперсией) погрешности (модель AR(k)). Этот метод реализован (почти) во всех прикладных пакетах анализа рядов и вполне доступен среднему специалисту.

Для мультирядов соответствующий вычислительный аппарат настолько громоздкий и трудоемкий, что указанный метод редко включается в прикладные пакеты (см., например, www.Aptech.com, или www.eviews.com) и полностью отсутствует в учебных и практических руководствах (см., например, [1, 2] и библиографию). Ниже будет показано, что естественная техника дифференциро-вания и аппарат матричной алгебры существенно упрощают задачу построения авторегрессионных моделей мультирядов.

Пусть теперь н(t) ? (m >1). Обозначим нi = н(ti), i=0, 1, …, n-1, ti+1 - ti = =const (?i). Будем считать, что проведена предварительная обработка ряда (проведено сглаживание, выделен тренд и т.д.). Рассмотрим модель чистой авторегрессии k-го порядка (модель VAR(k), k ? 1):

нs = ? Aнs-i + b (+ еs), s=k,…, n-1, (*)

где A - (mЧm) -матрицы (i - верхний индекс) и вектор bЃё ? - параметры модели, еs Ѓё ? - погрешности, распределенные нормально в соответствии с требованием класссического МНК (метода наименьших квадратов). При гипотезе стационарности временных рядов, некоррелированности ошибок еs с нулевым математическим ожиданием и постоянной дисперсией задача сводится к определению всех A и b, минимизирующих квадратичную форму (метод наибольшего правдоподобия)

F(A,…,A,b) = ? (1)

(поиск значений m(km+1) параметров), т.е. к решению уравнений

= 0, r =1,…, k, = 0 (2) (принцип Ферма).

Даже при скромных значениях m и k - задача достаточно трудоемкая.

Дифференцирование произвольной функции по векторным и матричным аргументам, вообще говоря, не вкладывается в стандартные правила дифференцирования многомерных функций (см., например, [3 - 5]). Так, для квадратной невырожденной матрицы Х производная (X ) ? -X , и уж тем более (sin(X))' ? cos(X). Это связано, прежде всего, с тем, что производная есть линейное преобразование и принадлежит к пространству, сопряженному к пространству аргументов. Тем не менее, основные свойства производных (с учетом оговоренных особенностей) сохраняются, а именно:

1. если f: X>Y линейно, то f ' = f,

2. (бf(x) + вц(x))' = бf '(x) + вц '(x) -

линейность (над соответствующим полем),

3. (f(x)·ц(x))' = f '(x)·ц(x) + f(x)·ц'(x)

(с учетом возможной некоммутативности произведения).

Примеры. a) a Ѓё ?, bЃё?, xЃё?, f (x) = ax b линейна, следовательно (свойство 1), f ' = f = a(·) b (точка обозначает место аргумента, на который действует производная, результат действия должен быть числом). векторный дифференцирование авторегрессионный

б) xЃё? ЃЛ (x2)' = (·) x + x(·) ? 2х

(равенство возможно лишь для симметричной матрицы.

в) (xAy) = yA, (xAy)= Ay

(в данном случае производная - вектор, сопряженный к аргументу).

Очевидно, дифференцирование здесь не сводится к простому вычислению частных производных и соответствующей их организации. В нашей задаче, связанной с минимизацией квадратичной формы, можно рассматривать производную не как линейное преобразование, а как элемент сопряженного пространства (с той же алгеброй). В таком случае нужно знать, не как и на что действует производная, а ее вид, т.е. совокупность всех частных производных с соответствующей структурой. В примере (а) в таком случае можно рассматривать декартово произведение: aЧb = a b - прямоугольная (mЧn) матрица.

Вот теперь все готово для применения необходимого (в данном случае и достаточного) условия минимума функции F. Дифференцируя (1) по А (r = 1,…, k) и b, получим

 ? F= 2? Ч н, (3)

F= 2?. (4)

Теперь уравнения (2) после усреднения (3) - (4) можно записать в виде

? + bЧ = , r =1,…, k, (5)

= , (6)

где = , a - матрица с элементами

(·)u,v = .

Подставив b из (6) в (5), приходим к уравнениям относительно матриц A (i=1,…, k):

? = - , r =1,…, k. (7)

Обозначим матрицы C = (матрицы выборочных кросс-вариаций), D = - . В дальнейшем для упрощения знак тильда также будет обозначать транспонирование. В этих обозначениях последнее уравнение принимает совсем простой вид:

? = , r = 1,…, k. (8)

Таким образом, уравнения для столбцов матриц (строк матриц A) различаются лишь правыми частями, и, следовательно, необходимо решить лишь m·k линейных уравнений (вместо m(km+1)) с k правыми частями.

В простейшем случае k=1 (марковский процесс) уравнение (7) примет вид:

= - , (9)

откуда получатся оценки

= ( - ), (10)

,

очень напоминающие (по форме) оценки параметров парной регрессии.

Рассмотрим пример данных [6, с. 285] о среднедушевом располагаемом доходе (СРД в тыс. долл.) США за период с 1960 по 1991 г. и среднедушевых расходах на конечное потребление (СРКП в тыс. долл.) за тот же период (табл. 1). Стандартный тест Энгеля-Гранджера говорит в пользу коинтеграции этих временных рядов.

Таблица 1

СРД	СРКП	СРД	СРКП	СРД	СРКП	СРД	СРКП
7.264	6.698	9.399	8.506	11.192	10.121	13.029	11.617
7.382	6.740	9.606	8.737	11.406	10.425	13.258	12.015
7.583	6.931	9.875	8.942	11.851	10.744	13.552	12.336
7.718	7.089	10.111	9.022	12.038	10.867	13.545	12.568
8.140	7.384	10.414	9.425	12.005	10.746	13.890	12.903
8.508	7.703	11.013	9.752	12.156	10.770	14.030	13.027
8.822	8.005	10.832	9.602	12.146	10.782	14.154	13.051
9.114	8.163	10.906	9.711	12.349	11.179	13.978	12.889

После предварительного (4-кратного) сглаживания по трем точкам и вычитания квадратичного тренда с коэффициентами получим следующее (табл. 2).

Таблица 2

СРД	СРКП	СРД	СРКП	СРД	СРКП	СРД	СРКП
0.138	0.081	0.047	0.08	-0.056	3.03610-3	-0.046	-0.126
2.4310-3	-0.023	0.042	0.098	-0.015	0.088	0.092	0.048
-0.102	-0.098	0.044	0.088	0.037	0.117	0.144	0.18
-0.147	-0.123	0.076	0.088	0.016	0.033	0.148	0.269
-0.114	-0.094	0.144	0.118	-0.089	-0.144	0.155	0.307
-0.047	-0.036	0.173	0.101	-0.209	-0.313	0.129	0.247
7.76310-3	0.012	0.083	6.65210-3	-0.276	-0.379	0.015	0.036
0.039	0.045	-0.026	-0.047	-0.214	-0.278	-0.189	-0.367

В данном случае m=2, n=32. Обозначим ri члены ряда СРД, si члены ряда СРКП,

нi = ,

i=0, 1,…, n-1. В случае k=1 запишем (9) в виде AC = D, где симметричная матрица C = , D = - . Элементы матрицы С вычисляются стандартно:

C = ,

где

л= .

Аналогично вычисляется матрица D. Для данных табл. 2 получаем:

C = , D = , = D·C= .

Теперь из (10) = . Обусловленность матрицы С оставляет желать луч-шего: > 511, собственные значения матрицы суть µ1 = 1.31210-3, µ2 = 0.036, что также говорит о взаимозависимости (коинтеграции) этих рядов.

В случае k = 2 (r, i = 1, 2) система уравнений (8) принимает вид:

· = . (11)

Приведем пример вычисления (остальные матрицы системы вычисляются аналогично),

л = :

= .

Окончательно имеем

C= = ,

D= = , R = C-1D = .

Отсюда

= , = , = - - = = .

Понятно, что если ряды коинтегрируют, то увеличение порядка модели мо-жет лишь ухудшить ситуацию: в последнем случае обусловленность матрицы С (отношение максимального собственного значения к минимальному) в пять раз хуже, чем в случае k=1.

Приведенная вычислительная схема проста, но в ней сложно найти дове-рительные оценки полученных параметров. В общем случае приведем модель к стандартному виду модели множественной регрессии. Введем обозначения: Y - (n-k)Чm матрица с элементами yi,j = нi+k-1,j (j-я координата вектора нi+k-1, i=1,…, n-k, j=1,…, m), X - (n-k)Ч(k·m+1) матрица, i-я строка которой имеет вид (нi+k-2,1, нi+k-2,2, …, нi+k-2,m, нi+k-3,1,…, нi-1,m, 1), A = (A, A,…, A, b), E - матрица со строками е, i=1,…, n-k. В этих обозначениях VAR(k) - модель (*) примет вид:

Y = XA + E. ()

В конусе неотрицательно-определенных матриц рассмотрим экстремальную задачу:

? (A) = (XA - Y)(XA - Y) > . (12)

Теорема. Матрица является решением задачи (12) тогда и только тогда,

когда она удовлетворяет уравнению Эйлера

X(X - Y) = 0. (13)

Доказательство. Необходимость. Рассмотрим вариацию

д?(A) = ? (A+H) - ? (A) = -HX(XA-Y) - (XA-Y) XH + HXXH,

где H - произвольная (km+1)Чm -матрица. Если матрица A решает задачу (12), то д?(A) ? 0 для любой Н (необходимое условие экстремума).

Предположим,

что X(XA-Y) = S ? 0.

Возьмем H = фS (?ф > 0), тогда

д?(A) = -2фSS + ф2SXXS.

Так как SS ? 0, то найдется вектор µЃё?, для которого µд?(A)µ < 0 при всех достаточно малых значениях ф, и, следовательно, матрица д?(A) не может быть неотрицательно определенной при любых Н, что противоречит предположению. Таким образом, на решении задачи (12) должно выполняться равенство (13).

Докажем достаточность. Пусть - решение уравнения Эйлера (13). Тогда для любой (km+1)Чm - матрицы А имеем:

?(A) = ?() + И(-A) ? ?(), (14)

где

И(-A) = (-A)XX(-A) ? 0,

так что ?(A) = ?(), что и требовалось.

Если матрица XX невырождена, то решение уравнения (13) можно записать в виде

= (XX)XY = XY,

где

X= (XX)X -

псевдообратная к Х матрица.

В качестве простых следствий теоремы укажем следующие.

1) Так как

= XY = X(XA + E) =A + XE,

то математическое ожидание M() = A (оценка несмещенная).

2) Обозначим U = XX, тогда X= UX. Для каждой р-компоненты Y ряда с дисперсией у, p =1,…, m, в силу некоррелированности ошибок имеем:

Var(Y) = уE

(E - единичная матрица порядка s) и, следовательно,

Var() = Var(XY) =XVar(Y) = у U. (15)

3) Математическое ожидание

MИ(-A) = ? M(-A)I (-A)jUij

= у ? Uij (U)ji = (m+1) у.

А так как

M? (A) = (n-k) у,

то в качестве несмещенной оценки у можно взять

=

(см. равенство (14)). Значения (n-m-k-1) (p =1,…, m) находятся на диагонали матрицы ? ().

Вернемся к приведенному выше примеру. По данным табл. 2 имеем

X= , Y = ,

U = , XY = ,

U= , =

Таким образом, = , = , = .

Оценки дисперсий суть диагональные элементы матрицы

D = = ЃЛ = 1.04110-3, = 1.42110-3.

Учитывая квантиль Стьюдента ф = 2.06, можно получить 95%-ные средне-квадратичные погрешности найденных параметров: si,j = 2.06, i = 1,…,5,

j = 1, 2:

sT =

(найденные оценки , незначимы). Оценка вычислительной обусловленности матрицы U равна = 3208, тогда как = 6.49107 - намного хуже.

Таким образом, при практической реализации модели VAR(k) в обоих случаях оценки параметров получаются из систем линейных уравнений, раз-личающихся лишь правыми частями, что эквивалентно задаче оценки параме-тров скалярного временного ряда. В случае вырожденной матрицы XX уравнение (13) может быть решено при дополнительных ограничениях (типа минимальной нормы) либо с использованием метода главных компонент [7]. Все приведенные расчеты выполнены в пакете EXCEL.

Список использованных литературных источников

1. Бриллинджер Д. Временные ряды. Обработка данных и теория. - М.: Мир, 1980.

2. Носко В.П. Эконометрика. Введение в анализ временных рядов.- М.: НФПК, 2002.

3. Vetter W.J. Matrix calculus operators and Taylor expansions /W.J. Vetter //SIAM Rev. 1973, v.15, №2, p. 352-369.

4. Дубровкин Б.А., Новиков С.П., Фоменко А.Т. Современная геометрия. - М.: Наука, 1986. - С. 217-260.

5. Дьедоне Ж. Основы современного анализа. - М.: Мир, 1964. - С. 172-180.

6. Елисеева И.И., Юзбашев М.М. Общая теория статистики. - М.: Финансы и статистика, 2001.

7. Дубров А.М., Мхитарян В.С., Трошин Л.И. Многомерные статистические методы. - М.: Финансы и статистика, 2000.

Размещено на Allbest.ru

...