Размещено на http://www.allbest.ru/

Оглавление

• Введение
• 1. Анализ временных рядов
• 1.1 Временной ряд и его основные элементы
• 1.2 Автокорреляция уровней временного ряда и выявление его структуры
• 1.3 Моделирование тенденции временного ряда
• 1.4 Метод наименьших квадратов
• 1.5 Приведение уравнения тренда к линейному виду
• 1.6 Оценка параметров уравнения регрессии
• 1.7 Аддитивная и мультипликативная модели временного ряда
• 1.8 Стационарные временные ряды
• 1.9 Пример задачи моделирования временного ряда
• 2. Аналитическое выравнивание временного ряда
• 2.1 Пример задачи аналитического выравнивания
• 3. Линейная и нелинейная регрессия
• 3.1 Линейная регрессия
• 3.2 Полиномиальная регрессия
• 3.3 Нелинейная регрессия
• 3.4 Нелинейные модели парной регрессии и корреляции
• 3.5 Сглаживание данных
• 3.6 Пример нелинейной парной регрессии
• Заключение

Введение

Почти в каждой области встречаются явления, которые интересно и важно изучать в их развитии и изменении во времени. В повседневной жизни могут представлять интерес, например, метеорологические условия, цены на тот или иной товар, те или иные характеристики состояния здоровья индивидуума и т. д. Все они изменяются во времени. С течением времени изменяются деловая активность, режим протекания того или иного производственного процесса, глубина сна человека, восприятие телевизионной программы. Совокупность измерений какой-либо одной характеристики подобного рода в течение некоторого периода времени представляют собой временной ряд.

Совокупность существующих методов анализа таких рядов наблюдений называется анализом временных рядов.

Основной чертой, выделяющей анализ временных рядов среди других видов статистического анализа, является существенность порядка, в котором производятся наблюдения. Если во многих задачах наблюдения статистически независимы, то во временных рядах они, как правило, зависимы, и характер этой зависимости может определяться положением наблюдений в последовательности. Природа ряда и структура порождающего ряд процесса могут предопределять порядок образования последовательности.

Цель работы состоит в получении модели для дискретного временного ряда во временной области, обладающей максимальной простотой и минимальным числом параметров и при этом адекватно описывающей наблюдения.

Получение такой модели важно по следующим причинам:

1) она может помочь понять природу системы, генерирующей временные ряды;

2) управлять процессом, порождающим ряд;

3) ее можно использовать для оптимального прогнозирования будущих значений временных рядов;

Временные ряды лучше всего описываются нестационарными моделями, в которых тренды и другие псевдо устойчивые характеристики, возможно меняющиеся во времени, рассматриваются скорее как статистические, а не детерминированные явления. Кроме того, временные ряды, связанные с экономикой, часто обладают заметным и сезонными, или периодическими, компонентами; эти компоненты могут меняться во времени и должны описываться циклическими статистическими (возможно, нестационарными) моделями.

Пусть наблюдаемым временным рядом является y₁, y₂, . . ., y_n. Мы будем понимать эту запись следующим образом. Имеется Т чисел, представляющих собой наблюдение некоторой переменной в Т равноотстоящих моментов времени. Эти моменты для удобства пронумерованы целыми числами 1, 2, ..., Т. Достаточно общей математической (статистической или вероятностной) моделью служит модель вида:

y_t = f(t) + u_t, t = 1, 2, ..., T.

В этой модели наблюдаемый ряд рассматривается как сумма некоторой полностью детерминированной последовательности {f(t)}, которую можно назвать математической составляющей, и случайной последовательности {u_t}, подчиняющейся некоторому вероятностному закону. (И иногда для этих двух составляющих используются соответственно термины сигнал и шум). Эти компоненты наблюдаемого ряда не наблюдаемы; они являются теоретическими величинами. Точный смысл указанного разложения зависит не только от самих данных, но частично и оттого, что понимается под повторением эксперимента, результатом которого являются эти данные. Здесь используется так называемая "частотная" интерпретация. Полагается, что, по крайней мере, принципиально можно повторять всю ситуацию целиком, получая новые совокупности наблюдений. Случайные составляющие, кроме всего прочего, могут включать в себя ошибки наблюдений.

В данной работе рассмотрена модель временного ряда, в которой на тренд накладывается случайная составляющая, образующая случайный стационарный процесс. В такой модели предполагается, что течение времени никак не отражается на случайной составляющей. Точнее говоря, предполагается, что математическое ожидание (то есть среднее значение) случайной составляющей тождественно равно нулю, дисперсия равна некоторой постоянной и что значения u_tв различные моменты времени не коррелированны. Таким образом, всякая зависимость от времени включается в систематическую составляющую f(t). Последовательность f(t) может зависеть от некоторых неизвестных коэффициентов и от известных величин, меняющихся со временем. В этом случае её называют "функцией регрессии". Методы статистических выводов для коэффициентов функции регрессии оказываются полезными во многих областях статистики. Своеобразие же методов, относящихся именно к временным рядам, состоит в том, что здесь исследуются те модели, в которых упомянутые выше величины, меняющиеся со временем, являются известными функциями t.

Аппроксимация данных с учетом их статистических параметров относится к задачам регрессии. Они обычно возникают при обработке экспериментальных данных, полученных в результате измерений процессов или физических явлений, статистических по своей природе (как, например, измерения в радиометрии и ядерной геофизике), или на высоком уровне помех (шумов). Задачей регрессионного анализа является подбор математических формул, наилучшим образом описывающих экспериментальные данные.

Математическая постановка задачи регрессии заключается в следующем. Зависимость величины (числового значения) определенного свойства случайного процесса или физического явления Y от другого переменного свойства или параметра Х, которое в общем случае также может относиться к случайной величине, зарегистрирована на множестве точек x_k множеством значений y_k, при этом в каждой точке зарегистрированные значения y_k и x_k отображают действительные значения Y(х_k) со случайной погрешностью k, распределенной, как правило, по нормальному закону. По совокупности значений y_k требуется подобрать такую функцию f(x_k, a₀, a₁, …, a_n), которой зависимость Y(x) отображалась бы с минимальной погрешностью.

Функцию f(x_k, a₀, a₁, …, a_n) называют регрессией величины y на величину х. Регрессионный анализ предусматривает задание вида функции f(x_k, a₀, a₁, …, a_n) и определение численных значений ее параметров a₀, a₁, …, a_n, обеспечивающих наименьшую погрешность приближения к множеству значений y_k. Как правило, при регрессионном анализе погрешность приближения вычисляется методом наименьших квадратов (МНК).

Для определения параметров a₀, a₁, …, a_n функция остаточных ошибок дифференцируется по всем параметрам, полученные уравнения частных производных приравниваются нулю и решаются в совокупности относительно всех значений параметров. Виды регрессии обычно называются по типу аппроксимирующих функций: полиномиальная, экспоненциальная, логарифмическая и т.п.

1. Анализ временных рядов

1.1 Временной ряд и его основные элементы

дискретный временной автокорреляция тренд

Временной ряд - это совокупность значений какого-либо показателя за несколько последовательных моментов или периодов времени. Каждый уровень временного ряда формируется под воздействием большого числа факторов, которые условно можно подразделить на три группы:

· факторы, формирующие тенденцию ряда;

· факторы, формирующие циклические колебания ряда;

· случайные факторы.

При различных сочетаниях в изучаемом процессе или явлении этих факторов зависимость уровней ряда от времени может принимать различные формы. Во-первых, большинство временных рядов экономических показателей имеют тенденцию, характеризующую долговременное совокупное воздействие множества факторов на динамику изучаемого показателя. Очевидно, что эти факторы, взятые в отдельности, могут оказывать разнонаправленное влияние на исследуемый показатель. Однако в совокупности они формируют его возрастающую или убывающую тенденцию.

Во-вторых, изучаемый показатель может быть подвержен циклическим колебаниям. Эти колебания могут носить сезонный характер, поскольку деятельность ряда отраслей экономики и сельского хозяйства зависит от времени года. При наличии больших массивов данных за длительные промежутки времени можно выявить циклические колебания, связанные с общей динамикой временного ряда.

Некоторые временные ряды не содержат тенденции и циклической компоненты, а каждый следующий их уровень образуется как сумма среднего уровня ряда и некоторой (положительной или отрицательной) случайной компоненты.

В большинстве случаев фактический уровень временного ряда можно представить как сумму или произведение трендовой, циклической и случайной компонент. Модель, в которой временной ряд представлен как сумма перечисленных компонент, называется аддитивной моделью временного ряда. Модель, в которой временной ряд представлен как произведение перечисленных компонент, называется мультипликативной моделью временного ряда. Основная задача статистического исследования отдельного временного ряда - выявление и придание количественного выражения каждой из перечисленных выше компонент с тем чтобы использовать полученную информацию для прогнозирования будущих значений ряда.

1.2 Автокорреляция уровней временного ряда и выявление его структуры

При наличии во временном ряде тенденции и циклических колебаний значения каждого последующего уровня ряда зависят от предыдущих. Корреляционную зависимость между последовательными уровнями временного ряда называют автокорреляцией уровней ряда.

Количественно её можно измерить с помощью линейного коэффициента корреляции между уровнями исходного временного ряда и уровнями этого ряда, сдвинутыми на несколько шагов во времени.

Число периодов, по которым рассчитывается коэффициент автокорреляции, называют лагом. С увеличением лага число пар значений, по которым рассчитывается коэффициент автокорреляции, уменьшается. Некоторые авторы считают целесообразным для обеспечения статистической достоверности коэффициентов автокорреляции использовать правило - максимальный лаг должен быть не больше (n/4).

Отметим два важных свойства коэффициента автокорреляции.

Во-первых, он строится по аналогии с линейным коэффициентом корреляции и таким образом характеризует тесноту только линейной связи текущего и предыдущего уровней ряда. Поэтому по коэффициенту автокорреляции можно судить о наличии линейной (или близкой к линейной) тенденции. Для некоторых временных рядов, имеющих сильную нелинейную тенденцию (например, параболу второго порядка или экспоненту), коэффициент автокорреляции уровней исходного ряда может приближаться к нулю.

Во-вторых, по знаку коэффициента автокорреляции нельзя делать вывод о возрастающей или убывающей тенденции в уровнях ряда. Большинство временных рядов экономических данных содержит положительную автокорреляцию уровней, однако при этом могут иметь убывающую тенденцию.

Последовательность коэффициентов автокорреляции уровней первого, второго и т.д. Порядков называют автокорреляционной функцией временного ряда. График зависимости её значений от величины лага (порядка коэффициента корреляции) называется коррелограммой.

Анализ автокорреляционной функции и коррелограммы позволяет определить лаг, при котором автокорреляция наиболее высокая, а, следовательно, и лаг, при котором связь между текущим и предыдущими уровнями ряда наиболее тесная, то есть при помощи анализа автокорреляционной функции и коррелограммы можно выявить структуру ряда.

Если наиболее высоким оказался коэффициент автокорреляции первого порядка, исследуемый ряд содержит только тенденцию. Если наиболее высоким оказался коэффициент автокорреляции порядка ф, ряд содержит циклические колебания с периодичностью в ф моментов времени. Если ни один из коэффициентов автокорреляции не является значимым, можно сделать одно из двух предположений относительно структуры этого ряда: либо ряд не содержит тенденции и циклических колебаний, либо ряд содержит сильную нелинейную тенденцию, для выявления которой нужно провести дополнительный анализ. Поэтому коэффициент автокорреляции уровней и автокорреляционную функцию целесообразно использовать для выявления во временном ряде наличия или отсутствия трендовой компоненты и циклической, сезонной компоненты.

1.3 Моделирование тенденции временного ряда

Одним из наиболее распространенных способов моделирования тенденции временного ряда является построение аналитической функции, характеризующей зависимость уровней ряда от времени, или тренда. Этот способ называют аналитическим выравниванием временного ряда.

Пусть имеются следующие фактические уровни ряда: у₁, у₂, ..., у_n.

Характер изменения этих уровней, то есть движения динамического ряда, может быть различным. Нашей задачей является нахождение такой простой математической формулы, которая давала бы возможность вычислить теоретические уровни. Основное требование, предъявляемое к этой формуле, состоит в том, что уровни, исчисленные по ней, должны воспроизводить общую тенденцию фактических уровней.

Поскольку зависимость от времени может принимать разные формы, для ее формализации можно использовать различные виды функций. Для построения трендов чаще всего применяются следующие функции:

· линейный тренд:

y_t = a₀ + a₁t;

· Гипербола:

y_t =a₀ + a₁/t;

· экспоненциальный тренд:

y_t = e ^{a + bt} ;

· тренд в форме степенной функции:

y_t = at^b;

· парабола второго и более порядков:

y_t = a₀ + a₁t + a₂ t ² + . . . +a_k t ^k .

Аналитическое выравнивание есть не что иное, как удобный способ описания эмпирических данных.

Общие соображения при выборе типа линии, по которой производится аналитическое выравнивание, могут быть сведены к следующим:

1) Если абсолютные приросты уровней ряда по своей величине колеблются около постоянной величины, то математической функцией, уравнение которой можно принять за основу аналитического выравнивания, следует считать прямую линию:

y_t = a₀ + a₁ t,

где y_t считается как у, выровненный по t.

2) Если приросты приростов уровней, то есть ускорения, колеблются около постоянной величины, то за основу аналитического выравнивания, следует принять параболу второго порядка:

y_t = a₀ + a₁ t + a₂ t².

Показатели а₀, а₁ и а₂ представляют собой в каждом отдельном случае выравнивания постоянные величины, называемые параметрами: а₀ -начальный уровень; а₁ - начальная скорость ряда и а₂ - ускорение или вторая скорость.

3) Если уровни изменяются с приблизительно постоянным относительным приростом, то выравнивание производится по показательной (экспонентной функции):

y_t = a₀ a₁^t.

В этих же целях можно использовать и коэффициенты автокорреляции уровней ряда. Тип тенденции можно определить путём сравнения коэффициентов автокорреляции первого порядка, рассчитанным по исходным и преобразованным уровням ряда. Если временной ряд имеет линейную тенденцию, то его соседние уровни y_t и y_{t -1} тесно коррелируют. В этом случае коэффициент автокорреляции первого порядка уровней исходного ряда должен быть высоким. Если временной ряд содержит нелинейную тенденцию, например, в форме экспоненты, то коэффициент автокорреляции первого порядка по логарифмам уровней исходного ряда будет выше, чем соответствующий коэффициент, рассчитанный по уровням ряда. Чем сильнее выражена нелинейная тенденция в изучаемом временном ряде, тем в большей степени будут различаться значения указанных коэффициентов.

При обработке информации на компьютере выбор вида уравнения тенденции обычно осуществляется экспериментальным методом, то есть путём сравнения величины остаточной дисперсии D_ост, рассчитанной при разных моделях. Имеют место отклонения фактических данных от теоретических (у - у_t).

1.4 Метод наименьших квадратов

Для нахождения аналитического уравнения, по которому производится выравнивание уровней временного ряда, применяют различные способы. Один из таких способов - метод наименьших квадратов - основан на требовании о том, чтобы сумма квадратов отклонений фактических данных от выровненных была наименьшей:

(у_{1 -} у₁)² + (у₂ - у₂)² + . . . + (у_n - y_n)² = S.

S должно быть наименьшим (минимальным)

Принцип, положенный в основу метода наименьших квадратов, может быть записан в сжатом математическом виде следующим образом:

? (y - y_t)² = min.

Полученная система называется системой нормальных уравнений для нахождения параметров а ₀, а ₁ и а ₂ при выравнивании по параболе второго порядка.

При выравнивании по показательной функции y_t = a₀ a₁^t параметры а ₀ и а ₁ определяются по методу наименьших квадратов отклонений логарифмов путём решения системы нормальных уравнений.

1.5 Приведение уравнения тренда к линейному виду

Если тренд представляет собой нелинейную функцию, то методы линейного регрессионного анализа для оценки его параметров неприменимы.

Но к некоторым нелинейным функциям мы можем применить такие преобразования, которые приведут нас к линейному уравнению.

Если наш тренд представлен степенной линией регрессии, то есть он имеет вид:

y_t = a₀t^a1,

то логарифмируя обе части равенства, получим:

ln y_t = ln a₀ + a₁ ln t.

Отсюда видно, что, введя новые переменные

z = ln y_t, x = ln t,

мы получим уравнение вида

z = b₀ +a₁x,

где b₀ = ln a₀.

Это обычное линейное уравнение.

Если линия тренда - парабола второго порядка

y_t = a₀ + a₁ t + a₂ t ²,

то заменой вида:

х₁ = t, x₂ = t ²,

мы получим линейную функцию двух переменных:

y_t = a₀ + a₁ х ₁ + a₂ х₂ .

Оценку параметров такой функции можно провести методами линейного регрессионного анализа для множественной регрессии.

Далее приведём основные понятия регрессионного анализа, которые используются для оценки параметров.

1.6 Оценка параметров уравнения регрессии

Уравнение регрессии всегда дополняется показателем тесноты связи. При использовании линейной регрессии в качестве такого показателя выступает линейный коэффициент корреляции r_yt. Существуют разные модификации формулы линейного коэффициента корреляции.

Следует иметь в виду, что величина линейного коэффициента корреляции оценивает тесноту связи рассматриваемых признаков в её линейной форме. Поэтому близость абсолютной величины линейного коэффициента корреляции к нулю ещё не означает отсутствия связи между признаками.

Для оценки качества подбора линейной функции рассчитывается квадрат линейного коэффициента корреляции r_yt², называемый коэффициентом детерминации. Коэффициент детерминации характеризует долю дисперсии результативного признака у_t, объясняемую регрессией, в общей дисперсии результативного признака.

Уравнение нелинейной регрессии, так же как и в линейной зависимости, дополняется показателем корреляции, а именно индексом корреляции R.

Парабола второго порядка, как и полином более высокого порядка, при лианеризации принимает вид уравнения множественной регрессии. Если же нелинейное относительно объясняемой переменной уравнение регрессии при линеаризации принимает форму линейного уравнения парной регрессии, то для оценки тесноты связи может быть использован линейный коэффициент корреляции, величина которого в этом случае совпадёт с индексом корреляции.

Иначе обстоит дело, когда преобразования уравнения в линейную форму связаны с зависимой переменной. В этом случае линейный коэффициент корреляции по преобразованным значениям признаков даёт лишь приближённую оценку тесноты связи и численно не совпадает с индексом корреляции. Так, для степенной функции

у_х = ах^b

после перехода к логарифмически линейному уравнению

lny = lna + blnx

может быть найден линейный коэффициент корреляции не для фактических значений переменных х и у, а для их логарифмов, то есть r_lnylnx. Соответственно квадрат его значения будет характеризовать отношение факторной суммы квадратов отклонений к общей, но не для у, а для его логарифмов:

Между тем при расчёте индекса корреляции используются суммы квадратов отклонений признака у, а не их логарифмов. С этой целью определяются теоретические значения результативного признака, то есть, как антилогарифм рассчитанной по уравнению величины и остаточная сумма квадратов как.

В знаменателе расчёта R²_yx участвует общая сумма квадратов отклонений фактических значений у от их средней величины, а в расчёте r²_lnxlny участвует. Соответственно различаются числители и знаменатели рассматриваемых показателей:

- в индексе корреляции и

- в коэффициенте корреляции.

Вследствие близости результатов и простоты расчётов с использованием компьютерных программ для характеристики тесноты связи по нелинейным функциям широко используется линейный коэффициент корреляции.

Несмотря на близость значений R и r или R и r в нелинейных функциях с преобразованием значения признака у, следует помнить, что если при линейной зависимости признаков один и тот же коэффициент корреляции характеризует регрессию, как следует помнить, что если при линейной зависимости признаков один и тот же коэффициент корреляции характеризует регрессию как, так и, так как, то при криволинейной зависимости для функции y=j(x) не равен для регрессии x=f(y).

Поскольку в расчёте индекса корреляции используется соотношение факторной и общей суммы квадратов отклонений, то имеет тот же смысл, что и коэффициент детерминации. В специальных исследованиях величину для нелинейных связей называют индексом детерминации.

Оценка существенности индекса корреляции проводится, так же как и оценка надёжности коэффициента корреляции.

Индекс корреляции используется для проверки существенности в целом уравнения нелинейной регрессии по F-критерию Фишера.

Величина m характеризует число степеней свободы для факторной суммы квадратов, а (n - m - 1) - число степеней свободы для остаточной суммы квадратов.

Для степенной функции m = 1 и формула F - критерия примет тот же вид, что и при линейной зависимости:

Для параболы второй степени

y = a₀ + a₁ x + a₂ x² +еm = 2

Расчёт F-критерия можно вести и в таблице дисперсионного анализа результатов регрессии, как это было показано для линейной функции.

Индекс детерминации можно сравнивать с коэффициентом детерминации для обоснования возможности применения линейной функции. Чем больше кривизна линии регрессии, тем величина коэффициента детерминации меньше индекса детерминации. Близость этих показателей означает, что нет необходимости усложнять форму уравнения регрессии и можно использовать линейную функцию.

Практически, если величина разности между индексом детерминации и коэффициентом детерминации не превышает 0,1, то предположение о линейной форме связи считается оправданным.

Если t _факт >t _табл, то различия между рассматриваемыми показателями корреляции существенны и замена нелинейной регрессии уравнением линейной функции невозможна. Практически, если величина t < 2, то различия между R_yx и r_yx несущественны, и, следовательно, возможно применение линейной регрессии, даже если есть предположения о некоторой нелинейности рассматриваемых соотношений признаков фактора и результата.

1.7 Аддитивная и мультипликативная модели временного ряда

Существует несколько подходов к анализу структуры временных рядов, содержащих сезонные или циклические колебания.

Простейший подход - расчет значений сезонной компоненты методом скользящей средней и построение аддитивной или мультипликативной модели временного ряда. Общий вид аддитивной модели следующий:

Y= T + S + E.

Эта модель предполагает, что каждый уровень временного ряда может быть представлен как произведение трендовой, сезонной и случайной компонент. Общий вид мультипликативной модели выглядит так:

Y = T•S•E.

Эта модель предполагает, что каждый уровень временного ряда может быть представлен как произведение трендовой, сезонной и случайной компонент. Выбор одной из двух моделей осуществляется на основе анализа структуры сезонных колебаний. Если амплитуда колебаний приблизительно постоянна, строят аддитивную модель временного ряда, в которой значения сезонной компоненты предполагаются постоянными для различных циклов. Если амплитуда сезонных колебаний возрастает или уменьшается, строят мультипликативную модель временного ряда, которая ставит уровни ряда в зависимость от значений сезонной компоненты.

Построение аддитивной и мультипликативной моделей сводится к расчету значений трендовой, циклической и случайной компонент для каждого уровня ряда.

Процесс построения модели включает в себя следующие шаги.

1. Выравнивание исходного ряда методом скользящей средней.

2. Расчет значений сезонной компоненты.

3. Устранение сезонной компоненты из исходных уровней ряда и получение выровненных данных в аддитивной или мультипликативной модели.

4. Аналитическое выравнивание уровней и расчет значений тренда с использованием полученного уравнения тренда.

5. Расчет полученных по модели значений или

6. Расчет абсолютных и относительных ошибок.

Если полученные значения ошибок не содержат автокорреляции, ими можно заменить исходные уровни ряда и в дальнейшем использовать временной ряд ошибок для анализа взаимосвязи исходного ряда и других временных рядов.

1.8 Стационарные временные ряды

После удаления тенденции (тренда) из временного ряда мы получим стационарный временной ряд. Его можно рассматривать как выборку Т последовательных наблюдений через равные промежутки времени из существенно более продолжительной (генеральной последовательности случайных величин. При этом статистические выводы делаются относительно вероятностной структуры генеральной последовательности. Такую последовательность удобно считать простирающейся неограниченно в будущее и, возможно, в прошлое. Последовательность случайных величин у₁, у₂, ... или ..., у_-1, у₀, у₁, ... называется случайным процессом с дискретным параметром времени.

Несмотря на полную произвольность вероятностных моделей последовательностей случайных величин, полезно отличать случайные процессы от множества случайных величин этого процесса, учитывая понятие времени. Грубо говоря, в случайном процессе наблюдения, разделённые небольшими промежутками времени, близки по значениям в отличие от наблюдений, далеко отстоящих друг от друга во времени. Более того, модель значительно упрощается после расширения конечной последовательности наблюдений до бесконечной.

Одним из таких упрощений является свойство стационарности. Будем считать, что поведение множества случайных величин с вероятностной точки зрения не зависит от времени.

Случайный процесс y(t) с непрерывным параметром времени можно определить для 0 ? t < ? или -? < t < ? и рассматривать с привлечением вероятностной меры на пространстве функций y(t). Выборка из такого процесса состоит из наблюдений в конечном числе точек времени, или из непрерывных наблюдений в интервале времени.

Наблюдение процесса, часто называемое реализацией, есть точка в соответствующем бесконечномерном пространстве, где определена вероятностная мера. Вероятность определяется на некоторых множествах, называемых измеримыми. Этот класс множеств включает вместе с любым множеством его дополнение, а также объединение и пересечение счётного числа множеств этого класса; вероятностная мера на этом классе множеств определяется таким образом, что вероятность объединения непересекающихся множеств равна сумме вероятностей отдельных множеств.

Практически мы интересуемся вероятностями, которые связаны с конечным числом случайных величин. Эти вероятности включают в себя функцию совместного распределения.

1.9 Пример задачи моделирования временного ряда



2. Аналитическое выравнивание временного ряда

Аналитическое выравнивание временного ряда представляет из себя построение аналитической функции, модели тренда. Для этого применяются различного рода функции: линейные, степные, параболические и т.д.

Параметры тренда определяются как и в случае линейной регрессии методом наименьших квадратов, где в качестве независимой переменной выступает время, а в качестве зависимой переменной - уровни временного ряда. Критерием отбора наилучшей формы тренда служит наибольшее значение коэффициента детерминации, критерии Фишера и Стьюдента.

Допустим, что некоторая теоретическая модель предполагает линейную зависимость одной из характеристик системы от других:

y = У_i k_i·x_i

(i - число независимых переменных). Задача заключается в следующем: при фиксируемых параметрах x и измеренных значениях y рассчитать вектор параметров k, удовлетворяющий некоторому критерию оптимальности.

В методе наименьших квадратов этим критерием является минимум суммы квадратов отклонений расчитанных значений y от наблюдаемых (экспериментальных):

min У_i (y_s,i - y_i)І.

Чтобы найти минимум функции, это выражение надо продифференцировать по параметрам и приравнять нулю (условие минимума). В результате поиск минимума суммы квадратов сводиться в простым операциям с матрицами.

Если теоретическая модель представляет собой линейную зависимость от одного параметра (y = a + b·x), то решение выражается в виде простых формул:

Z = nУx_iІ - (Уx_i)І;

a = (Уy_iУx_iІ - Уy_ix_iУx_i) / Z; S_aІ = S_yІ Уx_iІ / Z;

b = (nУy_ix_i - Уy_iУx_i) / Z; S_bІ = S_yІ n / Z;

S_yІ = У(y_s,i - y_i)І / (n - 2)

(y_s,i - рассчитанное значение, y_i - эксперементально измеренное значение)

При расчете погрешностей предполагается, что точность значений x значительно превосходит точность измеряемых значений y, погрешность измерения которых подчиняется нормальному распределению.

Автокорреляция в остатках - корреляционная зависимость между значениями остатков за текущий и предыдущие моменты времени.

Линейные регрессионные модели с гомоскедастичными и гетероскедастичными, независимыми и автокоррелированными остатками. Как мы видим из привиденного выше, основное - это "очистка" временного ряда от случайных отклонений, т.е. оценивание математического ожидания. Отсюда естественным образом появляются более сложные модели. Например, дисперсия может зависеть от времени. Такие модели называют гетероскедастичными, а те, в которых нет зависимости от времени - гомоскедастичными. (Точнее говоря, эти термины могут относиться не только к переменной "время", но и к другим переменным.) В случае, если погрешности никак не связаны между собой автокорреляционная функция должна быть вырожденной - равняться 1 при равенстве аргументов и 0 при их неравенстве. Понятно, что для реальных временных рядов так бывает далеко не всегда. Если естественный ход изменений наблюдаемого процесса является достаточно быстрым по сравнению с интервалом между последовательными наблюдениями, то можно предсказать "затухания" автокорреляции" и получения практически независимых остатков, в противном случае остатки будут автокоррелированы.

Под идентификацией моделей обычно понимается выявление их структуры и оценивание параметров. Так как структура - это тоже параметр, хотя и нечисловой, то речь идет об одной из типовых задач эконометрики - оценивании параметров.

Наиболее просто решается задача оценивания для линейных (по параметрам) моделей с гомоскедастичными независимыми остатками. Восстановление зависимостей во временных рядах может быть проведено на основе методов наименьших квадратов и наименьших модулей, на случай временных рядов переносятся результаты, связанные с оцениванием необходимого набора регрессоров, в частности, легко получить предельное геометрическое распределение оценки степени тригонометрического полинома.

Тем не менее, на более общую ситуацию такого простого переноса делать не рекомендуется. Рассмотрим, например, в случае временного ряда с гетероскедастичными и автокоррелированными остатками снова можно воспользоваться общим подходом метода наименьших квадратов, однако система уравнений метода наименьших квадратов и, естественно, ее решение будут иными. Формулы будут отличаться. В связи с чем данный метод называется "обобщенный метод наименьших квадратов (ОМНК)"

Проанализируем эконометрическую модель временного ряда, описывающего рост индекса потребительских цен (индекса инфляции). Пусть I(t)- рост цен в месяц t. Тогда, по мнению некоторых экономистов, естественно предположить, что:

I(t)=cI(t-1)+a+dS(t-4)+

Где I(t-1) - рост цен в предыдущий месяц (а c- некоторый коэффициент затухания, предполагающий, что при отсутствии внешний воздействий рост цен прекратится), a- константа (она соответствует линейному изменению величины I(t)со временем), bS(t-4) - слагаемое, соответствующее влиянию эмиссии денег (т.е. увеличения объема денег в экономике страны, осуществленному Центральным Банком) в размере S(t-4) и пропорциональное эмиссии с коэффициентом b, причем это влияние проявляется не сразу, а через 4 месяца; наконец, - это неизбежная погрешность.

Модель, даже, несмотря на свою простоту, демонстрирует многие характерные черты гораздо более сложных эконометрических моделей. Во-первых, обратим внимание на то, что некоторые переменные определяются (рассчитываются) внутри модели, как I(t). Их называют эндогенными (внутренними). Другие задаются извне (это экзогенные переменные). Иногда, как в теории управления, среди экзогенных переменных, выделяют управляемые переменные - те, с помощью которых менеджер может привести систему в нужное ему состояние.

Во-вторых, в соотношении появляются переменные новых типов - с лагами, т.е. аргументы в переменных относятся не к текущему моменту времени, а к некоторым прошлым моментам.

В-третьих, составление эконометрической модели такого типа - это отнюдь не рутинная операция. Например, запаздывание именно на 4 месяца в связанном с эмиссией денег слагаемом - это результат достаточно сложной предварительной статистической обработки.

Далее изучают зависимость/независимость S(t-4) и I(t).

От решения этого вопроса зависит конкретная реализация процедуры метода наименьших квадратов.

С другой стороны, в модели (1) всего 3 неизвестных параметра, и постановку метода наименьших квадратов выписать нетрудно:



Далее рассмотри модель такого типа с большим числом эндогенных и экзогенных переменных, с лагами и сложной внутренней структурой. Иначе говоря, ниоткуда не следует, что существует хотя бы одно решение у такой системы. В связи с чем возникает не одна, а две проблемы. Существует ли хоть одно решение? Если да, то как найти наилучшее решение из возможных? (Это - проблема статистической оценки параметров.)

Обе задача достаточно сложны. Для решения обоих задач разработано множество методов, обычно достаточно сложных, лишь часть из которых имеет научное обоснование. В частности, достаточно часто пользуются статистическими оценками, не являющимися состоятельными (строго говоря, их даже нельзя назвать оценками).

Коротко опишем некоторые распространенные приемы при работе с системами линейных эконометрических уравнений.

Система линейных одновременных эконометрических уравнений. Чисто формально можно все переменные выразить через переменные, зависящие только от текущего момента времени. Например, в случае вышеприведенного уравнения достаточно положить

H(t)=I(t-1), G(t)=S(t-4)

Тогда уравнение пример вид

I(t)=cH(t)+a+bG(t)+

Отметим тут же возможность использования регрессионных моделей с переменной структурой путем введения фиктивных переменных. Данные переменные при одних значениях времени (скажем, начальных) принимают заметные значения, а при других - сходят на нет (становятся фактически равными 0). В результате формально (математически) одна и та же модель описывает совсем разные зависимости.

Как уже отмечалось выше, создана масса методов эвристического анализа систем эконометрических уравнений. Данные методы предназначены для решения тех или иных проблем, возникающих при попытках найти численные решения систем уравнений.

Одной из проблем является наличие априорных ограничений на оцениваемые параметры. Например, доходы домохозяйства могут быть потрачены либо на потребление, либо на сбережение. Отсюда, сумма долей этих двух видов трат априори равна 1. А в системе эконометрических уравнений эти доли могут участвовать независимо. Отсюда возникает мысль оценить их методом наименьших квадратов, не обращая внимания на априорное ограничение, а потом подкорректировать. Данный подход называется косвенным методом наименьших квадратов.

Двух шаговый метод наименьших квадратов заключается в том, что в приведенном методе производится оценка параметров отдельного уравнения системы, а не рассмотрение системы в целом. И так же трех шаговый метод наименьших квадратов применяется для оценки параметров системы одновременных уравнений в целом. Изначально к каждому уравнению применяется двух шаговый метод с единой целью оценить коэффициенты и погрешности каждого уравнения, а в дальнейшем построить оценку для ковариационной матрицы погрешностей. Затем для оценивания коэффициентов всей системы применяется обобщенный метод наименьших квадратов.

Менеджеру и экономисту не рекомендуется быть специалистом в области составления и решения систем эконометрических уравнений, даже с применением специальных программных обеспечений, однако, он должен быть проинформирован о возможности данного направления эконометрики, для того чтобы в случае производственной необходимости квалифицированно сформулировать задание для специалистов-эконометриков.

От оценивания тренда (основной тенденции) перейдем ко второй основной задаче эконометрики временных рядов - оцениванию периода (цикла).

Проблема гетероскедастичности. Для начала выделим стационарные модели. В них совместные функции распределения F(t₁, t₂,…,t_k) для любого числа моментов времени k, а потому и все перечисленные выше характеристики временного ряда не меняются со временем. В частности, математическое ожидание и дисперсия являются постоянными величинами, автокорреляционная функция зависит только от разности t-s. Временные ряды, не являющиеся стационарными, называются нестационарными.

Гетероскедастичность - свойство исходных, когда дисперсия ошибки зависит от номера наблюдения. На графике гетероскедастичность проявляется в том, что с увеличением или уменьшением порядкового номера измерения увеличивается рассеивание измерений около линии тренда. Это может привести к существенным погрешностям оценок коэффициентов уравнения регрессии. Гетероскедастичность возникает тогда, когда объекты как правило неоднородны. Существует несколько методов коррекции, решающих проблему гетероскедастичности. Наиболее эффективный из них - метод взвешенных наименьших квадратов.

Сущность метода чрезвычайно проста. Пусть исходная модель имеет вид

y=ax+ b +е.

Тогда, делением каждого элемента системы на значение уt мы приходим к другой системе

где у_t2 = у _2щ, взвешенная дисперсия;

?щt = n, n - число измерений.

Таким образом, с помощью этого преобразования мы устраняем гетероскедастичность.

Кроме того, логарифмирование исходных данных также в некоторых случаях снижает ошибки определения параметров модели, вызванные гетероскедастичностью.

2.1 Пример задачи аналитического выравнивания

3. Линейная и нелинейная регрессия.

3.1 Линейная регрессия

Общий принцип. Простейший способ аппроксимации по МНК произвольных данных sk - с помощью полинома первой степени, т.е. функции вида

y(t) = a+bt.

Дифференцируем функцию остаточных ошибок по аргументам a, b, приравниваем полученные уравнения нулю и формируем 2 нормальных уравнения системы:

(a+b·tk) - sk a1 + btk -sk = 0,

((a+b·tk) - sk) ·tk atk + btk2 - sk·tk = 0,

Решение данной системы уравнений в явной форме для К-отсчетов:

b = [Ktk·sk -tksk] / [Ktk2 - (tk) 2],

a = [sk - btk] /K.

Полученные значения коэффициентов используем в уравнении регрессии

y(t) = a+bt.

По аналогичной методике вычисляются коэффициенты и любых других видов регрессии, отличаясь только громоздкостью соответствующих выражений. Реализация в Mathcad. Линейная регрессия в системе Mathcad выполняется по векторам аргумента Х и отсчетов Y функциями:

intercept(X,Y) - вычисляет параметр а, смещение линии регрессии по вертикали;

slope(X,Y) - вычисляет параметр b, угловой коэффициент линии регрессии.

Расположение отсчетов по аргументу Х произвольное. Функцией corr(X,Y) дополнительно можно вычислить коэффициент корреляции Пирсона. Чем он ближе к 1, тем точнее обрабатываемые данные соответствуют линейной зависимости.

3.2 Полиномиальная регрессия

Одномерная полиномиальная регрессия с произвольной степенью n полинома и с произвольными координатами отсчетов в Mathcad выполняется функциями:

regress(X,Y,n) - вычисляет вектор S для функции interp(…), в составе которого находятся коэффициенты ki полинома n-й степени;

interp(S,X,Y,x) - возвращает значения функции аппроксимации по координатам х.

Степень полинома обычно устанавливают не более 4-6 с последовательным повышением степени, контролируя среднеквадратическое отклонение функции аппроксимации от фактических данных. Нетрудно заметить, что по мере повышения степени полинома функция аппроксимации приближается к фактическим данным, а при степени полинома, равной количеству отсчетов данных минус 1, вообще превращается в функцию интерполяции данных, что не соответствует задачам регрессии.

Зональная регрессия. Функция regress по всей совокупности точек создает один аппроксимирующий полином. При больших координатных интервалах с большим количеством отсчетов и достаточно сложной динамике изменения данных рекомендуется применять последовательную локальную регрессию отрезками полиномов малых степеней. В Mathcad это выполняется отрезками полиномов второй степени функцией loess(X, Y, span), которая формирует специальный вектор S для функции interp(S,X,Y,x). Аргумент span > 0 в этой функции (порядка 0.1-2) определяет размер локальной области и подбирается с учетом характера данных и необходимой степени их сглаживания (чем больше span, тем больше степень сглаживания данных).

Вычисления выполнены для двух значений span с определением среднеквадратического приближения к базовой кривой. При моделировании каких-либо случайных процессов и сигналов на высоком уровне шумов по минимуму среднеквадратического приближения может определяться оптимальное значение параметра span.

3.3 Нелинейная регрессия

Линейное суммирование произвольных функций. В Mathcad имеется возможность выполнения регрессии с приближением к функции общего вида в виде весовой суммы функций fn(x):

f(x, Kn) = K1·f1(x) + K2·f2(x) + … + KN·fN(x),

при этом сами функции fn(x) могут быть любого, в том числе нелинейного типа. С одной стороны, это резко повышает возможности аналитического отображения функций регрессии. Но, с другой стороны, это требует от пользователя определенных навыков аппроксимации экспериментальных данных комбинациями достаточно простых функций.

Реализуется обобщенная регрессия по векторам X, Y и f функцией linfit(X,Y,f), которая вычисляет значения коэффициентов Kn. Вектор f должен содержать символьную запись функций fn(x). Координаты xk в векторе Х могут быть любыми, но расположенными в порядке возрастания значений х (с соответствующими отсчетами значений yk в векторе Y). Числовые параметры функций f1-f3 подбирались по минимуму среднеквадратического отклонения.

Регрессия общего типа. Второй вид нелинейной регрессии реализуется путем подбора параметров ki к заданной функции аппроксимации с использованием функции genfit(X,Y,S,F), которая возвращает коэффициенты ki, обеспечивающие минимальную среднеквадратическую погрешность приближения функции регрессии к входным данным (векторы Х и Y координат и отсчетов). Символьное выражение функции регрессии и символьные выражения ее производных по параметрам ki записываются в вектор F. Вектор S содержит начальные значения коэффициентов ki для решения системы нелинейных уравнений итерационным методом.

Типовые функции регрессии Mathcad. Для простых типовых формул аппроксимации предусмотрен ряд функций регрессии, в которых параметры функций подбираются программой Mathcad самостоятельно. К ним относятся следующие функции:

expfit(X,Y,S) - возвращает вектор, содержащий коэффициенты a, b и c экспоненциальной функции

y(x) = a·exp(b·x) +c.

В вектор S вводятся начальные значения коэффициентов a, b и c первого приближения. Для ориентировки по форме аппроксимационных функций и задания соответствующих начальных значений коэффициентов на рисунках слева приводится вид функций при постоянных значениях коэффициентов a и c.

lgsfit(X,Y,S) - то же, для выражения

y(x) = a/(1+c·exp(b·x)).

pwrfit(X,Y,S) - то же, для выражения

y(x) = a·xb+c.

sinfit(X,Y,S) - то же, для выражения

y(x) = a·sin(x+b) +c.

Подбирает коэффициенты для синусоидальной функции регрессии. Рисунок синусоиды общеизвестен.

logfit(X,Y) - то же, для выражения

y(x) =a·ln(x+b) +c.

Задания начального приближения не требуется.

medfit(X,Y) - то же, для выражения

y(x) = a+b·x,

т.е. для функции линейной регрессии. Задания начального приближения также не требуется. График - прямая линия.

Как можно видеть из сопоставления методов по среднеквадратическим приближения к базовой кривой и к исходным данным, известность функции математического ожидания для статистических данных с ее использованием в качестве базовой для функции регрессии дает возможность с более высокой точностью определять параметры регрессии в целом по всей совокупности данных, хотя при этом кривая регрессии не отражает локальных особенностей фактических отсчетов данной реализации. Это имеет место и для всех других методов с заданием функций регрессии.

3.4 Нелинейные модели парной регрессии и корреляции

Если между экономическими явлениями существуют нелинейные соотношения, то они выражаются с помощью соответствующих нелинейных функций.

Различают два класса нелинейных регрессий:

1. Регрессии, нелинейные относительно включенных в анализ объясняющих переменных, но линейные по оцениваемым параметрам, например

- полиномы различных степеней -

, ;

- равносторонняя гипербола -

;

- полулогарифмическая функция -

.

2. Регрессии, нелинейные по оцениваемым параметрам, например

- степенная -

;

- показательная -

;

- экспоненциальная -

.

Регрессии нелинейные по включенным переменным приводятся к линейному виду простой заменой переменных, а дальнейшая оценка параметров производится с помощью метода наименьших квадратов. Рассмотрим некоторые функции.

Парабола второй степени

приводится к линейному виду с помощью замены: . В результате приходим к двухфакторному уравнению

,

оценка параметров которого при помощи МНК, как будет показано в параграфе 2.2 приводит к системе следующих нормальных уравнений:

А после обратной замены переменных получим

(1.17)

Парабола второй степени обычно применяется в случаях, когда для определенного интервала значений фактора меняется характер связи рассматриваемых признаков: прямая связь меняется на обратную или обратная на прямую.

Равносторонняя гипербола

может быть использована для характеристики связи удельных расходов сырья, материалов, топлива от объема выпускаемой продукции, времени обращения товаров от величины товарооборота, процента прироста заработной платы от уровня безработицы (например, кривая А.В. Филлипса), расходов на непродовольственные товары от доходов или общей суммы расходов (например, кривые Э. Энгеля) и в других случаях. Гипербола приводится к линейному уравнению простой заменой:

.

Система линейных уравнений при применении МНК будет выглядеть следующим образом:

(1.18)

Аналогичным образом приводятся к линейному виду зависимости

,

и другие.

Несколько иначе обстоит дело с регрессиями нелинейными по оцениваемым параметрам, которые делятся на два типа: нелинейные модели внутренне линейные (приводятся к линейному виду с помощью соответствующих преобразований, например, логарифмированием) и нелинейные модели внутренне нелинейные (к линейному виду не приводятся).

...