Элементы анализа динамических рядов

Размещено на http://www.allbest.ru/

Элементы анализа динамических рядов

В окружающей нас внешней среде имеется огромное количество явлений и объектов, изменяющихся во времени и в пространстве, и любой набор данных, состоящий из упорядоченных по этим координатам измерений, может рассматриваться как динамический ряд.

В качестве примеров можно указать на ежечасные или ежесуточные изменения температуры окружающей среды, ежемесячное число рождений в колонии лабораторных животных, выход во времени продуктов некоторой химической реакции, изменения длины крыла у некоторых видов птиц для последовательных значений географической широты местообитания и т.д. В каждом из этих случаев определяется последовательность чисел, связанная с временным или пространственным параметром. Приведенные примеры представляют собой образцы дискретных рядов, т.е. измерения при их формировании выполняются в определенные моменты времени или в фиксированных точках пространства. С другой стороны, кривая, зарегистрированная при спектрофотометрировании снимка участка лесной растительности, полученного с помощью аэрофотосъемки, или запись электрической активности мозга представляют собой примеры непрерывных динамических рядов.

Характерной особенностью динамических рядов - дискретных и непрерывных - является то, что существенная информация заложена не только в численных значениях измеряемых признаков, но и в порядке их следования.

Анализ динамических рядов, как и статистический анализ вообще, направлен на изучение тех причинных механизмов, которые обуславливают появление этих рядов, поэтому после того, как данные получены, возникает необходимость подготовить их к обработке и извлечь всю полезную информацию.

Большую роль при этом играет визуальный анализ графиков динамических рядов. Конечно, выводы, полученные при визуальном анализе, являются предварительными и не имеют количественного характера, тем не менее они позволяют оценить в общих чертах характерные особенности изучаемого динамического ряда и выбрать наиболее подходящие методы строгого количественного анализа.

На рис. 1 и 2 представлены соответственно графики изменения длины крыла жаворонка (l) по мере увеличения географической широты местообитания () и временной (t) динамики амплитуды (А) биоэлектрической активности левого затылочного отведения мозга бодрствующего человека. Из рис. 47.1 видно, что существует определенная тенденция к увеличению длины крыла по мере продвижения к северным границам ареала. Однако эта направленность маскируется нерегулярными циклическими колебаниями. С другой стороны, рис. 47.2 явно указывает на присутствие в исследуемом ряду довольно регулярных колебаний и практическое отсутствие временной направленности (тренда).

Общепринято считать, что типичные динамические ряды могут складываться из трех составляющих.

1. Направленность (тренд) - постепенное изменение за длительное время или на больших расстояниях.

2. Колебательная компонента - нерегулярные волнообразные изменения относительно тренда.

3. Случайная компонента.

Иногда при анализе временных рядов специально выделяют так называемую сезонную компоненту - колебательные изменения, связанные с воздействием на систему внешнего механизма, отражающего строго периодические процессы в природе, такие, например, как времена года, изменения температуры в течение дня и т.д.

Анализ динамических рядов фактически сводится к разложению данных на указанные выше компоненты и их дальнейшее изучение. При этом, однако, следует помнить, что из возможности представления динамических рядов в виде нескольких компонент совсем не следует, что каждой из них соответствует независимо действующая причина, хотя в некоторых случаях это может быть именно так.

Обнаружение и выделение тренда

Прежде всего следует отметить, что введенное понятие тренда (направленности) довольно относительно, так как то, что с одной точки зрения, т.е. в рамках одного масштаба является длительным, с другой таковым не является. Например, если характер изменения биоэлектрической активности мозга животных или человека исследуется для интервалов времени, равных нескольким десяткам секунд, то медленные изменения, вызванные минутными ритмами, могут рассматриваться как тренд. Но если мы рассполагаем данными регистрации этой же активности в течение суток, то окажется, что то, что воспринималось как тренд, на самом деле оказывается лишь частью некоторого медленного колебательного процесса. Поэтому если интервал регистрации в несколько десятков секунд относился, например, к процессу решения какой-то задачи, делать вывод о том, что амплитуда электроэнцефалограммы нарастает или падает в зависимости от того будет ли тренд иметь положительный или отрицательный наклон, неправомерен. Об этой относительности понятия тренда следует помнить всегда, когда дается содержательная интерпретация получаемым результатам.

Существуют различные виды направленности, такие, например, как тренд среднего, тренд дисперсии и т.д. Здесь будет рассмотрен, как наиболее часто встречающийся, тренд среднего.

Как правило, имея графическое представление динамического ряда, визуально можно определить, имеет ли место тренд среднего. Однако в некоторых случаях сделать это, не имея соответствующих навыков, довольно сложно. С другой стороны, непрерывно увеличивается число исследований и наблюдений, когда экспериментальные данные непосредственно вводятся в вычислительную машину, поэтому первым этапом анализа динамических рядов является проверка гипотезы о случайности получаемых значений. В главе 45 были рассмотрены некоторые критерии случайности, которые могут быть использованы для проверки интересующей нас гипотезы. Здесь же мы покажем, как можно использовать для этой цели ранговый коэффициент корреляции Спирмена.

Ранги для широты представляют собой натуральный ряд чисел, отражающий естественную последовательность пунктов наблюдения. Ранжирование данных о длине крыла проведено по обычным правилам.

Используя формулу коэффициента корреляции Спирмена имеем

Известно, что для n>10 проверка нулевой гипотезы о коэффициенте ранговой корреляции Спирмена может быть осуществлена с помощью статистики имеющей, при справедливости нулевой гипотезы, распределение Стьюдента с n-2 степенями свободы. В нашем случае

Для уровня значимости =0,01 и 35 степеней свободы табличное (теоретическое) значение равно 2,73, что по модулю меньше, чем полученное эмпирически (расчетное). Поэтому нулевая гипотеза отвергается, и мы должны сделать вывод о том, что приведенный ряд не представляет собой набор случайных значений, и, вероятно, имеет тренд среднего.

Установив визуально или с помощью расчетов факт наличия тренда среднего, необходимо попытаться выделить (элиминировать) его. Для этого существуют различные методы, такие как подбор соответствующей функциональной зависимости, использование скользящих средних и т.д.

Наиболее эффективным методом описания тренда является подбор некоторого аналитического выражения, как правило полинома невысокой степени.

По методу наименьших квадратов имеем

, и

Решив эти системы уравнений, получим

В таблице 47.2 приведены отклонения значений, вычисленных по уравнениям и от опытных данных.

Из этих значений видно, что, в принципе, для описания тренда подходят оба уравнения. Однако нужно иметь точный количественный метод для строгой проверки того, какое из пары уравнений лучше подходит для описания тренда. Естественно, что лучшим является то уравнение, которое дает меньшую сумму квадратов отклонений от экспериментальных данных. Однако выбор в качестве уравнения тренда, например, полинома более высокого порядка будет оправдан только в том случае, если получаемое при его использовании уменьшение суммы квадратов отклонение от опытных данных будет статистически значимо. Таким образом, мы приходим к задаче сравнения двух уравнений регрессии. Ее можно решать, используя методы дисперсионного анализа, обсуждавшиеся в предыдущей главе. Здесь же мы приведем сравнительно простой критерий, предложенный Е.Уильямсом и Н.Клутом.

Если есть два уравнения регрессии (линейных или нелинейных), то нулевая гипотеза состоит в том, что они одинаково хорошо способны предсказывать значения зависимой переменной y. Проверка осуществляется путем оценивания углового коэффициента в уравнении

(1)

Было показано, что если более подходящей моделью является модель , то имеет значимое отрицательное значение. И аналогично, если более корректна модель , то должны получаться значимые положительные значения для . Если же незначимо отличается от нуля, никакого выбора между и сделать нельзя, и здесь вступают в силу нестатистические соображения о том, какую модель выбрать для описания тренда.

Угловой коэффициент - это ничто иное, как коэффициент уравнения, описывающего зависимость от , проходящую через начало координат.

Используя в качестве зависимой, а в качестве независимой переменной, найдем, что =-0,44. Дисперсия этого коэффициента равна 0,111.

Для уровня значимости =0,05 и 34 степеней свободы t=2,03, так что доверительный интервал для равен Таким образом, доверительный интервал для накрывает нуль, и, следовательно, можно сделать вывод, что ни одна модель не лучше другой.

Рассмотрев пример, обсудим некоторые общие вопросы выбора уравнений для тренда. Иногда считают, что аналитическое описание тренда связано с некоторым “законом” развития изучаемого процесса в пространстве или во времени. Такой взгляд оправдан только в том случае, когда “закон” расценивается не более, чем проявление некоторой тенденции, а его аналитическое описание - просто как способ наглядного изображения изучаемого отрезка динамического ряда. Поэтому, как правило, представления о том, что уравнения тренда это нечто большее, чем просто описание эмпирических данных, не является очевидными. Кроме тог, следует иметь в виду, что для одного и того же динамического ряда могут быть подобраны самые разные уравнения тренда, одинаково хорошо соответствующие имеющимся данным. Поэтому выбор подходящей кривой должен осуществляться с использованием нестатистической информации о сущности исследуемого ряда, которая в некоторых случаях позволяет выбрать из множества возможных кривых для описания тренда какую-то одну. В противном случае, когда эта информация отсутствует, подбор уравнения тренда осуществляется по тем же правилам, которые мы рассматривали ранее, обсуждая вопросы построения функциональных зависимостей.

Может оказаться, что, подбирая аналитическое выражение для описания тренда, мы столкнемся с ситуацией, когда для приемлемого согласия с эмпирическими данными придется остановиться на такой зависимости, которая имеет очень сложный вид, например, полином высокой степени. Как правило, такая ситуация свидетельствует о том, что весь наблюдаемый ряд состоит из нескольких частей. Поэтому используя априорную информацию и проведя визуальный анализ, необходимо определить эти части и уравнения тренда находить для каждой из них. Описание тренда должно быть по возможности простым, т.е. включать в себя минимальное число параметров. В частности, при использовании полиномов оно не должно быть выше второго порядка. В этом случае есть надежда дать содержательную трактовку получаемым уравнениям. Естественно, что простота описания не должна идти в ущерб статистически значимому соответствию эмпирическим данным.

Обнаружение колебательных составляющих динамического ряда

Обнаружение и выделение тренда является первым этапом при анализе динамических рядов. Описав его соответствующим регрессионным уравнением, находят величины для каждого момента времени или пространственной координаты по этому уравнению и вычитают их из исходных эмпирических данных.

Как правило, получаемые после элиминирования тренда ряды имеют нерегулярный волнообразный характер. Однако прежде, чем пытаться обнаружить в этих рядах колебательные составляющие, необходимо убедиться в том, что они представляют собой связную совокупность данных. В самом деле, можно увидеть, и так оно случается довольно часто на практике, что наблюдаемый ряд представляет собой только тенденцию с наложенными а нее случайными возмущениями. В этом случае после выделения тренда останется случайная составляющая, для которой бывает необходимым оценить только дисперсию. С другой стороны, очень часто динамические ряды включают в себя все три компоненты, так что после элиминирования тренда необходимо провести анализ колебательной компоненты и в последнюю очередь - случайной.

Итак, мы сталкиваемся с задачей обнаружения взаимозависимости между значениями анализируемого ряда. Кстати, такая же задача стоит и при построении уравнений регрессии, когда проверка коррелированности остатков является необходимой для проверки адекватности выбранного уравнения и обоснованности использования метода наименьших квадратов для оценки параметров.

Наиболее распространенным критерием для проверки коррелированности является критерий, предложенный Дж. Дарбином и Г. Уотсоном. Статистика критерия очень проста:

, (2)

где - остаток ,

- разность последовательных остатков.

В отличии от других методов статистической проверки гипотез, рассматривавшихся ранее, при употреблении статистики D критические границы принятия нулевой гипотезы и непринятия альтернативной гипотезы не совпадают между собой.

Найдем статистику D по данным, считая, что в качестве уравнения тренда выбрана прямая линия.

Имеем

Из таблицы Приложения для уровня значимости Следовательно, нулевая гипотеза должна быть отвергнута, и делается вывод о том, что полученные после элиминирования тренда значения коррелированны между собой.

После того как мы убедились в том, что вновь полученный ряд не является набором независимых случайных величин, нужно определить периоды колебаний, наиболее характерные для анализируемого ряда. Существует очень большое число методов, с помощью которых решается задача выделения гармонических составляющих. Как правило, все процедуры имеются в виде программ для вычислительных машин. Здесь же мы приведем наиболее простой и исторически первый способ выделения скрытых периодичностей, предложенный еще в середине прошлого века французским математиком О. Бюй-Балло. Способ настолько прост и прозрачен, что любой из читателей, воспроизведя его сначала вручную, сможет составить самостоятельно небольшую программу для ПЭВМ, позволяющую автоматизировать расчеты.

Вычислительная схема Бюй-Балло состоит в следующем. Весь интервал наблюдаемого процесса x(t), заданного в виде непрерывной кривой или таблицы значений, разбивается на отрезки длиной T и вычисляется среднее арифметическое значение функций на всех отрезках. Всего отрезков длиной T берется r. Их должно быть достаточно много (r>15). Если r нечетно, т.е. r=2k+1, то выбрав начало отсчета в точке kT, можно преобразование по схеме Бюй-Балло представить в следующем виде:

(3)

Это преобразование обладает селективными свойствами, т.е. выделяет периодическую функцию с периодом, равным пробному периоду T. При этом эффективность селекции увеличивается пропорционально отношению длительности анализируемого участка к пробному периоду.

Для лучшего уяснения природы селективного действия преобразования Бюй-Балло представим себе, что есть синусоида с определенным периодом. Пусть пробный период в точности равен периоду синусоиды. Тогда используя формулу (3), для каждого момента времени t будут суммироваться равные значения, относящиеся к разным участкам длиной T. Например, если начать с максимума положительной полуволны, то будут складываться все максимумы, так как они отстоят друг от друга на T. Совершенно налогично будет выглядеть процедура для максимумов отрицательной полуволны и для всех других точек. Другими словами, преобразование Бюй-Балло для синусоиды при использовании пробного периода, равного периоду гармоники, никак не изменит значения ее амплитуд.

В том случае, когда пробный период T не равен периоду синусоиды, будут складываться неравные между собой значения, т.е. большие и меньшие, положительные и отрицательные, так что результирующая кривая будет существенно сглажена.

Зависимость наибольших отклонений от пробных периодов носит название периодограммы, а ее пики соответствуют возможным значениям периодов колебательных составляющих анализируемого динамического ряда.

Последовательные значения отстоят друг от друга на 33 мс. Этом ряд выбран специально для иллюстрации, так как мы заведомо знаем, что при заданных условиях регистрации в электроэнцефалограмме должен присутствовать -ритм, т.е. колебания с частотой от 8 до 12 Гц. Были использованы пробные периоды T, включавшие от двух до семи точек измерений. Шаг был выбран равным единице, и использовалось обно и то же число пробных периодов r = 19 независимо от их длины.

Из приведенных результатов видно, что в наблюдаемом ряду имеется максимум для пробного периода T=4, у которого разность между максимальным и минимальным значениями равна 3,5. Для T=3 эта разность равна 3,2. Если привлечь те сведения, которыми мы располагаем о частотном диапазоне -ритма, то следует предположить, что реальный период еолебаний находится где-то между T=3 и T=4. В данном случае он не выявлен ввиду того, что интервал отсчета исходных данных не позволяет этого сделать. Экспериментальные данные включают в себя гармонику с частотой 10,1 Гц (T=3), и 7,6 Гц (T=4), а истинный максимум имеет, очевидно, частоту около 9 Гц.

Уже в этом простом примере мы сталкиваемся с некоторыми проблемами, характерными для анализа колебательных составляющих динамических рядов. Во-первых, это выбор шага квантования исходных данных, теоретически определяющий, какие частоты могут быть выделены. И во-вторых, разрешающая способность того или иного метода выявления скрытых периодичностей, определяющая минимальное расстояние между двумя пиками, на которое они могут быть отделены друг от друга.

Наконец, очень серьезную проблему представляет интерпретация выявляемых периодов, т.е. наличие гармоник с определенной частотой. Дело в том, что, как показал известный русский статистик Е.Е.Слуцкий, в некоторых случаях сложение достаточно большого числа случайных величин может привести к появлению в результирующем ряду почти гармонических составляющих, которые могут быть восприняты как колебания, имеющие в качестве первоосновы какой-то реально существующий фактор.

Для иллюстрации этого рассмотрим следующий пример. Пусть имеется набор случайных величин, взятых из таблицы случайных чисел. Будем рассматривать его как динамический ряд и с помощью процедуры Бюй-Балло построим периодограмму для T=3,4,5,6,7. Как получаются значения для периодограммы, покажем для пробного периода T=4. Выберем общее число пробных периодов r=15. В качестве нулевого периода возьмем значения с номерами 49, 50, 51 и 52. Таким образом, для определения преобразованных значений будем суммировать каждое из этих значений с семью другими, отстоящими друг от друга на T=4 и расположенными выше и ниже от выбранного значения.

Имеем

(87+75+46+37+36+24+15+48+45+46+72+17+28+8+66)=43,3;

(18+15+43+69+55+55+81+8+96+41+46+6+73+48+63)=47,8;

(12+56+22+67+20+67+77+60+9+72+67+59+12+52+53)=47,0;

(25+32+72+93+22+14+14+21+5+64+12+2+49+23+58)=34,7.

Разность между максимальным и минимальным значениями использована для построения периодограммы (рис. 47.7). Другие значения равны Как и следовало ожидать, резко выделяющихся пиков в периодограмме нет, и поэтому нет оснований предполагать существование какой-то скрытой периодичности.

Используем теперь прием, о котором уже упоминалось при обсуждении методов обнаружения и исключения тренда, а именно - скользящее усреднение. При этом выбирается число точек усреднения (в нашем случае мы выбрали 7), все значения в этих точках складываются и находится среднее арифметическое значение, которое приписывается срединной точке. Затем передвигаются на одну точку и вся процедура повторяется. Показано, что такое сглаживание позволяет достаточно эффективно вычленить из анализируемого ряда тренд, причем используется скользящее среднее длиной от 3 до 21 точки, как простое, так и взвешенное, когда отдельным значениям при усреднении по определенным правилам приписываются определенные веса.

Однако нас в этой процедуре будет интересовать другое. Так как исходный ряд представляет собой выборку из таблицы случайных чисел, то нахождение скользящего среднего длиной 7 равносильно сложению семи случайных величин.

Если теперь для этого нового ряда применить процедуру Бюй-Балло, то периодограмма будет иметь вид, представленный на рис. 47.8. Здесь явно видны два пика для T=4 и T=7, и если не знать, каким образом был получен анализируемый ряд, то можно было бы сделать ложный вывод о существовании каких-то факторов, приводящих к появлению колебаний с указанным периодом.

Отсюда следует, что гипотезы о существовании некоторых причин, вызывающих появление в динамическом ряду колебаний с определенным периодом, должны базироваться не только на формальных результатах анализа периодограмм, но и обязательно включать априорную информацию нестатистического характера.

Другие вопросы анализа динамических рядов

динамический ряд дискретный тренд

Достаточно часто данные экспериментов или наблюдений, представленные в виде динамических рядов, должны быть охарактеризованы с помощью обычных статистик - средним, стандартным отклонением и т.д. Если анализируется пара рядов, может понадобиться вычислить коэффициент корреляции между ними. В дальнейшем к этим статистикам могут быть применены обычные процедуры: построение доверительных интервалов, оценка значимости и т.д. Однако все эти приемы предполагают, что исходные значения являются независимыми случайными величинами, но в случае динамических рядов это условие не выполняется. Поэтому оказывается, что если стандартные методы применять к значениям, составляющим динамические ряды, то вероятно возникновение ошибок, порой значительных, и окончательные выводы могут оказаться несостоятельными.

Например, если в нашем распоряжении имеется ряд значений, корреляция между которыми плавно уменьшается и равна нулю, если значения отстоят друг от друга на s отсчетов, то, как показал Е.Е.Слуцкий, стандартная ошибка среднего в этом случае будет в раз больше, чем стандартная ошибка некоррелированного ряда такой же длины и имеющего одинаковое среднее и дисперсию со связанным рядом. Совершенно очевидно, что в случае коррелированных значений доверительный интервал для среднего существенно увеличится, и чтобы получить одно и то же значение для этого интервала в случае связанных и несвязанных рядов, число членов в связанном ряду должно быть в s раз больше.

Сложность оценки различных статистик для динамических рядов состоит в том, что их стандартные ошибки зависят от характера корреляции между значениями отдельных последовательных отсчетов. Как же поступать в тех случаях, когда необходимо найти некоторые описательные статистики и построить для них доверительные интервалы, не имея аналитического описания взаимосвязи между значениями динамического ряда?

Здесь можно воспользоваться следствием так называемой теоремы отсчетов, доказанной академиком В.А.Котельниковым. Не приводя формулировку и доказательство этой теоремы, ограничимся следующим выводом из нее. Если известно, что для анализируемого динамического ряда максимальной частотой является , то беря отсчеты с интервалом , получим ряд некоррелированных значений, для анализа которых можно использовать обычные статистические приемы.

В тех случаях, когда неизвестна максимальная граничная частота или в силу специфики экспериментов не удается выполнить требование об интервале между отсчетами, можно рекомендовать следующий прием.

Для исходного динамического ряда, заданного дискретным числом отсчетов, находится определенное число серийных коэффициентов корреляции. Делается это следующим образом. Из исходного ряда сдвигом всех его значений относительно самих себя на 1,2,3,...,k получают соответствущие пары рядов. Для каждой такой пары вычисляют обычный коэффициент корреляции. Общее число сдвигов не должно, как правило, превышать 15-20% от числа отсчетов в анализируемом ряду. График таких серийных коэффициентов корреляции носит название коррелограммы. Если одним из стандартных численных методов найти площадь под коррелограммой, то значение k, до которого площадь под коррелограммой составляет половину всей вычисленной площади, будет определять интервал корреляции. Эта информация и должна быть использован в дальнейшем при нахождении описательных статистик и построения для них доверительных интервалов.

Мы здесь описали в содержательных понятиях порядок построения коррелограммы, но в практике статистического анализа экспериментальных данных никто, естественно, эти вычисления вручную не проводит. Для этих целей существуют специально разработанные программы для вычислительных машин, с помощью которых осуществляются необходимые расчеты и строятся соответствующие графики.

Размещено на Allbest.ru