Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ

УЧРЕЖДЕНИЕ ВЫСШЕГО ОБРАЗОВАНИЯ

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет бизнеса и менеджмента

КОЛИЧЕСТВЕННЫЙ РЕКУРРЕНТНЫЙ АНАЛИЗ В ОБНАРУЖЕНИИ ЭСТРЕМАЛЬНЫХ СОБЫТИЙ

Выпускная квалификационная

работа по направлению подготовки 38.03.05 Бизнес-информатика

образовательная программа «Бизнес информатика»

Заспенко Владислав Владимирович

Москва 2019



ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

Актуальность

Методологические предпосылки исследования

Цель исследования

Задачи исследования

Объект исследования

Методы исследования

Краткое описание структуры работы

ГЛАВА 1: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И ОБЗОР ЛИТЕРАТУРЫ

1.1 Обзор выбранной литературы

1.1.1 Фракталы

1.1.2 Нелинейные динамические системы

1.1.3 Рекуррентный график

1.1.4 Структуры рекуррентных диаграмм

1.1.5 Реконструкция пространства состояний

1.1.6 Количественный рекуррентный анализ

1.1.7 Экстремальные события

1.2 Ключевые термины и формулы

ГЛАВА 2: ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ

2.1 Применение количественного рекуррентного анализа к моделируемым данным

2.2 Значимость результатов практической части работы

2.2.1. Проблемы сбора и анализа информации

Данные

2.3 Способ получения данных

2.4 Временные ряды и рекуррентные графики

ЗАКЛЮЧЕНИЕ

СПИСОК ЛИТЕРАТУРЫ

ВВЕДЕНИЕ

Актуальность

Развитие прикладных наук с каждым годом ставит перед исследователями увеличивающееся количество вопрос для изучения, по большей части требующие тесного понимания естественных явлений и «сотрудничества» с Природой. Вопрос изучения временных рядов стоит у исследователей на одном из первых мест, поскольку они затрагивают почти каждую область, где происходит изменения показателей в сложных системах во времени. Например, социально-демографические, экономические, природные (к ним в большей степени относятся данные о состоянии погоды). (Мишулина О. А., 2004)

Теория нелинейной динамики и хаоса позволило существенно расширить возможности для изучения временных рядов, предоставив в распоряжение исследователей нелинейные методы анализа, которые отличались от традиционных линейных методик. Многие исследования, базировавшиеся на новых методах, были направлены на оценку нелинейных характеристик и свойств процессов. Однако для подобных методов требуется рассмотрение достаточно длинных или стационарных рядов данных из Природы, получение которых является трудной задачей. Но даже при всем этом, результат использования данных и методов в совокупности удовлетворяют идеализированные модели реальных систем. (Manuca R, Savir R, 1996)

Изучение сложных систем, будь они природные или искусственные дают большое количество информации на базе которой можно описать и понять природу процессов для того, чтобы использовать полученные знания в прогнозировании на некоторых временной промежуток вперед. Из этого формируется основная цель подобных исследований - построение математических моделей, которые максимально приближенно отражали бы реальные процессы и могли быть использованы для решения существующих задач по раннему выявлению и предсказыванию экстремальных событий

В данной дипломной работе будет рассмотрена информация об идеи и теории количественного рекуррентного анализа в обнаружении экстремальных событий. Помимо всего прочего, прикладная часть работы будет посвящена применению количественного рекуррентного анализа для сбора и обработки данных микроблоггинговой социальной сети Twitter, а также интерпретация рекуррентных диаграмм на основе смоделированных данных.

Методологические предпосылки исследования

Для сложных систем источником данных которых является природа или что-либо иное, свойственно рекуррентное поведение. Это означает, что для подобных систем свойственно иррегулярная цикличность, либо, другими словами, периодичность. Являясь фундаментальным для диссипативных динамических систем свойством, рекуррентные диаграммы используют его и позволяют отобразить фазовую траекторию любой размерности на квадратичной матрице двумерной системы, размер осей которой определяется длинной временного ряда. Помимо визуальных возможностей, на основе изображения рекуррентной диаграммы используется также количественный анализ структур. (Эркман, Кампхорстом, Рюэль, 1987)

анализ рекуррентный событие экстремальный

Цель исследования

Цель данного исследования заключается в изучении методов и алгоритмов получения временных рядов из данных микроблоггинговой социальной сети Twitter, и последующая обработка полученных временных рядов в виде построения фазовых портретов, что могут отображать критические точки с заложенными внутри них экстремальными событиями.

Задачи исследования

Ключевые цели для достижения поставленной цели являются:

· Обзор литературы, затрагивающую выбранную тематику исследования;

· Анализ применения фазовых портретов (рекуррентных диаграмм) к количественному анализу временных рядов;

· Сбор данных для получения временного ряда;

· Создание собственного программного обеспечения или поиск существующего программного решения для анализа временного ряда и преобразования данных в фазовый портрет (рекуррентную диаграмму);

· Рассмотреть и проанализировать полученные фазовые портреты.

Объект исследования

Объектом исследования является микроблоггинговая социальная сеть Twitter, свойства которой схожи со свойствами сложных нелинейных систем. Автор работы хочет рассмотреть социальную сеть как источник данных, на основе которых можно обнаружить экстремальные события.

Методы исследования

Для исследования данной темы автору требуется изучить существующие методы анализа временных рядов и их преобразования в фазовые портреты. Для достижения поставленной цели в работе применены следующие исследовательские методы:

· Анализ литературы;

· Изучение методологий построение временных рядов;

· Изучение существующих способов получения данных для построения временных рядов;

· Практическое применение изученных методов;

· Теоретический анализ обработка результатов исследования.

Краткое описание структуры работы

Во введении описана актуальность работы, заданы цель и задачи исследования. Дано краткое описание используемых методов в данной работе.

В первой главе идет разбор основной литературы по исследуемой проблеме, литература представлена в виде теоретического обзора основных понятий и определений, которые используются в изучаемой области. Все приведенные понятия, формулы, определения могут в свою очередь использоваться или не использоваться для решения поставленной задачи в данной работе.

Во второй главе приведены результаты практической реализации методов построения рекуррентного графика.

В заключении подводится итог реализованной работы. Делаются основные выводы и рекомендации для дальнейшего изучения вопроса.



ГЛАВА 1: ТЕОРЕТИЧЕСКИЕ ОСНОВЫ И ОБЗОР ЛИТЕРАТУРЫ

1.1 Обзор выбранной литературы

На данный момент существует большое количество литературы в виде научных работ и статей от исследователей направления прикладных аспектов нелинейной науки, следовательно можно сделать вывод о том, что уровень интереса к направлению поддерживался продолжительное количество времени.

Автор данного исследования проанализировал несколько источников. Количественный рекуррентный анализ не может быть осуществлен без фазовых портретов, которые изучались еще в 19 веке. Автор в обзоре литературы затрагивает историю становления способов построения и анализа фазовых портретов.

1.1.1 Фракталы

Фрактал -- это геометрическая форма с нецелым числом измерений, что означает, что они не заполняют все 2-мерное или 3-мерное пространство. Фракталы также имеют повторяющиеся структуры. Один и тот же общий шаблон виден, если мы увеличиваем или уменьшаем масштаб изображения до разных уровней. Их существенные структуры можно найти во многих примерах в природе - формы снежинок, овощей, молний, нейронных структур.

Одной из наиболее практичных фрактальных функций является диффузионно-ограниченная агрегация. Эта концепция была использована для картирования потока инфекционных заболеваний через физическое пространство. Возбудитель быстро распространяется по центральному пути, затем разветвляется в нескольких направлениях, а затем рассеивается. Однако этот принцип сложнее применять, когда патоген распространяется посредством глобального транспорта, а не простой физической близости.

Существует важная связь между фрактальной структурой и хаосом: бассейн или внешняя граница хаотического аттрактора -- это фрактал. Это открытие быстро привело к вычислению фрактальных измерений в данных временных рядов, которые, в свою очередь, использовались для характеристики сложности временных рядов биометрических или психологических данных. В принципе, должна быть возможность найти фрактальную структуру на одном уровне шкалы, которая повторяется на других (более мелких, более широких) уровнях шкалы.

В какой-то момент в истории считалось, что наличие фрактальной структуры во временном ряду было явным признаком того, что временной ряд был хаотичным. Однако это предположение оказалось слишком упрощенным. Хаотический временной ряд состоит из расширяющихся и сжимающихся сегментов. Гораздо лучшим «тестом на хаос» является показатель Ляпунова, связанный с временными рядами.

Показатель Ляпунова на самом деле представляет собой спектр значений, который вычисляется из чисел последовательных разностей во временном ряду. Положительный показатель указывает на расширение, а отрицательное значение указывает на сжатие в направлении фиксированной точки. Идеальный 0.0 указывает на чистый генератор, который на практике может быть немного возмущен в хаотическом направлении или ослаблен в направлении фиксированной точки. Решение о динамическом характере временного ряда принимается по наибольшему показателю Ляпунова, который должен быть положительным, а сумма других значений должна быть отрицательной.

Удобно, что наибольший показатель Ляпунова можно преобразовать во фрактальную размерность. Размеры фракталов от 0 до 1,0 указывают на гравитацию в направлении фиксированной точки. Значение 1.0 может указывать либо на линию, либо на идеальный осциллятор. Значения между 1,0 и 2,0 обычно интерпретируются как диапазон самоорганизованной критичности, которая отражает баланс между порядком и хаосом. Связь между фрактальными структурами, самоорганизацией и возникающими событиями, которая развивается позже вместе с самоорганизацией.

Размеры фракталов между 2,0 и 3,0 хаотичны, но с уклоном в сторону относительно небольших колебаний во времени, которые перфорированы несколькими крупными. Примером может служить траектория полета хищной птицы, которая проверяет свою местность, внезапно налетает на группу, чтобы проверить что-нибудь вкусное. Люди выбирают похожую модель в продуктовом магазине, вероятно, не задумываясь об этом. Однако здесь есть одна оговорка: продуктовые магазины гораздо более организованы, чем твари, бегающие по лесу. Продуктовый магазин хочет, чтобы мы нашли то, что ищем; твари не хотят быть найденными ястребом.

Размеры фракталов больше 3,0 хаотичны. Еще одна оговорка, однако, заключается в том, что существует много известных хаотических аттракторов с фрактальными размерами менее 3,0 и ближе к 2,0. Не все примеры хаоса являются хаотическими аттракторами.

1.1.2 Нелинейные динамические системы

Нелинейные динамические системы описывающие изменения в переменных с течением времени могут показаться хаотичными, непредсказуемыми или противоречащими интуиции, что в свою очередь противоречит установкам более простых систем, линейных.

Как правило, поведение нелинейной динамической системы описывается в математике нелинейной системой уравнения, которая представляет собой набор одновременных уравнений в которых неизвестные переменные (или неизвестные функции в случае дифференциальных уравнений) появляются как переменные многочлена степени выше единицы или в аргументе функции, которая не является полиномом степени один. Другими словами, в нелинейной динамической системе уравнений решаемое уравнение не может быть записано как линейная комбинация неизвестных переменных или функций, которые появляются в них. Системы могут быть определены как нелинейные вне зависимости от того, появляется ли в уравнениях линейная часть функции или нет. В частности, дифференциальное уравнение является линейным, если оно является линейным по неизвестной функции и ее производным, даже если оно нелинейно по отношению к другим переменным, появляющимся в нем.

Нелинейные динамические системы являются областью, которую рассматривает в первую очередь фрактальная теория. Динамическая система является моделью, которая способна определить жизненный цикл системы, принимая во внимание ее начальное состояние, что может свидетельствовать о наличии свойства запоминать параметры начального состояния у подобной модели: нынешнее состояния представляет собой функцию прошлого состояния. В итоге динамическая система описывает сразу два понятия: динамика и состояние.

Состояние динамической системы в определенный промежуток времени характеризуется значениями всех переменных в данный момент времени. Из этого следует, что состояние подобных систем описывается n переменными, которые в момент времени t могут отображаться в виде точки в n-мерном пространстве. Это пространство в терминологии области теории хаоса называется - фазовое.

Динамика в свою очередь представляет из себя определенный набор законов или уравнений, что описывают изменения состояния системы с изменениями параметров времени t. Набор правил состоит из системы связанных между собой дифференциальных уравнений, где каждое уравнение характеризует зависимость одной из n-переменных. Динамика системы является набором определенных состояний в своем фазовом пространстве. Линия, поочередно соединяющая все состояния системы в пространстве, является траекторией системы.

Большое количество явлений в природе можно описывать с использованием подобного подхода. К примеру, проценты от вкладов на накопительные счета в банке или динамика численности населения Земли. Природные явления такие как, изменения климата, магнитные всплески на солнце, планетарные явления, химические реакции все это и не только может быть представлено в виде динамической системы. Несмотря на то, что объекты и процессы по своему определению различны, они все могут быть интерпретированы, как система, что подчиняется определенному набору правил, что определяет ее состояние и динамику в определенный интервал времени.

Динамические системы, с точки зрения комплексности разделяются со стороны линейности на линейные и нелинейные, со стороны характерности рассматриваемого процесса на стохастические и детерминистские, а также со стороны структуры диссипативные и консервативные. Динамическая система называется линейной в случае, если все уравнения, что описывают ее динамику линейны. В линейной системе наблюдаются линейные зависимости, однако для нелинейных систем наличие резких и глобальных изменений является характерным явлением. Иными словами, можно сказать, что главным отличием между ними заключается в наличии возможности сохранения основных показателей среды. Например, если энергия обменивается с окружающей средой, то возникает диссипативная система. Наконец, если система содержит определенное количество шума, то этот процесс называется стохастическим, в противном случае он является детерминированным.

Важнейшим свойством диссипативных систем является исследование на протяжении длительного периода времени позволяет наблюдать сходимость траекторий имеющегося фазового пространства в конкретное подпространство. Подпространство определено геометрической фигурой, название которой - аттрактор системы. Название аттрактор происходит от англ. - attract, что в переводе означает - притягивать. Его свойство заключается в притягивании траекторий всех возможных начальных состояний. В пример можно привести аттрактор Лоренца (см. Рис. 1), который был открыт в 1963 году Эдвардом Лоренцом в результате анализа системы трех нелинейных дифференциальных уравнений, что интерпретировали упрощенную модель атмосферы. Аттрактор по своей сути представляет из себя фрактальную форму, которая состоит из бесконечного количества траекторий нелинейной динамической системы. Из-за свойств фрактальной геометрии все траектории вне зависимости от начальных условий будут расположены бесконечно близко между собой, но никогда не будут пересекаться.

В линейной диссипативной системе может существовать один тип аттрактора - точечный аттрактор или, другими словами, точка в фазовом пространстве. Значимость точки заключается в том, что наличие ее в системе будет сводить ее к устойчивому состоянию. В системе не будет происходить никаких изменений, пока не будет воздействия на систему извне. В свою очередь нелинейные диссипативные системы предоставляют более интересные формы аттракторов.

Также в природе существуют другие типы аттракторов (см. Рис. 2)

· Предельные циклы - Полный набор итераций в фазовом пространстве, в которых свойственна периодическая динамика.

· Nt-top - аттрактор «пончиковидной» структуры, которому свойственна квазипериодическая динамика. Этот тип динамики является наложением различных динамик с безграничными частотами

Хаотические - также у них есть название «странные» аттракторы, которое получили благодаря своей странной структуре в рамках фрактальной геометрии. Динамика, описываемая подобным аттрактором, является не чем иным как детерминированным хаосом, что говорит об определенности и случайности одновременно.

Несмотря на определенность процессов, системы с наличием хаоса прогнозируются лишь в краткосрочном периоде. Динамика в системе с учетом ее полной детерминированности никогда не повторит одного и то же состояние. Это вызывает парадокс, связанный с фрактальной структурой аттрактора.

1.1.3 Рекуррентный график

Рекуррентный график (Recurrence plot «RP», англ.) или, другими словами, фазовый портрет - продвинутый метод анализа нелинейных динамических систем. Этот вид визуализации данных представляет собой график или иной вид визуализации квадратной матрицы, где элементы данной матрицы соответствуют временам, в которые возвращаются состояния динамической системы (строки и столбцы соответствуют определенному состоянию). Способ рекуррентных графиков (диаграмм) позволяет обнаружить все состояния времени, когда траектория фазового пространства динамической системы достигает примерно одной и той же области в фазовом пространстве.

Эркман в соавторстве с другими исследователями (1987) представили инструмент для визуализации рекуррентного поведения траектории фазового пространства из динамических систем, который можно выразить математически:

В основном они содержат отдельные точки и линии, параллельные средней диагонали (линия идентичности, LOI) или вертикальные / горизонтальные. Линии, параллельные LOI, называются диагональными линиями, а вертикальные структуры являются вертикальными. Поскольку RP обычно симметричны, горизонтальные и вертикальные линии соответствуют друг другу, и поэтому рассматриваются только вертикальные линии. Линии представляют типичное поведение траектории фазового пространства: тогда как диагональные линии представляют те сегменты траектории фазового пространства, которые проходят параллельно в течение некоторого времени, вертикальные линии представляют сегменты, которые остаются в той же области фазового пространства в течение времени.

Если доступен только временной ряд, фазовое пространство может быть реконструировано с использованием временной задержки:

где u(i) -- это временной ряд, m - размер вложения и ф - задержка

1.1.4 Структуры рекуррентных диаграмм

Поскольку первостепенная цель рекуррентных диаграмм состоит в том, чтобы визуально обозревать траектории фазового пространства больших размеров, следовательно они могут помочь в распознавании развития траекторий во времени.

Рекуррентные диаграммы показывают характерные крупномасштабные и мелкомасштабные образцы. Первые были определены Эркманом в соавторстве с другими исследователями в 1987 году как типология, а вторые в качестве текстуры. Типология предполагала общее представление структур, которое характеризовалась как: однородная, периодическая, дрейфующая и разрушенная (см. Рис. 3)

Рисунок 3 виды структур рекуррентных диаграмм

В более детальном рассмотрении рекуррентных диаграмм можно обнаружить мелкомасштабные структуры, иными словами текстуры, которые представляют из себя отдельные точки, диагональные линии, вертикальные и горизонтальные линии. Последние два представляют в комбинации образуют прямоугольные группы рекуррентных точек.

· Единичные. В случае структуры однородной рекуррентной диаграммы возникновение изолированных рекуррентных точек происходит редко, если они не сохраняются в течение какого-то времени или если колебания этих точек слишком сильное.

· Диагональная линия.

Для k = 1, …, l, где l - длина диагональной линии.

Возникает, когда сегмент траектории проходит параллельно другому сегменту, то есть траектория проходит в одну и ту же область фазового пространства в разное время. Длина диагональной линии определяется продолжительностью подобного развития локального развития сегментов траектории. Направление этих диагональных структур может отличаться в зависимости от данных, преобразованных из временного ряда. Диагональные линии LOI представляет собой параллельный ход траекторий для одного и того же временного преобразования. Диагональные структуры перпендикулярные LOI, характеризуют параллельный ход с противоположными временами. Если образовались зеркальные сегменты, то это может послужить сигналом тому, что процесс реконструкции (об этом позже) был неправильно реализован. Поскольку в определении показателя Ляпунова используется время параллельного прохождения траекторий, что дает очевидную взаимосвязь между показателем Ляпунова и диагональными линиями.

· Горизонтальная (вертикальная линия)

Для k = 1, …, v, где v - длина вертикальной(горизонтальной) линии.

Отмечает временной промежуток, в котором состояние остается неизменным или изменяется медленно. Характерно для динамических систем, в которых происходит прерывистое чередование фаз.

На основе данной информации можно качественно определять интерпретированные рекуррентные графики, что позволит проанализировать полученные диаграммы во второй главе, где будет рассмотрена прикладная реализация методологий построения рекуррентных диаграмм из соответствующего временного ряда (см. Табл. 1).

Таблица 1

Однородность	Процесс явно стационарный
Затухание в верхнем левом и правом нижнем углу	Нестационарный; Процесс содержит тренд или сдвиг
Белые полосы	Нестационарный; далекие от нормального или редкие состояния, образованные в результате перехода
Периодические/ квазипериодические структуры	Цикличность в процессе; периоду соответствует временное расстояния между периодическими структурами (например линиями. Длинные диагональные линии с разным расстоянием друг от друга показывают квазипериодический процесс
Одиночные изолированные точки	Сильные колебания в процессе; Возникают отдельные изолированные точки, в случае чего процесс может характеризоваться случайным или антикоррелированным
Диагональные линии (параллельны LOI)	Преобразование процесса происходит в разное время; Процесс детерминирован; В случае нахождения диагональных линий рядом с одиночными изолированными точками процесс может быть хаотическим
Диагональные линии (ортогональные LOI)	Развитие процесса в разное время, но с реверсивным временем; Признак недостаточного вложения
Вертикальные/горизонтальные линии/кластеры	Медленно или неизменяющиеся состояния; Признак ламинарных состояний
Длинные изогнутые линии	Изменения состояния одинакова в разные эпохи, но с разной скоростью; Динамика системы может меняться; Не относиться к структурам с короткими изогнутыми линиями

1.1.5 Реконструкция пространства состояний

Чтобы построить рекуррентный график из временного ряда необходимо реконструировать динамику временного ряда в новом пространстве. Результатом реконструкции пространства является встроенное пространство. Это способ перейти от пространства временного ряда к пространству состояний, что в топологическом смысле схож с тем, что лежит в основе динамической системы. Если уравнения системы неизвестны, и невозможно измерить все переменные, то пространство реального состояния системы недоступно.

Однако, по теореме Такенса (Takens, 1981) можно восстановить взаимно-однозначное соответствие между реконструированным пространством состояний и оригиналом. Восстановленное пространство может быть получено, используя отсроченные версии временных рядов определенное количество раз. Число смещенных рядов с временной задержкой t называется размерностью вложения d_e. В пространстве вложения многие инварианты динамики сохраняются (Marwan, N. и соавторы, 2007).

Для оценки задержки по времени t и измерения встраивания предложено множество различных подходов (Сао, 1997). Наиболее распространенными методами, для вычисления задержки по времени:

· Первый ноль функции автокорреляции

· Первый минимум функции взаимной информации

Первый минимум взаимной информации - задержка, позволяющая обеспечить достаточную независимость между различными переводами временного ряда, но не настолько независимую, чтобы вовсе не иметь никакой связи. Обычно задержка, заданная функцией взаимной информации, меньше задержки, заданной первым нулем функции автокорреляции.

1.1.6 Количественный рекуррентный анализ

Recurrence Quantification Analysis, англ., RQA - это метод анализа данных нелинейных систем для исследования динамических систем. Нелинейная система представляет собой систему, имеющую не пропорциональные характеристики выходящих и входящих сигналов. Как правило особый интерес к таким системам уделяют специалисты различных областей, в частности специалисты инженерных наук, биологии, физики, математики и многих других, поскольку большинство систем по своей природе нелинейны.

Количественный рекуррентный анализ был разработан для количественной оценки различных фазовых портретов (Recurrence Plot, англ., RP), основанных на мелкомасштабных структурах внутри них.

RQA количественно определяет мелкомасштабные структуры рекуррентных графиков, которые представляют количество и продолжительность рецидивов динамической системы. Меры, введенные для RQA, были разработаны эвристически между 1992 и 2002 годами (Zbilut & Webber 1992; Webber & Zbilut 1994; Marwan et al. 2002). Они же на самом деле меры сложности. Основным преимуществом анализа количественной повторяемости является то, что он может предоставить полезную информацию даже для коротких и нестационарных данных, когда другие методы не дают результатов.

RQA может применяться практически к любому виду данных. Он широко используется в физиологии, но также успешно применяется для решения задач в области инженерии, химии, наук о Земле и т. Д.

Для количественной оценки мелкомасштабных структур рекуррентных графиков и извлечения информации о базовых временных рядах было предложено несколько мер (Збилут и Веббер, 1992, 1994, Марван, 2002), собранные в количественный рекуррентный анализ.

Меры основаны на плотности точек рекуррентности и количественно определяют численность и длину диагональных и вертикальных линий в рекуррентном графике.

1.1.7 Экстремальные события

Экстремальные события (катастрофические события) -- это внезапные изменения; они не обязательно являются плохими или нежелательными событиями, как можно предположить. Модели катастроф содержат комбинации аттракторов, репеллеров, седел и бифуркаций. Согласно теореме классификации, разработанной Рене Томом, все разрывные изменения событий могут быть описаны одной из семи элементарных топологических моделей. Модели являются иерархическими, так что более простые встраиваются в более крупные. Самая простая модель -- это складчатая катастрофа. Он описывает переходы между устойчивым состоянием (аттрактором) и неустойчивым состоянием. Сдвиг между двумя модальностями определяется одним управляющим параметром (он же независимая переменная). Когда значение этого параметра достигает критической точки, система переходит в состояние аттрактора или выходит из него. Каждая модель катастрофы содержит набор бифуркаций. В модели сгиба бифуркационный набор состоит из одной критической точки.

Модели катастроф -- это полиномиальные структуры. Ведущий многочлен для поверхности отклика сгиба представляет собой квадратичный член, такой что f (y) / dy = y2 - a, в котором a является параметром управления, а y является наблюдаемой переменной поведения (или зависимой мерой). Модели катастроф также имеют потенциальную функцию, которая характеризует поведение агентов, действующих в модели, как позиции, а не скорости. Другими словами, для представления скорости мы бы сказали f (y) / dy или dy / dt (t = время). Чтобы представить потенциальную функцию, мы бы интегрировали функцию поверхности отклика; таким образом, для сгиба f (y) = y3 - ay.

Модель каспа является второй по простоте в серии - достаточно сложной, чтобы быть очень интересной и уникально полезной. Фактически это самая популярная модель катастроф в поведенческих науках. Для бугорка требуются два контрольных параметра: асимметрия и бифуркация. Чтобы визуализировать динамику, начните с устойчивого состояния слева и следуйте по внешнему краю поверхности, где бифуркация высока. Если мы изменим значение параметра асимметрии, ничего не произойдет, пока он не достигнет критической точки, в которой мы внезапно изменим поведение: контрольная точка, которая показывает, какое поведение работает, переворачивается на верхний лист поверхности. Аналогичный обратный процесс происходит при переходе из верхнего в нижнее устойчивое состояние.

Когда бифуркация низкая, изменение относительно плавное. Точка каспа - седло, и это самое нестабильное место на поверхности. С небольшим толчком он движется к одному из стабильных состояний аттрактора. Траектории, нарисованные голубым цветом, представляют собой градиенты, созданные двумя управляющими переменными. Красное пятно указывает на присутствие отражателя; там сравнительно мало точек.

Куспид часто рисуется с его бифуркационным набором, который по сути является двухмерной тенью поверхности отклика. Там вы можете увидеть два градиента, которые соединены в точке возврата. В приложении к несчастным случаям на производстве, показанным на диаграмме, было несколько психосоциальных переменных, которые влияли на параметр бифуркации. Некоторые из них оказали отрицательное «влияние» на них, а другие оказали положительное «влияние». Вместе градиентные переменные фиксируют диапазон движений, которые возможны вдоль бифуркационного коллектора.

Ведущий многочлен для поверхности отклика каспа представляет собой кубический член, такой что f (y) / dy = y3 - by-a, в котором a является параметром асимметрии, а b является параметром бифуркации. Его потенциальная функция f (y) = y4 - by2 - ay.

Модель катастрофы с ласточкиными хвостами показывает движение вдоль четырехмерной поверхности отклика, которая должна быть показана в двух трехмерных разрезах. Ведущий многочлен для его поверхности отклика является квартичным многочленом: f (y) / dy = y4 - cy2 - by - a. Когда параметр асимметрии a имеет низкое значение, объекты на поверхности могут перемещаться из нестабильного состояния в более интересную часть поверхности (показанную в верхней части рисунка справа), где находятся стабильные состояния. Параметр бифуркации, b, определяет, будут ли точки перемещаться от задней поверхности к передним областям, где находятся устойчивые состояния. Точки могут перепрыгивать между двумя устойчивыми состояниями, или они могут проваливаться через скол на поверхности обратно в нестабильное состояние (низкое а). Параметр смещения c определяет, достигает ли точка того или иного устойчивого состояния.

Следующие четыре модели катастроф являются более сложными по структуре, и, таким образом, их применение в социальных науках значительно меньше по сравнению с каспами. Вкратце, однако, катастрофа бабочки описывает движение вдоль 5-мерной поверхности отклика. Он содержит три устойчивых состояния с репеллерами между ними. Точки объектов могут перемещаться между соседними состояниями в виде куспида или между разнородными состояниями более сложным образом. Модель имеет четыре параметра управления. Первые три -- это асимметрия, бифуркации и снова шумы. Четвертый параметр бабочки, который побеждает связь между слухами и параметром бифуркации

1.2 Ключевые термины и формулы

· Частота рекуррентности (Recurrence Rate, англ.) - процентное содержание рекуррентных точек на рекуррентном графике.

Соответствуют сумме корреляции

· Детерминизм (Determinism, англ.) - Процентное соотношение точек, которые образуют диагональные линии.

P(l) - гистограмма длин l диагональных линий

· Ламинарность (Laminarity, англ.) - Процентное соотношение рекуррентных точек, которые образую вертикальные линии

P(v) - гистограмма длинны v вертикальных линий

· Соотношение (Ratio, англ.) - соотношение между DET и RR

· Средняя длина диагональной линии (L) - средняя длина диагональных линий

· Время отлова (Trapping time) - средняя длина вертикальных линий

· Наиболее длинная диагональная линия (L_max) - длина наиболее длинной диагональной линии

· Наиболее длинная вертикальная линия (V_max) - длина наиболее длинной вертикальной линии

· Дивергенция (Divergence, англ) - значение обратное значению L_max

Показатель, связанный с энтропией системы, т. е. суммой положительных показателей Ляпунова

· Энтропия (Entrophy, англ.) - Энтропия Шэннона распределения вероятностей длин диагональной линии P(l)

· Трэнд (Trend, англ.) - частокол рекуррентного графика направленный к его краям

N - количество точек на фазовом пространстве траектории

N_l - количество диагональных линий на рекуррентном графике

N_v - количество вертикальных линий на рекуррентной графике

P(l), P(v) - гистограмма длин линий диагональных, вертикальных линий

- Максимальное число диагоналей, параллельных линии идентичности, которое будет учитываться при расчете трэнда.



ГЛАВА 2: ПРАКТИЧЕСКАЯ РЕАЛИЗАЦИЯ

2.1 Применение количественного рекуррентного анализа к моделируемым данным.

В данном параграфе RP и DET рассчитываются для набора имитированных наборов данных с использованием набора инструментов Matlab. Временные ряды были получены с использованием разных частот выборки: 2pi/600, 2pi/52, 2pi/12 для имитации частоты выборки с очень высокой, еженедельной или ежемесячной частотой соответственно в течение трех лет.

Таблица 2

	Функция	Обоснование выбора функции
a)		Сезонность
b)		Тренд + Сезонность
c)		Тренд · Сезонность
d)		Случайный спрос
e)		Линейный тренд с адитивным шумом
f)		Линейный тренд с мультипликативным шумом

На рисунке __ изображены RP моделируемых временных рядов с частотой дискретизации, равной 2pi/600 за три года. RP, относящиеся к временным рядам, полученным с помощью других частот дискретизации, здесь опущены как аналогичные тем, что изображены на рисунке __

Согласно шаблонам и текстурам, описанным Eckmann et al. (1987) и Marwan (2003), характеристики изображенных RP здесь получены. Периодическая рекуррентная структура видна в RP, соответствующая сезонной функции a), и такое рекуррентное поведение выделяется диагональными линиями, параллельными основной диагональной линии RP; поскольку диагональные линии являются максимально длинными, это будет означать, что даже DET примет свое максимальное значение. Повторяющаяся структура, видимая в RP, соответствующая сезонной функции с аддитивным трендом b), показывает модифицированный сезонный фактор, а видимые кластеры идентифицируют компонент аддитивного тренда временного ряда спроса. Затухание в верхнем левом углу RP, соответствующее сезонной функции с мультипликативным трендом c), показывает более важный вклад компонента тренда временного ряда спроса, в то время как параллельные линии все еще показывают сезонность. Однородная RP, соответствующая случайной функции (d), идентифицирует равномерно распределенные временные ряды спроса, а отдельные точки характеризуют значения спроса, которые не сохраняются во времени. Сносы к верхнему левому и нижнему правым углам диагональных линий в сочетании с большими белыми областями, характеризующими RP, соответствующие тренду с функцией аддитивного шума e), описывают систему с медленно меняющимися параметрами, то есть трендом и шумом. Мультипликативная роль шума в функции f) улавливается изменениями текстуры соответствующего RP, поскольку линии являются ортогональными. Линии прерываются шумом, тем не менее, низкое разрешение графика не позволяет визуально осмотреть это прерывание.

2.2 Значимость результатов практической части работы

Каждый год область исследования данных микроблоггинговой сети Twitter растет и привлекает к себе внимание большого количества исследователей. Практическая часть работы, в частности, будет посвящена сбору и обработке данных из соц. сети Twitter, а также попытке применить метод количественного рекуррентного анализа для обнаружения экстремальных событий на основе этих данных.

Сразу стоит отметить, что обработка данных и последующее получение результатов нельзя назвать полноценной реализацией метода RQA в связи с несколькими причинами:

2.2.1 Проблемы сбора и анализа информации

· Применение формул вычисления:

Формулы вычисления, что были приведены в теоретической части работы на практике лично исследователем не применяются, поскольку в тексте они носят информативный характер.

· Неполный объем данных:

Согласно политике центра разработки Twitter API (Twitter Developer Policy, 2017) выгружаемые данные доступны в ограниченном объеме. Для того, чтобы пользоваться полным набором данных необходимо платить Twitter за сбор, хранение и обработку результатов «майнинга» данных.

· Большой объем данных:

При условии оплаты и получения данных для обработки результатов, набор данных был бы настолько большим, что вычислительных мощностей среднестатистического компьютера не хватило бы, чтобы обработать огромные массивы полученных данных.

· Скорость загрузки:

Загрузки ограниченного набора данных осуществляется с достаточно высокой скоростью. В течение 10 минут программа осуществляет сбор и одновременно обработку полученных данных, предоставляя к анализу временной ряд на основе выборки. Однако, если использовать полные возможности сбора данных от Twitter API, то скорость получения данный резко снизиться. Сбор данных всех интересующих постов за достаточно длинный временной период (например, 2-3 года) осуществлялся бы на протяжении нескольких дней.

Данные

Выборка содержит около 7 тысяч твитов и ретвитов сделанных в период с 15:00 06 апреля 2019 г. по 12:00 16 апреля 2019 г. Данные в рассматриваемый промежуток времени был богат на события и претендуют на репрезентативную выборку. Критерием сбора информации было соответствие имени пользователя twitter аккаунта нескольким наименованиям:

Список учетных записей twitter:

· CNN

· CNN Breaking News

· CNN International

· CNN Politics

· CNN News 2018

· CNN Philippines

2.3 Способ получения данных

Данные получены при помощи программы сбора твиттов и ретвитов MozdehBigDataTextAnalysis

Программа представляет собой десктопное приложение с широким диапазоном возможностей для анализа получаемой информации:

* Поиск в собранных текстах, по ключевым словам, и/или настроению и/или полу автора.

* Поиск по настроению, измерить среднее настроение для запроса или найти термины, связанные с положительным или отрицательным настроением.

* Формирование временного ряда по объему сообщений в интересующей тематике или процентного содержания текстов, соответствующих любому запросу в теме.

* Формирование временного ряда по среднему значению положительных и отрицательных настроений текстов в целом или для текстов, соответствующих запросу в теме.

* Поиск слов ассоциаций, чтобы получить представление о важных вопросах в теме.

* Распознавание гендерного различия в текстах.

* Поиск среднего числа ретвитов/цитирований/лайков для текстов, соответствующих запросу/полу/настроениям

* Создание сети пользователей из их текстов.

* Создание графиков временных рядов для отдельного пользователя в общем запросе

MozdehBigDataTextAnalysis может собирать твиты, соответствующие одному или нескольким запросам. Эти запросы могут быть перечислены на экране сбора данных (см. рисунок ___). Когда программа запускается, она циклически просматривает эти запросы, отправляет их в Twitter через API и сохраняет возвращенные совпадения. Этот процесс повторяется бесконечно, чтобы постоянно проверять наличие нового контента. Если его оставить на компьютере, который постоянно подключен к Интернету и не переходит в спящий режим или режим гибернации, Mozdeh может собирать данные годами без остановки. Однако есть три основных ограничения.

· Старые посты не извлекаются: API поиска не возвращает твиты, которые старше примерно недели, даже если они соответствуют поиску по ключевым словам. Поэтому, чтобы собрать бесплатные твиты для события, важно запускать процесс сбора информации перед событием и оставить его на протяжении всего события.

· Не все посты извлекаются: API возвращает максимум 1% всех твитов, опубликованных во время сбора данных. Это известно как «ограничение скорости». Большинство запросов генерируют гораздо меньше совпадений, чем 1% всех твитов, поэтому это часто не является проблемой (Thelwall, 2015). Это в основном проблема при выполнении большого набора запросов с большим совокупным количеством совпадающих твитов или нескольких очень популярных запросов, например, для важнейшей новости. Твиттер не говорит, является ли предел в 1% случайной выборкой.

· Некоторые посты отфильтрованы. API, кажется, удаляет подобные спаму твиты, а также дублирующие твиты, особенно ретвиты. Например, если твит имеет 10 000 ретвитов, то API может вернуть только несколько из этих идентичных ретвитов. Точный процесс фильтрации твитов не сообщается в Твиттере.

Второй и третий пункты описанные выше проблематичны для исследовательских проектов, потому что они вводят неизвестное количество в источник данных и потенциальный источник смещения. Это должно быть принято и недвусмысленно признано ограничением процесса сбора данных.

Запросы должны быть тщательно составлены, чтобы соответствовать как можно большему количеству соответствующих твитов и как можно меньшему количеству неактуальных твитов. Если запросы соответствуют множеству не относящихся к делу твитов, тогда будет сложно проанализировать полученные данные. Если многие соответствующие твиты не найдены, это ослабит анализ. Поэтому необходимо выбрать баланс, чтобы собрать как можно больше соответствующих твитов. Поскольку целью практической части исследования было выявление экстремальных событий в сети twitter, то выбор источника данных пал на один из популярнейших новостных порталов - CNN и все остальные связанные с ним учетные записи зарегистрированных в twitter (список см. выше)

Соответствующие запросы в программе Mozdeh:

Queries used:

· From:CNN

· From:cnnbrk

· From:cnni

· From:CNNPolitics

· From:CNNnews18

· From:cnnphilippines

Результатом обработки данных является временной ряд с несколькими пиковыми значениями с наибольшим количеством опубликованных постов в тот или иной промежуток времени.

RR: 0.13 DET: 0.13 RATIO: 2.73

DIV: 0.03 Lmean: 2.13 ENT: 0.33

LAM: 0.23 TT: 2.23



2.4 Временные ряды и рекуррентные графики

Обработка данных и построение графиков рекуррентности осуществлялась на основе программного обеспечения BioAnalyzer

По результатам сбора данных было выявлены ключевые события с рассматриваемый промежуток времени, а именно:

· Выборы в США

· Арест Джулиана Ассанжа

· Первый в мире снимок черной дыры

· Пожар в Соборе Парижской Богоматери.

Далее будут рассматриваться более детально каждое из событий, что произошли в рассматриваемый промежуток времени. При помощи стороннего ПО, которое применяет формулы расчета и базируется на теоретических данных, описанных в теоретической части данной работы будут построены рекуррентные диаграммы для каждого события с подбором необходимых параметров для более качественной их интерпретации.

Выборы в США:

Данные отбирались из общего числа постов по ключевому слову «election», в переводе с англ. - выборы. Полученный временной ряд постов смотрите ниже.

Описание полученных данных:

Embedding 610, radius as 1 % of a range of time series



Арест Джулиана Ассанжа:

Описание полученных данных:

Embedding 85, radius as 4 % of a range of time series



Первый в мире снимок черной дыры:

Описание полученных данных:

Embedding 550, radius as 1.9 % of a range of time series



Пожар в Соборе Парижской Богоматери:

Описание полученных данных:

Embedding 25, radius 80



ЗАКЛЮЧЕНИЕ

В данной исследовательской работе была рассмотрена теоретическая составляющая теории нелинейных динамических систем и связанных с ней теоретических основ. Поэтапно, начиная с теории фрактальной геометрии и заканчивая теорией о количественном рекуррентном анализе были рассмотрены ключевые подразделы теории, необходимые для понимания и последующего применения их на практике. Ключевой пункт теории заключается в описании структур, возникающих в рекуррентных диаграммах.

С точки зрения практической части, использование готового программного обеспечения от 3-х лиц существенно упростило реализацию поставленной задачи в виде построения рекуррентных графиков на основе полученных временных рядов. При помощи стороннего программного обеспечения были собраны и обработаны данные из микроблоггинговой социальной сети Twitter. Полученный результат в виде временного ряда был обработан другим ПО, что преобразовало его в рекуррентный график. Помимо этого, было смоделированы рекуррентные графики и построены временные ряды на базе простых функций.



СПИСОК ЛИТЕРАТУРЫ

Мишулина О. А. Статистический анализ и обработка временных рядов. - М: МИФИ, 2004. - 180 с.

Manuca R., Savit R. Stationarity and nonstationarity in time series analysis // Physica D. 1996. Vol. 99 No. (2-3). P 134 - 161.

Eckmann J.P., Pamphorst S.O., Ruelle D. Reccurence plots of Dynamical Systems // Europhysics Letters. 1987. Vol. 5. P. 973 - 977.

Marvan N., Wessel N., Meyerfieldt U., Schirdewan A., Kurths J. Recurrence plot-based measures of complexity and their application to heart rate variability data // Physical review., 2002. Vol. 66. No. 2

Cao L. Prastical method for determining the minimum embedding dimension of a scalar time series // Physica D: Nonlinear Phenomena., 1997. Vol. 110 No. (1-2). P. 43 - 50.

Marwan N., Romano M.C., Thiel M., Kurths J. Recurrence plots for the analysis of complex systems // Physics reports., 2007. Vol. 438 No. 5. P. 237 - 329.

Динамический хаос. Модели биологических сообществ [электронный ресурс] / Справочник «Биофизики России» - URL: http://www.library.biophys.msu.ru/LectMB/lect10.htm (дата обращения: 19.04.2019)

Формула Шеннона [электронный ресурс] / Учебные материалы Южного федерального университета - URL: http://www.physchem.chimfak.rsu.ru/Source/KT2012/pages/M02-03.htm (дата обращения: 10.05.2019)

Политика разработчика [электронный ресурс] / Developer API policy - URL: https://developer.twitter.com/en.html (дата обращения: 12.05.2019)

Thelwall M., Evaluation the comprehensiveness of Twitter Search API results: A four step method // Cybermetrics., 2015. P. 18 - 19

Zbilut, J.P., Thomasson, N. and Webber, C.L. Recurrence quantification analysis as a tool for nonlinear exploration of nonstationary cardiac signals. // Medical engineering & physics., 2002. Vol. 24(1), P.53-60.

Tratar L.F., Forecasting method for noisy demand // International journal of production economics. 2015. Vol. 161., P. 64 - 73

Кроновер Р.М. Фракталы и хаос в динамических система. Основные теории - М: ПОСТМАРКЕТ, 2000. - 372 с.

Zbilut J.P., Webber C.L., Jr. Embedding and delays as derived from quantification of reccurence plots // Physics Letters A., 1992. Vol. 171. P. 199 - 203.

BiosAnalyser [электронный ресурс] / Data Analysis Software Page - URL:

http://www.inverudio.com/programs/BiosAnalyzer/BiosAnalyzer.php (дата обращения: 29.04.2019)

Zbilut J.P., Webbew C.L. Jr.Recurrence quantification analusis: Introduction and historical context // International Journal of Bifurcation and Chaos, 2007. Vol. 17. No 10. P. 3477-3481

Marvan N., Kurths J. Line structures in recurrence polts

N. Marwan and J. Kurths. Line structures in recurrence plots. Physics Letters A, 336(4-5):349-357, 2005.

Размещено на Allbest.ru

...