Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет бизнеса и менеджмента

МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ

по направлению подготовки «Бизнес - информатика»

образовательная программа «Бизнес-информатика»

Анализ временных рядов с использованием современных информационных технологий

Тухватуллин Альберт Ринатович



Содержание

• Введение
• Глава 1. Теоретические основы прогнозирования нефтяных цен
• 1.1.Результаты основных исследований в данной области
• 1.2.Ключевые факторы нефтяного рынка
• Глава 2. Инструментарий и методы исследования
• 2.1. Эконометрические модели
• 2.1.1. Модель случайного блуждания
• 2.1.2. Экспоненциальное сглаживание
• 2.1.3. Метод Хольта (двойное экспоненциальное сглаживание)
• 2.1.4. Метод Хольта-Винтерса (тройное экспоненциальное сглаживание)
• 2.1.5. ARIMA (модель Бокса-Дженкинса)
• 2.2. Алгоритмы машинного обучения
• 2.2.1. XGBoost
• 2.2.2. Нейронные сети
• 2.3. Текстовый анализ
• 2.4. Сравнительный анализ
• Глава 3. Практическая реализация
• 3.1. Описание используемых данных
• 3.1.1. Выбор нефтяного бенчмарка для прогноза
• 3.1.2. Описание источников данных
• 3.1.3. Описание собранных данных
• 3.1.4. Отбор значимых признаков
• 3.2. Описание дизайна прогнозирования
• 3.2.1. Алгоритм прогнозирования
• 3.2.2. Кросс-валидация
• 3.2.3. Выбор метрики качества
• 3.3. Результаты прогнозирования
• 3.3.1. Эконометрические модели
• 3.3.2. ARIMA
• 3.3.3. XGBoost
• 3.3.4. LSTM
• 3.3.5. Ансамбль XGBoost и ARIMA
• Заключение
• Список используемой литературы
• Приложения



Введение

С ростом объемов и типов данных возникла необходимость в совершенствовании средств обработки статистических данных, их агрегации и визуализации. Грамотный и глубокий анализ накопленной информации становится одним из ключевых факторов при принятии решения во многих сферах деятельности. Одной из таких сфер является сфера государственного управления, в частности, Министерство финансов РФ, являющееся органом исполнительной власти. Одной из задач Департамента бюджетной политики и стратегического планирования, который является структурным подразделением Министерства финансов, стоит анализ состояния нефтяного рынка.

На сегодняшний день нефть играет жизненно важную роль в мировой экономике. Это важный источник энергии, представляющий собой незаменимое сырье и важный компонент во многих производственных процессах и транспортировке. На мировых рынках нефть является одним из самых активно торгуемых товаров. При этом цены на нефть страдают высокой волатильностью и колебаниями в следствие влияния огромного числа факторов. Динамические сложные взаимодействия между этими факторами приводят зачастую к непредсказуемому поведению нефтяных цен.

Рис. 1. Волатильность цены на нефть марки Brent

Этот факт нельзя игнорировать, поскольку резкие колебания цен на нефть и высокая степень неопределённости относительно их поведения в будущем оказывают значительное влияние на различных участников рынка. В частности, состояние нефтяной отрасли определяет и оказывает влияние на:

· экономическое состояние крупнейших мировых отраслей;

· бюджетное планирование и экономическую стабильность стран, экспортирующих и потребляющих нефть;

· состояние и развитие мировой экономики в целом;

Большое число стран на сегодняшний день в значительной степени полагаются на импортную сырую нефть для удовлетворения своих энергетических потребностей. Страны-экспортеры нефти в свою очередь пытаются использовать нефть в качестве средства, позволяющего им добиться экономических и политических выгод на мировой арене. Кроме того, каждый экономический сектор в мире так или иначе зависит от состояния нефтяной отрасли, следовательно, любое изменение цен на данный вид сырья оказывает влияние на экономику в целом. Существует ряд исследований, которые представили доказательства наличия данного эффекта. Jain (Jain, 2013) рассмотрел связь между мировыми ценами на нефть, ценами на драгоценные металлы (золото, платина и серебро) и валютными курсами. Результаты исследования демонстрируют наличие значимой взаимосвязи между драгоценными металлами и нефтью. Malliaris et al. (Malliaris, 2009) изучили взаимные влияния между золотом, нефтью и евро. Их результаты показали, что нефть влияет на золото в большей степени, чем золото на нефть. Аналогичные результаты были получены и для евро. Doрrul & Soytas (Doрrul, 2010) обосновали наличие воздействия нефтяных цен и процентной ставки на уровень безработицы в Турции в долгосрочной перспективе в период 2005-09. Lizardo et al. (Lizardo, 2010) пришли к выводу, что рост цен на нефть приводит к значимому обесценению американского доллара по отношению к валютам экспортерам (Канада, Мексика, Россия). С другой стороны, валюты стран-импортеров нефти (Япония, Дания) также обесцениваются по отношению к доллару во время роста нефтяных цен. Ряд исследований пришли к выводу о том, что значительные колебания на нефтяном рынке приводят к статистически значимому изменению доходностей акций (Aloui, 2009; Park, 2008).

Также изменения в мировых ценах на сырую нефть все чаще становятся предметом пристального рассмотрения со стороны правительства и бизнеса при принятии стратегических и инвестиционных решений. Стоит отметить, что в данном случае именно долгосрочное прогнозирование является более целесообразным, поскольку преследуется цель угадывания будущего тренда для формирования некоторой стратегии, нежели попытка прогноза краткосрочного курса для текущих выгод. Огромное число нефтяных и банковских компаний предоставляют свои прогнозы сразу на несколько лет вперед. Ниже представлены ожидания участников рынка относительно будущего состояния рынка. Можно заметить, что стандартное отклонение прогнозов увеличивается по мере увеличения горизонта прогнозирования, что связано с ростом неопределенности, вызванной влиянием множества факторов.

нефтяной отрасль цена эконометрический

Рис. 2. Прогнозы цен марки Brent крупнейшими организациями

Характеристика взаимодействия факторов, влияющих на нефтяные цены, а также оценка будущего состояния рынка остаются одними из самых интересных и интригующих проблем в области экономического и финансового анализа. В то же время предсказание цен на нефть не является простой задачей, поскольку существует огромное число факторов, оказывающих существенное влияние: фундаментальные рыночные факторы (спрос, предложение, производство, запасы), политические и финансовые события и потрясения, уровень экономического развития стран, нефтяная политика крупных игроков (ОПЕК), состояние других отраслей и многие другие факторы.

В результате встает необходимость построения адекватной модели, способной предоставлять долгосрочный прогноз с высокой точностью, учитывая при этом все факторы, оказывающие влияние на нефтяные цены. Стоит отметить, что в данной работе предпочтение отдается долгосрочному прогнозированию, поскольку данный вид прогноза будет полезен для принятия стратегических решений. В то же время прогнозирование целевого ряда с дневной периодичностью не позволяет решить задачу долгосрочного прогнозирования для стратегических целей, а также вызывает ряд проблем, а именно:

· дневные данные очень волатильны и содержат в себе много шума, вызванного краткосрочными явлениями

· при дневном прогнозировании большая часть информации не используется, поскольку выход ключевых факторов, характеризующих рынок происходит раз в месяц

Исходя из вышеизложенного, объектом исследования является рынок нефти.

Предмет исследования: прогнозирование нефтяных цен, конкретно, нефтяного бенчмарка марки Brent.

Цель исследования: разработка модели, позволяющей осуществлять точный долгосрочный прогноз месячных цен на нефть на различные периоды времени.

Для достижения поставленной цели были сформированы следующие задачи исследования:

1) анализ предметной области;

2) определение факторов, влияющих на нефтяную отрасль, в частности, нефтяные цены;

3) построение эконометрических моделей и более сложных алгоритмов, описывающих и позволяющих спрогнозировать предмет исследования;

4) анализ полученных результатов.

Методами исследования являются:

· наивные методы, такие как модель случайного блуждания и экспоненциального сглаживания;

· интегрированная модель авторегрессии-скользящего среднего (ARIMA);

· нейронные сети с долгой краткосрочной памятью (LSTM);

· градиентный бустинг (XGBoost);

· текстовый анализ

Работа состоит из трех глав. В первой главе рассматриваются теоретические основы прогнозирования нефтяных цен, а также основополагающие факторы, оказывающие влияние на нефтяные цены.

Во второй главе рассматриваются инструментарий и методы исследования, используемые в данной работе. Описывается теоретическая составляющая классических подходов к моделированию временных рядов, а также рассматривается принцип работы более сложных моделей, в том числе алгоритмов машинного обучения.

В третьей главе представлено практическое применение описанных методов с целью построения лучшей модели. Сравнение моделей проводилось на основании метрики MSE, оценивающей качество на данных, не участвующих в обучении модели.

В приложении представлено описание используемых в исследовании факторов (Приложение №1), значимость признаков согласно алгоритму случайного леса (Приложение №2), а также визуализация текстовых признаков (Приложение №3).



Глава 1. Теоретические основы прогнозирования нефтяных цен

1.1 Результаты основных исследований в данной области

За последнее время в академической среде появилось большое число работ, посвященных данной теме. Пионерами в данном направлении являются Abramson & Finizza (Abramson, 1991a, 1991b, 1993), которые использовали Байесовскую сеть (Belief Network) для прогнозирования нефтяных цен. Однако данный метод не обладал высокой точностью, поэтому в дальнейшем он перестал пользоваться большой популярностью в академической среде.

Большой популярностью пользовались такие модели, такие как ARIMA, GARCH и VAR (Cabedo, 2003; Morana, 2001; Mirmirani, 2005). Зачастую они превосходили по качеству не только наивные, но и более сложные модели. Однако традиционные эконометрические модели обладают одним существенным недостатком. В них делается предположение о том, что временной ряд цен на нефть представляет собой линейную функцию. В то же время, как уже не раз упоминалось ранее, цена на сырую нефть представляет собой сложное явление, взаимосвязанное с большим числом других факторов. Таким образом, зачастую данная предпосылка не позволяет достигнуть желаемого качества прогноза.

Возможность нейронных сетей выявлять скрытые нелинейные взаимосвязи позволила им пробрести большую популярность в данном направлении. Haidar et al. (Haidar, 2008) использовал трехслойную искусственную нейронную сеть, в основе которой лежал стандартный метод обратного распространения ошибки. Согласно ряду метрик, данный алгоритм показал хорошее качество прогноза.

Помимо стандартной архитектуры нейронных сетей в ряде работ также использовались их различные модификации. Yu et al. (Yu, 2008) реализовали EMD-based нейронную сеть ансамблевого обучения для прогнозирования спотовых цен на нефть, которая показала неплохие результаты. Alizadeh & Mafinezhad (Alizadeh, 2010) применили нейронную сеть общей регрессии (GRNN) для краткосрочного прогнозирования, которая также продемонстрировала хорошее качество.

Однако данный тип алгоритмов обладает рядом проблем: наличие проблемы локального минимума, переобучение и как следствие слабая обобщающая способность, сложность в определении структуры сети. Для борьбы с данными недостатками использовались другие модели, такие как метод опорных векторов (SVM) (Khashman, 2011; Wang, 2010) и XGBoost (Gumus, 2017). Также себя зарекомендовали гибридные модели, способные сочетать в себе несколько алгоритмов, тем самым в некоторых случая превосходя традиционные методы (Chiroma, 2015; He et al., 2009; Lai, 2007).

На основании обзора литературы, можно сделать вывод, что в задах прогнозирования используются как стандартные эконометрические модели, так и алгоритмы машинного обучения. Тем не менее, стоит выделить ряд особенностей, которые необходимо учесть в данной работе. Во-первых, широко используемые в соревнованиях по машинному обучению алгоритмы, такие как XGBoost и нейронные сети LSTM появились относительно недавно. В связи с этим в научных статья они встречаются не так часто. Это приводит к необходимости сравнения данных алгоритмов с традиционными подходами с целью выявления наилучшего метода прогнозирования нефтяных цен. Во-вторых, одной из гипотез данного исследования является предположение о том, что большой пласт информации, способный объяснять изменения цен, представлен в виде текстовой информации, которую в изначальном виде нельзя использовать для прогноза. В связи с этим в данной работе была предпринята попытка извлечь информацию из данного блока с целью достижения более точного прогноза на разные промежутки времени.



1.2 Ключевые факторы нефтяного рынка

Рынок нефти является сложно организованной системой, включающей огромное число разнообразных и взаимосвязанных между собой факторов. Именно эта сложность и большое число разнонаправленных связей внутри системы делают задачу прогнозирования цен трудно выполнимой. В данной работе исследуемые данные были разделены на два крупных блока:

· Факторы, непосредственно связанные с нефтяной отраслью

· Факторы, не связанные на прямую с рынком нефти

Первый блок факторов включал в себя все факторы, являющиеся элементами нефтяного рынка. Конкретно, в данный блок входили:

1) Спрос и предложение на рынке

Согласно базовой экономической теории цена товара формируется непосредственным соотношением спроса и предложения на рынке. На рынке нефти, как и на любом другом рынке, также есть две взаимодействующие стороны: продавцы и покупатели. В случае, если на рынке формируется переизбыток нефти ввиду превышения предложения над спросом, цена на нефть снижается и наоборот.

2) Потребление и производство нефти

Являются близкими понятиями с предыдущим блоком. Обычно участники рынка, специализирующейся на производстве нефти поставляют большую часть добытой нефти на продажу путем экспорта в другие страны. Совокупный объем экспорта и формирует совокупное предложение. Аналогичная ситуация происходит и с покупателями.

3) Поведение крупнейших игроков рынка

Отдельно стоит обратить внимание на крупнейших участников рынка, которые либо обладают большими производственными мощностями (Саудовская Аравия, Россия, США), либо же предъявляют значительный спрос на нефтяные ресурсы ввиду производственных и других нужд (Китай, Индия).

В последнее время особенно заметным стало влияние поведения различных игроков на состояние нефтяного рынка. Так, например, ярко выраженным участником является ОПЕК (организация стран -- экспортёров нефти). Данная организация была создана рядом нефтедобывающих стран в целях контроля квот добычи на нефть для достижения определенных целей. Ввиду того, что совокупное производство стран, входящих в данный картель, составляет значительную долю от мирового производства, потенциально действия стран-участниц данной организации могут оказывать сильное влияние на состояние рынка. Влияние данной организации особенно заметно проявляется в последнее время, когда низкие цены вынудили участников картеля придерживаться установленных квот с целью балансировки рынка и последующей стабилизации цен.

Среди других крупных игроков можно выделить США, которые за незначительный промежуток времени существенно нарастили нефтедобычу. Этому во многом способствовала специфика добычи нефти, а также вливание значительного объема финансовых средств в данную отрасль.

Со стороны покупателей можно выделить Китай. Его потребности в нефти, напрямую связанные с уровнем экономического развития и состоянием экономики, каждый год показывают устойчивый рост. Таким образом, внося значительный вклад в совокупный объем спроса, Китай также способен оказывать влияние на нефтяной баланс и на цены, соответственно.

4) Нефтяные запасы

В процессе торговых взаимоотношений участники рынка могут формировать нефтяные запасы, чтобы быть более независимыми и удовлетворять свои потребности в нефти в любой момент. Ярким примером является стратегический нефтяной резерв США, который был создан в 1975 году по решению Конгресса США, после нефтяного кризиса 1973 года. На данный момент резерв являются крупнейшими в мире. Не менее значимыми являются запасы нефти в странах экономического сотрудничества и развития (ОЭСР). На их уровень, в частности, опирается ОПЕК при принятии решений о дальнейших действиях на рынке.

5) Фьючерсный рынок нефти

Данный элемент хоть и является относительно новым в общей системе рынка нефти, тем не менее его влияние на нефтяные цены нельзя переоценивать. Помимо товарного рынка нефти, где происходит взаимодействие между продавцами и покупателями, которые используют «физическую» нефть в своих целях, например, в производстве, есть также игроки на рынке производных финансовых инструментов. Данная группа, опираясь на свои прогнозы относительно будущего состояния рынка, заключает сделки на покупку/продажу контрактов, которые привязаны к реальным нефтяным ценам. В последнее время объем данного рынка в денежном выражении стал таким большим, что способен значительно влиять на цены, на ровне с традиционными факторами, такими как спрос и предложение.

Рис. 3. Форвардные кривые Брент, $/барр

Во второй блок показателей входят факторы, не связанные на прямую с рынком нефти. Данный блок включает в себя:

1) Состояние фондового и валютного рынка

Всегда стоит обращать внимание на экономическую ситуацию в мире в целом, которая выражается в состоянии фондового и валютного рынка. Например, эмпирически выявлено, что доллар отрицательно коррелирует с нефтяными котировками. Состояние фондовых рынков, особенно американского, так или иначе характеризующих экономическую ситуацию в мире также оказывает влияние на нефтяной рынок (Morana, 2013).

2) Состояние экономики стран-участников нефтяного рынка

Зачастую экономическая ситуация в стране, особенно той, которая оказывает значительный вклад в совокупный баланс спроса и предложения на рынке, представляет собой очень значимый фактор. Например, если та или иная страна находится на стадии экономического роста, это будет выражаться в росте промышленно производства и, как результат, в спросе на сырье. Нефть, зачастую как раз и является главным сырьем во многих производственных процессах.

3) Крупные потрясения (политические события, войны, природные катаклизмы и прочее)

Не менее важной причиной изменения нефтяных цен являются политические и военные события, а также ряд других факторов, затрагивающих весь мир. Так политическая ситуация на богатом нефтью Ближнем Востоке, например, первая и вторая война в Персидском заливе, поиск оружия массового уничтожения в Ираке, ядерные угрозы Ирана и политическая напряженность, вытекающие из этого, также арабские революции за последние годы в Тунисе, Ливии, Египте, Сирии и Йемене безусловно оказывают влияние на нефть и ее волатильность.

Рис. 4. Влияние новостного фона на спред Brent/WTI

Потенциально все упомянутые выше факторы могут быть полезными для достижения цели данного исследования. Поэтому в дальнейшем они будут рассмотрены более детально, на основе чего сформируется блок признаков, позволяющих достичь хорошего прогнозного качества.



Глава 2. Инструментарий и методы исследования

Далее на основании опыта предыдущих работ и методологии работы с временными рядами будут разобраны основные методы и модели, позволяющие решить поставленные в данной работе задачи.

2.1 Эконометрические модели

При прогнозировании временных рядов большой популярностью пользуются статистические методы, основанные на значениях самого ряда и его характеристиках. В общем случае при данном подходе на основе исторических данных подбирается модель, которая наиболее полно описывает закономерности в известных наблюдениях, после чего производится экстраполяция модели. Стоит учитывать, что данная экстраполяция исходит из предположения, что в будущих периодах природа и характер закономерностей в наблюдениях не изменятся.

2.1.1 Модель случайного блуждания

Модель случайного блуждания (random walk) (Pearson, 1905) в общем случае представляет собой, так называемый наивный прогноз искомого показателя, который, по сути, формируется инерционным образом и без учета каких-либо фундаментальных объясняющих переменных. В периоды небольших колебаний данный метод может отличаться высокой точностью. Стандартная модель случайного блуждания для показателя при глубине запаздывания k в общем случае задается уравнением следующего вида:

Данная модель построена на предположении, что завтрашнее состояние (значение) будет равно сегодняшнему плюс некая случайная величина. Соответственно, модель является весьма упрощенной, и как следствие неточной. Это, в частности, связано с тем, что данный процесс не имеет памяти - каждое следующее приращение никак не связано с предыдущей тенденцией. В то же время, рынок нефти является достаточно сложной системой, имеющей определенный характер инерционности. Тем не менее данная модель хорошо подходит для нашей цели и часто используется в качестве бенчмарка для сравнения с другими моделями (Baumeister, 2012; Hooper et al., 2008).

2.1.2 Экспоненциальное сглаживание

Экспоненциальное сглаживание - это концепция, которая существует уже довольно давно и имеет аналоги в обработке сигналов. При применении к прогнозированию временных рядов основная идея состоит в том, чтобы смотреть на предыдущие данные ряда и взвешивать их в соответствии с тем, насколько далеко они расположены в прошлом. Таким образом, чем более раннее наблюдение мы рассматриваем, тем меньшее влияние оно оказывает на прогноз. В общем виде экспоненциальное сглаживание выглядит следующим образом:

Вес б называется сглаживающим фактором. Он определяет, как быстро мы будем «забывать» исторические наблюдения. Чем меньше б, тем больше влияния оказывают предыдущие модельные значения, и тем сильнее сглаживается ряд. Таким образом, мы делаем прогноз на основе суммирования предыдущих значений, взвешенных в соответствии с их удаленностью во времени. Сам параметр определяется на основе подбора с целью минимизации ошибки.

Стоит заметить, что поскольку большинство рядов являются нестационарными по своей природе, как и наш целевой ряд, важно учитывать некоторые особенности при прогнозе, чтобы оценивание было более корректным. В частности, важно учитывать наличие тренда в данных.

Рис. 5. Присутствие тренда в целевом временном ряде

Более простые модели, упомянутые выше, могут делать прогноз на данных, содержащих тренд, однако они вводят простые допущения относительно природы тренда. Например, модель случайного блуждания предполагает, что тренд между двумя последними наблюдениями останется таким же и в будущем. Нас же интересует метод, способный точно оценивать тренд без каких-либо допущений.

2.1.3 Метод Хольта (двойное экспоненциальное сглаживание)

Метод Хольта является по сути усовершенствованной версией простого экспоненциального сглаживания, как раз-таки позволяет грамотно учесть наличие тренда во временном ряде. Этот метод есть не что иное, как экспоненциальное сглаживание, применяемое к обоим уровням: среднему значению в серии и тренду. Чтобы выразить это в математической нотации, необходимо три уравнения: одно для уровня (ожидаемое значение ряда), одно для тренда и одно для объединения уровня и тренда для получения прогноза. Веса, с которыми берутся переменные в данной системе уравнений, определяются так же подбором, как и в методе экспоненциального сглаживания. Как и с экспоненциальным сглаживанием уравнение уровня представляет собой взвешенное среднее наблюдения в период t и внутри выборочного прогноза на предыдущем шаге, который также равен сумме уровня и тренда в период t-1:

Уравнение тренда является взвешенным средним оцененного тренда на период t-1, а также изменения уровня на предыдущем шаге:

где:

- сглаживающий параметр для тренда

Проведя экспоненциальное сглаживание и просуммировав полученные значения для уровня и тренда, мы получим прогнозное значение:

В данном случае приходится оценивать уже два параметра: alpha и beta. Первый отвечает за сглаживание ряда вокруг тренда, второй -- за сглаживание самого тренда. Чем выше значения, тем больший вес будет отдаваться последним наблюдениям и тем менее сглаженным окажется модельный ряд. 

2.1.4 Метод Хольта-Винтерса (тройное экспоненциальное сглаживание)

Идея этого метода заключается в добавлении еще одной компоненты -- сезонности. Соответственно, метод применим только в случае присутствия в ряде сезонности. Сезонная компонента в модели будет объяснять повторяющиеся колебания вокруг уровня и тренда и характеризоваться длиной сезона -- периодом, после которого начинаются повторения колебаний. Для каждого наблюдения в сезоне формируется своя компонента, например, если длина сезона составляет 7 (например, недельная сезонность), то получится 7 сезонных компонент, по одной на каждый из дней недели. На основе этого выведем новую систему:

Уровень теперь будет зависеть от текущего значения ряда за вычетом соответствующей сезонной компоненты, тренд останется без изменений, а сезонная компонента будет зависеть от текущего значения ряда за вычетом уровня и от предыдущего значения компоненты.

2.1.5 ARIMA (модель Бокса-Дженкинса)

Модель авторегессионного интегрированного скользящего среднего (autoregressive integrated moving average, ARIMA), являющаяся расширением модели ARMA для нестационарных рядов, также используется при работе с временными рядами для более глубокого понимания данных или предсказания будущих точек ряда. Обычно модель упоминается как ARIMA (p, d, q). Параметры модели, представляющие собой целые неотрицательные числа, означают следующее:

· p - порядок лага (порядок авторегрессионной части модели);

· d - порядок разности временного ряда (порядок интегрированной части модели);

· q - размер скользящего-среднего окна (порядок скользящего-среднего).

·

Пусть задан временной ряд , тогда модель ARIMA (p,d,q) задается следующим образом:



,

где:

- оператор задержки

- параметры авторегрессионной части модели

- параметры скользящего среднего

- значения ошибки,

d - число, задающее уровень дифференцирования (если d=0, модель будут эквивалентна авторегрессионному скользящему среднему, ARMA)

Данная модель иногда интерпретируется как модель множественной линейной регрессии, в которой предикторами являются значения временного ряда предыдущих периодов, а регрессионный остаток дан в виде скользящих средних белого шума. Также необходимо заметить, что существует большое количество вариаций модели ARIMA. Например, вышеупомянутая модель случайного блуждания есть ничто иное, как частный случай авторегрессионного процесса (модель ARIMA с параметрами (1,0,0) и параметром . Также существуют и различные модификации модели в зависимости от специфики: ARIMAX - для учета независимых переменных, VARIMA - при исследовании временных рядов нескольких переменных, SARIMA - для учета сезонного фактора, FARIMA - для учета долгосрочной зависимости.

2.2 Алгоритмы машинного обучения

2.2.1 XGBoost

Особенностью алгоритма XGBooost (Friedman, 2001), является то, что он не является значительно подкрепленным теорией и зачастую нарушает различные предпосылки, например, условия Гаусса-Маркова, особенно пункт про некоррелированность ошибок. Однако на практике алгоритм зачастую показывает достаточно хорошие результаты, активно используется в соревнованиях по машинному обучению и в других целях.

Рис 6. Алгоритм градиентного бустинга

Суть данного алгоритма, заключается в построении множества решающих деревьев, каждое из которых будет обучаться на отклонении ответов композиции из предыдущих деревьев от истинных значений, тем самым исправляя ошибки уже построенной композиции. Формальным языком, каждое новое дерево ?_k(x) обучается на ответах y_i - ?_i, где ?_i - прогноз всей композиции на i-том объекте на предыдущей итерации. На каждой итерации градиентного бустинга вычисляется вектор сдвигов s, который показывает, как нужно скорректировать ответы композиции на обучающей выборке, чтобы как можно сильнее уменьшить ошибку. После этого новый базовый алгоритм обучается путем минимизации среднеквадратичного отклонения от вектора сдвигов s:

где: - алгоритм решающего дерева - вектор сдвигов - вектор описания объекта

У данного подхода есть множество преимуществ по отношению к решающим деревьям и не менее популярному алгоритму случайного леса. Что касается решающих деревьев, то они очень легко переобучаются. В частности, можно построить дерево, у которого каждый лист будет соответствовать одному объекту обучающей выборки. Такое дерево построит сложную разделяющую поверхность и, очевидно, переобучится, то есть будет обладать низкой обобщающей способностью.

Рис 7. Переобученное решающее дерево

В отличие от решающего дерева, алгоритм градиентного бустинга строит менее глубокие деревья, что позволяет повысить обобщающую способность. Точность при этом не уменьшается, за счет итеративной оптимизации всего ансамбля, где каждое следующее дерево по сути обучается на ошибках предыдущей композиции и пытается уменьшить совокупную ошибку прогноза. Эта особенность также помогает достигать более точных результатов по сравнению с алгоритмом случайного леса (random forest), где при построении ансамбля деревьев каждое следующее дерево в композиции никак не зависит от предыдущих в следствие чего требуется значительное количество деревьев для решения сложных задач.

Также данный алгоритм хорош тем, что он позволяет обучаться на большом массиве данных, не боясь переобучения. Для этого используется большое число параметров, которые можно настраивать в рамках данного алгоритма. Часть наиболее значимых из них:

· learning_rate - скорость обучения алгоритма (шаг обучения)

· n_estimators - число «взращиваемых» деревьев

· max_depth - максимальная глубина деревьев

· subsample - доля обучающей выборки от общего объема для построения дерева

· colsample_bytree - доля независимых параметров от общего числа для обучения

· reg_alpha - L1-регуляризатор

· reg_lambda - L2-регуляризатор

Как было указано выше, данный алгоритм на практике часто показывает наилучшие результаты по сравнению с другими алгоритмами. Это может быть достигнуто засчет грамотного подбора параметров. Одним из методов выбора оптимальных параметров является так называемый «поиск по сетке» (grid search). Суть метода состоит в переборе всех возможных комбинаций заранее указанных значений параметров. Итоговый результат определяется на основании функции потерь - метрки, которую необходимо оптимизировать (как правило, минимизировать). Помимо этого также существует «рандомизированный поиск по сетке» (randomiszed search), когда среди всего множетства возможных комбинаций значений параметров выбирается некоторое подмножество, за счет чего значительно уменьшается время обучения алгоритма. Единественным недостатком такого подхода является снижение точности прогноза.

Рис. 8. Grid Search и Randomized Search для поиска оптимальных параметров

2.2.2Нейронные сети

Нейронная сеть прямого распространения

Нейронная сеть, как и алгоритм градиентного бустинга является по сути универсальной моделью, способной решать широкий класс задач регрессии и классификации. В общем случае традиционную однослойную нейронную сеть можно представить в виде линейной комбинации факторов, взятых с некоторыми весами, которые оптимизируются с помощью различных методов, в том числе метода градиентного спуска. Прогнозом данной модели будет являться результат применения функции активации к линейной комбинации факторов с оптимальными весами.

Рис 9. Архитектура однослойной нейронной сети

Выше описанный подход определяется следующим выражением:

где: - функция активации - вектор параметров (весов) - вектор описания объекта

Функций активаций существует большое множество (сигмоида, гиперболический тангенс, softmax и др.). Сама функция подбирается эмпирически. Самое главное это то, что она должна быть непрерывной, монотонной и, желательно, дифференцируемой функцией (в целях применения оптимизационных алгоритмов).

Принцип работы однослойной нейронной сети может быть распространен и на нейронные сети с более сложной архитектурой (многослойные).



Рис 10. Архитектура двуслойной нейронной сети

Главным преимуществом нейросетевых моделей является нелинейность, то есть умение устанавливать нелинейную зависимость между факторами, чего нельзя реализовать с помощью традиционных линейных моделей. Однако несмотря на широкую популярность данного алгоритма, он обладает одним важным недостатком: проблема локального минимума. В основе данного алгоритма лежит метод градиентного спуска, который пытается найти минимум функции потерь в пространстве весов. Однако конечный результат может существенно отличаться при разных инициализациях весов, что делает данный алгоритм достаточно неустойчивым в плане результатов.

Рис 11. Проблема локального минимума

Рекуррентная нейронная сеть (RNN)

В отличие от нейронной сети прямого распространения (feed-forward NN), RNN имеет память. Рекурентная нейронная сеть принимает на вход как данные за текущий период, так и те, которые были получены на прошлых итерациях посредством скрытого слоя. Благодаря этому появляется возможность обрабатывать серии событий во времени или последовательные пространственные цепочки. В частности, данный вид нейронных сетей хорошо применим для прогнозирования временных рядов.



Рис 12. Рекуррентная нейронная сеть

Сеть с долгой краткосрочной памятью (LSTM)

Большой сложностью сетей RNN является проблема исчезающего (или взрывного) градиента (vanishing gradient problem), которая заключается в быстрой (экспоненциальной) потере информации с течением времени. Сети с долгой краткосрочной памятью пытаются решить вышеупомянутую проблему потери информации, что делает их хорошо применимыми для решения задачи прогнозирования временных рядов.

Ключевым компонентом LSTM является состояние ячейки (cell state), которое напоминает конвейерную ленту. Она проходит напрямую через всю цепочку, участвуя лишь в нескольких линейных преобразованиях. Различные преобразования, приводящие к изменению информации, находящейся в состоянии ячейки, регулируется структурами, называемыми фильтрами (gates). В LSTM располагается три таких фильтра, позволяющих защищать и контролировать состояние ячейки, пропуская информацию на основании некоторых условий.

Первый шаг в LSTM - определить, какую информацию можно выбросить из состояния ячейки. Это решение принимает сигмоидальный слой, называемый «слоем фильтра забывания» (forget gate layer). Он смотрит на h_t?1 и x_t и возвращает число от 0 до 1 для каждого числа из состояния ячейки C_t-1. 1 означает «полностью сохранить», а 0 - «полностью выбросить».



Рис 13 Слой фильтра забывания

Следующий шаг - определить, какая новая информация будет храниться в состоянии ячейки. Этот этап состоит из двух частей. Сначала сигмоидальный слой под названием «слой входного фильтра» (input layer gate) определяет, какие значения следует обновить. Затем tanh-слой строит вектор новых значений-кандидатов , которые можно добавить в состояние ячейки.

Рис 14. Слой входного фильтра

После этого необходимо заменить старое состояние ячейки C_t-1 на новое состояние C_t. Для этого старое состояние умножается на f_t, тем самым забывается то, что мы решили забыть. Затем к полученному значению прибавляет i_t ? - на сколько мы хотим обновить каждое из значений состояния.

Рис 15. Смена состояния ячейки

Наконец, нужно решить, какая информация будет выводиться на выходе. Выходные данные будут основаны на состоянии ячейки, к которым будут применены некоторые фильтры. Для этого сначала применяется сигмоидальный слой, который решает, какая информация будет выводиться из состояния ячейки. Затем значения состояния ячейки проходят через tanh-слой, чтобы получить на выходе значения из диапазона от -1 до 1, и перемножаются с выходными значениями сигмоидального слоя, что позволяет выводить только требуемую информацию.

Рис 16. Слой выходного фильтра

Рис 17. Структура развернутой структуры ячейки RNN (вверху) и структура ячейки LSTM (внизу)

Основывая на теоретической информации, а также на большой популярностью данной архитектуры сетей, можно утверждать, что LSTM хорошо подходит для достижения цели данного исследования. В связи с этим было для достижения цели работы вместо нейронной сети прямого распространения и рекуррентной сети было решено использовать сеть с долгой краткосрочной памятью (LSTM).



2.3 Текстовый анализ

Очень часто то или иное событие мирового масштаба выражается исключительно в вербальной форме, не отражаясь при этом в традиционных факторах (спрос, предложение, добыча). В то же время такие явления могут иметь долгосрочный эффект, что должно сказываться положительно на прогнозе нефтяных цен. В целом можно выделить несколько групп факторов, которые имеют исключительно вербальный характер:

Табл. 1. Группы вербальных факторов

Группа факторов	Фактор	Примеры
Военные/политические факторы	Война	1980-1988 Ирано-Иракская война 1991-1992 Персидская война
	Революция	1978-1979: Иранская революция
	Террористическая атака	11.09.2001: Теракт в США
	Санкции	1992: Санкции ООН против Ливии
	Забастовки	04-09.1994: Забастовка рабочих в Нигерии
Политика ОПЕК	Увеличение налоговой ставки	12.1970: ОПЕК приняло решение увеличить ставку подоходного налога до 55%
	Национализация	1973-74: Национализация зарубежных нефтяных компаний в Ливии и Нигерии
	Эмбарго	10.1973-03.1974: нефтяное эмбарго со стороны ОПЕК
	Заморозка цен	01.1974: Заморозка цен ОПЕК
	Рост цен	04.1979: Увеличение цен ОПЕК на 14.5%
	Рост добычи	06.1989 & 11.1997: Наращивание добычи ОПЕК
	Сокращение добычи	03.1991: ОПЕК объявила о сокращении добычи на 22,3 млн барр./c.
Политика не-ОПЕК	Рост добычи	1995: Россия и Норвегия заявили о наращивании добычи
	Сокращение добычи	03.1998: Планы Норвегии по сокращению добычи
Природные катаклизмы	Землетрясение	11.1990: Землетрясение в Иране
	Холодная погода	1995: Экстремально холодная погода в США и Европе
Мировая экономика	Экономический кризис	1997-1998: Азиатский финансовый кризис
Иные факторы	Экологическая протекция	03.1999: Агентство по охране окружающей среды США заявило о сокращении содержания серы в бензине и выхлопных выбросах.
	Слияние нефтяных компаний	05.1999: Слияние Exxon & Mobil
	Спекуляции	12.2000: Председатель ОПЕК признал спекуляции главной причиной волатильности нефтяных цен.

Данный пласт информации имеет большую ценность, однако его нельзя использовать в традиционных моделях, поскольку эти данные представлены в текстовом формате. Более того сложность анализа возникает даже у обычного человека, не глубоко посвященного в данную область. Ниже приведен ряд высказываний некоторых экспертов в данной области, которые по сути и отражают текущие настроения на рынке:

· William O'Loughlin инвестиционный аналитик из Rivkin Securities: «Опасения избыточного предложения могут легко превратиться в опасения недостатка, если запасы продолжат сокращаться как они это делают сейчас, а спрос продолжит расти».

· Gene McGillian из Tradition Energy: “Ралли рынка сильно. Я думаю, оно обосновано фактом, что саудовцы и россияне намерены продолжить сокращение».

· John Kilduff партнер Again Capital: «Масса инвестиционных фирм поднимают планку по нефтяным ценам, так что идет смена настроений».

При использовании данного метода существует несколько подходов. Наиболее распространенный подход заключается в том, все новости делятся на три типа: положительные, негативные и нейтральные. Предполагается, например, что при негативном новостном фоне рынок находится в фазе спада. Однако для решения задачи прогнозирования данный подход вероятнее всего будет не совсем подходящим, поскольку зачастую в статьях приводится констатация фактов, нежели какая-то эмоциональная окраска.

Другой подход подразумевает выявление кластеров по всем новостным статьям, где каждый из кластеров будет включать в себя статьи, схожие по тематике. Так, например, частое упоминание в новостях о Ливии или Нигерии говорит о том, что ситуация в этих странах нестабильна, что может сказаться не нефтяных ценах как в краткосрочной, так и в долгосрочной перспективе. Данный вид анализа может быть полезен тем, что зачастую на рынке может происходить фундаментальный сдвиг, который не будет отражен в базовых факторах. В то же время преобладание в новостях той или иной в течение длительного периода времени будет как раз-таки свидетельствовать об этом сдвиге.

2.4 Сравнительный анализ

На основании анализа литературы и других источников был проведен сравнительный анализ подходов, применимых для решения задач данного исследования.

Табл. 2. Сравнительный анализ подходов к прогнозированию временных рядов

Подход	Преимущества	Недостатки
Наивные методы (модель случайного блуждания)	· Скорость вычислений · Возможность использования данного подхода для сравнения с другими методами	· Низкая точность
Эконометрические модели	· Скорость вычислений · Относительно высокая точность	· Требования к свойствам рядов (стационарность) · Игнорирование других признаков (факторов)
Нейронные сети (LSTM)	· Высокая точность · Способность разделять сигнал от шума (отбор признаков) · Наличие «памяти»	· Скорость обучения · Сложность в определении оптимальных параметров, в том числе структуры сети · Наличие проблемы локального минимума · Возможность переобучения
XGBoost (и другие ансамблевые алгоритмы)	· Высокая точность · Способность разделять сигнал от шума (отбор признаков)	· Скорость обучения · Большое число параметров для настройки · Возможность переобучения
Текстовый анализ	· Возможность использования дополнительного блока информации	· Сложность сбора информации и приведения к числовому виду



Глава 3. Эмпирические результаты

В данной главе будет приведена и описана практическая реализация предложенных в предыдущей главе подходов.

3.1 Описание используемых данных

3.1.1 Выбор нефтяного бенчмарка для прогноза

На нефтяном рынке представлено большое количество разнообразных сортов нефти, отличающихся друг от друга составом, определяемым месторождением и способом добычи. В мире существует три основных маркерных сорта: Brent, West Texas Intermediate (WTI) и Dubai Crude. Котировки на эти сорта, публикуемые котировочными агентствами, определяют цены в основных регионах:

· «Brent», добываемый в Северном море -- для рынков Европы и Азии. Цены примерно на 70% экспортируемых сортов нефти прямо или косвенно задаются именно на базе котировок Brent (Fattouh, 2011), что делает его самым популярным сортом в мире. В частности, цены на три из пяти российских экспортных марок, Urals, Siberian Light и REBCO, рассчитываются исходя из цен на Брент. Данная марка стала эталонной благодаря надежности поставок, наличию нескольких независимых поставщиков и готовности её покупки со стороны множества потребителей и переработчиков, что делает данный сорт крайне ликвидным активом.

· «WTI» (West Texas Intermediate), известная также как «(Texas) Light Sweet» -- для западного полушария (США) и как ориентир для других сортов нефти.

· Маркерный сорт Dubai Crude широко используется при определении цен нефти, экспортируемой из стран Персидского залива в АТР.

На основании того, что сорт нефти марки Brent является самым широко торгуемым, было решено осуществлять прогнозирование именно для данного сорта.

3.1.2 Описание источников данных

Важным этапом данного исследования был сбор данных. На сегодняшний день существует огромное число разнообразных программных продуктов и организаций, предоставляющих статистику по нефтяному рынку. Остановимся на каждом из них отдельно.

· Thomson Reuters предоставляет доступ к данным, новостям и аналитике по всем классам активов, рыночным секторам и странам. Для данной работы он был полезен с точки зрения большого количества информации как по макроэкономическим показателям, так и статистике по нефтяному рынку, в частности экспортным поставкам.

· EIA (US Energy Information Administration, Управление по энергетической информации Министерства энергетики США). Данная организация публикует статистику как по внутреннему нефтяному балансу США (производство, экспорт/импорт, запасы), так и международную статистику по другим странам (в виде отчета STEO и других).

· OMR (Oil Monthly Report). Отчет, публикуемый Международной Энергетической Организацией (МЭА). Данный источник информации полезен как для понимания текущей ситуации на рынке, так и множеством разнообразной статистики и прогнозов.

· MOMR (Monthly Oil Report). Отчет, публикуемый ОПЕК. Содержит много детальной статистики. Особенно полезен статистикой по самому картелю (объем добычи, экспорт и т.д.).

· JODI. Представляет нефтяной баланс стран в детальном разрезе практически по всем интересующим статьям.

· Другие источники. К ним относится:

o Baker Hughes - статистика по буровым установкам в США;

o Национальное Бюро Статистики Китая (NBS) - статистика по нефтяному балансу Китая;

Итоговая статистика была сформирована на основе выше приведенных источников. В каких-то случаях информация выгружалась из источника непосредственно в MS Excel, где и производилась итоговая агрегация. Ряд ресурсов (MOMR, NBS) не позволял сделать этого, поэтому приходилось доставать статистику вручную. В случае с источником EIA был написан специальный скрипт, а также использована надстройка для MS Excel BERT для выгрузки данных из базы данных в формате JSON в необходимый табличный формат.

Отдельно стоит описать реализацию сбора текстовой информации. В качестве основного источника была выбрана газета The New York Times. Выбор именного данного ресурса был обусловлен большой базой статей, а также API, позволявшим получать доступ к статьям. Для сбора информации был написан скрипт на языке VBA, который подгружал аннотацию статьи (краткое содержание) и ряд других признаков статьи. Фильтрами вывода являлись сам запрос: «crude oil prices», а также дата: с 01/2000. В вся информация была выгружена в файл Excel и насчитывала более 5000 записей (статей).

3.1.3 Описание собранных данных

Анализ исходных данных начинался с анализа целевого фактора - с котировок нефти сорта Brent.

Рис. 18. Цена на нефть марки Brent



Как видно на графике, ряд ведет себя по-разному в зависимости от периода времени. Изначально ряд показывает незначительные колебания, и по мере продвижения по временной шкале, колебания растут. Поскольку нас интересует прогнозное качество модели на текущий момент, было решено сократить данный ряд, как и остальную статистику, оставив только данные с 2002 года.

Также было принято решение привести целевую переменную к темпам прироста, что было эквивалентно взятию натурального логарифма отношения цен текущего и будущего периодов. Стоит отметить, что в данной работе были проведены расчеты как для прогнозирования абсолютных значений целевой переменной, так и для относительных (темпы прироста). В результате, точность прогноза темпов прироста с последующим преобразованием в абсолютные величины была выше по сравнению с прогнозом абсолютных значений. Как видно на ниже приведенном графике часть изначальных признаков имели пропуски: некоторые из них в начале рассматриваемого периода (Total_stocks_OECD, US_Crude_Export, позиции спекулянтов по WTI), некоторые - в конце.

Рис. 19. Начальный набор данных

В результате, было решено убрать те ряды, по которым имелось меньше статистики, чем по большинству рассматриваемых рядов, а также убрать наблюдения, где отсутствовали данный по ряду признаков.



Рис. 20. Данные после очистки от пропущенных значений

В блок первоначальных признаков входило несколько групп факторов:

· Рыночные факторы (спрос, предложение, экспорт, импорт, запасы, добыча)

· Факторы финансового рынка (валюта, индексы)

· Состояние мировой экономики и отдельных стран

· Рынок фьючерсов и позиции спекулянтов на нефтяном рынке

Помимо этого, был также создан ряд других факторов:

· лаговые значения целевой переменной

· факторы, характеризующие год, квартал и месяц наблюдения

· факторы, характеризующие распределение тем статей, выгруженных с The New York Times (далее будет описано более детально)

В результате итоговый набор основных данных содержал 189 наблюдений с 01/2002 по 09/2017 и 84 факторов, включая целевую переменную.

3.1.4 Отбор значимых признаков

Совокупность признаков, отобранных на предыдущем шаге, представляет интерес, исходя из анализа нефтяного рынка. Однако на деле не все факторы могут оказывать влияние на целевую переменную. Тем более это актуально для долгосрочного прогнозирования, где эффект изменения того или иного фактора должен быть устойчивым во времени. Отсюда встает задача выявления пригодных признаков, способных улучшить качество прогноза.

Тест причинности Грейнджера

Одним из способов проверки причинно-следственной связи является тест Грейнджера. В тесте Грейнджера последовательно проверяются две нулевые гипотезы: «x не является причиной y по Грейнджеру» и «у не является причиной x по Грейнджеру». Для проверки этих гипотез строятся две регрессии: в каждой регрессии зависимой переменной является одна из проверяемых на причинность переменных, а регрессорами выступают лаги обеих переменных. Таким образом, данная система уравнений является по сути векторной автогрегрессией. Для каждой регрессии нулевая гипотеза заключается в том, что коэффициенты при лагах второй переменной одновременно равны нулю. Данные гипотезы можно проверить, например, с помощью F-теста. Важным ограничением теста является то, что он применим только к стационарным рядам, поэтому он проводился на первых разностях переменных.

Конкретно в данном исследовании тест Грейнджера был применен для тестирования причинно-следственной связи между зависимой и экзогенными переменными. Важным ограничением теста является то, что он применим только к стационарным рядам, поэтому он проводился на первых разностях переменных, а в некоторых случаях и на вторых. Для каждого из экзогенных факторов проверялась гипотеза о его влиянии на целевую переменную вплоть до 5 лагов. Значимость признаков на каждом из лагов определялась по F-статистике, точнее по p-value, которые не должно было превышать 0.1, что означает статистически значимое на 10% уровне влияние того или иного экзогенного фактора. Результаты теста представлены в Таблице 3.

...