Возможность построения моделей, предсказывающих цену акций, являлась и является одной из наиболее привлекательных финансовых тем как в научном сообществе, так и среди участников рынка. Несмотря на то, что первые серьезные научные публикации на данную тему начали появляться еще в первой половине ХХ века (Graham and Dodd, 1934), все еще не удалось дать исчерпывающий ответ на вопрос о возможности построения предсказательных финансовых моделей, в связи с чем среди ученых и финансистов сложилось два идейных лагеря: сторонников и противников идеи о возможности предсказаний курса акций.

В определенном смысле, отправной точкой для дискуссий о том, может ли цена акции быть предсказана и можно ли из этого предсказания извлечь абнормальную прибыли, послужило выдвижение гипотезы эффективного рынка. Несмотря на то, что само определение эффективного рынка в современном понимании было дано относительно поздно (сам термин "efficient markets hypothesis" впервые был использован в "Statistical versus clinical prediction of the stock market" (Roberts, 1967)), первые серьезные аргументы появились в начале ХХ века. Так, М. Кейнс (Keynes, J. M., 1923) утверждал, что инвесторы получают прибыль на финансовых рынках не по причине того, что они обладают уникальной способностью "переигрывать" рынок, но из-за того, что они готовы нести риски, связанные с конкретными инвестициями. Эта идея позднее была во многом отражена в работах Ю. Фама, который и сформулировал понимание ГЭР в современной трактовке (Fama E. F. 1965a, 1965b). В том же году была опубликована работа П. Самуэльсона (Samuelson, 1965), в которой он так же, как и Фама, доказывал, что рынки эффективны. Однако, Фама доказывал свою гипотезу через доказательство того, что движения цен акций описывается моделью случайного блуждания, а Самуэльсон, в свою очередь, случайным процессом мартингала. В другой работе (Fama, 1969) Фама применил событийный анализ, который так же поддерживал идею эффективности рынка. Важно так же отметить, что гипотеза эффективного рынка не отвергает возможности извлечения сверхприбыли как таковой, но исключает возможность систематического извлечения сверхприбыли. Так, если модель ГЭР построена на модели случайного блуждания, инвестор может случайным образом "переигрывать" рынок, и в 50 % случаев прибыль может быть выше рыночной случайным образом.

Таким образом, основываясь на работах Фама и других экономистов, можно сформулировать определение гипотезы эффективного рынка следующим образом: цена ценной бумаги в любое время полностью включает в себя всю доступную информацию. Выделяется три формы гипотезы эффективного рынка: слабая, средняя и сильная.

· Слабая эффективность рынка подразумевает, что цена актива включает в себя всю доступную прошлую рыночную информацию (в частности, исторические данные об активе и т.д.) и что исторические данные не влияют на то, как будет вести себя цена актива в будущем. Таким образом, технический анализ невозможен.

· Средняя эффективность рынка подразумевает, что цена актива включает в себя не только прошлую публичную информацию, но и в принципе любую публично доступную информацию (выпущенную как в прошлом, так и в настоящем). Иными словами, рынок достаточно быстро корректирует цену актива таким образом, чтобы свежедоступная публичная информация была заложена в цену и не могла бы использоваться в целях извлечения абнормальных доходностей. В связи с этим, исключается возможность и фундаментального анализа для извлечения сверхприбыли.

· Сильная эффективность рынка подразумевает, что цена актива включает в себя всю вышеперечисленную информацию, а также инсайдерскую информацию. Под действием такой формы эффективности систематическое и "запланированное" получение избыточной доходности невозможно.

Тем не менее критика гипотезы эффективного рынка появилась сразу же, более того, еще до того, как сама гипотеза была окончательно сформулирована Фама. Так, Коулз и Джоунс (Cowles, Jones, 1937) одними из первых указали на наличие автокорреляции во временных рядах усредненных цен акций, что прямо указывало на неэффективность рынка и возможность построение предсказательных моделей на основе исторических данных. Большинство критических научных статей ХХ века опирались на статистическое доказательство неэффективности рынка (часто через выявление автокорреляции). Так, (Poterba, Summers, 1988) показали, что на длинном временном периоде акции имеют отрицательную негативную автокорреляцию, а на коротком - положительную.

Однако, в рамках данной работы больший интерес представляют другие волны критики ГЭР, основанные на поведенческих финансах и на попытках объяснить рыночные аномалии (эффект размера, эффект низкого мультипликатора P/BV, эффект января, эффект разворота, эффект дней недели, эффект "собак Доу" и др.). Отдельный интерес представляет феномен моментума и его трактовка через призму поведенческих финансов, однако данная тема не входит в рамки данной работы.

Суть рассмотрения аномалий как потенциальных причин нарушения гипотезы эффективности рынка заключается в том, что данные аномалии проявляются в существовании паттернов в динамике курсовой стоимости акций. Так, эффект размера подразумевает, что исторически компании с меньшей капитализацией приносили большую доходность, в связи с чем возможно существование стратегий, использующих такие компании, и которые позволяют получить доходность выше нормальной. Другой тип аномалий так же заключается в существовании паттернов в динамике цен акций, однако паттернов другого рода, например, известный эффект января, когда цены акций компаний растут сильнее, чем в другие месяцы. Наличие такого устойчивого паттерна поведения цен акций противоречит гипотезе эффективного рынка, так как позволяет учитывать этот рост и получать доходность выше нормальной. Более того, в каком-то смысле эти эффекты могут накладываться друг на друга, так, эффект января выражен сильнее для компаний с меньшей капитализацией (Keim, 1983).

Несмотря на то, что наличие влияния аномалий на динамику курса акций было показано во множестве эмпирических работ, сторонники гипотезы эффективного рынка не отказались от гипотезы. Основная проблема использования аномалий в качестве потенциального доказательства неэффективности рынка заключается в том, что, во-первых, данные эффекты наблюдаются, как правило, только в краткосрочном периоде, а также в том, что сами эффекты слабы и зачастую исчезают, если переопределить понятие "нормальной доходности", относительно которой и тестировались аномалии. Часто в качестве теоретического бенчмарка использовалась модель CAPM, на что сторонники ГЭР возражали, что данная модель не корректно отражает реальный рынок и не учитывает дополнительные факторы риска. В связи с этим, предлагались другие модели, призванные более корректно учитывать риск. Так, Фама и Френч предложили модель, которая включала риск-фактор, отражающий размер компании, а также фактор, отражающий разницу в рисках у компаний с разными показателями отношения балансовой стоимости к капитализации (Fama, French, 1993). В работе 1996 года "Multifactor explanations of asset pricing anomalies" Фама и Френч непосредственно продемонстрировали, что использование трехфакторной модели успешно устраняет проблему аномалий в силу "поглощения" большего количества рисков, нежели CAPM. В связи с этим, при проведении event study для выявления возможности получении абнормальной доходности при использовании мнений и настроений в Твиттере как дополнительного фактора в эмпирической модели будет применяться модель Фама и Френча, а не CAPM.

Если говорить о поведенческих финансах как о разделе финансов, объясняющем нарушение стандартных предпосылок и гипотезы эффективного рынка, то авторы одной из первых основополагающих работ (DeBondt, Thaler, 1995) показали, что существует тенденция рынка на избыточное или недостаточное реагирование на определенные события. Авторы связывали отклонения цен акций от фундаментальных тем, что инвесторы были подвержены эмоциям и нерациональному поведению, становясь либо чересчур уверенными в собственных решениях, либо, наоборот, становились пессимистичны относительно инвестиционных решений. Авторы опирались на работу Канемана и Тверски для объяснения процессов нерационального принятия инвестиционных решений. Основываясь на поведенческих финансах, можно выделить несколько причин нерационального поведения инвесторов, которое, в свою очередь, может нарушать гипотезу эффективности рынка:

· Overconfidence - нарушение рациональности агентов, проявляющееся в субъективном завышении вероятностей успеха или занижении вероятностей провала на основании собственного опыта. Данное отклонение на финансовых рынках ведет к учащению сделок и к проблемам в диверсификации инвестиций (Wang, 2001)

· Representativeness - склонность присваивать вероятности к неизвестным событиям на основе известных событий (Kahneman, Tversky, 1972)

· Herding - склонность принимать решения на индивидуальном уровне, опираясь на выбор и решения социальных групп. В финансах это может привести к серьезным последствиям, но несмотря на это инвесторы в значительной степени подвержены данному отклонению (Hirshleifer, Subrahmanyam, Titman, 1994)

· Anchoring - склонность придавать больший вес информации, полученной раньше, даже если новая информация опровергает старую (Kahneman, Tversky, 1974)

· Conservatism - склонность изменять уже сложившиеся взгляды и шаблоны мышления медленно, даже если новые реалия и информация требуют изменений (Edwards, 1968)

В контексте данной работы наибольший интерес представляет эффект стадности (herding), так как в каком-то смысле именно эффект стадности потенциально должен быть отражен в связи настроений в Твиттере и доходности ценных бумаг. Теоретически, индекс настроений может отражать настроение общества в момент составления индекса, что, соответственно, может служить своего рода прокси для выявления стадности инвесторов. Например, можно ожидать, что в ответ на некое финансовое событие в отношении какой-либо фирмы, инвесторы могут начать реагировать определенным образом на это событие. Если иметь инструмент, который достаточно точно и быстро, а желательно в режиме реального времени, может отслеживать общественные настроения и/или настроения среди инвесторов, возможно будет создание стратегий, которые будут учитывать эффект стадности и делать поправку на него, что, соответственно, может привести к получению доходностей выше нормальной.

Более того, индексы настроений могут быть использованы и в целях определения ожиданий общества относительно некоторого события, компании или общества и государства в целом. Широко используются индексы уверенности потребителей, бизнеса и финансовых рынков (Сonsumer confidence index, Business confidence index), построенные на прямых опросах агентов. Эти индексы пользуются популярностью как среди инвесторов, так и среди компаний при принятии производственных и инвестиционных решений. Существует также индекс уверенности участников фондовых рынков Stock Market Confidence Indices, The Investor Behavior Project at Yale University http: //som. yale.edu/faculty-research/our-centers-initiatives/international-center-finance/data/stock-market-confidence, который в большей степени соотносится с темой данной работы. Другой примечательный индекс настроений основан на опросе Investor Intelligence, который проводится с 1964 года. Данный индекс показывает настрой участников рынка и определяет направлен рынок на "медвежье" или на "бычье" состояние. Отличительной чертой индекса Investor Intelligence является его ежедневная основа, так как другие индексы обычно проводятся с частотой в неделю или месяц, в связи с чем не способный отражать настроения рынка в оперативном режиме для осуществления краткосрочных стратегий.

Другой подход в определении общественных и рыночных настроений основан на анализе тональности новостей и публикаций в СМИ. Во многом данный метод схож с методом анализа настроений в Твиттере, более того, скорее всего, "сигналы" в данных Твиттера и в новостях сильно коррелированы так как имеет место зависимость: значительная часть финансовых твитов (публикация в сети Твиттер) есть реакция на финансовые события, освещенные в новостях, и зачастую на сами новостные заметки. Методы, используемые в выявлении сигналов также схожи, однако существует определенная и уникальная специфика у новостей и у Твиттера. Для анализа новостей необходимо создать классификатор тональности на "позитивный", "негативный" и (опционально)"нейтральный", тренирую классификатор на больших и сложно структурированных текстах, хотя некоторые авторы ограничиваются заголовками статей (Agarwal, et al., 2016). Несмотря на то, что это усложняет в определенной степени создание классификатора тональности, официальность и структурированность текста, а также почти полное отсутствие в нем опечаток, означает, что предобработка текста минимальна. Более того, в таких текстах отсутствуют характерные для Твиттера проблемы текста: ошибки, опечатки, сарказм, жаргон, мат и сокращения, разбиение текста на несколько публикаций (в которых целевая компания зачастую вовсе не указана, но при этом публикация несет смысловую нагрузку). Тем не менее почти все эти проблемы в значительной степени относятся к вопросу возможности создания более сложных и точных классификаторов на основе машинного и глубинного обучения. В целом, методика формирования самих индексов повторяет методику более традиционных: после того, как были получены тональности и настроения текстов в СМИ, им присваиваются значения "позитивный", "негативный", "нейтральный", после чего, например, сумма "позитивных" новостей делится на сумму всех новостей (аналогичным образом, но на основе опроса строится Consumer Confidence Index). В целом, основные различия работ данной категории заключаются в том, какие данные были использованы при формировании индекса, какие алгоритмы и классификаторы использовались для определения тональности индекса и в какую финансовую или предиктивную модель был включен индекс. В зависимости от того, как удачно были комбинированы эти характеристики, авторы разных статей получали разные уровни точности предсказаний. Например, в работе "A quantitative stock prediction system based on financial news" авторы, используя готовый алгоритм AZFinText для анализа текста, получили предсказательную точность направления цены акций 71.18 % и доходность в 8.5 % при доходности индекса S&P500 5.62 % (Schumaker, Chen, 2009).

Ключевым преимуществом использования социальных сетей (Twitter, Facebook, блоги) для определения настроений является то, что агенты сами непосредственно выражают свои мысли и идеи. Более того, использование социальных сетей позволяет расширить выборку респондентов без значительного увеличения издержек на обслуживание респондентов, составления опросника и т.д., а также в определенной степени анкетирование так или иначе дает смещенные оценки. В случае социальных сетей данная проблема отсутствует. Далее, если сравнивать настроения в социальных сетях с настроениями в новостях, то часто социальные сети оказываются более оперативными источниками информации, а также более "гибким" источником: социальные сети в некотором смысле отражают настроения в режиме реального времени, а не только на определенные события, как это устроено в случае новостных источников. Однако, "гибкость" создает и определенные методологические проблемы: существует множество различных способов как обработки информации, так и сбора самой информации из Твиттера. Например, часть исследователей использует для анализа только количество твитов в день, часть - твиты от конкретного, ограниченного круга пользователей (официальные аккаунты компаний, инвестиционных фирм или известных финансистов и инвесторов), но чаще всего используется весь массив твитов о компании, от всех пользователей. Более того, так как крайне редко можно наблюдать публикацию о компании, которая прямо отражает эмоцию автора твита о компании (например, "Ford находится в плачевном состоянии"), то можно по-разному подходить к вопросу классификации эмоций. Очевидно так же, что от успешности выбора методологии формирования классификатора эмоциональности/тональности твитов зависит точность предиктивной модели, использующей настроения в Твиттере как фактор. Ниже будут представлены несколько признанных и успешных работ, в которых используются разные подходы использования Твиттера в финансовых моделях.

Одними из первых и наиболее значимых работ в данной области являются статьи Боллена и Мао "Twitter mood predicts the stock market" и "Predicting financial markets: Comparing survey, news, twitter and search engine data" (Bollen, Mao, 2011a и 2011b). В первой работе авторы предприняли попытку выявить связь между динамикой индекса DJIA и настроениями в Твиттере. Отличительной чертой работы является использование двух методов определения настроений: с помощью сервиса OpinionFinder, который делит твиты на негативные и позитивные, а также с помощью Google-Profile of Mood States (GPOMS), который выявляет более сложный спектр эмоций ("спокойный", "тревожный", "уверенный", "добрый", "счастливый", "жизнерадостный". Авторы провели корреляционный анализ и тест Грейнджера на причинность и обнаружили, что наиболее значимой предсказательной силой обладает эмоция "спокойный" из GPOMS. В целом, и корреляция, и казуальность оказались статистически значимыми, хотя и значимость причинной связи оказалась достаточно низкой. Далее авторы использовали данные из Твиттера для построения предиктивной модели. Была использована нейронная сеть Self-Organizing Fuzzy Neural Network для предсказания направления рынка на основе настроения твитов; в качестве параметров модели использовались значения индекса за три предшествующих дня и различные "эмоции" из GPOMS за соответствующие значениям индекса в течении трех дней. Тренировочная выборка - период с 28 февраля 2008 по 28 ноября 2008. В качестве тестовой выборки был выбран период с первого по 19 декабря 2008 года. В итоге, авторами был достигнут уровень точности предсказания направления (Up or Down) индекса 87.6 %. Несмотря на то, что в целом использование подходящих нейронных сетей действительно могло поспособствовать улучшению прогноза, а так же то, что скорее всего GPOMS работает в достаточной степени надежно и точно, необходимо отметить, что тестовая выборка крайне мала и относиться к результатам следует с долей скептицизма.

В работе "Predicting financial markets: Comparing survey, news, twitter and search engine data" авторы применяют другой подход: сравнивается предсказательная сила и значимость различных методов получения информации о настроении участников фондового рынка. В качестве таких прокси авторы используют данные Твиттера, объемы поисковых запросов финансовых терминов в Google, тональность новостей, а также индексы, построенные на двух опросах: на Investor Intelligence, который обсуждался выше, а также ежедневный индекс DSI (Daily Sentiment Index) - краткосрочный индекс настроений участников рынка фьючерсов. Если индекс находится выше отметки 90 % или ниже 10 %, то это сигнал к тому, что вершина или дно либо скоро будут достигнуты, либо уже были достигнуты. В качестве индексов, построенных на данных Твиттера, авторы используют два индекса:

1) индекс Twitter Investor Sentiment (TIS), который попросту представляет из себя количество "бычьих" по настрою твитов деленное на сумму "бычьих" и "медвежьих" твитов;

2) Tweet Volumes of Financial Search Terms (TV-FST) - количество твитов, в которых используются финансовые термины (список терминов совпадает с теми, которые использовались при формировании параметра поисковых запросов). Для каждого полученного в итоге параметра был проведен корреляционный тест и тест причинности Грейнджера, а также была построена мультифакторная регрессия из наиболее значимых параметров. Важными для данной работы результатами является то, что авторы обнаружили, что при использовании нескольких индексов настроений, индексы, основанные на данных Твиттера оказались наиболее значимыми, а в свою очередь DSI при наличии других индикаторов (новостных и на основе Твиттера) оказывался незначимым фактором. Более того, и индексы, основанные на твиттере, и индексы новостные и поисковых запросов оказались значимы и коррелированы как с доходностью индекса DJIA, так и с показателем рыночной волатильности VIX. Важно также, что наиболее значимыми оказались именно индексы, основанные на Твиттере, но, что примечательно, TIS и TV-FST были более значимы, если рассматривались значения за 1-2 предыдущих дня.

В следущей работе, "The Effects of Twitter Sentiment on Stock Price Returns" под авторством Г. Ранко и Д. Алексовского (Ranco, Aleksovski, et al., 2015) анализируется связь настроений в Твиттере и динамики акций компаний из индекса DJIA30. Как и в работах, рассмотренных ранее, авторы применяют корреляционный анализ и тест причинности Грейнджера. Согласно результатам, приведенным в статье, связь между настроениями в Твиттере и ценовой динамикой акций имеется, хотя и слабее, чем в предыдущих работах. Отдельно следует отметить то, что авторы использовали достаточно большую выборку твитов для обучения и тестирования классификатора: общая выборка составила 1.555.770, из которых более 100.000 были отсортированы вручную людьми как "негативный", "нейтральный" или "позитивный", а 6.000 из них были отсортированы двумя независимыми экспертами. Это позволило получить классификатор тональности достаточной точности. В отличии от предыдущих работ, в данной статье авторами не ставится цель разработки предсказательной модели, но проводится событийный анализ для выявления абнормальных доходностей на основе пиков в настроениях в Твиттере, а также на основе общего количество публикаций о компании в Твиттере. Авторы так же учли проблему, что многие "всплески" в Твиттере могут быть сопряжены с традиционными событиями и новостями в жизненном цикле компании (например, публикация отчетности и превышение ожидаемого уровня прибыли компанией), в связи с чем могут быть нерелевантными для анализа непосредственно настроений в социальной сети. Исходя из этого, авторы разбили выборку на две подвыборки: общую (260 событий) и за исключением пиков в Твиттере, связанных с более традиционными событиями (таким образом, нетрадиционных событий осталось 182). В итоге было получено, что на основе уникальных событий, выявленных с помощью Твиттера действительно наличие доходности выше нормальной (CAR), однако величина ее невелика - всего 1-2 %.

Несмотря на то, что есть еще ряд примечательных работ, кажется нецелесообразным приводить их в данном обзоре, так как различия в основном заключаются в методах построения классификатора и в спецификации регрессии. Тем не менее следует отметить, что в большинстве работ применяется метод Support Vector Machines для сортировки твитов по эмоциям. Данный метод хорошо зарекомендовал себя в различных сферах, где применяется машинное обучение, а также конкретно в задачах классификации текстов и выявления их тональности. Более подробно данный вопрос будет разобран в следующей главе при разработке методологии.

Глава 2. Используемые данные

Описание данных