Особенности использования нелинейных и нейронных моделей для оценки и прогнозирования финансовых рисков

,

где Z - нормировочная константа (статистическая сумма), интерпретируемая как свободная энергия системы, вычисляемая по формуле:

.

Данные величины, определения и формулы были заимствованы из термодинамики, поэтому состояния системы интерпретируются с учетом температуры системы. Пример алгоритма, не относящегося непосредственно к нейронным сетям, но широко используемого в задачах оптимизации, является метод имитации отжига и его различные вариации. При работе с подобными системами важно помнить про два правила:

· состояние системы с низкой энергией наиболее вероятно, чем состояние системы с высокой энергией;

· концентрация системы на подмножестве состояний с низкой энергией происходит при понижении температуры.

Таким образом, обучение заключается в определении параметров системы, с помощью постоянного понижения температуры, при котором значение энергии системы постоянно понижается. На данном этапе можно переходить к следующей модели, рассматриваемой в данной работе, а именно: машина Больцмана. Фактически, будет приведено описание ограниченной машины Больцмана, позволяющей создавать сети глубокого обучения.

3.1 Ограниченная машина Больцмана

Свое название данная модель получила, так как для определения вероятности используют энергию. Если быть точнее, то коэффициентом Больцмана называют (в термодинамике для расчета данного коэффициента используется постоянная Больцмана, которая необходима для связи энергии и температуры).

Архитектура машины Больцмана была предложена еще Полем Смоленски в 1986 году. Однако ввиду сложности обучения такой сети ввиду отсутствия адекватного алгоритма обучения и полносвязности сети (модель является частным случаем стохастической рекуррентной нейронной сети, а точнее стохастическим вариантом сети Хопфилда). Интерес к данной модели вырос в начале 2000-х годов, когда Джеффри Хинтоном был придуман алгоритм обучения ограниченной машины Больцмана (сети без связей между нейронами одного слоя).

Алгоритм называется CD-k и в его основе лежат следующие понятия: принцип минимума свободной энергии, распределение Гиббса, цепь Маркова. Объяснение алгоритма необходимо начать с определения принципа минимума свободной энергии:

«Минимум свободной энергии в стохастической системе по переменным системы достигается в точке термального равновесия, определяемой распределением Гиббса».

В архитектуре машины Больцмана отходят от использования температуры, однако не перестают использовать указанный принцип и правило, написанное выше, согласно которому вероятность повышается, при понижении энергии системы. Энергия системы рассчитывается по следующим формулам:

,

,

для нейронов, имеющих бинарное и нормальное распределение, соответственно.

Для максимизации вероятности состояния системы используется метод максимального правдоподобия, который будет показан на примере с использованием логарифмической функции:

.

Таким образом, принцип минимизации свободной энергии выполняется при движении, противоположном градиенту функции максимального правдоподобия:

= .

Разложение градиента на составляющие позволяет использовать подход, который называется квантованием Гиббса. Суть метода заключается в том, что левая и правая части представляются как отдельные части системы. Таким образом, распределение вероятности состояния системы является распределением Гиббса, причем обе фазы (положительная , характеризуемая энергией системы в исходном состоянии и отрицательная , характеризуемая состоянием системы с измененными параметрами), в соответствии с правилами термодинамики, описанными в работах Гиббса, имеют одинаковую природу. Соответственно, так как обе фазы имеют одинаковую природу, но представляют состояние системы при разных параметрах (забегая вперед, скажу, что негативная фаза является следующим шагом преобразования, представляя цепь Маркова), разница фаз называется шагом Гиббса.

Что представляют из себя фазы и как происходит переход от положительной фазы к отрицательной? Как было сказано выше, фазы - состояния системы с разными параметрами, причем процесс перехода от состояния со старыми параметрами к состоянию с новыми параметрами является Марковским процессом. Таким образом, положительная фаза является исходным состоянием системы, а переход к каждому следующему состоянию происходит по принципу вероятностного перехода. При переходе новое значение нейрона определяется в зависимости от типа нейрона. Так, при семплировании, нейрон бинарного типа будет принимать значение 1, если вероятность его активации выше случайного значения в интервале [0;1]. В отличие от бинарного, нейрон, имеющий нормально распределенное значение, в случае активации, не изменит свое значение, в случае неактивности, значение будет определено, как произведение текущего значения нейрона и вероятности активации. В виде формул нейроны в марковской цепи определяются следующим образом (для бинарного типа нейронов):

.

Важно отметить, что значение нейрон получает не от сигмоидальной функции, а после семплирования. Однако это не обязательно для нейронов видимого слоя: сам Хинтон советует их не семплировать, так как это не дает качественного улучшения прогноза, но увеличивает его дисперсию.

3.2 Глубокие нейронные сети

Глубокими нейронными сетями называют сети с большим количеством слоев нейронов. Очевидным минусом таких сетей, при отсутствии подходящих алгоритмов обучения (предположим, что Хинтон еще не придумал своего алгоритма обучения), является огромная трудоемкость при построении такой сети. Однако, если предположить, что такой алгоритм есть и проблема со скоростью обучения решена, то можно выделить один несомненный плюс: нет необходимости подбирать входные данные, так чтобы они были независимы и максимально точно описывали бы картину мира исследуемого события. Так, при увеличении количества нейронов в первом скрытом слое (максимальное количество - 2 набора нейронов входного слоя) и дальнейшем их уменьшении в последующих слоях, можно говорить о том, что нейронная сеть сама выделяет значимые характеристики системы. Тем не менее, логично предположить, что, при увеличении количества слоев, должна увеличиваться общая ошибка прогноза. Отчасти это так, но, также верно то, что переход к следующему слою происходит при минимальной потере информации.

Поскольку машина Больцмана представляет из себя термодинамическую систему, то разницу между энергией системы в новом состоянии и в фиксированном состоянии можно трактовать как разницу между средней энергией системы и свободной энергией системы. В таком случае разница между энергией системы в новом состоянии и свободной энергией системы объясняется как энтропия. Иными словами, функция правдоподобия, которая, при разложении, разделяется на две фазы (положительную и отрицательную), является ничем иным, как мерой энтропии системы.

На данном шаге, необходимо также объяснить понятие энтропии, необходимость ее применения и принцип максимизации энтропии. Если избегать точного определения, то энтропией можно назвать меру разброса информации в системе в новом состоянии. Иными словами, энтропия - показатель отклонения фактически наблюдаемого процесса системы от процесса системы в идеальном состоянии. Однако, при такой формулировке, логичным кажется необходимость уменьшения энтропии. Тем не менее, уменьшении энтропии приведет нас к фиксированному состоянию системы, однозначно определяющему переход от входного слоя к выходному. Нам же необходимо, чтобы переход к новому слою приводил нас не к какому-то конкретному состоянию, а к наиболее вероятному состоянию, которое зависит от входных данных. Иными словами, при максимизации энтропии, переход от исходного состояния системы к новому сопровождается сохранением максимальным количеством информации о распределении вероятности входных данных. Таким образом, из принципа максимизации энтропии, следует упомянутый выше принцип минимизации свободной энергии системы. Соответственно, использование данного принципа позволяет нам перейти от входного слоя к выходному (через все скрытые слои), сохранив распределение вероятности данных входного слоя, но изменив размерность слоя в меньшую сторону.

Из всего вышеописанного можно сделать вывод, что алгоритм обучения глубокой нейронной сети должен учитывать энтропию каждого слоя нейронов. Именно поэтому процесс обучения глубоких нейронных сетей кардинально отличается от процесса обучения обычных нейронных сетей. Так как сложно разработать алгоритм, который бы за один шаг (за одну эпоху) учитывал бы энтропию всех слоев, то создание и обучение глубокой нейронной сети происходит итерационно. Таким образом, ограниченная машина Больцмана - лишь один из элементов нейронной сети, который представляет отдельный слой, в результате чего задача обучения всей сети сводится к задаче обучения только одного слоя, что значительно снижает трудоемкость процесса обучения. Данный подход к обучению сети называется предобучением, за которым следует процесс подгонки весов всей сети, например, алгоритмом обратного распространения ошибки, о котором говорилось раньше.

3.3 Переобучение и регуляризация

Переобучением называется ситуация, при которой сеть начинает слишком точно прогнозировать выходные значения. Визуально это отображается в приближении ошибки к 0 на обучающей выборке и увеличении ошибки на тестовой. Первый инструмент, который используется для борьбы с переобучением, - разделение обучающей выборки на непосредственно обучающую и валидационную, причем данные выборки не должны пересекаться. Таким образом, ошибка сети при обучении вычисляется для валидационной выборки, а значит увеличение данной ошибки говорит о том, что сеть, возможно, переобучена. Тем не менее, нельзя прекращать обучение, предполагая, что сеть достигла оптимального состояния, при первом же росте ошибки на валидационной выборке. Данное утверждение логично в силу нелинейности функции ошибки - она может убывать не монотонно, так что некоторый рост ошибки в процессе обучения все же возможен.

Еще один способ контролирования переобучения - регуляризация. Регуляризация характерна не только для задач машинного обучения, но и для регрессионного анализа, и для задач оптимизации. Суть регуляризации заключается в ведении штрафа за сложность сети. Функций регуляризации достаточно много и каждый исследователь волен сам выбирать подходящую. Это может быть, например, абсолютное значение параметра (например, веса синапса) и полуквадрат параметра. Джеффр Хинтон советует (“A Practical Guide to Training Restricted Boltzmann Machines) использовать предыдущее изменение значения в качестве функции регуляризации. Однако результирующее значение функции берется не в чистом виде, а домножается на параметр регуляризации, который в терминах глубокого обучения обычно называют моментом (momentum). Таким образом, формула для изменения параметра системы выглядит следующим образом:

,

где - скорость обучения, - параметр регуляризации.

Заключение

нейронный рыночный перцептрон розенблатт

В заключении стоит перечислить какие модели нейронных сетей были использованы в исследовании:

· перцептрон Розенблата с одним скрытым слоем;

· байесовская сеть доверия с одним скрытым слоем;

· сеть глубокого обучения с 8 скрытыми слоями на основе ограниченной машины Больцмана.

Каждая модель имеет свои особенности, а также плюсы и минусы. Плюсом первых двух моделей можно назвать относительно быструю процедуру обучения, обусловленную количеством слоев и алгоритмом, подходящим для нейронов с любым распределением. В качестве минуса можно назвать нецелесообразность применения к данным со сложной взаимосвязью и резкое увеличение времени обучения, при добавлении дополнительных скрытых слоев. Основные минусы последней модели, как уже говорилось раньше, это сложность обучения сети, в которой входные нейроны имеют разное распределение, и выбор параметров модели, к которым сеть крайне чувствительна. Несомненными плюсами можно назвать скорость обучения сетей с большим количеством скрытых слоев, способность модели выделять ключевые характеристики данных и возможность изменять размерность входных данных.

В заключении я хочу сказать, что использование нейронных сетей для прогнозирования коэффициента систематического рыночного риска имеет большой потенциал, что подтверждается первоначальными опытами. Поэтому логичным продолжением работы станет исследование не возможности использовать нейронные сети для прогнозирования бета-коэффициента в общем, а непосредственно моделей сетей глубокого обучения, например, ограниченной машины Больцмана.

Литература

1. Бухвалов А.В., Окулов В.Л., 2006, «Классические модели ценообразования на капитальные активы и российский финансовый рынок часть 2. Возможность применения вариантов модели capm», Научные доклады № 36 (R)-2006. СПб., НИИ менеджмента СПбГУ.

2. Дранев Ю.Я., Фомкина С.А., 2012, «Энтропийные меры риска и затраты на капитал: эмпирические свидетельства из России», XIV Апрельская Международная научная конференция 2.04.2013 - 5.04.2013, Российская Федерация, Москва.

3. Теплова Т.В., Шутова Е.C., 2011, «Моделирование систематического инвестиционного риска на разных этапах развития российского рынка капитала», XI международная научная конференция по проблемам развития экономики и общества в 3 кн. / отв. ред. Е.Г. Ясин; Гос. ун-т - Высшая школа экономики. - М.: Изд. дом Гос. ун-та - Высшей школы экономики, 2011. Кн 1. C. 548--558.

4. Теплова Т.В., Селиванова Н.В., 2007, «Новые исследования. Эмпирическое исследование применимости модели DCAPM на развивающихся рынках.», Журнал «Корпоративные Финансы», (2007) №3, стр. 5 - 25.

5. Теплова Т.В., «8.2. Тестирование практики построения прогнозного бета-коэффициента в конструкции САРМ с учетом низкой ликвидности ценных бумаг на российском рынке», Аудит и финансовый анализ. 2010. № 4. С. 225-236.

6. Теплова Т.В., «Инвестиции», Москва, 2011, ИД «Юрайт».

Размещено на Allbest.ru