Размещено на http://www.allbest.ru/

Оглавление

Ключевые слова

Введение

Глава 1. Анализ данных игры «Социальное обучение»

Описание эксперимента

Экономический подход

Методы машинного обучения

Результаты главы. Сравнительный анализ

Глава 2. Анализ данных игры «Образование пузырей на рынках активов»

Описание эксперимента

Экономический подход

Методы машинного обучения

Выводы главы

Заключение

Библиографический список

Приложение

Ключевые слова

· Машинное обучение

· Эффективность применения машинного обучения к данным игр

· Эконометрическая модель

· Социальное обучение

· Пузыри на фондовых рынках

· Задача кластеризации

· Задача классификации

Введение

Анализ поведения человека в играх является актуальной и сложной в решении проблемой. Под игрой понимается процесс, в котором участвуют две или более сторон, ведущих борьбу за реализацию своих интересов. Изучение таких игр используется для поиска оптимальной стратегии при конфликте интересов. Экономисты с помощью теории игр обычно изучают поведение человека на свободном рынке. Они проводят эксперименты, порождающие большие объемы информации и потом анализируют эти данные с помощью экономических моделей. Некоторое время назад к анализу этих данных подключились специалисты из области машинного обучения.

Машинное обучение (Machine Learning) -- это раздел прикладной математики, объединяющий методы математической статистики, оптимизации и искусственного интеллекта. Машинное обучение исследует методы построения алгоритмов, способных обучаться на основании эмпирических данных.

Частью машинного обучения является интеллектуальный анализ данных --совокупность подходов, методов и алгоритмов, которые используются для автоматического получения каких-либо нетривиальных выводов на основе эмпирических данных, в том числе сигналов, изображений, текстов, и т. д.

Машинное обучение необходимо для автоматизации решения сложных профессиональных задач. В силу универсальности используемых алгоритмов машинное обучение применимо в самых разных областях деятельности. Например, оно используется для распознавания речи, жестов, рукописного текста, в сфере медицинской диагностики и биржевого анализа, для борьбы со спамом, осуществления финансового контроля и во многих других сферах. Сфера применений машинного обучения постоянно расширяется, так как стремительная информатизация общества приводит к накоплению огромных объёмов эмпирических данных в науке, производстве, социальных областях. А возникающие при этом задачи прогнозирования, управления и принятия решений часто требуют быстрого анализа этих объемов.

В этом случае методы машинного обучения оказываются не только применимыми, но и зачастую более эффективными в условиях, когда человеческий мозг не в силах проанализировать огромный объем данных достаточно быстро. Огромные вычислительные мощности современных компьютеров могут оказать человеку в этом существенную помощь.

В данной работе я изучала применимость машинного обучения для изучения поведения людей в играх, сравнивая машинный анализ с более традиционными исследованиями экономистов.

По своей сути подходы экономистов и специалистов машинного обучения противоположны. Экономисты на первом этапе исследования строят модель экономического поведения. Затем проводится игровой эксперимент, который должен подтвердить или опровергнуть построенную ими модель. На последнем этапе проводится анализ полученных в эксперименте данных. Если данные полностью или почти полностью соответствуют экономической модели, то она считается истинной и может быть использована как в аналогичных играх, так и для прогнозирования экономического поведения в реальной жизни. Это подход «от модели к данным».

Машинное обучение использует подход «от данных к модели». Существует несколько довольно широко известных программ, с помощью которых можно находить различные закономерности в данных, выводить правила, строить деревья решений и так далее. На основании выявленных закономерностей строится модель поведения человека в игре.

Моя работа проводилась в два этапа:

1. Изучение двух ранее проведенных исследований, использующих один и тот же набор эмпирических данных, но разные методы изучения (экономический и машинного обучения), выделение главных различий двух подходов.

2. Проведение собственного исследования методами машинного анализа на основе данных экономистов и анализ его результатов.

На первом этапе я анализировала процессы социального обучения и сравнивала результаты двух исследований, проведенных эконометрическими методами и методами машинного обучения. Одни ученые (экономисты) построили модель данных и провели эксперимент для ее подтверждения или опровержения. Другие ученые исследовали эмпирические данные, полученные в ходе эксперимента, методами машинного обучения для выявления закономерностей. Моей задачей было оценить применимость и сравнить эффективность двух вышеуказанных подходов.

На втором этапе я изучала работу экономистов, исследующих возникновение «пузырей» на фондовых рынках. Моя задача заключалась в анализе данных экономического эксперимента методами машинного обучения. Взяв за основу полученные в ходе эксперимента данные, я должна была провести собственное исследование с помощью машинного обучения и узнать, приду ли я к тем же выводам, что и экономисты. Помимо этого, необходимо было понять, может ли машинный анализ дополнить экономические исследования значимыми в научном отношении результатами. В ходе собственного исследования я решала две задачи: классификации и кластеризации.

В первой главе своей работы я рассматриваю эксперименты, описанные в следующих статьях: “Social learning in networks: a Quantal Response Equilibrium analysis of experimental data” Syngjoo Choi, Douglas Gale, Shachar Kariv (2012) and “Social Learning in Networks: Extraction of Deterministic Rules” R. Tagiew, D. Ignatov, F. Amroush. Первая работа описывает изначальное исследование, проведенное эконометрическими методами, в ходе которого использовался экономический эксперимент. Вторая работа ученых посвящена анализу данных, полученных в ходе эксперимента, методами машинного обучения. Специалисты машинного обучения доказали, что подход «от данных к модели» может не только повторить результаты эконометрического исследования, но и дополнить их собственными выводами, которые очень близки к реальности.

Во второй главе я рассматриваю еще один экономический эксперимент, который описан в статье «Thar she bursts - Reducing confusion reduces bubbles» Michael Kirchler, Jurgen Huber, Thomas Stockl. Сначала я описываю эксперимент, модель и результаты экономистов. После этого идет описание моего исследования, в ходе которого я проанализировала данные вышеописанного эксперимента методами машинного обучения и достигла результатов.

Приложение содержит коды макросов к моему эксперименту, описанному во второй главе.

Глава 1. Анализ данных игры «Социальное обучение»

Исследование, представленное в статье “Social learning in networks: a Quantal Response Equilibrium analysis of experimental data” Syngjoo Choi, Douglas Gale, Shachar Kariv (2012) , посвящено изучению «социального обучения» в играх с 3-мя участниками. Теория социального обучения исследует когнитивные процессы в социуме, осуществляемые путем наблюдения и подражания. Человек обучается, наблюдая за поведением окружающих, а так же за поощрениями и наказаниями.

Как первоначально изложено учеными Bandura и Walters в 1963 г и более подробно в 1977 году, основными принципами теории социального обучения являются:

· Люди обучаются, наблюдая за поведением других и за последствиями их поступков (vicarious reinforcement).

· Процесс обучение включает в себя следующие этапы: наблюдение, обработка полученной информации, принятие решений и воплощение решений в жизнь. Не все эти этапы обязательны, поэтому обучение не всегда приводит к изменениям в поведении.

· Учащийся не является пассивным наблюдателем. Субъект и объект познания взаимодействуют и влияют друг на друга (взаимный детерминизм).

Описание эксперимента

Эксперимент был проведен в Экономической Экспериментальной Лаборатории Нью-Йоркского Университета, студенты которого и стали его участниками. Ни один из выбранных студентов раньше не участвовал в подобных экспериментах, поэтому его предыдущие стратегии и предпочтения не могли повлиять на его решения в данной игре.

В эксперименте приняли участие 18 студентов. Они случайным образом разбивались на группы по 3 человека для каждой игры и каждая тройка имела свою структуру сети. Сеть, в данном контексте, - это взаимное расположение участников игры, определяющее за кем из соседей каждый из них может наблюдать. В эксперименте выделяют три вида сети ( полная, звезда и круг):

Рис. 1.1 Виды социальных сетей в игре

В сети A,B,C - места, где может находиться участник игры. Стрелки от вершины участника показывают, действия каких игроков он может наблюдать.

Участники знают, что существуют две урны с шариками. В урне R 2 красных и один белый шарик, в урне W - наоборот. На каждой сессии эксперимента участникам показывается шарик из какой-то урны. Задача участника - угадать урну, которая была выбрана на этой сессии. Выбранная урна характеризует состояние природы.

На каждой сессии участник может получить сигнал о том, какая урна была выбрана (данный сигнал соответствует истине с вероятностью 2/3). Получение сигнала зависит от «информационного класса», к которому относится игрок. Существует три вида классов информированности участников:

· Полностью информированные - участники всегда получают сигнал о том, какая урна была выбрана

· Хорошо информированные - участники получают сигнал о том, какая урна была выбрана, с вероятностью 2/3

· Плохо информированные - участники получают сигнал о том, какая урна была выбрана, с вероятностью 1/3

Таким образом, на основе трех видов сетей и трех видов информационных классов создается 9 конфигураций игры, в которой принимают участие студенты. В каждой такой игре - 15 раундов. Каждый раунд состоит из 6 ходов, в которых участник принимает решение.

На первом шаге раунда участник принимает решение, основываясь только на своих предположениях и полученном сигнале (если он был). После первого хода, когда все приняли решения, участник может увидеть решения наблюдаемых им «соседей». Таким образом, анализ действий своих «соседей» и изменение своей стратегии на основе этого анализа и является в такой игре социальным обучением.

После 6 ходов состав социальной сети случайным образом меняется и так происходит во всех 15 раундах (сессиях). По окончанию раунда из списка ответов игрока случайным образом выбирается один ответ и, если он оказался верным, то участник зарабатывает деньги. Таким образом, чем больше верных ответов дал игрок, тем выше для него вероятность получить выигрыш.

Экономический подход

Метод экономического анализа социального поведения включает несколько шагов:

· Постановка вопроса исследования и формулировка нулевой гипотезы

· Создание модели

· Тестирование истинности модели на данных для подтверждения нулевой гипотезы

В данном исследовании нулевая гипотеза была сформулирована как: «сложность структуры игры и проблемы принятия решения ведет к ошибкам» или «ошибки чаще появляются, когда на кону мало стоит (при выборе действий разница между ожидаемыми выигрышами мала)».

1) Построенная модель

Обозначения:

· i=A, B, C - тип участника игры

· Ni - множество соседей игрока i

· w=-1,1 - состояние природы (выбранная урна)

· q=1, 2/3, 1/3 - вероятность информированности игрока

· у=-1,1 - Сигнал. Если игрок не получает сигнал, то у=0.

· t=1,2,…T-ход

· ait=-1,1 - действие агента i в t

· - информационное множество

До начала самого исследования были введены некоторые характеристики созданной игры:

· Несмотря на простоту игры, участникам не так легко сделать правильный выбор. Отсутствие знаний заставляет игроков рассматривать множество возможных ситуаций, в которые они могут попасть вследствие выбора того или иного действия.

· Была обнаружена значительная разница в поведении игроков в различных сетях. При полной информированности социальное обучение проходило намного быстрее. В случае с неполной информированностью период обучения был длиннее, и использовались более сложные стратегии игры. Таким образом, различная информированность является одной из причин разницы в выводах и действиях игроков.

Основываясь на структуре игры и используя теорию игр и теорию вероятностей, исследователи создали следующую модель:

· Полезность игрока i от действия a равна , где

- наблюдаемый/ожидаемый платеж от действия a в раунде t;
- параметр, показывающий чувствительность выбора к платежу игрока i в раунде t;

- случайная величина, показывающая шоковые предпочтения игрока i при действии a в раунде t.

· Вероятность того, что игрок выберет a=1 в зависимости от информационного множества игрока:

(1.1)

где - разница между ожидаемыми выигрышами при выборе а=1 и а=-1.

· Квантовое равновесие откликов (Quantal response equilibrium, далее QRE) - понятие равновесия в теории игр с ограниченной рациональностью. QRE - это не улучшение равновесия, оно создано в основном для игр с дискретными стратегиями и может давать результаты, отличные от равновесия Нэша.

В QRE люди могут совершать ошибки при выборе стратегии. Это иногда называют «эффектом дрожащей руки». Вероятность выбора стратегии сильно зависит от размера ожидаемого выигрыша. Другими словами: «дорогостоящие» ошибки совершаются реже.

· Если рациональный игрок в модели QRE правильно предсказывает выбор своих соседей, это помогает ему вычислить последующие вероятности их выбора правильно. Предполагается, что игроки имеют рациональные ожидания относительно истинных коэффициентов ошибок (определяемых истинным значением бета) своих соседей и используют оценки для бета коэффициентов для аппроксимации истинной беты. Таким образом, игроки используют оценки беты из предыдущего решения в раунде t-1 для того, чтобы увеличить ожидаемый выигрыш от своего решения в раунде t ( t> 1) . Игроки определяют вероятность выбора действий через логистическую функцию отклика. Логит равновесие можно обобщить функцией выбора вероятностей, следующей из биномиального логит распределения:

(1.2)

где - вероятность игрока i выбрать стратегию j, - ожидаемая полезность игрока i, выбравшего стратегию j, при условии, что другие игроки имеют распределение вероятностей .

Особый интерес в логистической модели представляет неотрицательный параметр л (иногда пишется как 1 / м). л можно рассматривать в качестве параметра рациональности.

Когда л > 0, игроки становятся "полностью иррациональными", и играют каждую из стратегий с равной вероятностью. Когда л > ?, игроки становятся "совершенно рациональными", и игра приближается к равновесию Нэша.

· Было введено логит равновесие, где е - независима и одинаково распределена с .

В логит равновесии стратегии игрока выбраны в соответствии с распределением вероятностей:

(1.3)

поведение игра социальный анализ

* Было решено, что ошибки не коррелируются ни между агентами, ни между раундами. Убеждение игрока, что состояние природы w=1 считается по правилу Байеса:

1) Оценка модели

Исследователи оценили погрешность модели (в частности, бета-коэффициенты) стандартным методом максимального правдоподобия (ML).

Стандартный метод максимального правдоподобия (ML) был использован для оценки логистических моделей со случайными полезностями. Для реализации оценки ML для бета на каждом шаге использовались текущие действия и ожидаемые выплаты.

ML представляет собой способ оценки неизвестного параметра путем максимизации функции вероятности (совокупности вероятностей дискретного распределения). Используя метода максимального правдоподобия, исследователи получают значения параметров, которые делают данные «ближе» к реальности.

Предположим, у нас есть выборка из распределения , где - неизвестные параметры. Пусть - функция правдоподобия, где . Оценка:

называется оценкой максимального правдоподобия параметра. Часто вместо функции правдоподобия L используют логарифмическую функцию правдоподобия l=lnL.

На втором ходе ожидаемые выигрыши зависят от информационного класса и числа соседей. Данные наблюдений об игроках, имеющих одно и то же число соседей в одном и том же информационном классе, были объединены для оценки набора бета второго хода. Бета оценивались отдельно для каждого информационного класса и для каждой из двух групп испытуемых:

(а) все игроки в полных сетях и тип A игроков в сети звезда;

(б) все игроки в круговой сети и типа B и типа C игроки в сети звезда.

Начиная с третьего хода исследователи оценивали бета отдельно для каждой сети и информационного класса, а в случае сети «звезда», отличали бета для центра (тип А) и периферии (типы В и С).

В результате оценки, все бета оказались положительными. Таким образом, поведение испытуемых не совсем случайно, а это значит, что модель равновесия может использоваться для предсказаний с некоторым успехом. Для каждого хода (вплоть до пятого), где принимают решения, предполагаемые бета коэффициенты из круговой сети монотонны относительно информационного класса. Это означает, что при фиксированном ходе t бета коэффициент является самым низким для полностью информированного класса и самым высоким для плохо информированного класса.

2) Проверка модели. Нулевая гипотеза

Для тестирования статистических гипотез используется величина P-value, которая, фактически, представляет собой вероятность ошибки при отклонении нулевой гипотезы (ошибки первого рода). Проверка гипотез с помощью P- value - это альтернатива классической процедуре проверки с помощью критического значения распределения.

Исследователь "отвергает нулевую гипотезу", если значение р оказывается меньше определенного уровня значимости, чаще всего - 0,05 или 0,01. Это означает, что наблюдаемый результат маловероятен при нулевой гипотезе.

Пусть t(X) это статистика, используемая для тестирования нулевой гипотезы . Предполагается, что если нулевая гипотеза верна, то распределение этой статистики известно. Обозначим функцию распределения F(t)=P(T<t). P-value часто (на стороне альтернативой проверки) определяется как: P(t)=P(T>t)=1-F(t).

Если р(t) меньше, чем заданный уровень значимости, нулевая гипотеза отвергается в пользу альтернативы. В противном случае она принимается.

Преимущество этого подхода заключается в том, что вы можете видеть, при каких уровнях значимости нулевая гипотеза отвергается, а при каких принимается. Также можно вычислить уровень надежности статистического вывода, точнее, вероятность ошибки при отвержении нулевой гипотезы. На любом уровне значимости, большем р, нулевая гипотеза отвергается, а при меньших значениях - принимается.

Исследователи провели серию испытаний. В большинстве случаев р - value довольно высоки.

Нулевая гипотеза отклоняется в случае игроков типа А при топологии сети «звезда» с полной информацией на раундах t = 3, 5, 6 с 5% уровнем значимости. Интересно, что также отвергается нулевая гипотеза в следующих случаях:

· Третий ход, хорошо информированный класс, топология сети «круг», с 5% уровнем значимости.

· 3, 5 и 6 ход, полностью информированный класс, топология сети «звезда», с 5% уровнем значимости.

· 3,4 ход, плохо информированный класс, топология сети «круг», с 10% уровнем значимости.

3) Результаты для построенной модели

Было обнаружено, что модель QRE, если включить в нее вероятность ошибки, хорошо описывает поведение испытуемых. Правила принятия решений в модели QRE сходны с полученными данными. Чтобы увидеть, подтверждаются ограничения QRE модели данными или нет, исследователи провели несколько тестов. Результаты тестов хорошо согласовались с теорией. Все это подтверждает правильность использования теоретических моделей в качестве основы для структурной оценки и QRE для интерпретации экспериментальных данных.

Методы машинного обучения

В экспериментальной экономике люди играют в экономические игры, где они получают некоторые выигрыши, например, сумму денег. Такие эксперименты рождают большие объемы данных, которые могут быть обработаны как экономическими методами, так и методами машинного обучения. В реальности игроки отклоняются от моделей теории игр, но машинное обучение в состоянии определить некоторый детерминизм в поведении игроков. В любом случае, большие данные о поведении людей в игре имеет смысл проанализировать с помощью соответствующих программ.

Такие методы, как деревья решений, нейронные сети, глубинное обучение, кросс-валидация и так далее могут открыть действительно эффективные способы моделирования сложных взаимосвязей. В рассматриваемом эксперименте был использован JRIP алгоритм классификационных правил. Более того, были рассчитаны корреляции между типами человеческих действий и окружающей среды и наблюдением за поведением других людей.

В рассматриваемом эксперименте исследователи (R. Tagiew, D. Ignatov, F. Amroush) использовали следующие методы:

· JRIP осуществляет повторяемую добавочную обрезку для снижения ошибок (RIPPER на Java). Алгоритм правил обучения RIPPER является расширенной версией обучающего алгоритма IREP. Правила создаются для каждого класса в обучающем наборе, а затем удаляются. В этом алгоритме, обнаруженные знания представляются в виде правил предсказания «если-то», которые имеют то преимущество, что написаны на высокоуровневом языке программирования.

Метод основан на построении набора правил, в которых покрываются все положительные примеры. Во-первых, текущий набор обучающих примеров разделяется на два подмножества: растущий набор и набор обрезки. Правило формируется из образцов в растущем наборе. Набор правил начинается с пустого набора правил. Правила добавляются постепенно, пока никакие отрицательных примеров не охвачены. После этого, JRIP заменяет отдельные правила, используя уменьшающую обрезку ошибок, чтобы повысить точность правил. Чтобы обрезать правило, алгоритм берет во внимание только окончательную последовательность условий из правила и сортирует удаление, которое максимизирует функцию.

· Коэффициент Kappa Сohen является статистической мерой межэкспертного согласия для категориальных элементов. Это, как правило, считается более надежной мерой, чем простой расчет процентов согласия, поскольку учитывает согласия, происходящие случайно. Kappa Сohen измеряет согласие между двумя оценщиками, каждый из которых классифицирует N элементов в C взаимоисключающих категорий. Первое упоминание о Kappa Сohen статистике появляется у Galton (1892).

Коэффициент k рассчитывается как:

(1.6)

где P(а) является относительным наблюдаемым согласием между оценщиками и P(е) - гипотетическая вероятность случайного согласия с использованием наблюдаемых данных для расчета вероятности того, что каждый наблюдатель случайно выбирает каждую категорию. Если оценщики находятся в полном согласии, то k = 1. Если согласия между оценщиками нет (исключая случайные ожидания), то k= 0.

· Для оценки р-value применяется точный критерий Фишера. Это испытание статистической значимости используется при анализе таблиц сопряженности для выборок малых размеров. Тест обычно применяется для изучения значимости отношений между двумя переменными в факторной таблице.

С помощью этих средств были выведены несколько зависимостей и правил:

1) Корреляции между собственными решениями и сигналом:



Рис.1.2 Корреляции между сигналом и решениями игроков

2) Корреляция состояния природы с решением в целом (2340 образцов), с и без сигнала:



Рис.1.3 Корреляции между состоянием природы и решением игроков

3) Множество полученных правил для 5-го раунда с указанием точности и количества «работающих» примеров:

Рис.1.4 Правила принятия решений для 5-го раунда

4) Процентное распределение правильности нулевой гипотезы, обобщения и подгонки с и без сигнала:

Рис.1.5 Распределение правильности нулевой гипотезы, обобщения и подгонки с и без сигнала

5) Анализ показал, что решения игроков коррелируются между собой и они также коррелируются с сигналами. Эта корреляция свидетельствует о возможности проявления «кичливое» поведения в ходе социального обучения. «Кичливое поведение» означает, что человек стремится не столько получить как можно больше прибыли, сколько получить больше, чем у соседа. Это дает повод исследователям переосмыслить предположение об эгоистических предпочтениях. Кроме того, полученные детерминированные правила обобщают поведение человека и значительно превосходят нулевую гипотезу.

Результаты главы. Сравнительный анализ

Два рассматриваемые научных подхода диаметрально противоположны. Если эконометристы переходят от модели к данным, то исследователи в области машинного обучения используют подход от данных к моделям. Эконометристы строят гипотезы о поведении человека и, доказывая их, создают модель, а затем подгоняют данные для проверки гипотез. Во многих случаях такие модели подтверждаются данными, проходят тестирование по р-value и другим показателям. Подход же машинного обучения основан на извлечении поведенческих моделей из реальных данных.

1) Истинность и обоснованность результатов. Мне второй подход представляется более естественным для исследования человеческого поведения в играх. Мотивации человека и поведенческие модели настолько сложные, что разработка моделей становится чрезвычайно трудной задачей и требует большого количества ограничений и предложений. Я считаю также, что объем данных из выборки не вполне достаточен для доказательства гипотезы для всех возможных участников игры. Хотя бы потому, что модель рациональных ожиданий существует в сознании ученых и редко встречается в реальности. Модель, хорошо работающая при сравнительно малых выборках, может потерпеть неудачу, анализируя огромный объем информации с другими участниками игры. Модели же машинного обучения всегда находятся в полном согласии с экспериментальными данными, поскольку они выводятся непосредственно из них.

В рассматриваемом эксперименте точность ответов очень близка. Но при решении задачи методами машинного обучения требуется гораздо меньше затрат, чем при решении задач эконометрическими методами, когда приходится разрабатывать новую модель поведения с нуля.

2) Удобство использования. Эконометрические модели являются более общими и могут использоваться в различных областях исследований. Подход машинного обучения более узкий. Его главное преимущество - это возможность выбрать лучший алгоритм анализа для каждого набора данных. Все такие алгоритмы уже запрограммированы и для каждого из них пользователь может видеть процент ошибок, что существенно облегчает выбор метода.

3) Трудоёмкость. В целом, разработка модели, основанной на теории игр и теории вероятностей, требует значительно большего количества времени, чем загрузка данных в программу машинного обучения (например, WEKA) и установка алгоритма анализа.

4) Простота интерпретации. Результаты анализа машинного обучения, которые, как правило, представляют собой график или набор правил, легче интерпретируются и выглядят нагляднее, чем результаты эконометрических исследований. Разработка модели и все этапы тестирования имеют довольно большое количество шагов, и иногда за ними не так просто проследить.

Глава 2. Анализ данных игры «Образование пузырей на рынках активов»

В работе «Thar she bursts - Reducing confusion reduces bubbles» Michael Kirchler, Jurgen Huber, Thomas Stockl исследовали вопрос: «почему в экспериментальной рыночной модели активов Смита, Суханека и Вильямса (1998) возникают пузыри?»

Пузырями на рынках активов называют ситуации, когда сильно завышаются цены на большой объем рыночных активов. Обычно пузыри обнаруживаются только пост-фактум после резкого падения цен, которое называют «схлопыванием пузыря». Экономические пузыри считаются вредными для экономики, так как они приводят к неоптимальному распределению и расходу ресурсов, а так же схлопывание пузыря может привести к уничтожению большого капитала и вызвать спад в экономике. Единого мнения о причинах возникновения пузырей в экономической теории нет. Существуют множество гипотез: следствие неопределенности истинной цены, спекуляция, ограниченная рациональность и так далее. Но ни одна из них пока полностью не подтверждена. Поэтому заблаговременное предсказание появления пузыря и условий его возникновения является очень важной задачей. Ради ее решения и был поставлен экономический эксперимент.

Описание эксперимента

Экономическое исследование было проведено Михелем Кирхлером, Юргеном Губером и Томасом Стоклом в августе 2011 в университете Инсбрука.

На экспериментальных рынках варьировались фундаментальный показатель процесса FV (постоянный или уменьшающийся) и показатель соотношения наличности к активам C/A(постоянный или возрастающий). Смит, Суханек и Вильямс определяли FV как ожидаемое значение конечного потока случайных дивидендных выплат, по сути - ценность актива.

На каждом из экспериментальных лабораторных рынков 10 участников торговали приносящими дивиденды акциями в экспериментальной валюте (талер) на протяжении 10 периодов. Дивиденды выплачивались либо в конце каждого периода, либо в конце всего эксперимента в зависимости от рынка. Размер дивидендных платежей заранее был неизвестен, но в конце каждого периода участники исследования узнавали дивиденд предшествующего периода.

Исследовались два типа рынков:

1) Рынки с уменьшающимся FV. Дивиденд либо 0, либо 10 с равной вероятностью. Таким образом FV в 1-ый период равен 50 и в каждый последующий период уменьшается на 5 талеров. Через 10 периодов актив становится бесполезным, поэтому участникам не выплачивается никакой остаточной стоимости.

2) Рынки с постоянным FV. Дивиденд либо -5, либо 5 с равной вероятностью. Таким образом, дивиденды имею ожидаемое значение - 0. В этих испытаниях активы имеют положительную остаточную стоимость 50. Следовательно, FV - постоянна на протяжении всех периодов и равна 50.

В начале каждой экспериментальной сессии половине участников дают 60 акций и 1000 талеров, а другой половине - 20 акций и 3000 талеров. Начальное FV во всех испытаниях равна 50, каждый участник стартует с начальным капиталом 4000 талеров. В начале каждого рынка общее количество наличности на рынке (20000 талеров) равно количеству акций (400 акций по 50 талеров=20000). Поэтому C/A=1.

Было запущено 6 рынков для каждого из 6 испытаний. Каждое испытание (T1,T2,..,T6) определялось поведением FV и C/A:

Табл.2.1 Описание типов рынков

Рынок	FV	C/A	Количество сессий	Количество раундов
T1	Убывает	Возрастает	6	1
T2	Постоянна	Возрастает	6	1
T3	Убывает	Постоянна	6	1
T4	Постоянна	Постоянна	6	1
T5	Убывает	Возрастает	6	1
T6	Убывает	Возрастает	6	2

Все 36 экспериментов были проведены между декабрем 2009 и октябрем 2010 в университете XY среди 360 студентов (бакалавров и магистров в бизнес-администрировании и экономике). Каждый участник играл только в 1 рынке, при этом отслеживалось, чтобы ранее в похожих экспериментах он не участвовал. После эксперимента участники заполняли анкету с целью выявить их понимание FV-процесса.

В рынках с уменьшающимся FV актив после последнего периода становится бесполезным, а приобретенные талеры конвертируются по обменному курсу 1 евро = 400 талеров. В рынках с постоянным FV финальный капитал (количество акций, умноженное на FV=50 + талеры) конвертируется по курсу 4000 талеров= 1 евро.

Каждая экспериментальная торговая сессия длилась 60-80 минут. Средний заработок в испытаниях 1-5 составил 10 евро, в то время как средний заработок в 6-м испытании был 20 евро. Перед экспериментом, чтобы измерить уровень неприятия риска участником аналогично Чарльзу Холту и Сьюзан Лори (2002), проводилась стандартная лотерея. В лотерее участники заработали в среднем 4 евро.

Экономический подход

Основные вопросы экономического исследования:

1. приводит ли возрастание C/A к неверному формированию цен и/или переоценке?

2. приводит ли уменьшение FV к неверному формированию цен и/или переоценке?

3. Если уменьшение FV вносит существенный вклад к неверному формированию цен и / или переоценке, то является ли причиной этого неверное понимание участниками концепции FV?

Как «меру» пузыря экономисты использовали следующие коэффициенты:

(2.1)

(2.2)

где, - средняя цена в период p, - FV в период p, - средняя FV на рынке

Видно, что RAD - мера неверной оценки, RD - мера переоценки (т.е. определяющий коэффициент для пузыря).

После проведения эксперимента и сбора всех данных, были подсчитаны «меры» пузыря, различные корреляции и, в результате, сделаны следующие выводы:

1) Испытания с уменьшающимся FV характеризуются высокой вариативностью ценообразования на индивидуальных рынках. В сумме средние цены существенно превышают FV в 1 эксперименте (Т1) в то время как в Т3 средние цены следуют за FV. В испытаниях с постоянным FV средние цены следуют за FV достаточно аккуратно.

2) В Т1, где FV падает, а C/A растет уровень неверной оценки составил 41%, а переоценки - 30%, что совпадает с исследованием Суханека, Вильямса и Смита. Если С/А постоянно (Т3), то неверная оценка остается высокой, зато уровень переоценки резко падает. Цены падают благодаря избытку денег, но путаница с уменьшающимся FV очевидно читается в большом разбросе цен, измеряемом неверной оценкой.

3) Если FV постоянно, то оба испытания показывают высокий уровень адекватности цен.

1-2 вопросы исследования:

Суммируя результаты статистических тестов, ученые обнаружили высокий уровень неверных оценок в испытаниях с уменьшающимся FV, однако серьезное завышение оценки возникает только, когда уменьшающийся FV сопровождается возрастанием C/A.

3 вопрос исследования. Поведенческие причины для влияния FV

Вернон Смит утверждает, что участники могут быть «не в курсе текущей ситуации» на рынках SSW (Смит, Суханенко, Вильямс) это оказывает серьезное влияние на процесс торговли. Например, акции в сознании участников могут ассоциироваться со стабильным или растущим FV. В случае постоянного FV 70% участников оценивали FV в контрольных вопросах правильно. А в случаях уменьшающегося FV менее 30% участников правильно прогнозировали FV. Даже после 10 торговых раундов у людей была путаница в отношении уменьшающегося FV, что влияло на цены и приводило к пузырям во время игры.

Чтобы выявить влияние контекста, был проведен опрос и два контрольных испытания в другом контексте.

Контрольное испытание «Золотые копи»:

Если неправильное понимание FV - одна из главных причин пузырей на рынке, то соответствующий интуитивным ожиданиям контекст должен уменьшать пузыри. Контрольное испытание Т5 полностью повторяло Т1 (классический SSW рынок) за исключением того, что вместо акцию люди торговали акциями с истощаемых золотых приисков. Экономисты исходили из того, что людям будет понятно, что копи истощаются, а кроме того добыча может быть то больше, то меньше. В итоге, результаты показали, что цены от FV отклонялись незначительно.

Для проверки точности предыдущего испытания было проведено испытание Т6. По сравнению с Т5, С/А и вариации дивидендных выплат были увеличены. Такие изменения приводили к пузырям даже в случае опытных участников (Хуссам, Портер, Смит, 2008), но уровни неверной оценки и переоценки в Т6 почти совпали с Т5, пузырей не возникло.

Вывод

Пузыри образуются в случае сочетания уменьшающегося FV с возрастающим C/A. Основная причина - ожидания участников, что FV будет постоянной или возрастающей. Т.е. причина пузырей в ожидании прибылей в дальнейшем.

Методы машинного обучения

Как описывалось ранее, машинное обучение использует подход «от данных к модели». Из данного эксперимента можно было взять исходные данные проведения торгов и опросник и преобразовать их в анализируемый вид.

Преобразование данных к требуемой структуре - крайне важный этап решения задачи методами машинного обучения. Чтобы получить верный и, главное, полезный результат, надо четко понимать, какие данные подавать в программу.

Изначально имелось две таблицы: опросник и данные о проведенных торгах. Опросник состоял из столбцов:

· Treatment - тип рынка

· Market - номер рынка

· Round - номер раунда

· Subject - номер игрока

· DecFV (1 или 0) - показывает убывает FV или постоянна

· Answer - предположение игрока об значении FV

· Deviation - отклонение от реального FV

· Answercode - код ответа

· Gender - пол игрока ( 1- мужчины, 0 - женщины)

Данные о проведенных торгах содержали:

· Treatment- тип рынка

· Market- номер рынка

· Period- номер периода

· FV - значение FV

· Seller - номер игрока, который продает акции

· Buyer - номер игрока, который покупает акции

· Maker - номер игрока, который предложил сделку

· Price - цена акции в сделке

· СontractID, TradeID - номер предложенной сделки, номер совершенной сделки

· ActionID_C, ActionID_T - номер действия в предложенной сделки, совершенной сделке

· Bid - цена, заявленная на продажу акций

· Ask - цена , заявленная на покупку акций

· Quantity - количество акций, которыми оперировали в совершенной сделке

· qOfferB - количество акций, предлагаемое на покупку

· qOfferS - количество акций, предлагаемое на продажу

· Time - время, когда предлагалась / совершалась сделка

· Round- номер раунда

Первой задачей моего исследования было подтверждение или опровержение выводов экономистов о причинах появления пузырей. Так как выводы были сделаны, по сути, просто по подсчету параметров RD и RAD, то, чтобы подходы отличались, я проводила задачу кластеризации так, чтобы не использовать эти параметры.

Сначала проводилась подготовка данных. Изменялась таблица Опросник. Я преобразовала данные с помощью макросов (см. Приложение) к следующему виду:

· С/А - (1 или 0) - показывает возрастает С/А или постоянна

· DecFV - (1 или 0) - показывает убывает FV или постоянна

· Answer-предположение игрока об значении FV

· Deviation- отклонение от реального FV

· Gender -пол игрока ( 1- мужчины, 0 - женщины)

И таблица была разделена на две по типам рынка: в первой таблице данные по T1-T4, во второй - по T5-T6.

Задача кластеризации - многомерная статическая обработка данных для упорядочивания объектов в сравнительно однородные группы. На этих данных задача кластеризации будет проводиться по данным преобразованного опросника (поведение C/A, поведение FV, предположение игрока об истинном значении FV, отклонение этого ответа от истины и пол игрока) и в кластеры будут объединяться люди со схожими стратегиями.

Для того чтобы сделать выводы и о причинах пузырей, и о влиянии контекста я разделила задачу кластеризации на две: в первой кластеризацию будем проводить по первым четырем экспериментам, а во второй по 5 и 6 (в них определяется влияние контекста). Данные загружались в программу Weka, где кластеризация проводилась методом K-средних.

Идея метода К-средних в том, что он стремится минимизировать суммарное квадратичное отклонение точек кластеров от центров этих кластеров:

(2.3)

где k - число кластеров, - полученные кластеры, i=1,2,…, k и - центр масс векторов

Значит, сначала множество элементов векторного пространства разбиваются на заранее известное число кластеров К. Затем на каждой итерации алгоритма перевычисляется центр масс кластеров, посчитанный на предыдущем шаге. Алгоритм завершается, когда на какой-то итерации не происходит изменения центра масс.

Часть 1: Итак, описанным методом данные из опросника разбивались на кластеры. Были получены следующие результаты:

Рис.2.1 Результаты первой части кластерного анализа

Эти результаты можно интерпретировать следующим образом:

При каждом типе рынка (зависит от поведения C/A и FV) существует тенденция для поведения участника в этой игре:

1) Кластер 0: FV убывает , C/A постоянна. Участники склонны к небольшой переоценке актива.

2) Кластер 1: C/A возрастает , FV постоянна. Участники почти не склонны к переоценке активов.

3) Кластер 2: C/A возрастает, FV убывает. В данном кластере участники наиболее всего склонны к переоценке и это может привести к образованию пузыря на рынке.

4) Кластер 3: C/A постоянна, FV постоянна. Участники этого кластера совсем не склонны к переоценке активов, а чаще его недооценивают.

Каждый кластер здесь соотносится с видом эксперимента: от Т1 до Т4. Обнаружено, что при возрастающем C/A и убывающей FV участники наиболее всего склонны к переоценке активов (максимально положительное Deviation) , что ведет к образованию пузырей. Это можно объяснить следующим образом: когда у людей много денег, они более склонны к риску, надеясь на будущую прибыль. К этому добавляется то, что в предыдущих периодах участники видели дивиденды либо 0, либо 10 (по условиям эксперимента) и думают, что, купив как можно больше акций, могут в будущем получить выигрыш. В итоге актив переоценивается и образуется пузырь. Делать выводы по поводу зависимости от пола, я не стала.

Вывод: непостоянство любого из исследуемых параметров приводит к переоценке, а когда оба параметра непостоянные, то вероятность возникновения пузыря максимальна.

Часть 2: Кластеризация по 5 и 6 типам экспериментов дала следующие результаты:

Рис.2.2 Результаты второй части кластерного анализа

1) Кластер 0: C/A возрастает, FV убывает. Участники склонны к слабой переоценке

2) Кластер 1: C/A возрастает, FV убывает. Участники склонны к недооценке

3) Кластер 2: C/A возрастает, FV убывает. Участники склонны к сильной переоценке относительно других участников.

Первый кластер составляет большинство, что все-таки показывает, что при правильном контексте люди лучше понимают поведение FV и более трезво оценивают стоимость активов. Но при этом многие все еще склонны к сильной переоценке, это может объясняться желанием людей с большими деньгами успеть «урвать куш» с акций, это азартное поведение, которое довольно часто движет людьми.

В среднем наибольшая переоценка в этом эксперименте меньше, чем в предыдущем. А значит, правильный контекст помогает многим понять природу поведения FV.

Второй задачей моего эксперимента была попытка расширить результаты, полученные ранее. Для этого я решаю задачу классификации. На этих данных она формулируется как: «При каких условиях на рынке образуется пузырь? Или, другими словами, при каких условия рынок принадлежит классу Bubble?»

Таблица данных обо всех сделках на рынке была переделана с помощью написанных мной макросов (см. Приложение) в структуру, которую возможно загружать в Weka для решения задачи классификации. Каждая строка новой таблицы содержит следующие параметры:

· Period - номер периода

· FV - значение FV

· C/А- значение C/А

· Div - ожидаемый дивиденд в периоде

· mean Price - средняя цена акций в сделках

· № of Trades - количество совершенных в периоде сделок

· mean Bid - средняя цена, заявленная на продажу акций

· mean Ask- средняя цена, заявленная на покупку акций

· Quantity - количество акций в сделке

· Understand - не понимание или понимание природы поведения FV (0 или 1)

· Класс - bubble/not bubble (определяется по разности FV и средней цены, если (FV- mean Price)<0 -то bubble).

Задача классификации решается в этом случае с помощью деревьев принятия решений. Дерево принятия решений -- это дерево, в листьях которого стоят значения целевой функции, а в остальных узлах -- условия перехода, определяющие по какому из ребер идти (если условие истинно - переход по плевому ребру, ложно - по правому).

Для решения задачи строится классификационное дерево алгоритмом J48 на обучающей выборке. J48 - это реализация на Java алгоритма С4.5. Алгоритм является вариантом машинного обучения с учителем.

C4.5 -- алгоритм для построения деревьев решений, разработанный Джоном Квинланом (англ. John Ross Quinlan).

Для того, чтобы с помощью алгоритма C4.5 построить дерево принятия решений и применять его, входные данные должны удовлетворять следующим условиям:

· Информация об классифицируемых объектах должна быть представлена в виде конечного постоянного набора признаков (атрибутов), которые либо дискретны, либо имеют числовое значение.

· Множество классов, на которые будут разбиваться объекты, должно иметь конечное число элементов, и каждый пример должен однозначно относиться к конкретному классу, то есть не может быть вероятностной принадлежности к классу.

· В обучающей выборке количество примеров должно быть значительно больше количества классов, к тому же каждый пример должен быть заранее ассоциирован со своим классом.

Процесс построения дерева:

Пусть имеется T -- обучающая выборка примеров, а C -- множество классов, состоящее из k элементов. Для каждого примера из T известна его принадлежность к какому-либо из классов .

На первом шаге построения дерева имеется корень и связанное с ним множество T, которое необходимо разбить на подмножества. Выбирается один из атрибутов в качестве проверки. Выбранный атрибут A имеет n значений, значит, разбиение будет идти на n подмножеств. Следующим ходом создаются n потомков корня, каждому из которых ставится в соответствие собственное подмножество, полученное из разбиения T. Рекурсивная процедура выбора атрибута и разбиения по нему применяется ко всем n потомкам и есть два случая ее остановки:

1. После какого-то ветвления в вершине оказываются объекты из одного класса. Тогда вершина становится листом и этот класс - решением листа.

2. Вершина связана с пустым множеством. Тогда вершина становится листом, а решением листа является наиболее часто встречающийся класс предка данной вершины.

В результате применения алгоритма строится дерево решений, определяющее, при каких условиях строка будет принадлежать классу bubble:

Рис.2.3 Дерево принятия решений

И получается, что принадлежность к классу определяется несколькими правилами. И влияющими параметрами оказываются: дивиденд, пониманием поведение FV, номер периода, средние запросы и средняя цена. Дерево небольшое и сами правила довольно простые. Но при этом правильность ответов - 98,5714%.

Выведенные правила можно использовать для определения будет ли в каком-то периоде переоценка только по средней цене периодов и дивиденду (не учитывая других параметров). Таким образом можно заранее предугадать появление зарождение пузыря, что может помочь его предотвратить.

Кросс-валидационная проверка при алгоритме J48 дала точность 90%.

Кросс-валидация (перекрестная проверка) по К блокам- это техника анализа в предсказательной модели для проверки насколько успешен применяемый в модели статистический анализ в работе с независимыми данными. Один цикл кросс-валидации включает разбиение набора на K частей, затем на одной из частей строится модель (это тренировочный набор), и на остальных частях модель проверяется (это тестовый набор). Чтобы уменьшить разброс результатов, разные циклы кросс-валидации проводятся на разных разбиениях, а далее результаты усредняются по всем циклам.

Рис.2.4 Схема работы кросс-валидации

Были использованы и другие алгоритмы для поиска деревьев решений. Далее приведена таблица с наилучшими полученными правилами и точностью результатов:

Табл.2.2 Правила и точность полученных результатов

Название алгоритма	Результаты с использованием обучающей выборки
J48	Точность предсказаний: 97.619%
BTF Trees	Точность предсказаний: 88.0952%
SimpleCart	Точность предсказаний: 88.0952%

Далее представлена таблица с точностью всех используемых методов, которые давали адекватные результаты (сами деревья решений я показала только для первых трех методов, т.к. там они наиболее легко интерпретируются):

Таблица2.3 Точности всех методов

Название метода	Точность предсказаний	Точность предсказаний при кросс-валидационной проверке	TP	FP	TP при кросс-валидационной проверке	FP при кросс-валидационой проверке
J48	97,619%	91,42%	19/20	1	4/5	24/25
BTF Trees	97,14%	84,29%	9/10	1	4/5	9/10
SimpleCart	94,28%	84,28%	4/5	1	4/5	9/10
LMT	92,85%	87,14%	9/10	47/50	7/10	47/50
DecisionStump	71,42%	65,71%	0	1	3/20	43/50

Таким образом, видно, что исследования экономистов можно дополнить самыми разными решениями задачи классификации, которые с тем или иным успехом могут быть использовании и прогнозировании появления пузырей.

Выводы главы

Я рассматривала два подхода к анализу рынка активов. На мой взгляд, методы машинного обучения на этих данных дают результаты ничуть не хуже, чем выводы экономистов. В данном исследовании разница затрачиваемых усилий на получение аналогичных результатов методами машинного обучения и экономическими методами невелика. Но так как машинное обучение сейчас активно вводится в среду изучения различных экономических проблем, существуют и другие исследования, где экономия усилий в случае использования методов машинного обучения существенна. К тому же, на мой взгляд, подход «от данных к модели» в сравнении с подходом «от модели к данным» более непредвзятый и значительно лучше отвечает требованиям объективного научного исследования.

Заключение

Основным результатом данной работы можно считать то, что результаты экономических исследований воспроизводятся так же методами машинного обучения, при этом с меньшими затратами времени и сил.

Рассматривалось два эксперимента: изучение социального обучения в игре 3-х лиц и изучение пузырей на фондовом рынке. Сравнение эконометрических методов с методами машинного обучения в ходе первого эксперимента показало, что результаты машинного обучения превзошли нулевую гипотезу экономистов. Нулевая гипотеза формулировалась следующим образом: «ошибки чаще появляются, когда на кону мало стоит (при выборе действий разница между ожидаемыми выигрышами мала)». Для ее подтверждения на данных была построена модель на основе теории игр и теории вероятностей. Методами же машинного обучения не только была подтверждена данная гипотеза, но и выявлено большое количество зависимостей между действиями игроков и состояниями природы, а также множество правил действия в определенном раунде. Более того, в ходе исследования данных экономического эксперимента была показана неполнота экономической модели, опирающейся на понятие «эгоистической рациональности» игрока, которое в реальной жизни практически не встречается. Например, согласно результатам исследования методами машинного обучения, люди склонны принимать решения, стремясь получить прибыль, большую, чем у соседей.

Во втором эксперименте экономисты использовали сравнительно просто вычисляемые коэффициенты для оценки вероятности появления «пузырей» на фондовом рынке. Моей задачей было повторение и, по возможности, улучшение результатов экономического исследования методами машинного обучения. Приведя данные к анализируемому виду, я поставила и решила 2 задачи: кластеризации и классификации. Задача кластеризации была создана для того, чтобы повторить результаты экономистов. В результате, без вычисления каких-либо коэффициентов я вывела легко-интерпретируемые поведенческие стратегии, зависящие от состояния природы (определяемого FV и C/A). Эти стратегии поведения и определяли причину появления «пузырей» на рынке.

...