Нейронные сети как инструмент прогнозирования ценностной структуры индивида

Размещено на http://www.allbest.ru/

НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

ВЫСШАЯ ШКОЛА ЭКОНОМИКИ

ФАКУЛЬТЕТ СОЦИАЛЬНЫХ НАУК

КАФЕДРА МЕТОДОВ СБОРА И АНАЛИЗА СОЦИОЛОГИЧЕСКОЙ ИНФОРМАЦИИ

Выпускная квалификационная работа

Нейронные сети как инструмент прогнозирования ценностной структуры индивида

Михненков Иван Владимирович

Москва 2020

Содержание

1. Постановка проблемы

2. Ситуации больших данных и актуальность нейросетей

3. Устройство нейронной сети

4. Методы регуляризации нейронной сети

5. Выявление типов структуры ценностей

6. Интерпретация кластеров как типов структур ценностей человека

7. Результаты поиска оптимальных гиперпараметров для моделей классификации: предсказание 4 типов структур ценностей человека

Заключение

Библиография

Приложение

1. Постановка проблемы

С развитием глубокого обучения, искусственная нейронная сеть стала популярной и универсальной архитектурой для моделирования на основе больших многомерных данных. По мере появления больших данных связанных с людьми, потенциал применения нейросетей в социологическом контексте возрастает за счет тех случаев, когда существует большое количество предикторов, которые имеют нелинейную связь с целевой переменной. В то время как традиционные методы социологического прогнозирования могут либо не предусматривать нелинейных связей, как в случае с регрессией, либо быть мало устойчивы к шуму, как деревья решений, нейросети, предположительно, могут обеспечить гибкость и устойчивость необходимую в таком широком классе ситуаций (Maozhen, 2018). ценность кластер нейросеть

Возможность предсказания типа структуры ценностей человека на основе большого набора факторов привлекательна из-за взаимосвязи между ценностями Шварца и поведением человека, что может быть использовано для прогнозирования долгосрочного и краткосрочного поведения, а также разнообразных человеческих предпочтений, в особенности, политического выбора человека. Типы структур человеческих ценностей, основанные на десяти ценностях Шварца, при обучении прогнозированию на основе большого набора других не ценностных факторов, вероятно, являются типом задачи, в которой нейросети могут иметь высокий потенциал по сравнению с традиционными моделями, используемыми в социологическом анализе из-за потребности генерации промежуточных представлений данных между факторами и целевой переменной, то есть, из-за нелинейности связи.

Предсказание структуры ценностей человека на данных ЕSS с использованием большого числа предикторов, для максимального приближения к ситуации наличия больших данных, хотя и с ограничениями общности выводов, но позволит провести сравнительный анализ нейросетей с традиционными социологическими методами с целью проверить предполагаемое превосходство нейросетей в таком типе задач над традиционными методами классификации, а также вывести рекомендации по применению нейросетей в социологическом контексте. Ожидается, что выводы по настройке нейросетей будут полезны при применении и к неопросным данным, которые и составляют «большие данные» и играют все более важную роль как в научных исследованиях, так и в индустрии.

Ключевые определения

Искусственная нейронная сеть (ИНC) - полносвязная нейронная сеть, которая состоит из серии полностью связанных слоев, которые являются функциями из множества Rn в множество Rm действительных чисел, где каждое выходное измерение зависит от каждого входного измерения (Ramsundar, Zadeh, 2018)

Rn - множество действительных чисел размерности n; можно рассматривать как вектор действительных чисел длинны n в данном контексте.

Гиперпараметры модели - все параметры модели, которые определяются человеком, а не обучаются в ходе работы алгоритма оптимизации (Ramsundar, Zadeh, 2018, с. 103)

Регуляризация - класс методов машинного обучения, направленный на предотвращение переобученности модели (Ramsundar, Zadeh, 2018)

Регуляризация L2 - классическая методика регуляризации, которая штрафует функцию потери с ростом значения параметров (Ramsundar, Zadeh, 2018)

Регуляризация dropout - форма регуляризации, которая случайным образом отбрасывает некоторую долю узлов (нейронов), подаваемые на вход в следующий слой нейронной сети (Ramsundar, Zadeh, 2018, с. 90)

Теоретическая основа исследования

Выбор структуры ценностей человека как целевой переменной

В этой части я обосновываю выбор типа структуры ценностей человека как целевой переменной своего исследования, определяю этот концепт, а также объясняю как на основе индикаторов человеческих ценностей я планирую выявить типы структур ценностей человека.

Одна из наиболее популярных теорий ценностей на данный момент - это теория базовых человеческих ценностей Шварца, которая определяет 10 ценностей, являющиеся универсальными для всех людей, всех культур. Эти ценности таковы: самостоятельность, стимуляция, гедонизм, достижение, власть, безопасность, комфортность, традиция, благожелательность и универсализм (Schwartz, 2012, сс. 5-7). Ценности Шварца связаны друг с другом, например, стремление к власти и универсализм, как правило, взаимоисключающие: если для человека очень важно одно, то значительно менее важно другое. Ценности упорядочены по важности по отношению друг к другу, и для каждого человека, в соответствии с теорией Шварца, такая уникальная упорядоченная система ценностей характеризует его как личность (Schwartz, 2012). Таким образом, ценности носят фундаментальный характер в описании человека, то есть, по своей сути являются крайне сложным объектом предсказания на основе не ценностных факторов. Такой объект представляет интерес для предсказания и симулирует ситуацию потенциально сложной, нелинейной связи с факторами, какими бы они не были, а значит эта задача теоретически актуальна для нейросетей.

Знание о человеческих ценностях само по себе имеет значение как фактор предсказания различных форм поведения и выбора, что может быть полезно как в научном, так и в индустриальном контексте, особенно в условиях Интернета и доступа огромного количества разнообразных данных о людях. Разные ценности в разной степени связаны с поведением, так особенно сильно связаны с поведением, ценности непосредственно его отражающие: стимуляция и традиция, а также умеренно связаны: гедонизм, власть, универсализм, самостоятельность (Bardi, Schwartz, 2003).

Также, ценности хорошо предсказывают политические предпочтения и даже политическое поведение, включая голосование на выборах (Schwartz, Caprara, Vecchione, 2010). В связи с тем, что борьба за кандидатов и политическая гонка в демократических странах все больше переходит в Интернет, где пользователи оставляют свой цифровой след и информацию о себе, а также там есть возможность таргетировать пользователей, одно лишь такое применение знания ценностей или структуры ценностей по Шварцу является востребованным. В общем и целом, отражая личность человека, ценности по Шварцу отражают классовые различия, предпочтения в зависимости от вероисповедания, типа занятости и работы, культурных различий (Lee, Soutar, Daly, Louviere, 2011). Таким образом, знание ценностей человека окупает сложность их сравнительно точного предсказания. В моем случае, большой интерес представляет не столько потенциальная полезность знания о ценностях в конкретной выборке ESS, сколько сама сложность его получения, создавая подходящий и в тоже время потенциально актуальный контекст для потенциального применения нейронных сетей.

Ценности являются латентными переменными и измеряются большим, чем количество ценностей, числом индикаторов. Существуют разные методологии, в используемой базе данных, а именно в 9 волне ESS, используется сокращенный опросник портрета ценностей, использующий 21 индикатор, который несмотря на уменьшенный размер показывает обоснованно хорошие и универсальные к культурному контексту результаты (Schwartz, 2012, с. 12). То есть, мы имеем 21 значение индикаторов ценностей для каждого человека, на основе которых вычисляются значения 10 ценностей человека по Шварцу. Под структурой ценностей я понимаю типичные комбинации из 10 этих значений, каждый из которых отражает отношение человека к вещам, важным для описания его личности в соответствии с теорией Шварца. Чтобы получить такие типичные комбинации на основе индикаторов ценностей по Шварцу, которые я называю типами структур ценностей человека, - необходимо вычислить 10 значений ценностей на основе 21 индикатора, в соответствии с методологией ESS, и затем произвести кластеризацию всех наблюдений в 10-мерном пространстве ценностных индикаторов.

В качестве метода кластеризации я выбрал классический метод K-Means, который позволяет использовать ряд метрик для анализа оптимального количества кластеров, что крайне важно для моего исследования, так как первым этапом является выявление этих типов, а также K-Means уже успешно применялся для анализа ценностей человека по Шварцу (Maslova, Shlyakhta, Yanitskiy, 2020). Центроиды кластеров, которые получены с помощью алгоритма K-Means и были отобраны для дальнейшего анализа, описываются 10 значениями ценностей человека и характеризуют тип структуры ценности человека.

Достаточно сложно строить гипотезы относительно количества типов структур ценностей человека, которые я определю по результатам кластеризации наблюдений. Например, в исследовании ценностей современных студентов исследователи остановились на 3 кластерах, которые были получены с помощью анализа GAP статистики (Maslova, Shlyakhta, Yanitskiy, 2020). Важно отметить, что в их случае выборка составила 1237 студентов, что значительно меньше, чем около 36 тысяч респондентов в 9-ой волне ESS, которую я использую в своем исследовании. Большее количество и разнообразие наблюдений в моем исследовании, - может говорить о возможно большем количестве кластеров, при том, что я буду руководствоваться теми же или аналогичными критериями оптимальности количества кластеров. По итогу, на основе приведенных рассуждений и сравнений я ожидаю, что до 7 кластеров будут выявлены как оптимальные. В целом, большее количество кластеров очень интересно для моей ситуации, так как для поддержания процента правильным предсказаний существенно выше случайного гадания модель должна действительно уметь описывать связи обуславливающие предсказание столь фундаментальной переменной, как тип структуры ценностей.

Для выявления оптимального количества кластеров в своем исследовании, я буду пользоваться рядом статистик, а также соображениями интерпретируемости кластеров. Одно из них, это динамика уменьшения инерции при увеличении количества кластеров, то есть, уменьшении суммарного расстояния наблюдений от центров своих кластеров. В целом, для этого применим метод локтя, суть которого в том, чтобы понять при каком количестве уменьшение отклонение становится намного менее значительным, а значит кластер менее выражен. Также важна наполненность и интерпретируемость кластеров: важно убедиться, что типы структур ценностей представляют собой интересную и неоднозначную структуру, где одни группы ценностей больше выражены в одном типе, а другие меньше, то есть, каждый кластер хорошо интерпретируется по смыслу, а не просто представляет собой случайный и неосмысленный объект. Для этого полезны методы визуализации, такие как карта теплоты, которые помогут наглядно оценить осмысленность кластеров, как противоположность монотонным кластерам со всеми высокими или низкими значениями индикаторов. Самым главным и заключительным критерием в отношении смысловой интерпретации кластеров, - будет полная интерпретация кластеров как типов структур ценностей человека в пространстве ценностей Шварца.

Ключевой статистикой для определения оптимального количества кластеров является оценка силуэта (silhouette score), которая является одной из самых признаваемых и популярных статистик для определения валидности количества кластеров в исследовательском сообществе (Wang, Franco-Penya, Kelleher, Pugh, Ross, 2017). Смысл метода в том, чтобы показать насколько выраженным и обособленным является каждый кластер в модели с данным их количеством на конкретном распределении данных. Таким образом, с помощью этой метрики я гарантировано получу самые осмысленные на имеющихся данных кластеры, то есть, имеющие место типы структур ценностей человека. Они и станут тем сложным и полезным для предсказания объектом на основе большого количества не ценностных факторов, где нейронные сети могут иметь потенциальное преимущество по сравнению с более популярными методами предсказаний в социологическом контексте.

2. Ситуации больших данных и актуальность нейросетей

В этой части, я объясняю выбор почти 200 не ценностных переменных в качестве предикторов структуры ценностей, как способ создания условий работы со сравнительно большими данными, а также объясню высокие ожидания относительно нейронных сетей в таком типе задач.

В ситуации, когда каждый человек оставляет большое количество цифровых следов о себе в Интернете, в своих социальных сетях и поисковиках, возможности и способы предсказания в феноменов социологическом контексте изменяется. Например, уже есть небезуспешные попытки определять ценности Шварца человека путем майнинга данных социальной сети данного пользователя (Sun et al., 2014).

Так называемые «большие данные», которые аккумулируются в Интернете, могут быть структурированными, когда есть конкретные категории со значениями, например: пол, возраст и т.д., и неструктурированными: тексты постов, фотографии и т.д. (Purcell, 2012). При наличии обширного количества разнообразных данных верно то, что связи неочевидны, а количество возможных гипотез слишком велико, чтобы проверять их в ручную. Поэтому важно, чтобы статистическая модель позволяло сложным нелинейным связям генерироваться автоматически в процессе обучения.

Несмотря на то, что в своем применении нейросетей я анализирую только структурированные данные, хотя в ситуации больших данных, скорее всего, предикторы являются смешанными (Purcell, 2012, с. 2), - объем моих предикторов достаточно велик, а также все они не относятся к ценностям. Поэтому можно ожидать, что результаты полученные по относительной эффективности нейронных сетей как метода классификации, а также рекомендации по настройке архитектуры нейронной сети, - будут полезными в контексте других социологических применений с относительно схожими условиями, особенно в ситуации наличия большого, но структурированного набора данных.

Важно отметить, что подбор человеком гиперпараметров для нейросети в рамках любой конкретной задачи является уникальным процессом, который, тем не менее, может быть облегчен за счет вывода общих рекомендаций с обобщением на некоторый класс задач.

Итак, общая идея в том, чтобы приблизиться к ситуации наличия широкого количества индикаторов, которые не имеют прямой связи с целевой переменной. Предположительно, модель симулирует ситуацию наличия больших данных, хотя и с трудно предсказуемыми ограничениями. Также, возможно, что в ситуации реальных больших данных нейросети покажут себя в более выгодном свете в силу того, что там не будет большого числа осмысленных переменных, а значит связи с ценностями будут более сложными и потребуют еще большей мощности нейросетей как модели нелинейного изменения репрезентации входящих данных в целевую переменную (Rumelhart et al., 1986).

Выбор методов классификации для сравнения с нейронной сетью

Для сравнения с нейронной сетью я выбрал три метода классификации: логистическая регрессия, дерево решений и случайный лес. В этой части я поговорю о причинах такого выбора, о потенциальных проблемах данных методах для использования на растущих объемах данных, а также об отсутствии, например, логистической регрессии с эффектами взаимодействия и генерации предполагаемых переменных в каком-либо виде.

Логистическая регрессия является одним из самых простых, популярных и зачастую эффективных методов классификации, не только у социологов, ну и исследователей в социальных науках в целом. Ему учат в первую очередь на предмете анализ данных на факультетах социальных науках, когда речь заходит о предсказании некоторого класса (Gayle, Lambert, 2020). В моем исследовании, логистическая регрессия служит не просто как один из самых популярных методов предсказания в социальных науках, но и как понятная точка отсчета, показывая, что самое лучшее мы можем достичь без использования нелинейных правил в предсказании, которых не предусматривает логистическая регрессия.

Деревья решений являются одновременно одним из самых популярных методов предсказаний в социальных науках и методом, который активно используется в задачах дата-майнинга, то есть, в работе со сравнительно большими данными (Olio, Ibeas, J. & R. Oсa, 2018). Важным преимуществом применения деревьев решений в социальных науках является то, что они делят данные по понятному, легко интерпретируемому признаку: интервалы значений переменной обуславливают разбиение данных в соответствующие узлы решений. Эта простота интерпретируемости результата есть то большое преимущество, которое деревья решений имеют, по сравнению с нейронными сетями. Также, нахождения оптимального дерева решений в заданных ограничениях является полностью автоматическим процессом, что делает их сильным соперником для нейронных сетей.

Случайный лес является более сильным развитием дерева решений с точки зрения предсказательной силы, так как фактически это ансамбль большого числа деревьев решений, которые учатся независимо на отдельных частях данных и переменных и затем делают предсказание независимо (Berk, 2006). Результатом работы случайного леса является ответ, который дало наибольшее количество составляющей этот лес деревьев решений. Платой за повышение точности предсказаний является сильно ограниченная возможность интерпретировать результаты с социологической точки зрения, так как фактически используется большой набор отдельных, несвязанных друг с другом, моделей, число которых на практике может составлять несколько десятков, сотен или даже тысяч в экстремальных случаях. Интерпретация ограничена метриками важности отдельных факторов для совершения корректного предсказания (Berk, 2006, с. 286). Случайный лес является несколько менее популярным, более продвинутым методом социологического анализа, который дает действительно высокую предсказательную силу (Berk, 2006). В этом отношении случайный лес является сильным конкурентом нейронной сети.

Рассмотрев эти методы, я укажу на их потенциальные недостатки при применении в ситуации со сравнительно большими данными. Логистическая регрессия имеет очевидный фундаментальный недостаток, - ее неспособность создавать нелинейные связи между факторами и целевой переменной. В свою очередь, факторы в социальных науках едва ли не имеют таких связей с целевой переменной. Кроме того, факторы могут иметь сильные связи между собой, что также не аппроксимируется логистической регрессией. На это можно ответить тем, что мы можем создать новые переменные для описания нелинейных связей, например, логарифм от фактора, или квадрат фактора, также мы можем например умножить две переменные между собой. А для создания взаимодействия между переменными, мы можем включить эффекты взаимодействия в нашу модель, когда одна переменная влияет не только на целевую, но и на другую переменную фактор. Проблема всех этих решений заключается в том, что мы должны гадать, делать гипотезы о нелинейных связях в каждом конкретном случае. А в ситуации со сравнительно большими данными это становится практически невозможно из-за слишком большого числа факторов в наличии, и, фактически, комбинаторного взрыва тех гипотез, которые мы должны проверить, чтобы обнаружить нелинейные связи в данных.

Деревья решений также обладают рядом серьезных недостатков, одним из которых является их нестабильность, а именно то, что оптимальная структура дерева может полностью поменяться при небольшом изменении в данных, что является неприемлемым с точки зрения интерпретации, если исследователь долгое время работает над деревом решения для определенной проблемы, а затем вследствие поступления новых данных, появляется совершенно новое оптимальное дерево. Другим недостатком является предрасположенность деревьев решений к приоретизации факторов, имеющих большое число значений или типов атрибута (Deng, Runger, Tuv, 2011). Также, деревья решений обеспечивают не очень высокую точность предсказаний, по сути генерируя лишь переменные, которые являются комбинацией исходных факторов в определенных интервалах значений, а не генерируя какие-либо более абстрактные переменные. Случайный лес может сильно повысить точность предсказаний дерева решений, но возможности для интерпретации этой модели очень малы, а сложность интерпретации очень высока, так как в решении принимает участие большое количество деревьев решений.

Таким образом, рассмотренные методы, их популярность в социологических исследованиях, а также их потенциальные слабости при увеличивающихся наборах данных и невозможность ручной генерации переменных и связей между ними, дает полные основания, чтобы сравнить их с набирающим большую популярность последние годы методом, - нейронными сетями.

3. Устройство нейронной сети

В этой главе я детально описываю устройство искусственной нейронной сети с теоретической точки зрения, то есть, опишу ту техническую основу, которая нужна для того, чтобы корректно применять их, ставить исследовательский вопрос, цели и гипотезы, а также, чтобы обосновать высокие ожидания от этого метода в социологическом контексте при наличии сравнительно большого количества данных.

Впервые нейронные сети были описаны в 1943 году, в знаменитой статье нейрофизиолога Уоррена Мак-Каллока и математика Уолтера Питса «Логическое исчисление идей, имманентных в нервной деятельности». Теория нейросетей затем активно развивалась и в 1960-х годах имелись высокие ожидание от нейросетей и искусственного интеллекта в целом, которым по ряду причин, в анализ которые я не буду вдаваться, не суждено было сбыться. Наступила так называемая «зима искусственного интеллекта», когда ресурсы, направляемые на исследования искусственного интеллекта, значительно уменьшились. К концу 1980-х наступила новая волна интереса к машинному обучению, но доминировали не нейронные сети, а другие алгоритмы (Geмron, 2017). Только в 21 веке с ростом вычислительных мощностей, объема данных, а также некоторой оптимизации алгоритмов нейронные сети начали набирать популярность и совершили революцию в машинном обучении под брендом «глубинного обучения».

Итак, нейронные сети вдохновлены нейронами в мозге: а именно тем, что из себя представляет один нейрон, и тем, как связан с другими нейронами. Упрощая описание и приземляя его до близкого модели нейронной сети: нейрон состоит из ядра, в котором производится вычисления, в результате которых нейрон может активироваться. Входящая информация передается в нейрон по связям, соединенным с выходами от других нейронов, которые называются дендритами. А выходит из нейрона одна ветвь, которая затем может передаваться в большое количество разных нейронов, называемая аксоном (Geмron, 2017).

Нейросеть является моделью, принципы работы которой, вдохновлены и получены по аналогии с принципом связи и работы нейронов в мозгу. Такое сравнение стоит воспринимать как полезную для интуиции аналогию, а не точную характеристику, особенно учитывая, что многие исследователи рекомендуют полностью отказаться от аналогии с нейронами в мозгу. Один нейрон в нейронной сети, является математической функцией, которая на вход получает все выходы нейронов предыдущего слоя, умножает их на веса, называемые параметрами данного нейрона и складывает эти значения, добавляя константу, после чего этого, от полученного значения берется функция активации (Geмron, 2017).

Функция активации нейрона, являясь некоторой нелинейной математической функцией, играет ключевую роль в нейронной сети, потому что она позволяет сети производить нелинейные трансформации данных. Таким образом, нейронная сеть может аппроксимировать различные нелинейные связи на пути преобразования входящих данных в целевую переменную или переменные (Goodfellow, Bengio, Courville, 2016). Внутри нейронной сети одной из самых популярных и эффективных функций активации является ReLU (Rectified linear unit) или линейный фильтр, который возвращает максимум между входящим значением и нулем. То есть, функция возвращает максимальное значение между 0 и линейной комбинацией входящих факторов, что делает ее нелинейной, а значит позволяет всей нейронной сети аппроксимировать сложные нелинейные функции. Также, функция активации ReLU позволяет сети быстрее обучаться, чем при использовании в скрытых слоях нейронной сети более старых функций активации, например, сигмоида. Это связано с тем, что в отличии от сигмоида, где производная стремится к нулю при удалении модуля входящего значения от нуля, ReLU сохраняет значение производной и решает проблему размытия абсолютного значения градиент-вектора по мере удаления от выходящего слоя нейронной сети (Goodfellow, Bengio, Courville, 2016). По этой причине, а также в соответствии с общепринятой практикой, функция активации ReLU используется как активация всех нейронов внутри скрытых слоев нейронных сетей в рамках моего исследовании.

Рис. 1 - Модель искусственного нейрона внутри нейронной сети

При классификации выходные нейроны используют функции активации связанные с вероятностью. Например, для бинарной классификации используется та же функция, что и в логистической регрессии, - sigmoid function: Sig(x) = 1 / (1 + e-x). Она возвращает значение между 0 и 1, не включительно, что принимается за вероятность предсказываемого события (Goodfellow, Bengio, Courville, 2016).

Для задачи классификации, когда количество классов больше двух, а это именно тот тип задачи, который наиболее вероятно встанет в моем исследовании, - на выходном слое нейросети используется функция softmax. Количество выходных нейронов равно количеству предсказываемых классов, и функция сначала возводит экспоненту в степень значений линейных трансформаций каждого нейрона, а затем нормирует каждое получившееся значение, деля его на сумму всех получившихся значений, чтобы получить для каждого нейрона число от 0 до 1, которое и интерпретируется как вероятность принадлежности наблюдения к определенному классу.

Поняв как работает один искусственный нейрон, не трудно понять как работает вся нейронная сеть. Представим входящие данные как первый слой в нейронной сети, на выходе которой один нейрон, некоторое предсказываемое число на основе входящих данных. Тогда назовем первым скрытым слоем набор независимых друг от друга нейронов, каждый из которых высчитывает свое значение на основе входящих данных.

Далее, вторым скрытым слоев назовем набор независимых друг от друга нейронов, каждый из которых высчитывает свое значение на основе всех значений нейронов предыдущего слоя, т.е. первого скрытого слоя. Далее процесс повторяется сколь угодно много раз, до некоторого n-го скрытого слоя, на основе которого высчитывается предсказываемое значение последнего выходного нейрона.

Слоя, кроме входящих данных и слоя с нейронами или нейроном с предсказываемым значением, называются скрытыми, потому что их не видит аналитик, использующий нейронную сеть, и они не заключают в себе очевидного смысла для аналитика, а являются некоторой, полезной для предсказания, нелинейной трансформацией данных.

Рис. 2 - Модель полносвязной нейронной сети с 2 скрытыми слоями

Важно отметить, что я рассматриваю устройство классической полносвязной нейронной сети, которая и применяется для предсказания типа структуры ценностей человека в моем исследовании, а также сравнивается с другими методами. Также, на данный момент, есть еще две популярных архитектуры нейронных сетей для осуществление предсказаний: сверточная и рекуррентная нейронные сети. Сверточная нейронная сеть используется в задачах компьютерного зрения для анализа изображений и видео, а рекуррентная нейронная сеть используется для анализа последовательных данных и используется, как правило, в задачах искусственной обработки речи: перевод языка, распознания разговорной речи и т.д. (Geмron, 2017). Таким образом, из трех данных архитектур, только полносвязная нейронная сеть может быть использована для предсказания на основе структурированного набора факторов, - очень широком типе данных, к которому относятся любые социологические количественные данные, полученные опросным методом, включая данные моего исследования. Кроме того, существенная часть больших данных о людях относится к структурированным данным, которые также будут анализироваться полносвязными нейронными сетями. (Purcell, 2012)

Генерация репрезентаций в нейронной сети

На скрытых слоях нейронной сети происходят нелинейные преобразования на основе исходных данных, затем на основе преобразований в первом слое, и так далее вплоть до получения предсказания в последнем слое нейросети. Промежуточные репрезентации данных могут рассматриваться как не имеющие смысла, кроме как оптимальных трансформаций данных на пути к получению ответа. Но есть и другой взгляд на проблему, который дает интуицию для понимания происходящего внутри нейросети. На самом деле, нейронами генерируются различные факторы, на основе факторов предыдущего слоя. Разумеется, эти факторы редко можно точно интерпретировать, но на это можно смотреть таким образом, что облегчает общее понимание принципов работы нейросети (Rumelhart et al., 1986).

Например, нейрон в первом скрытом слое может показывать высокое значение только когда одновременно соблюдаются следующие условия: высокая зарплата, наличие высшего образование, возраст до 35 лет и отсутствие семьи. В данном случае, нейронная сеть в процессе обучения, пришла к таким параметрам для данного нейрона, которые примерно отражают комплексную, нелинейную характеристику о поступившем на вход наблюдении. В данном примере, значение нейрона можно приблизительно проинтерпретировать как «степень в которой человек, является молодым и успешным, при этом не связав себя узами семьи». Разумеется, реальные репрезентации могут быть намного более сложными и трудно поддающимися интерпретации. Цель данного примера показать интуицию, которая стоит за работой нейронной сети, и которая является обоснованием гипотезы, что нейронные сети могут быть более эффективны, чем традиционные методы классификации в социологическом контексте в ситуации наличия сравнительно больших данных. Ведь, традиционные методы классификации не генерируют таких сложных, в то же время, промежуточных, репрезентаций входящих данных с целью максимально корректного предсказания.

Обучение нейронной сети

Пока что был рассмотрен принцип предсказания нейронной сетью результата на основе входящих данных, включаю внутреннюю механику вычислений нейронной сети. Но как же учится нейронная сеть?

Если предсказания можно назвать прямым распространением (forward propagation), и распространяются в данном случае входящие данные, то обучения происходит за счет обратного распространения (backpropagation), где распространяется ошибка предсказания относительно правильного результата целевой переменной для данного случая. Другими словами, мы находим, по установленной функции, ошибку между предсказанным и правильным ответом. Далее, с помощью алгоритма обратного распространения находятся частные производные всех параметров в нейронной сети, то есть, набора всех параметров отдельных нейронов, относительно этой ошибки в предсказании. Эти частные производные калькулируются постепенно, начиная с последнего слоя, постепенно продвигаясь к параметрам первого слоя. Когда все частные производные высчитаны, мы знаем градиент-вектор всех параметров, который указывает направление максимального роста ошибки. Если умножить его на -1, то мы получим направление наибольшей минимизации ошибки из данной точки параметров нейросети. Именно это направление изменения параметров нам нужно, чтобы минимизировать ошибку, а значит улучшить качество предсказания, что и подразумевает обучение нейросети. Важно подчеркнуть, что это направление актуально только при текущих значениях параметров, и после шага оптимизации, направление будет другим, то есть, нам вновь нужно будет высчитывать градиент-вектор для обновленных параметров с помощью обратного распространения ошибки (Goodfellow, Bengio, Courville, 2016).

Рассказав об основном принципе обучение, важно сказать несколько фактов, которые описывают как происходит обучение на практики. Есть два полярных по смыслу алгоритма обновления параметров: классический градиентный спуск и стохастический градиентный спуск. Классический градиентный спуск вычисляет направление одного шага оптимизации на основе среднего значения градиент-векторов каждого элемента во всем наборе данных. Для этого, для каждого элемента находится ошибка предсказания, которая обратно распространяется, таким образом, мы получаем градиент-вектора для каждого наблюдения. Затем, берется среднее этих градиент-векторов, которое и указывает направление для одного шага оптимизации. Стохастический градиентный спуск производит шаг оптимизации на основе градиент-вектора полученного обратным распространением ошибки только одного наблюдения из данных (Goodfellow, Bengio, Courville, 2016).

Хотя такие варианты обучения были популярны ранее, в современном машинном обучении градиент вектор высчитывается с использованием комбинированного варианта, когда градиент вектор для обновления параметров вычисляется как среднее градиентов по небольшой партии из фиксированного числа элементов данных, которые называются батч (batch). Таким образом, обеспечивается с одной стороны скорость обновления параметров, а значит и обучения нейросети, значительно выше, чем в случае классического градиентного спуска (Goodfellow, Bengio, Courville, 2016). Например, если набор данных состоит из 10000 элементов, а батч из 25 элементов, то для одного обновления параметров в классическом градиентном спуске потребуется высчитывать 10000 градиент-векторов для этих параметров, и только затем обновлять, а для одного обновления в условиях градиентного спуска с батчами достаточно вычисления 25 градиент-векторов. Получая скорость обучения, мы платим тем, что градиент вектора приблизительно оптимальны для всего распределения тренировочных данных, а не абсолютно, как в случае классического градиентного спуска. Это значит, что каждый вектор не направлен точно в точку оптимума, но статистически, по мере большого количества произведенных шагов оптимизации, параметры приближаются к этой точке. Также, эти вектора на основе батча, в среднем более точны, чем если бы высчитывались и только на основе одного элемента данных, и направлены, в среднем, в более правильном направлении.

Важно сказать, что на данный момент нет единого строго доказательства сходимости алгоритмов оптимизации: стохастического и батчевого градиентных спусков. Эти алгоритмы были изобретены и проверены эмпирическим путем, а сейчас используются повсеместно в глубинном обучении, чем они и доказали свою эффективность (Li, Orabona, 2018). В целом, анализом сходимости алгоритмов оптимизации занимается молодая область математики, - теория оптимизации, которая совмещает линейную алгебру, математический анализ и математическую статистику в своем инструментарии и имеет множество важных нерешенных проблем.

По алгоритму оптимизации параметров нейросети, другими словами обучения нейросети, остался не покрытым один вопрос: как именно на основе градиента происходит обновление параметров. Традиционный алгоритм оптимизации подразумевает умножение градиент вектора на константу, называемую коэффициент скорости обучения (learning rate). Затем получившийся вектор отнимается из вектора параметров, то есть, происходит изменение параметров в направлении минимизации ошибки относительно данных, на которых был вычислен конкретный градиент вектор. Проблема такого традиционного метода оптимизации заключается в том, что направление изменения параметров, то есть, направление градиент-вектора сильно варьируется от батча к батчу. Это значит, что значительная доля расстояний в изменении параметров является просто случайно пройденной величиной, обусловленной отклонением распределения данных в батчах, на основе которых вычислялся градиент-вектор и делались шаги оптимизации, от распределения всего набора обучающих данных.

В свете этой проблемы, были изобретены и используются более совершенные алгоритмы оптимизации. Наиболее популярный из них называется Adam, который, в свою очередь, построен на основе совмещения двух других алгоритмов Momentum и RMSprop (Kingma, Ba 2014). Суть алгоритма Adam заключается в том, что мы вычитаем не отдельный градиент умноженный на коэффициент скорости обучения, а экспоненциально взвешенное среднее градиент-векторов за некоторое количество последних шагов. То есть, значения градиент-векторов за некоторое число последних шагов суммируются с весами, которые тем меньше, чем дальше шаг для которого посчитан данный градиент-вектор, от текущего шага вычисления градиент-вектора. Соответственно, градиент вектор текущего шага имеет самый большой вес в результирующем значении экспоненциального взвешивания. За счет экспоненциального взвешивания учитывается инерция направления градиент-вектора, то есть, среднее направление движения оптимизации параметров за некоторое количество последних шагов оптимизации. (Kingma, Ba, 2014). Это позволяет сделать путь оптимизации более стабильным, менее стохастичным, что значительно ускоряет обучение параметров модели. Поэтому, в своем исследовании я буду применять алгоритм оптимизации Adam, который стал стандартом в области за последние несколько лет. Данный алгоритм оптимизации позволяет значительно сократить скорость обучения при стохастическом и батчевом градиентном спуске из-за того, что, в среднем, он делает шаги оптимизации параметров существенно более точными.

Важно отметить, что коэффициент скорости обучения определяет длину шага при изменении параметров нейронной сети. В качестве полезной аналогии, на это можно смотреть, как на длину шага человека который спускается в наиболее низкую точку местности. Под местностью понимается пространство значений параметров и соответствующая им общая ошибка, которая должны быть минимизирована в ходе обучения. Когда мы начинаем обучение полезно иметь достаточно большой начальный шаг, так как точка оптимума может быть достаточно далеко и с маленькой длинной шага ее достижение заняло бы большое количество шагов. Но по мере приближения к этой точки, к тому же, учитывая, что движемся мы к ней не по идеальной прямой, - есть риск перешагнуть эту точку, начать ходить вокруг нее и так далее. Чтобы дальше приближаться к этой точки оптимума, нужно уменьшить длину шага нашего человека, а в случае нейронной сети, нужно уменьшить коэффициент скорости обучения, для чего применяется техника постепенного уменьшения коэффициента скорости обучения (learning rate decay). Это позволяет параметрам нейронной сети, как правило, точнее сходится в оптимальную область, в большей степени приближаясь к оптимуму, чем с использованием единого коэффициента скорости обучения. Также, постепенно уменьшающейся коэффициент скорости обучения позволяет нейронной сети обучаться намного быстрее, чем с использованием изначально маленького коэффициента скорости обучения. Эту важнейшую технику я использую в своем исследовании при обучении всех нейронных сетей.

Другой важнейшей техникой ускорения обучения нейронной сети является Batch Normalization, которая появилась в 2015 году и стала стандартом для применения в глубоких нейронных сетях. Проблема, которую решает эта техника и которую авторы Batch Normalization назвали внутренним ковариационным сдвигов (internal covariate shift), заключается в изменении дистрибуции данных входящих на скрытые слои нейронной сети по мере изменения параметров в предыдущих слоях. Это ведет к тому, что более глубокие слои нейронной сети от входящего слоя должны не просто обучаться, но и постоянно подстраиваться под меняющуюся дистрибуцию данных из-за изменения параметров в предыдущих слоях, что значительно усложняет скорость и качество обучения глубоких нейронных сетей. (Ioffe, Szegedy, 2015). Решением этой проблемы стало интегрирование процедуры нормализации в архитектуру нейросети, чтобы нормализовать входящие данные каждого тренировочного элемента, что делается на основе параметров нормализации тренировочного батча к которому элемент данных принадлежит. После обучения параметры Batch Normalization каждого слоя выучиваются и фиксируются для оптимального применения данной нейросети для совершения предсказаний.

Авторам это техники оптимизации удалось получить 14-кратное ускорение в обучении наиболее современных на тот момент моделей, применяемых на известном наборе данных ImageNet. Кроме того, им удалось достичь рекордных по точности результатов только за счет применения Batch Normalization в уже имеющихся глубоких нейросетей, с точки зрения архитектурных изменений нейронных сетей (Ioffe, Szegedy, 2015, с. 5). Другим важным изменением является использование более высокой константы скорости обучения (learning rate) от которого зависит насколько сильно обновляются параметры в зависимости от градиент вектора на каждом шаге обучения. Также важным изменением является использование более быстрого уменьшения значения скорости обучения (learning rate decay), из-за того, что сама скорость обучения нейросети проходит теперь быстрее и высокие значение константы обучения быстрее становятся бесполезными при обучении.

Тот факт, что нормализация тренировочного элемента происходит на основе всего мини-батча, а не только данных этого элемента, способствует тому, что нейросеть на каждом своем шаге меньше переобучается под конкретный пример данных. Другими словами Batch Normalization, помимо основной функции значительного ускорения обучения, добавляет эффект регуляризации, то есть, уменьшает или убирает склонность модели к переобучению под конкретный пример данных, вместо нужной генерализации над всем распределением данных (Ioffe, Szegedy, 2015, с. 5).

На основе всех описанных преимуществ данной техники, а также того, что сейчас она является абсолютным стандартом и практически всегда добавляется по умолчанию, - в своем исследовании я также добавляю слои Batch Normalization после каждого скрытого слоя нейронной сети по умолчанию. Это значит, что нормализация происходит для всех данных, входящих во все слои нейросети, так как входящие данные также предварительно нормализуются в явном виде.

4. Методы регуляризации нейронной сети

Стандартной проблемой при обучении нейронных сетей, а также других достаточно гибких для этого моделей, является феномен переобученности. Когда нейронная сеть, и любая другая статистическая модель, показывает низкую ошибку при предсказании на данных, на которых происходило обучение, но ошибка значительно вырастает, когда модель применяется на других данных, хотя они были получены из общего распределения. Происходит это из-за того, что модель выучивает такие правила вывода ответа на основе входящих данных, которые присущи исключительно тренировочному набору данных. Как правило, если наличествует достаточное количество данных, то эти особенности не являются глобальными, легко объяснимыми и выводимыми правилами, а скорее небольшими закономерностями, ведь, по факту являющиеся шумом. Иными словами проблема переобученности модели является проблемой выучивания моделью шума специфичного для набора данных, на котором происходило обучение (Goodfellow, Bengio, Courville, 2016).

Как правило, именно высокая гибкость модели, то есть, способность охватывать любые нелинейности и особенности в данных, позволяет модели переобучиться. Нейронная сеть является примером такой гибкой модели, хотя из-за иерархии репрезентаций данных в слоях, она меньше склонна переобучаться, чем более примитивные методы, такие как деревья решений. Помимо вышерассмотренного Batch Normalization, который хоть и не ставит основной целью регуляризацию, но все же её осуществляет, есть два основных способа регуляризации нейронной сети, то есть, предотвращения выучивания шума, закономерностей, которые присущи только конкретной обучающей выборке, а не всему генеральному распределению данных.

Наиболее классический метод регуляризации нейронной сети называется L2 регуляризация, где L2 обозначает Евклидову норму расстояния. Суть в том, что данный метод накладывает штраф в виде дополнительной ошибки, который тем выше, чем больше по модулю значения параметров нейронной сети. Таким образом, при применении L2 регуляризации, функция ошибки нейронной сети вычисляется не только на основе различия между предсказанным и правильным ответом, но и на основе величины ее параметров, а именно за счет прибавления суммы квадратов параметров, умноженных на некоторый коэффициент, который называется коэффициент регуляризации. Чем выше этот коэффициент, тем больший штраф в виде ошибки несет нейронная сеть. Таким образом, регуляризация L2 заставляет нейронную сеть, в среднем, использовать меньшие по размеру параметры в нейронах, что сужает разброс значений линейных комбинаций внутри нейронов, что, в свою очередь, уменьшает общую сложность тех нелинейных функций которые может аппроксимировать вся нейронная сеть. Это уменьшает вероятность переобучения нейронной сети, то есть, выучивания ею шума конкретного тренировочного набора данных и нейронная сеть лучше генерализируется на другие данные. Важно заметить, что ситуация переобученности и нужды в уменьшении гибкости нейронной сети за счет регуляризации возникает не всегда, поэтому регуляризация может сделать нейронную сеть не способной аппроксимировать те сложные зависимости, которые имеют место быть в генеральной совокупности. (Geмron, 2017).

С изменением уравнения ошибки изменяется и градиент-вектор, так как он состоит из частных производных параметров от уравнения ошибки. Это в свою сторону делает параметры меньшими по размеру, а нейронная сеть в целом становится «менее гибкой» по отношению к тренировочным данным, то есть, менее склонной выучивать любые, даже малозначительные, правила, которые наличествуют в обучающей выборке. Предполагается, что именно шум является таким малозначительным правилом, который выучивается из-за высокой гибкости модели и поэтому, уменьшая гибкость модели мы делаем её менее склонной к переобучению. Важно правильно выбрать коэффициент регуляризации, сделав его не слишком большим, так как в этом случае нейронная сеть может стать слишком не гибкой и не будет способна выучить те сложные закономерности, которые есть в тренировочном наборе данных, и не являются шумом, то есть, наличествуют в общем распределении данных (Geмron, 2017).

Другим методом регуляризации применяемым в нейронных сетях является dropout. Данный алгоритм также как и L2 регуляризация направлен на предотвращение переобученности нейронной сети, но он основан на принципиально другой идее. Регуляризация dropout, в отличии от L2 регуляризации, не изменяет уравнение ошибки нейронной сети. Смысл dropout в том, что он предотвращает переобученность не давая нейронам одного слоя нейронной сети слишком сильно зависеть от отдельных нейронов предыдущего слоя. Это достигается за счет того, что dropout случайным образом выбрасывает часть нейронов на каждом предсказании и высчитывании градиент-вектора соответственно во время обучения нейронной сети. Вероятность того, что нейрон в определенном слое будет выброшен из шага предсказания и распространения ошибки определяется человеком как гиперпараметр при обучении. Таким образом, dropout не позволяет нейронной сети давать очень значительные веса только небольшому числу нейронов из предыдущего слоя по отношению к слою веса которого рассматриваются (Geмron, 2017). Ведь, если текущий слой будет сильно зависеть от нескольких нейронов, которые будут регулярно недоступны из-за того, что они выкинуты, то ошибка нейронной сети будет очень большой. Вследствие чего алгоритм оптимизации вынудит рассматриваемый слой нейронной сети увеличить веса для других нейронов, так как градиент-вектор будет подсчитан без выброшенных нейронов, то есть, случайный набор нейронов будет отсутствовать на каждом шаге обучения нейронной сети. Таким образом, интуиция за регуляризацией dropout может быть подкреплена идеей диверсификации инвестиционного портфеля с целью уменьшения рисков за счёт уменьшения зависимости общего результата инвестиций от отдельных бумаг. Но в данном случае это уменьшение зависимости нейронов одного слоя от отдельных нейронов предыдущего слоя, что делает нейронную сеть менее склонной к выучиванию конкретных явных паттернов.

Оба алгоритма регуляризации применяются при обучении нейронных сетей, хотя Batch Normalization и несколько уменьшил их практическую необходимость. Dropout наиболее эффективно показывает себя в применении нейронных сетей для анализа изображений, так как там зачастую интересующее нас предсказание не зависит от контекста, в котором находится распознаваемый объект. А значит, этот контекст, например фон на котором находится интересующий нас объект или наличия других, не интересующих нас объектов на изображении, не должен влиять на предсказание нейронной сети. В своем исследовании я планирую проверить гипотезу о том, что регуляризация L2 значительно больше, чем dropout, подходит для задач в социологическом контексте, в частности для предсказания типа структуры ценности человека. Для этого, даже если нейронные сети не будут переобучены, я применю оба этих типа регуляризации к одними тем же нейронным сетям, попробовав разными гиперпараметры регуляризации: коэффициент регуляризации L2, вероятность каждого отдельного нейрона быть выброшенным в случае dropout. Основание для моей гипотезы о большей актуальности L2 регуляризации в социологическом контексте является теоретическое рассмотрение работы этих алгоритмов и идея того, что в социологическом контексте, может быть очень важным, и как правило таковым и является, зависимость предсказания от конкретного набора факторов, которые репрезентует себя в значениях конкретных нейронов. Таким образом, выбрасывание этих нейронов, от которых совершенно справедливо зависит некоторое предсказания, практически не завися от других нейронов, - может очень пагубно отразиться на качестве обучения и итоговом качестве предсказаний нейронной сети, которая, по моей гипотезе, не сможет полноценно выучить нужные закономерности в данных.

Схема поиска оптимальных гиперпараметров и тестирования точности