Нейронные сети как инструмент прогнозирования ценностной структуры индивида

Принципиально важной процедурой в моем исследовании является поиск оптимальных гиперпараметров архитектуры всех моделей предсказания, которое подразумевает постоянную проверку точности на независимом наборе данных, а также тестирование финальной точности предсказаний моделей с лучшими архитектурами. Результаты должны быть статистически достоверными и максимально сильно исключающими фактор случайности. Для этого важно использовать лучшие практики отслеживания, проверки и тестирования качества работы моделей, включая отслеживание переобученности параметров, а также случая, когда гиперпараметры были подобраны так, что максимизировать результат на независимом наборе данных, на котором проверяется качество работы моделей. Далее я по порядку разберу возможные проблемы и особенности обучения моделей и, добавляя шаги по решению этих проблем, обосную дизайн схемы проверки и тестирования качества работы моделей, которую я использую в своем исследовании. Сразу скажу, что моя схема не является чем-то уникальным, придуманным для данного исследования, а скорее классическим и очень академическим подходом к анализу качества работы статистических моделей (Maslova, Shlyakhta, Yanitskiy, 2019, с. 5).

Любая статистическая модель, которая обучается в рамках обучения с учителем, обязательно обеспечивается набором данных для обучения: состоящем из факторов предсказания целевой переменной и правильных ответов целевой переменной для каждого случая (Maslova et al., 2019, с. 1). Первый вопрос, это почему мы не можем обойтись только этим тренировочным набором данных при анализе качества работы модели? Проблема заключается в возможности переобучения модели по отношению к конкретному набору данных. Под переобученностью в машинном обучении понимается выучивание моделью паттернов предсказаний, которые характерны исключительно для тренировочного набора данных, но не для всего генерального распределения откуда были получены данные. Это значит, что модель для предсказания выучивает закономерности являющиеся шумом, который есть в тренировочном распределении данных. Таким образом, когда мы смотрим на ошибку предсказания модели на тренировочном наборе данных мы не можем быть уверены, что этот показатель сохранится на других данных того же генерального распределения. Может быть ситуация, что модель научилась предсказывать на только по правилам, которые сохраняются на всей генеральной совокупности, но и по шуму, который специфичен для тренировочного набор данных.

Чтобы решить данную проблему можно разделить имеющиеся данные на две непересекающихся части: тренировочный набор данных, на которых учится модель и валидационный набор данных, не участвующий в обучении, на котором мы оцениваем реальную ошибку модели на генеральном распределении. Это позволяет сравнивать ошибки на двух наборах данных, и если ошибка на валидационном наборе существенно превышает ошибку на тренировочном наборе данных, то скорее всего имеет место переобучение модели (Maslova et al., 2019, с. 5).

Другим объяснением может быть то, что валидационный набор данных не репрезентативен относительно генеральной совокупности. Как правило валидационный набор берется как доля от всех имеющихся данных случайным образом и проблема нерепрезентативности стоит, когда исследователю не повезло со случайным разбиением данных, вероятность чего сильно повышается, когда валидационный набор слишком мал по размеру и является нерепрезентативным с высокой вероятностью. Очевидным решением является увеличение размера валидационного набора данных. Проблема этого решения в том, что увеличивая валидационный набор мы уменьшаем тренировочный набор данных, что может вести к потери важной для предсказания информации и общему ухудшению качества модели. Поэтому существует компромисс между разбиением этих данных: неуверенность в достоверности результатов на валидационном наборе данных или неуверенность, что вся важная для предсказания информация наличествует в тренировочном наборе данных.

Частичным решением этой проблемы, которое возможно, когда мы тренируем сравнительно небольшие модели на сравнительно небольших данных, является многократная схема валидации. В этом случае, мы несколько раз независимо проводим следующее действие: случайно разбиваем данные на тренировочный и валидационный наборы, обучаем модель и фиксируем точность на валидационном наборе данных (Geмron, 2017). Затем в качестве единой метрики ошибки модели мы берем среднее значение ошибок на валидационном наборе по всем независимым экспериментам для модели с этой архитектурой. Кроме того, на основе вариативности значений точности на валидационном наборе мы можем сказать о том достаточна ли выбранная доля валидационного набора от всех имеющихся данных для обеспечения репрезентативности всех данных, - если вариативность не высокая, то скорее всего размер валидационных данных достаточен.

Мое исследование, по объему используемых данных и сложности моделей, позволяет использовать такую многократную валидационную схему для анализа качества работы моделей с разными гиперпараметрами и проверки модель на переобученность. Чтобы исключить возможность различных случайностей я применю 5-кратную схему валидации, что является большим показателем и качественным стандартом в области анализа данных.

Следующим большим вопросом является то, почему результата ошибки или точности на валидационном наборе данных может быть не достаточно, чтобы говорить о полностью достоверных результатах? Причина этого в том, что при обучении и оценки точности большого количества архитектур есть риск появления другого типа переобученности модели, но переобученности уже не параметров, которые автоматически находятся в процессе обучения, а гиперпараметров, то есть, тех характеристик модели, которые определяются человеком. Для нейросетей это количество слоев и количество нейронов в каждом из них, применение batch normalization и силы применение методов регуляризации. Может так получиться, что модель показывает наиболее высокие результаты на валидационном наборе данных, не потому, что данные гиперпараметры самые лучшие и точность на валидационной выборке неоспорима, а потому что мы подобрали такие гиперпараметры с которыми модель работает лучше всего на валидационном наборе данных. По сути, подбор гиперпараметров является эволюционным алгоритмом, когда гиперпараметры подбираются почти случайно или опираясь на интуицию, а затем остаются те, что показали себя лучше всего. Этот алгоритм может также привести к переобученности гиперпараметров по отношению уже к валидационном данным, что означает, что мы не можем полностью полагаться на ошибку модели с лучшими гиперпараметрами на валидационном наборе данных для оценки её точности.

Решением этой проблемы является выделение еще одного набора данных, который не пересекается с тренировочным и валидационным наборами, и называется тестовым. На нем мы единоразово измеряем финальную точность модели с лучшими гиперпараметрами, чтобы избежать искусственного подбора гиперпараметрами и манипулирования результатами работы модели. Подразумевается, что данный набор должен быть репрезентативен относительно генеральной совокупности (Maslova et al., 2019, с. 5).

В моем случае, проблема наличия риска переобученности гиперпараметров под валидационный набор данных, от части, решается многократной валидационной схемой, так как модель с меньшей вероятностью переобучится под случайно варьирующийся набор данных. Но все же, чтобы соблюсти максимальную академичность и последовательность в получаемых результатах, я последую принятому стандарту и выделю репрезентативный набор данных как тестовый, на котором буду единоразово тестировать модель каждого типа с лучшими гиперпараметрами, чтобы определить финальную точность предсказания. Сравнение моделей классификаций разного типа будет осуществлено также по этим показателям. Все модели классификации в моем исследовании будут анализироваться по единой схеме: сначала поиск гиперпараметров по 5-кратной валидационной схеме, затем тестирование точности модели классификации с лучшими гиперпараметрами на тестовом наборе данных. В итоге, разработанная схема валидации моделей и тестирование финальной точности позволяет с высокой уверенностью получить достоверные результаты как по настройке нейронных сетей, так и предсказательной силе сравниваемых методов классификации, что дает надежду на их полезное применение другими исследователями.

Степень разработанности проблемы

Нейронные сети уже сравнивались с более популярными методами в эмпирических социальных исследованиях. Из-за их свойств моделировать нелинейные связи и значительно большой устойчивости к шуму, чем у логистической регрессии, их сравнивали с этим методом для предсказания политического выбора на основе нескольких наборов данных и они показали лучший результат, чем логистическая регрессия во всех случаях, хотя где-то он был статистически не значим (Zeng, 1999). Ограничением данного исследования является то, что не было приведено другого очень популярного алгоритма: дерево решений, а также то, что он относится именно к политической сфере, которая существенно отличается общностью от более общего социологического контекста: человеческих ценностей и разнообразных предикторов. Также, в данном исследовании не дается рекомендаций по архитектуре нейронной сети. Положительные результаты исследования, а также новые инструменты создания и оптимизации нейросетей, появившиеся более чем за 20 лет, мотивируют проводить подобные и более обширные по набору методов сравнения в социологическом контексте.

Искусственная нейронная сеть, как универсальная и гибкая статистическая модель со множеством преимуществ по сравнению с другими моделям, - была рассмотрена в книге, посвященной применению нейронных сетей в социальных науках (Garson, 1998). Большая часть изложения построена на рассмотрении ИНС на теоретическом уровне как модели обладающей рядом преимуществ по сравнению с традиционными методами обучения с учителем, применяемых в экономики, политологии и социологии. Иллюстрация преимуществ нейронной сети включает демонстрацию исследований в области экономики: предсказание агрегированных национальных расходов на образование, а также предсказания рынка нефтяных танкеров (Garson, 1998, с. 161). В одном случае, ИНС показали себя лучше регрессии, а в другом лучше временных рядов соответственно. Другим примером является исследование в области психологии, где нейросети эффективно применяются для моделирования и воспроизводства человеческого поведения при распознавании паттернов (Garson, 1998, с. 162). Четвертый пример в книге является уже рассмотренным более детально сравнением ИНC и логистической регрессии в политическом контексте.

Примечательно, что в рассмотренных примерах применения нейронных сетей отсутствует пример из чисто социологического контекста, но самой главной проблемой является отсутствие конкретных рекомендаций по архитектуре нейронных сетей в социологическом контексте, которые были бы получены на основе системного анализа архитектур в применении к выбранной задаче. Также, отсутствуют конкретные метрики и числа, которые демонстрируют в каком отношении и насколько именно ИНC оказывались эффективнее методов, с которыми они сравнивались. Я постараюсь внимательно и методично решить перечисленные недостатки в своем исследовании, чтобы максимизировать полезность полученных методологических выводов для других исследователей.

Удивительно, но после рассмотренных публикаций конца 90-х практически отсутствуют популярные статьи или книги, которые бы рассматривали применение нейронных сетей в контексте социологических исследований, что говорит о малом интересе социологического научного сообщества к этому методу, и, как выразился автор статьи 1995 года с применением нейронных сетей для выработки строгих социологических теорий, - «необоснованному игнорированию этого стандартного метода компьютерных наук социологами» (Bainbridge, 1995). У меня создалось такое же впечатление после обзора литературы и не очень успешного поиска современных применений нейронных сетей в социологии, но я уверен, что текущее игнорирование нейронных сетей социологическим сообществом, - это затишье перед бурей.

Программа исследования

Исследовательский вопрос

Является ли нейронная сеть более точной прогностической моделью в случае прогнозирования структуры ценностей человека на основе большого числа факторов, не являющихся ценностями, чем более традиционные модели классификации в контексте социологических исследований?

Цель исследования

Сравнить предиктивную способность искусственных нейронных сетей и традиционных моделей классификации в социологии (логистическая регрессия, дерево решений, случайный лес), а также вывести рекомендации по настройке архитектуры нейросети как модели прогнозирования на большом наборе факторов в социологическом контексте

Задачи исследования и гипотезы

Задача 1. Выявить типы структур ценностей человека в пространстве 10 ценностей человека по Шварцу.

Гипотеза: оптимальное количество типов структуры ценностей человека не превысит 7 типов (на основе сравнения с аналогичной задачей в другом исследовании с поправкой на количество наблюдений).

Задача 2. Выявить оптимальные гиперпараметры моделей классификации и сравнить эффективность методов регуляризации нейронных сетей: L2 и dropout

Гипотеза: регуляризация L2 окажется лучше, чем dropout, - так как не будет разрушать формирование нелинейных связей между слоями нейронной сети Задача 3. Оценить точность прогнозирования типов структур ценностей человека моделями классификации каждого типа с лучшими гиперпараметрами и сравнить результаты.

Гипотеза: ИНС будет прогнозировать тип структуры ценностей людей с самой высокой точностью по сравнению с другими моделями: превысив точность логистической регрессии и дерева решений не менее чем на 10% и 5% соответственно.

Объект исследования

Применимость нейросетей и традиционных социологических методов классификации для предсказания структуры ценностей человека

Предмет исследования

Точность классификационных моделей и оптимальные гиперпараметры нейросети при предсказании типа структуры ценностей человека

Табл. 1 Операционализация основных концептов исследования

Концепт	Интерпретация	Индикаторы
Структура ценностей человека	Комбинация 10 значений ценностей человека по Шварцу	21 порядковая переменная для измерения ценностей Шварца, используемая в опросах ESS, которая имеет 6 ступеней градации.
Большой набор не ценностных предикторов	Большое количество предикторов, симулирующее ситуацию наличия большого количества данных, не отражающих ценности напрямую	188 индикаторов, из всех блоков ESS, кроме ценностей, которые являются: либо интервальными, либо порядковыми, либо бинарными номинальными, а также имеют не менее 50% заполненных ответов. Порядковые переменные в данных ESS имеют градации в диапазоне от 4 до 11 ступеней: наиболее распространены 5-и, 6-и, 7-и и 11-и ступенчатые градации, а также присутствуют набор 4-х ступенчатых и две 9-ступенчатые порядковых переменных.
Точность предсказания структуры ценности человека	Является показателем, отражающим качество работы модели, на основе именно этого показателя модели сравниваются между собой	Определяется единоразовой оценкой на тестовой выборки для единственной модели каждого типа (логистическая регрессия, дерево решений, случайный лес, нейросеть), гиперпараметры которой имеют наибольшее среднее значение точности предсказания на 5-ти кратной валидации

Информационная база исследования

Эмпирический объект

Население европейских стран старше 15 лет включенное в 9-ю волну ESS, версия 1.1.

Выборка

Агрегированная выборка 9 раунда ESS, включающая 36015 наблюдений из 19 европейских стран. Также методология ESS включает два веса: весь населения и вес дизайна выборки.

Метод сбора данных

Анализ вторичных данных - 9-я волна ESS, версия 1.1.

Методология

Обработка данных

Для получения максимального числа предикторов, я отбираю все переменные, которые можно принять за порядковые или интервальные, включая номинальные с 2 вариантами ответа. Решение об отсеивании номинальных переменных с числом классов больше двух, вместо создания фиктивных переменных на их основе, связано с рядом веских оснований: небольшое число этих переменных, их скорее справочный характер в рамках данных ESS, так как данные стороны респондента как правило описаны более подходящими для количественного анализа и едиными для всех респондентов переменными, а также тем, что в подавляющем большинстве случаев эти номинальные переменные включают в себя действительно огромное число классов. Например, только для одной переменной это может быть 99 классов значений со всевозможными классификациями, например, родов деятельности для респондента, а затем аналогичные переменные для его членов семьи, что порождает несколько сотен фиктивных ненаполненных переменных, с минимальной полезностью для предсказания, так как эта сторона жизни респондента освещается в других, более осмысленных и подготовленных для количественного анализа переменных.

Это актуально для всех мульти классовых номинальных переменных, например: десятки религиозных конфессии в каждом отдельном регионе исследования, десятки названий конкретных партий в конкретном регионе исследования, и так далее, при том, что как вопросы религии, так и вопросы политической ориентации уже описаны более емкими и едиными для всех респондентов переменными. То есть, фиктивные бинарные переменные на основе небольшого числа мульти классовых номинальных переменных были бы пустыми или мало наполненными, а за счет наличия других аналогичных и более емких переменных и огромного числа классов внутри этих номинальных переменных. Это не добавило бы полезной для предсказания информации, зато как минимум в несколько раз расширило формальное количество переменных, осложнив обучение моделей и создав ложно впечатление о размере имеющихся данных. Таким образом, я взял практически всю информацию, которая хоть как-то может быть полезна при предсказании, при этом избежав пустого раздувания набора данных огромным числом фиктивных переменных, что полностью соответствует целям моего исследования.

Затем, убираю из анализа переменные с менее чем 50% заполненных значений (18008 валидных значений) и заполняю пропуски в каждой оставшейся переменной самым частым для нее значением, чтобы данные не содержали пропусков. Выбор метода импутации, то есть, заполнения пропусков по значению моды для данного фактора и наблюдений связан с тем, что большинство переменных являются порядковыми, а не интервальными, что делает использование методы импутации по средним значениям не очень корректным. Также нежелание использовать другие сложные методы импутации, связанные, например, с поисками корреляций и регрессий внутри данных из-за очень большого числа факторов, для которых нужно было строить такие модели, что в целом является ограничением для таких методов импутации пропусков в ситуациях сравнительно больших данных. В ситуации больших данных, к которой я стараюсь максимально приблизиться, нельзя ожидать, что все переменные будут заполнены полностью корректно и не иметь пропусков, что также обосновывает мой выбор порога отсева по пропускам и метода заполнения пропусков.

Расчет значений ценностей на основе индикаторов

Так как ценности по Шварцу являются латентными переменными, - они измеряются 21 индикатором ценностей в соответствии с методологией используемой в исследованиях ESS. Поэтому, прежде чем выявлять типы структур ценностей, необходимо вычислить 10 ценностей на основе 21 индикатора. Это будет сделано по методологии, которая подробно описана для ESS Шварцом, и завязана на вычислении средних по соответствующим ценностям индикаторам, а также вычитания среднего балла, который респондент дает по всем ценностям для нормализации на общую склонность завышать или занижать респондентом свое отношение к предметам измеряемым индикаторами ценностей (Schwartz, 2004).

5. Выявление типов структуры ценностей

Чтобы выявить типы структур ценностей человека, я кластеризирую наблюдения в 10-мерном пространстве ценностей по Шварцу с помощью алгоритма K-Means, взвешивая данные при кластеризации, в соответствии с методологией ESS, с помощью двух весов: веса размера населения и веса дизайна выборки. Затем выбирается оптимальное количество кластеров выбирается на основе анализа динамики инерции, значения оценки силуэта, наполненности кластера и интерпретируемости кластеров. Интерпретация центроидов полученных кластеров и будет характеризовать типы структуры ценностей на основе модели кластеризации.

Модели классификации

Чтобы предсказать типы структуры ценностей человека, основанные на большом наборе почти 200 не значащих факторов, я обучаю, ищу оптимальные гиперпараметры и сравниваю следующие модели классификации:

логистическая регрессия

дерево решений

случайный лес

ИНС

Метрика качества модели

Точность прогнозирования, т. е. отношение правильных прогнозов ко всем сделанным прогнозам, - является единой метрикой оценки прогностической силы для всех моделей в моем исследовании.

Разделение данных и схема поиска оптимальных гиперпараметров

Изначально данные разделяются на тестовые и тренировочно-валидационные в отношении 10% и 90% соответственно. Тестовая выборка должна быть репрезентативна относительно всех имеющихся данных, разбиение 36015 наблюдений в такой пропорции обеспечивает репрезентативность общих данных тестовой выборкой на уровне с доверительной вероятностью 99%, и с доверительным интервалом ± 2.5%. Такое разбиение, с одной стороны, обеспечивает очень высокую репрезентативность имеющихся данных в тестовом наборе, чтобы полученные финальные значения точностей предсказаний были валидны, а с другой стороны, не слишком сильно лишает сравниваемые модели ценных тренировочных данных. Тестовый набор данных откладывается для финальной единоразовой оценки качества моделей каждого типа с лучшими гиперпараметрами. Тренировочно-валидационные данные используются для поиска оптимальных гиперпараметров моделей и сравнения методов регуляризации ИНС.

Чтобы выбрать наилучшие гиперпараметры для каждой модели, я строю надежную схему проверки - 5-кратную валидационную схему: каждая модель с уникальными гиперпараметрами обучается 5 раз, каждый раз на случайном наборе, состоящем из 90% тренировочно-валидационных данных, т.е. из 81% исходного размера всей совокупности данных, что также обеспечивает высокую репрезентативность всех данных на уровне тестового набора. А ее точность измеряется на случайном, непересекающемся с тренировочным, проверочном наборе данных, который состоит из оставшихся 10% от тренировочно-валидационных данных. Затем вычисляется средняя точность по 5 показателям точности от 5-кратной валидации и связывается с конкретным набором гиперпараметров для данной модели. На основании результатов валидационной точности будут получены оптимальные гиперпараметры для каждой модели, а получены выводы о эффективности методов регуляризации ИНС и рекомендации по гиперпараметрам ИНС.

Оценка и сравнения качества моделей каждого типа

После выбора наилучших комбинаций гиперпараметров для четырех моделей окончательная точность измеряется на первоначальном тестовой выборке. Это делается единоразово и только одной моделью каждого типа, чтобы избежать искажения результатов сравнения.

Ограничения исследования

Результаты сравнения моделей и рекомендации по настройки ИНС получены на основе конкретного набора данных ESS и в условиях конкретной постановки задачи. Это является принципиальным ограничением исследования, а именно той степени, в которой результаты как по сравнению моделей, так и рекомендации по настройки гиперпараметров ИНС могут быть перенесены на другие задачи, включая ситуацию больших данных.

С другой стороны, очень важно подчеркнуть: во-первых, выбор гиперпараметров в ИНС и любой другой сложной модели всегда является уникальным процессом для каждой отдельной задачи, во-вторых, знание об оптимальности тех или иных гиперпараметров ИНС в разных областях применения и задачах, - основывается на эмпирическом опыте. Таким образом, фундаментальные ограничения исследования невозможно полностью преодолеть, но можно сократить вероятность ошибки выводов, проведением все большего количества экспериментов с применениями нейросетей в социологическом контексте.

В своем исследовании, я стараюсь максимально системно исследовать вопрос эффективности ИНС по сравнению с другими моделями классификации и поиска оптимальных гиперпараметров ИНС, чтобы максимизировать вероятность полезности полученных выводов для других задач в социологическом контексте, а также, чтобы упростить воспроизводство результатов моего исследования и сравнения с результатами других исследований.

Анализ данных и результаты исследования

Инструменты анализа данных

Я выбрал язык Python в качестве основного инструмента анализа данных, и весь анализ был проведен на нем. Этот выбор обусловлен широким наличием библиотек, а также гибкостью и ясностью понимания происходящего, которую дает программирование по сравнению с программами анализа данных с уже запрограммированными функциями.

В качестве среды я использовал Kaggle notebooks. Kaggle крупнейшая платформа аналитиков данных и инженеров машинного обучения, а Kaggle notebooks являются удобной средой проведения анализа данных, из-за предоставления бесплатных CPU и GPU мощностей, а также из-за наличия широкого спектра предустановленных библиотек. Кроме того, Kaggle notebooks прекрасно подходят для того, чтобы делиться результатами и воспроизводить их.

В качестве библиотеки для предобработки данных используется pandas, так как ESS данные являются структурированными, то есть, представляются в виде таблицы. Для визуализации я использую библиотеки matplotlib, которая является стандартной библиотекой для визуализации в Python, а также seaborn, которая позволяет строить более элегантные по дизайну графики, например heatmap. В качестве библиотеки для кластеризации, а также построения традиционных моделей классификации я использую популярную библиотеку для анализа данных sklearn. Также, с помощью неё проводится построение 5-кратной валидационной схемы для традиционных методов классификации: логистический регрессии, дерева решений и случайного леса.

Для построения нейронных сетей я использовал tensorflow версии выше 2.0, которая является одной из самых популярных библиотек для машинного обучения в мире, значительно автоматизирующая процесс построения, обучения и тестировать нейросетевых моделей. Чтобы ускорить и автоматизировать построение и обучение модели, применения 5-кратной валидационной схемы и тестирование точности, я написал ряд дополнительных функций на основе tensorflow, которые позволили значительно сократить количество сил, нужных на всю работу с нейросетями.

Предобработка данных

Прежде чем приступать к анализу, я коротко поясню алгоритм действий по подготовке данных ESS 9 волны, которые были скачаны с официального сайта ESS (https://www.europeansocialsurvey.org) в формате .sav для SPSS. Так как абсолютно всю работу данных я решил провести на Python, я сохранил базу ESS9 в формат .csv, для простой выгрузки с помощью библиотеки pandas.

Затем я отобрал все переменные, которые можно принять за порядковые или интервальные, включая номинальные с 2 вариантами ответа и сгруппировал их названия в списки по общности кодировки пропущенных значений в этих переменных, чтобы упростить дальнейшую предобработку. Также, я отобрал 21 переменную индикатор ценностей Шварца, на основе которых будет выявлены 10 ценностей по Шварцу, а уже на их основе целевая переменная: тип структуры ценностей человека. И 2 переменных веса для их использования в кластеризации: вес дизайна исследования и вес размера населения.

Затем я перекодировал все пропуски из числового формата в NaN и убрал из анализа переменные с менее чем 50% заполненных значений (18008 заполненных значений в абсолютном выражении). Так как не существует какого-то единого подхода к установлению порогов отсева переменных в зависимости от доли пропусков, так как это зависит от задач исследования или проекта, объема и особенностей данных, а также других факторов, то я поступил из соображений сохранения полезной информации и потребностей моего исследования. Далее, я заполнил пропуски в каждой переменной самым частым для нее значением, что является одним из наиболее популярных методов импутации, чтобы данные не содержали пропусков и могли использоваться в дальнейшем анализе и сохранил новую базу данных.

Несмотря на традиционные ограничения по импутации данных в социологическом анализе, эта операция необходима в данном контексте для достижения наилучшей предсказательной силы. Также, эта операция необходима в любых других задачах со сравнительно большими данными, где целью является достижение наибольшей предсказательной силы, так как отказ от импутации приводит к потере потенциально полезной информации в виде либо факторов, либо наблюдений, а ее использование, даже если и не поможет предсказанию, не вредит ему, потому что модели просто не придадут веса этим параметрам, как мало полезным для предсказания. Удаление данных было бы болезненным с точки зрения потери информации, так как все факторы с пропусками на уровне 50% или выше уже были удалены, поэтому при удалении как наблюдений, так и факторов, произошла бы существенная потеря полезной информации.

В общем, как уже было сказано в методологии исследования: как порог отсева переменных, так и метода заполнения пропусков соответствует тому контексту сравнительно больших данных, который я стремлюсь создать в своем исследовании. Получилось 36015 наблюдений и 211 переменных: 188 факторов для предсказания типа структуры ценностей, 21 индикатора ценностей для дальнейшего расчета 10 ценностей и 2 переменные весов.

Вычисление 10 ценностей Шварца на основе 21 индикатора

Следующим важным шагом для получения целевой переменной - типа структуры ценностей человека, является получение значений для 10 ценностей человека по Шварцу на основе 21 индикатора по шкале от 1 до 6, используемого в опроснике ESS. Данная операция производилась в строгом соответствии с методологией, которая была написана Шварцом и представлена на сайте ESS (Schwartz, 2004).

Каждой из 10 ценностей соответствует два или три, как в случае ценности «универсализм», определенных индикатора. Таким образом, 9 * 2 + 1 * 3 = 21 индикатор, то есть, каждый индикатор используются в расчете только одной ценности. Чтобы рассчитать значение ценности для человека нужно просто взять среднее по соответствующим конкретной ценности индикаторам.

Также Шварц описывает проблему, которая обуславливает важность еще одного шага. Различные индивиды имеют разные внутренние представления о том, какой балл соответствует одного и того же отношения к предмету, измеряемого индикатором. То есть, люди по разному и субъективно используют шкалу ответов по ценностям (Schwartz, 2004). Поэтому, для проведение корректного анализа необходимо центрировать ответы, вычитая среднее значение для респондента по 21 индикатору ценностей. Важно, что затем нельзя нормализовывать ответы, так как потеряется важная информация о различиях дисперсий между людьми по отношению к набору индикаторов и ценностям соответственно.

Таким образом, я рассчитал среднее по индикаторам ценностей для каждого респондента как переменную mrat. Затем для расчета ценностей, брал среднее по соответствующим индикаторам и вычитал mrat, получая значения для 10 ценностей, которые названы переменными: 'conformity', 'tradition', 'benevolence', 'universalism', 'self_direction', 'stimulation', 'hedonism', 'achievement', 'power', 'security'. После чего я убрал индикаторы из базы из-за их дальнейшей ненадобности и сохранил новую базу данных.

Задача 1. Выявить типы структур ценностей человека в пространстве 10 ценностей человека по Шварцу.

Распределение ценностей Шварца среди респондентов ESS 9

Прежде чем переходить непосредственно к кластеризации наблюдений в пространстве ценностей, я провел небольшой разведывательный анализ 10 ценностей по Шварцу на моей выборке: посмотрел и описал характер распределения респондентов по каждой из ценностей, а затем визуализировал их линейную взаимозависимость в соответствии с теорией Шварца с помощью метода анализа главных компонент.

В целом, параметры распределения ценностей очень сильно варьируется, как по степени их нормальности, так и по среднему значению. Далее я коротко рассмотрю ценности, с визуализацией графиков распределения, на которых отражены относительная плотность для небольших интервалов значений ценностей, а также аппроксимирована общая функция плотности для каждой ценности. Я постарался сгруппировать графики по парам ценностей, со сравнительно схожими типами распределений значений по выборке. Для построения графиков была использована библиотека seaborn.

Рис. 3 - Распределения для ценностей “универсализм” и “стимуляция”



Универсализм является примером ценности, которая выражена в очень разной и неравномерной степени между людьми, что можно видеть по относительной доминации отдельных интервалов значений, отстоящих друг от друга. Это может объясняться как тем, что она подсчитана на основе 3 индикаторов, а не 2 как все остальные ценности, что дает такое рваное распределение, так и тем, что эта ценность в большей степени, чем другие, выражена у человека либо в одну, либо в другую сторону. В целом, она выражена сравнительно слабо у людей, так как центр распределения находится примерно на -0.7 баллах. Стимуляция или стремления к новому также сильно разнится в распределении, но она более важна для людей, так как центр распределения приходится примерно на +0.7 баллов.

Рис. 4 - Распределения для ценностей “конформность” и “гедонизм”

Ценности конформность и гедонизм имеют центры распределения, примерно, на 0.1 и 0.3 баллах соответственно, то есть, они выражены чуть сильнее среднего, а также имеют достаточно ровные распределения. В случае гедонизма, присутствует достаточно длинный хвост, который тянется до 3.5-4 баллов, что, с учетом центрирования, является практически максимальным возможным значением для ценности. То есть, существует довольно большая группа людей, которым очень свойственно получение удовольствие, как крайне выраженная жизненная ценность.



Рис. 5 - Распределения для ценностей “безопасность” и “самостоятельность”

Безопасность и самостоятельность являются ценностями, выраженными меньше среднего среди респондентов ESS 9 волны, имея центры распределений на примерно -0.5 балла. Распределение самостоятельности сильно промежуточно варьируется, что говорит о том, что эта ценность может быть важна для довольно большой группы людей, а также мало важна для другой довольно крупной группы. Кроме того, такие скачки в распределении могут объясняться сильным отличием в распределениях ответов по двум индикаторам, которые измеряют ценность самостоятельности.

Рис. 6 - Распределения для ценностей “благожелательность” и “традиция”

Благожелательность имеет достаточно ровное распределение, но эта ценность выражена сильно меньше среднего и имеет центр распределения примерно -0.75 балла. Традиция также выражена меньше среднего с центром распределения равным примерно -0.2 балла. Также есть крупная группа людей, у которых выраженное низкое значение этой ценности: примерно на уровне -0.65 балла.

Рис. 7 - Распределения для ценностей “достижение” и “власть”

Власть является одной из самых сильно выраженных ценностей среди 10 ценностей Шварца, имея среднее значения распределения примерно 1 балл, а также имея не очень ровное распределение по интервалам, что говорит о том, что ценность стремления к власти сильно варьируется от человека к человеку, от группы к группе. Достижение является ценностью выраженной несколько сильнее среднего, со средним распределения около 0.2 балла. Также, есть выраженные группы людей на интервалах, примерно, от 1 до 1.15 балла и от 1.3 до 1.5 балла, что говорит о наличии крупных выделяющихся групп, для которых ценность достижения особенно важна.

Визуализация взаимозависимости ценностей Шварца с помощью анализа главных компонент

После краткого ознакомления с распределениями ценностей Шварца у респондентов ESS 9 волны, я сделал еще один шаг, прежде чем переходить к кластеризация и выявлению типов структур ценностей человека, - проверил линейную зависимость ценностей Шварца с помощью анализа главных компонент. В соответствии с теорией Шварца, ценности сильно связаны друг с другом и линейно зависимы, а также после процедуры центрирования по средней оценки респондентов индикаторов сжимается как минимум одна линейная ось (Schwartz, 2004).

Таким образом, применение анализа главных компонент (PCA) позволяет не только понять насколько связаны ценности между собой и как это согласуется с теоретическими посылками, но и интуитивно удостовериться в правильности проделанных мною шагов, связанных с получением центрированных значений ценностей на основе 21 индикатора.

Рис. 8 - Нагрузки главных компонент в пространстве ценностей Шварца

Как можно видеть на графике, последняя, 10 главная компонента или ось, действительно несет в себе 0% информации, как и было сказано в методологии по расчету центрированных ценностей на основе индикаторов, написанной Шварцом (Schwartz, 2004). Также, ценности сильно связаны между собой: первая главная компонента, то есть, одна оптимальная ось проведенная в 10 мерном пространстве ценностей, объясняет больше 30% общей дисперсии, а 3 первых главных компоненты объясняют свыше 60% общей дисперсии, что говорит о высокой ковариации ценностей и полностью согласуется с теоретическими посылками теории Шварца о том, что 10 ценностей связаны с друг с другом, а не полностью независимы (Schwartz, 2012), то есть, существенная доля информации 10-мерного пространства сохраняется в пространствах меньшей размерности.

Кластеризация и поиск оптимального количества кластеров

Для поиска типа структур ценностей человека я осуществляю кластеризацию наблюдений в пространстве 10 ценностей Шварца, взвесив данные, в соответствии с методологией ESS, с помощью двух предоставленных весов: веса размера населения и веса дизайна выборки. Координаты центров найденных кластеров будут характеризовать тип структуры ценностей человека, так как эти координаты и есть значения десяти ценностей Шварца для центроида выбранного кластера. Выбранное количество кластеров определяет количество типов структуры ценностей, полученных в итоге. Для кластеризации я применяю алгоритм K-Means, к которому был написан ряд вспомогательных функций для автоматизация процесса построения кластерных моделей с разным числом кластеров и сохранения всех релевантных данных по каждой модели.

Я запустил код для нахождения моделей кластеризации с количеством кластеров от 2 до 20, чтобы полно проанализировать результаты. 1000 шагов была выставлена в качестве максимального количества шагов алгоритма K-Means в случае каждой отдельной модели.

Рис. 9 - Количество шагов работы алгоритмы для разного количества кластеров



Как можно видеть по графику, количество шагов или итераций, потребовавшихся для остановки поиска оптимальных координат центроидов и кластерного распределения наблюдений в пространстве ценностей для любой из кластерных моделей не превышает 200. Это означает, что все модели сошлись и успешно закончили свою работу.

Для анализа модели с оптимальным количеством кластеров применяется ряд методов. Один из них - это анализ динамики падения инерции с добавлением в модель дополнительного кластера. Инерция в модели K-Means представляет суммарное расстояние наблюдений от центров своих кластеров. То есть, чем ниже инерция, тем плотнее лежат наблюдения в пространстве своих кластеров. Как правило, с добавлением новых кластеров инерция всегда падает, и, для анализа оптимального количества, смотрят на динамику этого падения, то есть, как меняется темп падения инерции с добавлением нового кластера по сравнению с темпом падения инерции от добавления предыдущих кластеров. Этот метод также называют «методом локтя», так как резкое падение с последующим резким выравниванием визуально напоминает сгиб руки в локте.

Рис. 10 - Динамика изменения инерции с ростом количества кластеров

На данном графике представлена динамика изменения инерции и как можно видеть уменьшение темпов падение не очень резкое: инерция существенно падает с добавлением 2-го, 3-го и 4-го кластера, хотя темпы видимо уменьшаются, от 4-го к 5-му кластеру изменение уже значительно меньше. А после 5-го кластера уменьшение становится очень плавном, что говорит о малой полезности каждого добавленного кластера после 5-го.

Рис. 11 - Размер падения инерции при добавлении нового кластера

Далее я визуализировал разницы в чистом виде, чтобы эту динамику можно было оценивать более наглядно. Как можно видеть, происходит огромное уменьшение инерции с добавлением второго кластера: примерно на 48000 единиц. С добавлением 3-го кластера инерция падает примерно на 24000 единиц, с добавлением 4-го примерно на 15000, а 5-го кластера только на 9000 тысяч. После 5-го кластера темп падения инерции падает очень постепенно. Предварительно, на основе только анализа инерции, можно сказать, что добавления уже 5-го кластера может является не очень оправданным, так как разница инерций при добавлении последующих кластеров падает не очень значительно, а значит с 5-го кластера начинается горизонтальная часть локтя.

Одним из самых популярных методов для выбора модели с оптимальным числом кластеров является метод оценки силуэта (silhouette score). Данный метод вычисляет статистику для готовой модели с определенным числом кластеров в заданном пространстве и наблюдениях и выдает значение оценки силуэта от -1 до 1. Это значение говорит об общей оценке силуэта кластеров относительно всех наблюдений, а именного того, насколько плотно наблюдения лежат внутри своего кластера, с одной стороны, и насколько они отделены от наблюдений, принадлежащих в другому кластеру, с другой. Интуитивно, оценка силуэта говорит о средней четкости или очерченности кластеров анализируемой модели и вычисляется на ином принципе, чем значение инерции кластерной модели, хотя также имеет дело с расстояниями в пространстве наблюдений (Rousseeuw, 1987).

Рис. 12 - Оценка силуэта (silhouette score) для моделей с кластерами от 2 до 10

На данном графике показаны значения оценок силуэтов моделей с количеством кластеров от 2 до 10. Как можно видеть, оно постепенно падает, но остается относительно высоким для моделей с 2, 3 и 4 кластерами, составляя 0.165, 0.145 и 0.137 соответственно. Для модели с 5 кластерами оно падает до 0.107. Таким образом, значения оценки силуэта подтверждают выводы, полученные на динамики инерции, о малой полезности добавления новых кластеров начиная с пятого. Для дальнейшего анализа я решил выбрать 3-х и 4-х кластерные модели, так как 2-х кластерная модель, мне кажется слишком примитивной, из-за того, что она включает только два типа структур ценностей.



Рис. 13 - Наполненности 3-х и 4-х кластерных моделей

Можно видеть, что в обоих моделях кластеры наполнены не очень равномерно, но в тоже время отсутствуют кластеры-гиганты или чрезвычайно маленькие ненаполненные кластеры. Представленные наполненности, учитывая знание об относительно высоких значениях оценок силуэта для данных моделей, отражают естественную структуру наблюдений в пространстве ценностей Шварца.

6. Интерпретация кластеров как типов структур ценностей человека

Определившись с выбором количества кластеров в модели, а именно взяв две модели на рассмотрение, что поможет сделать провести анализ независимо для двух случаев и сделать результаты исследования более однозначными, перейдем к интерпретации типов структур ценностей людей, как центров найденных кластеров. Для этого я построил карты теплоты для центров 3 и 4 кластеров в пространстве ценностей, что значительно упростит интерпретацию, сделав её более наглядной. Для построения карт теплоты также была использована библиотека seaborn.

Интерпретация кластеров в типы структур данных важна не только для общего понимания того, что кроется за индексом кластера или репрезентующим тип структуры ценностей, но и для дополнительной проверки валидности выбранных моделей, так как возможность интерпретировать кластеры в пространстве также является критерием проверки качества выбранных моделей.

Рис. 14 - Координаты центроидов 3-х кластерной модели в пространстве ценностей Шварца

Сначала я проинтерпретирую 3-х кластерную, затем 4-х кластерную модели. Индексы кластеров в моделях начинаются с нулевого. Выводы об относительно высоких значениях ценностей основываются на сравнении баллов этих же ценностей у других кластеров, а не чистом значении по оси данной ценности. Ведь на этапе рассмотрения распределений ценностей было выявлено, что разные ценности выражены в разной степени в целом.

Например, у 1-го кластера модели представленной ниже, высокая благожелательность со значением -0.4, но низкая ценность власти, хотя значения власти 0.38. Это связано с тем, что у нулевого и второго кластеров значения благожелательности значительно ниже, чем у первого (-1.1 и -0.99 соответственно), зато значения власти значительно выше (1.5 и 1.2 соответственно).

Второй тип структуры ценностей (первый кластер) характеризуется:

Низким стремлением к власти (0.38) и достижениям (-0.13)

Довольно высокими ценностями традиции (0.24), благожелательности (-0.4), универсализма (-0.22)

Второй тип описывает человека, не стремящегося к власти и достижениям, но желающим заботится о благополучии мира вокруг себя и ценящего счастье других людей. В целом, данный тип достаточно центристский, не очень выраженный, он же является самым наполненным.

Третий тип структуры ценностей (второй кластер) характеризуется:

Положительно выраженными ценностями стимуляции, т.е. полнота жизненных ощущений (1.5 балла), гедонизма (0.85), достижения (0.8), власти (1.2) и самостоятельности (-0.14)

Низкими значениями ценностей конформность (-0.38), традиция (-0.75), безопасность (-0.91)

Достаточно низкими значениями универсализма (-0.84) и благожелательности (-0.99)

Третий тип описывает человека стремящегося к новым ощущения и удовольствию, в том числе и через достижение ресурсов и власти, но пренебрегающими безопасностью, традициями и мнением окружающих.

Полученные три достаточно выраженных типа структур ценностей показывают хорошую степень интерпретируемости модели с 3 кластерами, а также, в общем, отражают распределение приоритетов между людьми в обществе, которое репрезентует выборка ESS. Перейдем к интерпретации модели с 4 кластерами.



Рис. 15 - Координаты центроидов 4-х кластерной модели в пространстве ценностей Шварца

Первый тип структуры ценностей (нулевой кластер) характеризуется:

Очень выраженными ценностями стимуляции, т.е. полноты жизненных ощущений (1.7) и гедонизма (1.5), достижения (0.8), власти (1.2) и самостоятельности (-0.14)

Очень низкими значениями ценностей конформность (-0.56), традиция (-0.79), безопасность (-1)

Первый тип структуры ценностей является очень выраженным и описывает человека стремящегося к новым ощущениям и удовольствию, которого мало волнуют социальные ограничения и забота о стабильности.

Второй тип структуры ценностей (первый кластер) характеризуется:

Очень выраженной ценностью конформность (1.3), традиция (0.6), безопасность (0.29) и власть (1.3)

Низкими значениями ценностей самостоятельности (-0.93), стимуляции (-0.26) и гедонизма (-0.41)

Второй тип структуры ценностей описывает человека стремящегося к стабильности, жизни следуя правилам общества, соответственно не стремящегося к новым впечатлениям, удовольствию и независимости. Этот тип структуры ценностей по смыслу практически противоположен первому типу.

Третий тип структуры ценностей (второй кластер) характеризуется:

Выраженными положительно значениями ценностей благожелательности (-0.4) и универсализма (-0.23)

Умеренными значениями по всем остальным ценностям

Третий тип структуры ценностей является центристским и описывает человека, который заботится об окружающем мире и благополучии общества вокруг себя, а в остальном проявляет себя достаточно нейтрально. Кластер характеризующий данный тип структуры ценностей наиболее наполнен, с достаточно сильным отрывом от остальных кластеров.

Четвертый тип структуры ценностей (третий кластер) характеризуется:

Очень выраженной ценностью власть (1.6) и достижение (1.3)

Низкими значениями ценностей благожелательности (-1.1) и универсализма (-0.96)

Четвертый тип структуры ценностей описывает человека стремящегося к достижению власти, ресурсов, и в то же время, не очень заботящимся о благополучии обществе и окружающего мира в целом.

По итогу, для 4-кластерной модели получились еще более выраженные кластеры, чем для 3-х кластерной, так как появилось три четких типа: конформисты, стремящиеся к влиянию и стремящиеся к удовольствию и новизне. В тоже время остался центристский, умеренно выраженный тип, который в случае 4-х кластерной модели вырос в относительной наполненности по сравнению с 3-х кластерной. По итогу, я удовлетворен полученными типами структуры ценностей человека, которые мне кажутся очень осмысленными. Кроме того, полученный результат объясняет значения оценок силуэтов для 3-х и 4-х кластерной моделей.

Также подтвердилась гипотеза о том, что оптимальное количество кластеров составит не более 7, которая была выработана в ходе обзора литературы, по аналогии со схожим исследованием с поправкой на различия выборках с моим исследованием.

Задача 2. Выявить оптимальные гиперпараметры моделей классификации и сравнить эффективность методов регуляризации нейронных сетей:

L2 и dropout.

Краткое обозначение для нейронных сетей

Для сокращения записи я ввел следующие краткое обозначение нейронной сети без применения к ней регуляризации: «Нейронная сеть [n1, n2, …, nk]», что обозначает нейронную сеть с k скрытыми слоями и количеством нейронном в них: n1, n2,..., nk соответственно. Например, нейронная сеть: [30, 20, 10] - это нейронная сеть с 3 скрытыми слоями с количеством нейронном 30, 20 и 10 в 1, 2 и 3 слое соответственно.

Результаты поиска оптимальных гиперпараметров для моделей классификации: предсказание 3 типов структур ценностей человека

Из-за достаточного количества данных логистическая регрессия не переобучалась, а никаких других гиперпараметров, кроме коэффициента регуляризации, для этой простой модели я не рассматривал. Поэтому для нет смысла искать гиперпараметры и в этой задаче она не представлена: ни в поиске для предсказания трех типов ценностей, ни в поиске для предсказания четырех типов ценностей. Она показала неожиданно высокие результаты, которые представлены в задаче 3.

...