Нейронные сети как инструмент прогнозирования ценностной структуры индивида

Ниже представлены таблицы с результатами очень объемного системного поиска оптимальных гиперпараметров для нейронных сетей. Они содержат результаты средней точности на тренировочном и валидационном наборах данных по результатам применения 5-папочной валидационной схемы к каждой модели. 

Табл. 2 Поиск гиперпараметров для нейронных сетей с одним скрытым слоем

Как можно видеть, результаты для нейронных сетей с одним скрытым слоем практически идентичны и немного увеличиваются для сети со 125 нейронами. Хотя отличие недостаточно большое, чтобы уверенно говорить, что оно не случайное.

Табл. 3 Поиск гиперпараметров для нейронных сетей с двумя скрытыми слоями

Для двух скрытых слоев точность нейронных сетей также мало варьируется: все значения точности на валидационном наборе данных лежат в интервала величиной менее 1% от 59.22% до 60%.

Табл. 4 Поиск гиперпараметров для нейронных сетей тремя скрытыми слоями

Нейронные сети с тремя слоями, в среднем, показывают наибольшие результаты, хотя разница в точности на валидационном наборе данных с другими архитектурами, как правило, в пределах 1%. Наилучший результат по точности предсказаний среди всех проверенных архитектур в рамках предсказания одно из трех типов структур ценностей, показала нейронная сеть с тремя скрытыми слоями со 100, 80 и 60 нейронами соответственно. Она будет использована для финальной оценки точности.

Табл. 5 Поиск гиперпараметров для нейронных сетей с четырьмя и более скрытыми слоями

Как можно видеть по результатам рассмотрения всех архитектур сетей, начиная с 1 скрытого слоя до нейронной сети с 9 скрытыми слоями, все нейронные сети показывают очень близкие результаты.

Далее представлены результаты поиска гиперпараметров дерева решений множественной классификации типа CRT, которое использовалось в моем исследовании (sklearn.tree.DecisionTreeClassifier). Важно пояснить, что в используемой библиотеки (scikit-learn) предусмотрены автоматические критерии выбора большинства гиперпараметров, и я варьировал только минимальное количество наблюдений, для создания нового узла дерева, так как остальные гиперпараметры находятся автоматически по специальным критериям.

Табл. 6 Результаты поиска гиперпараметров для деревьев решений

Оптимальным минимальным количеством наблюдений является 1000. Оно будет использовано для финального тестирования точности.

Случайный лес является ансамблевой моделью, то есть, состоит из набора моделей, которые являются деревьями решений построенными на различных частях данных. Эти деревья находятся автоматически, единственный важный гиперпараметр это количество деревьев решений из которых состоит случайный лес. Также, в силу особенностей этой модели ее точность на тренировочном наборе данных составляет 100% или значение близкое к этому. Такое очень сильное переобучение является характеристикой данного метода и их не имеет смысле замерять, поэтому представленные ниже результаты не содержат точности на тренировочном наборе данных.

Табл. 7 Результаты поиска гиперпараметров для случайного леса

Дальнейшее увеличение количества деревьев не дало бы существенного увеличения результата, что видно по динамике увеличения точности с ростом количества деревьев, а также заняло бы очень долгое время для обучения, поэтому я остановился на 200 деревьях в ансамбле случайного леса. Эта модель будет использована для финального тестирования точности.

7. Результаты поиска оптимальных гиперпараметров для моделей классификации: предсказание 4 типов структур ценностей человека

Проведя чрезвычайно объемный поиск архитектур нейронных сетей в предсказании 3 типов структур, который был нужен, чтобы убедиться в отсутствии таких нелинейных связей в данных, которые бы эффективно использовала отдельная нейронная сеть, а также показать стабильность нейронной сети вне зависимости от выбора архитектуры.

В предсказании 4 типов структур ценностей я обошелся проверкой сравнительно небольшого количества архитектур.

Табл. 8 Результаты поиска гиперпараметров для нейронных сетей

Как можно видеть, архитектура нейронной сети с наибольшей точностью на валидационном наборе данных представляет собой два скрытых слоя по 60 нейронов в каждом. Это архитектура будет использоваться для финальной оценки точности и сравнения с другими моделями.

Кроме того, я попробовал очень глубокую архитектуру с 14 слоями, чтобы точно убедиться, что нейронная сеть не обнаруживает никаких особенных связей, которые бы резко повысили точность предсказаний. В результате, данная модель чуть сильнее обучилась, чем предыдущие модели, но точность на валидационном наборе не увеличилась, даже слегка уменьшилась, то есть, из-за большого количество слоев и нейронов, - модель немного переобучилась. Это подтверждает невозможность добиться нейронными сетями значительно большей точности предсказаний в данной задаче.

Также, как и в предсказании 3 типов структуры ценностей, для деревьев решений я варьировал только минимальное количество наблюдений, для создания нового узла дерева, так как остальные гиперпараметры находятся автоматически по специальным критериям при использовании библиотеки scikit-learn.

Табл. 9 Результаты поиска гиперпараметров для деревьев решений

Оптимальным количеством минимального количества наблюдений в узле оказалось 800: такое дерево решений предсказывает тип структуры ценности для модели из 4 типов на валидационной выборке с точностью 46.82%. Данная модель будет использована для финального тестирования точности.

Процедура поиска оптимального количества деревьев в модели случайный лес для задачи предсказания 4 типов структур ценностей полностью повторяет логику этой процедуры для предсказания 3 типов структур ценностей.

Табл. 10 Результаты поиска гиперпараметров для случайного леса

Модель включающая 200 деревьев показала наибольшую точность по результатам 5-кратной валидации, поэтому для нее будет оцениваться финальная точность и она будет сравниваться с моделями других типов.

Сравнение методов регуляризации нейронных сетей: dropout и L2

Как можно видеть на основе данных о результатах поиска оптимальных гиперпараметров, нейронные сети продемонстрировали практически полное отсутствие переобученности. Но это не помешает проанализировать эффекты, которые дает применение сравниваемых методов регуляризации, направленных на предотвращение переобученности.

Для сравнения методов регуляризации я выбрал задачу предсказания типа структуры ценности человек для модели с 3 типами структур ценностей. Чтобы результаты были более надежно я выбрал две архитектуры нейронных сетей, которые имели самые высокие разницы между точностями на тренировочной и валидационной выборках:

С двумя скрытыми слоями с 80 и 40 нейронами соответственно

С четырьмя скрытыми слоями с 60, 60, 40 и 40 нейронами соответственно.

К этим архитектурам применялись методы регуляризации с последовательным изменением гиперпараметров:

Регуляризация L2 применялась 4 раза со следующими коэффициентами регуляризации: 0.001, 0.01, 0.1, 1.

Регуляризация dropout применялась 3 раза с постепенно повышающимися вероятностями выбрасывания нейронов из каждого слоя.

Три набора вероятностей dropout для нейронной сети с двумя скрытыми слоями: [5%, 5%], [10%, 10%] и [25%, 25%].

Три набора вероятностей dropout для нейронной сети с двумя скрытыми слоями: [5%, 5%, 5%, 5%], [10%, 10%, 5%, 5%] и [25%, 25%, 10%, 10%]

Табл. 11 Результаты сравнения методов регуляризации для нейронной сети: [80, 40]

На продемонстрированных результатах данных видно, что применение коэффициента для регуляризация L2 равного 0.001 улучшает точность предсказаний модели, полностью сравнивая качество обучения и точность предсказания, равную 59.8%. Таким образом, применение регуляризации с таким коэффициентом оказалось оправданным в данном случае. Далее, последовательное увеличение коэффициента регуляризации L2 в 10 раз на каждом шаге делает модель менее гибкой: качество обучения и точность предсказаний постепенно падает. При этом в рамках доступной гибкости модель правильно выучивает паттерны и стабильно предсказывает результаты, о чем говорит примерное равенство точности на тренировочных и валидационных данных. Именно такого поведения ожидаешь от модели, к которой применятся слишком сильная регуляризация. Регуляризация dropout даже при очень маленькой вероятности выкидывания нейрона на шаге обучения моментально портит качество работы модели сразу по двум направлениям: точность предсказания и стабильность обучения. Даже при 5% вероятности выкидывания, что является очень маленькой величиной, почти никогда не применяемой на практике, качество обучения (точность на тренировочной выборке) падает до 54-58%, также как и точность предсказаний падает до 51.7-57.8%, то есть варьируется в интервале размером 6%. Это совершенно неожиданный и неприемлемый результат, который говорит о высокой нестабильности обучения при использовании dropout. При увеличении вероятности dropout, качество обучения падает еще сильнее, а нестабильность растет еще больше, с точностью предсказаний на валидационном наборе данных в интервалах 8.9% и 11.4% соответственно, что является совершенно нестабильным результатом. 

Табл. 12 Результаты сравнения методов регуляризации для нейронной сети: [60, 60, 40, 40]

Результаты по применению методов регуляризации для четырех-слойной нейронной сети аналогичны тем, которые получены на двух-слойной сети: регуляризация L2 работает стабильно и при очень высоких коэффициентах ведет к потери качества работы модели из-за уменьшения ее способности описывать сложные паттерны в данных. Сравнительно небольшой коэффициент регуляризации 0.001 не ухудшает качество предсказания модели, немного уменьшив качество ее обучения, убрав таким образом ту несильную переобученность , которая имела место быть.

Метод регуляризации dropout, также как и с предыдущей моделью, значительно ухудшает качество ее работы даже при очень маленькой вероятности выбрасывания нейрона. Также появляется высокая нестабильность силы обучения и точности предсказания, возникающая случайным образом.

Таким образом, гипотеза о том, что метод регуляризации L2 окажется более эффективным, чем регуляризация dropout полностью подтвердилась. Моя гипотеза основывалась на том, что он не дает построить модели устойчивые связи между слоями, которые, как я предполагал будут нужны в контексте факторов социологического характера.

Результаты проведенного сравнения дают основания полагать, что рассуждения на которых основывался моя гипотеза также верны. В этом случае dropout является неэффективным методом регуляризации, по сравнению с L2 не просто в рамках моей задачи, но и в социологическом контексте в целом, которому присущи структурированные данные о людях.

Задача 3. Оценить точность прогнозирования типов структур ценностей человека моделями классификации каждого типа с лучшими гиперпараметрами и сравнить результаты.

Заключительная часть моего исследования заключается в оценке точности 4 моделей классификации с оптимальными гиперпараметрами на тестовом наборе данных и сравнении финальных результатов моделей классификаций разных типов между собой. Тестовый набор данных составляет 10% от всех данных (3602 наблюдение), что делает его репрезентативным, как было показано ранее. Этот набор данных был случайным образом взят из всех данных перед началом обучения моделей и отложен для финального тестирования точности.

Модели с лучшими гиперпараметрами были получены для двух независимых задач: предсказание типа структуры ценностей в модели из 3 типов структур ценностей и из 4 типов структур ценностей. Эти модели будут обучаться на полном тренировочно-валидационном наборе, состоящем из 90% всех данных (32413 наблюдений), который называется в данном контексте просто тренировочным. Затем их точность единоразово измеряется на тестовом наборе, чтобы получить максимально объективные результаты.

Для логистической регрессии не велся поиск гиперпараметров, так как было зафиксировано отсутствии переобученности из-за достаточно количества данных и отсутствие нужды в использовании регуляризации, так как она сразу же сильно ухудшала точность работы модели.

Табл. 13 Сравнение точности предсказания моделей для задачи предсказания одного из трех типов структур ценностей

Табл. 14 Сравнение точности предсказания моделей для задачи предсказания одного из четырех типов структур ценностей

Нейронная сеть, логистическая регрессия и случайный лес справляются с предсказанием одного из трех типов структур ценностей человека примерно с идентичной точностью, их точности разбросаны в очень плотном интервале равном 1 процентному пункту. Дерево решений отстает более, чем на 5 процентных пунктов от нейронной сети и логистической регрессии. Прежде чем делать выводы рассмотрим показатели на второй задаче - предсказания одного из четырех типов структур ценности человека.

Как можно видеть, итоговые результаты точности для обеих независимых задач практически идентичны. Это подкрепляет уверенность в надежности полученных результатов. Из-за аналогичности результатов, я пишу единый вывод по поставленной гипотезе для этой задачи исследования.

Итак, гипотеза о том, что нейронные сети покажут результаты точности предсказания на 5% и 10% выше дерева решений и логистической регрессии соответственно, в рамках задачи предсказания типа структуры ценностей человека подтвердилась только частично.

Нейронные сети действительно показали точность предсказания типа структуры ценностей человека, причем для моделей как с 3, так и с 4 типами, которая превысила точность предсказания дерева решений более чем на 5%. Но в случае сравнения с логистической регрессией результаты для случаев 3 и 4 типов ценностей практически идентичны, точность отличается только на несколько десятых процента в пользу нейронных сетей в обеих задачах, что не соответствует порогу не менее 10%, а также не является разницей, которую можно считать существенной. Также в обеих случаях, случайный лес показал результаты точности меньше нейронной сети и логистической регрессии не более чем на 2%. Отсутствие различий в точности между нейронной сетью и логистической регрессии скорее всего говорит о том, что между 188 факторами и типами структур ценностей нейронная сеть не выявила таких нелинейных связей, которые бы позволили существенно улучшить качество предсказаний, по сравнению с логистической регрессией, которая использует только линейные комбинации значений и функцию активации переводящую их в проценты. Сравнительно маленькая точность предсказаний дерева решений, предположительно, подтверждает смысловую гипотезу, описанную в обзоре литературы, что данный метод является не очень стабильным и точным на сравнительно больших массивах данных с большим количеством факторов.

Заключение

Нейронная сеть не показала себя как метод классификации значительно превосходящий традиционные методы классификации используемые в социологии, а именно, дерево решений и логистическая регрессия. Она действительно показала себя значительно лучше, чем дерево решений, имея разницу в точности более 5% в двух задачах предсказания: 3 и 4 типов структур ценностей человека, которые были успешно выявлены и проинтерпретированы на основе 10 ценностей человека по Шварцу. Это, вероятно, объясняется тем, что деревья решений являются не очень стабильным и точным методом, особенно на сравнительно объемных данных. В случае сравнения с логистической регрессией их результаты оказались практически одинаковыми с незначительным перевесом в сторону нейронных сетей в обеих случаях количество предсказываемых типов структур ценностей человека. Это говорит о том, что нейронная сеть не смогла обнаружить, каких-либо специфичных нелинейных связей между 188 фактором и целевыми переменными , которые бы позволили ей показать намного лучший результат, чем логистическая регрессия, которая совершает только линейное преобразование данных. Это ярко видно достаточно экстремальным примерам особенно крупных нейронных сетей в рамках рассматриваемых в исследовании: даже нейронная сеть с 9 скрытыми слоями не улучшает результат предсказаний в случае предсказания из 3 типов структур ценностей, также как и нейронная сеть с 14 скрытыми слоями не улучшает результат предсказаний в случае предсказания из 4 типов ценностей.

На практике, нейронные сети с самыми разными архитектурами немного улучшали или просто сохраняли такое же качество предсказаний, которое было достигнуто совсем небольшими по размеру нейронными сетями. Это может говорить о том, что нейронные сети работают очень стабильно независимо от архитектуры и способны так адаптировать свои параметры, чтобы сохранять важную для предсказания информацию в самых разных конфигурациях гиперпараметров. Такой вывод может являться правдой, но в моем случае есть ограничения, так как, в ходе исследования не было обнаружено сложных нелинейных связей между факторами и целевыми переменными в виде типов структур ценностей человека. Вероятнее всего, нейронные сети размеров крупнее, чем необходимый для эффективного предсказания минимум, - способны сохранять важную информацию и практически не ухудшать результат предсказания. Но если размер нейронной сети будет меньше минимально необходимого для включения всех важных нелинейных преобразований, то предсказательная сила модели будет ухудшаться. Однако, это только предположения, которые требует дальнейшего исследования.

Возможно, что применение нейронных сетей может быть эффективным к большим структурированным данным, включая опросные данные, где между факторами и целевой переменной будут нелинейные связи, которые никакие другие методы, кроме нейронных сетей не смогут эффективно использовать. Моя задача казалось потенциально именно такой, но системно проделанный научный эксперимент доказал, что это не так, либо что нейронные сети также не могут обнаружить такую связь в этих данных. Возможно, тип структуры ценностей как и ценности Шварца являются слишком фундаментальными переменными для эффективного предсказания на не ценностных факторах, что вполне объяснимо теорией Шварца. И все же, результаты ставят под сомнение полезность нейронных сетей для применения к опросным данным, даже со сравнительно большим количеством факторов, как в моем случае. Также, это объясняет столь малое упоминание и использование нейронных сетей в социологических научных публикациях после ряда работ конца 90-х годов. Об этом сложно говорить с высокой уверенностью, потому что могут быть отдельных данных и задач, где нейронные сети проявят себя очень эффективным методом. Вопрос в том, насколько широк такой класс задач на опросных или структурированным социологических данных остается открытым.

Кроме того, в ходе исследования удалось получить действительно полезный и определенный вывод с уверенным обобщением на все структурированные данные социологического характера: метод регуляризации L2 является эффективным и работает стабильно при применении к нейронным сетям в социологическом контексте, а метод регуляризации dropout портит результаты предсказаний и делает обучения нейронной сети крайне нестабильным. Уверенное обобщение эффективности работ этих методов регуляризации нейронных сетей на все структурированные социологические данные обусловлена теоретическими предпосылками, которые повлекли гипотезу о малой эффективности dropout, а именно то, что данный метод будет препятствовать построению устойчивых связей между факторами с построением более высокоуровневых репрезентаций в слоях нейронных сетей. Такие связи, учитывая принцип работы полносвязных нейронных сетей и общую специфику структурированных данных, без сомнения, строятся при любом предсказании полносвязной нейронной сети на социологических структурированных данных, что и приводит к обобщенному выводу для широкого класса условий, подкрепленному результатами системных эмпирических экспериментов по сравнению L2 и dropout в рамках моего исследования.

Будущее нейронных сетей в социологии, где по-настоящему раскроется их потенциал, вероятно, относится к анализу неструктурированной информации, например, текстов в социальных сетях или даже изображений. В этих задачах никакие методы не могут конкурировать с нейронными сетями на данный момент. Хотя, для этих задач используются нейронные сети другого типа, а не те, которые были рассмотрены в моем исследовании.

Библиография

1. Bainbridge, W. (1995). Neural Network Models of Religious Belief. Sociological Perspectives, 38(4), 483-495. doi:10.2307/1389269

2. Bardi, A., & Schwartz, S. H. (2003). Values and behavior: Strength and structure of relations. Personality and Social Psychology Bulletin, 29.

3. Deng, Houtao & Runger, George & Tuv, Eugene. (2011). Bias of Importance Measures for Multi-valued Attributes and Solutions. Lecture Notes in Computer Science. 6792. 293-300. 10.1007/978-3-642-21738-8_38.

4. Garson, G. D. (1998). Neural Networks: An Introductory Guide for Social Scientists. London: Sage Publications

5. Gayle, Vernon & Lambert, Paul. (2009) Logistic Regression Models in Sociological Research. University of Stirling, and ISER, University of Essex.

6. Geмron, A. (2017). Hands-on machine learning with Scikit-Learn and TensorFlow : concepts, tools, and techniques to build intelligent systems. Sebastopol, CA: O'Reilly Media. ISBN: 978-1491962299

7. Ian Goodfellow, Yoshua Bengio, and Aaron Courville. (2016). Deep Learning. The MIT Press.

8. Ioffe, S. & Szegedy, C. (2015). Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift.. CoRR, abs/1502.03167.

9. Kingma, Diederik & Ba, Jimmy. (2014). Adam: A Method for Stochastic Optimization. International Conference on Learning Representations.

10. Luigi dell'Olio, Angel Ibeas, Juan de Oсa, Rocio de Oсa. (2018). Chapter 9 - Data Mining Approaches, Editor(s): Luigi dell'Olio, Angel Ibeas, Juan de Oсa, Rocio de Oсa, Public Transportation Quality of Service, Elsevier, 2018, Pages 155-179, ISBN 9780081020807

11. Maslova, Olga & Shlyakhta, Dmitry & Yanitskiy, Mikhail. (2020). Schwartz Value Clusters in Modern University Students. Behavioral Sciences. 10. 66. 10.3390/bs10030066.

12. Molina, M. and Garip, F. (2019). Machine Learning for Sociology. Annual Review of Sociology.

13. Purcell, B. (2012). Emergence of "Big Data" technology and analytics. Journal of Technology Research. Nextgen Research Publication.

14. Ramsundar, B. & Zadeh, R. (2018). TensorFlow for Deep Learning: From Linear Regression to Reinforcement Learning. Sebastopol, California: O'Reilly Media, Inc.

15. Rousseeuw P. (1987). Silhouettes: a graphical aid to the interpretation and validation of cluster analysis. J. Comput. Appl. Math. 20, 1 (Nov. 1987), 53-65.

16. Rumelhart, D. E., Hinton, G. E. & Williams, R. J. (1986). Learning Internal Representations by Error Propagation. Nature

17. Schwartz, S. H. (2012). An Overview of the Schwartz Theory of Basic Values. Online Readings in Psychology and Culture.

18. Schwartz, S., Caprara, G. & Vecchione, M. (2010). Basic Personal Values, Core Political Values, and Voting: A Longitudinal Analysis. Political Psychology.

19. Shalom H. Schwartz. (2004). Computing Scores for the 10 Human values The Hebrew University of Jerusalem. European social survey

20. Sun, M., Zhang, H., Zhao, Y., & Shang, J. (2014). From post to values: Mining Schwartz values of individuals from social media. In Chinese National Conference on Social Media Processing.

21. Wang, Fei & Franco-Penya, Hector-Hugo & Kelleher, John & Pugh, John & Ross, Robert. (2017). An Analysis of the Application of Simplified Silhouette to the Evaluation of k-means Clustering Validity. 10.1007/978-3-319-62416-7_21.

22. Zeng, L. (1999). Prediction and Classification with Neural Network Models. Sociological Methods & Research 27, no. 4.

Приложение

Ссылки на исходные данные и код проделанной обработки и анализа данных в рамках исследования

(Код примеров построения моделей всех типов закомментирован, чтобы избежать очень длительного выполнения компиляции ноутбука. Для проверки этой части результатов подставляйте необходимые гиперпараметры в примеры кода для проверки гиперпараметров и финальной оценки точности модели)

Также в ноутбуках Kaggle по предоставленным ссылкам содержатся все необходимое исходные данные, что позволяет полностью воспроизвести результаты исследования.

Размещено на Allbest.ru