Теоретические и практические аспекты использования деревьев принятия решений в анализе данных

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Теоретические и практические аспекты использования деревьев принятия решений в анализе данных

Чудинова О.С.

канд. эконом. наук, доцент

Оренбургский государственный университет

Под анализом данных в настоящее время понимают область математики и информатики, занимающуюся исследованием, фильтрацией, преобразованием и моделированием данных с целью извлечения полезной информации и принятия решений. В западной литературе под анализом данных часто подразумевается мультидисциплинарная область Data Mining, возникшая и развивающаяся на базе достижений прикладной статистики, машинного обучения, методов искусственного интеллекта, теории баз данных, методов алгоритмизации. Связь с различными дисциплинами объясняет обилие методов и алгоритмов, реализованных в действующих системах Data Mining.

Практика показывает, что на текущий момент лучшими алгоритмами анализа структурированных данных являются алгоритмы, основанных на деревьях принятия решений [1]. Эти алгоритмы работают с признаками разного типа, не требуют предварительной обработки данных (стандартизации и заполнения пропусков). Они универсальны в том смысле, что могут решать различные задачи анализа данных: классификация, кластеризация, регрессия, поиск аномальных наблюдений, ранжирование и др.

К достоинствам деревьев принятия решений можно отнести:

- наглядность представления результатов;

- возможность работать с большим количеством признаков разного типа, автоматический отбор наиболее значимых переменных;

- способность выявлять сложные, нелинейные взаимосвязи между признаками;

- нечувствительность к выбросам;

- отсутствие строгих требование к распределению признаков.

Недостатком деревьев принятия решений по сравнению с регрессионным анализом является отсутствие уравнения регрессии и невозможность строить прогноз для наблюдений, лежащих вне диапазона обучающихся данных. Другой недостаток заключается в том, что некоторым методам деревьев решений свойственно переобучение (деревья строятся слишком детализированными, имеют много узлов и ветвей, сложны для интерпретации), а также нестабильность результатов.

Алгоритмы, основанные на деревьях принятия решений, реализованы во многих современных системах обработки статистической информации, например, в статистических пакетах SPSS, Statistica, имеются программы (скрипты) на языках программирования R и Python.

Практические аспекты использования деревьев принятия решений рассмотрим на примере задачи классификации безработных по продолжительности поиска работы по данным Центра занятости населения города Оренбурга.

Классификация является одной из наиболее часто решаемых задач анализа данных, она состоит в отнесении объектов (наблюдений) к одному из заранее известных классов. Классификация относится к стратегии обучения с учителем (supervised learning), именуемой также контролируемым или управляемым обучением.

Объем выборки составил 4711 человек. Каждый безработный характеризуется результативным признаком Trud, принимающим два значения («Трудоустроен в течение 30 дней» и «Не трудоустроен в течение 30 дней») и следующими факторными признаками:

Vozrast - возраст (до 29 лет, от 30 до 49 лет, 50 лет и старше);

ProfObr - уровень профессионального образования (высшее, среднее, начальное, нет профессионального образования);

Opit - наличие опыта работы (есть опыт работы, нет опыта работы);

Prof - профессия (рабочий, специалист или служащий, нет профессии).

Для построения модели классификации безработных на два класса в среде RStudio реализованы два метода деревьев решений - CHAID и CRT.

Метод CHAID (Chi-square Automatic Interaction Detector) исследует взаимосвязь между результативной и зависимыми переменными с помощью статистических тестов. Каждый раз для разбиения узла выбирается фактор, сильнее всего взаимодействующий с зависимой переменной, при этом узел может иметь более двух потомков, что может приводить к формированию раскидистых деревьев. Метод чувствителен к настройке уровней значимости для объединения категорий и разбиения узлов. Метод CRT (Classification and Regression Tree) для построения дерева использует принцип уменьшения неоднородности в узле и характеризуется тем, что при разбиении каждый узел может иметь лишь двух потомков. В связи с этим могут формироваться высокие деревья с большим количеством уровней [1].

Диаграмма дерева классификации, построенного методом CHAID в среде RStudio, представлена на рисунке 1. Построенное дерево имеет 5 внутренних и 9 терминальных узлов, из которых по 8 узлам прогнозируется трудоустройство в течение 30 дней. Продолжительность поиска работы будет меньше месяца для следующих категорий безработных:

- есть опыт работы и нет профессии;

- нет опыта работы, нет профессии, возраст до 29 лет, уровень профессионального образования - любой;

- нет опыта работы, нет профессии, возраст от 30 до 49 лет;

- нет опыта работы, нет профессии, возраст старше 50 лет;

- нет опыта работы, профессия рабочий, специалист или служащий.

дерево принятие решение данные

Рисунок 1 - Диаграмма дерева классификации CHAID в среде RStudio

Продолжительность поиска работы больше месяца имеют безработные с наличием опыта работы и профессии. Согласно классификационной таблице построенная модель правильно распознала 84% наблюдений. Площадь под ROC-кривой составила 0,774.

Диаграмма дерева классификации, построенного методом CRT в среде RStudio, представлена на рисунке 2.

Рисунок 2 - Диаграмма дерева классификации CRT в среде RStudio

Построенное дерево имеет три терминальных узла, два из которых прогнозируют трудоустройство безработных в течение 30 дней. В построении дерева участвуют только два фактора: наличие опыта работы и профессия. Согласно модели в течение месяца трудоустраиваются безработные с опытом работы и не имеющие профессию, а также безработные без опыта работы. Безработные, имеющие профессию и опыт работы, ищут работу более 30 дней. Согласно классификационной таблице построенная модель правильно распознала 84% наблюдений. Площадь под ROC-кривой составила 0,69%.

Далее проведено сравнение результатов классификации безработных, полученных с помощью деревьев принятия решений, с результатами классификации на основе логит-модели бинарного выбора. Оценка логит-модели, учитывающей возраст, уровень профессионального образования, профессию и наличие опыта работы, имеет вид:

,

где результативный показатель принимает значение 1, если безработный трудоустроен в течение 30 дней и 0, если не трудоустроен;

, если возраст безработного от 30 до 49 лет, иначе;

, если возраст 50 лет и старше, иначе;

, если у безработного высшее профессиональное образование, иначе;

, если у безработного среднее профессиональное образование, иначе;

, если у безработного нет профессионального образования, , иначе;

, если у безработного есть опыт работы, иначе;

, если у безработного профессия специалист или служащий, иначе;

, если у безработного нет профессии, иначе.

Модель является значимой (наблюдаемое значение статистики Вальда составило Wald chi2(8)=756,29; наблюдаемый уровень значимости ), значимыми являются коэффициенты при всех признаках кроме и . Псевдо- для модели составил 0,1862. Таким образом, можно сделать вывод, что все рассматриваемые характеристики безработного (возраст, уровень профессионального образования, профессия и наличие опыта работы) влияют на вероятность трудоустройства. Учитывая знаки коэффициентов, можно сделать вывод, что при прочих равных условиях вероятность трудоустройства для безработных в возрасте до 30 лет выше, чем для безработных других рассматриваемых возрастных категорий; отсутствие профессионального образования и профессии увеличивает вероятность трудоустройства, а наличие опыта работы - снижает.

Согласно классификационной таблице построенная логит-модель правильно распознает 83,93% всех наблюдений, площадь под ROC-кривой составляет 0,768, что позволяет говорить о хорошем качестве построенной модели.

Результаты решения задачи классификации безработных, полученные с помощью методов, основанных на деревьях решений, и на основе логит-модели бинарного выбора, согласуются друг с другом и указывают на то, что наибольшим спросом на регистрируемом рынке труда города Оренбурга пользуются преимущественно работники низко квалифицированного труда, специалистам высокой квалификации сложнее найти работу. Полученные результаты в целом соответствуют результатам ранее проведенного исследования, визуализируют и дополняют их. Предлагаемые в статье методы, основанные на деревьях принятия решений, расширяют математический инструментарий анализа и моделирования продолжительности регистрируемой безработицы, описанный и реализованный в статьях [2-6].

Список литературы

1. Груздев, А.В. Прогнозное моделирование в IBM SPSS Statistics, R и Python: метод деревьев решений и случайный лес. - М.: ДМК Пресс, 2018. - 642 с.

2. Чудинова, О.С. Ранжирование категорий безработных по степени их востребованности на рынке труда // Вестник Оренбургского государственного университета: Научно-практический журнал. - 2011. - №8. - С. 205-208.

3. Чудинова, О.С. Исследование влияния качественных характеристик безработного на продолжительность поиска работы методами анализа таблиц сопряженности / О.С. Чудинова, С.М. Достова // Теоретические и практические вопросы развития научной мысли в современном мире: сборник статей II Международной научно-практической конференции. 29-30 апреля 2013 г.: в 4 ч. Ч.1. - Уфа: РИЦ БашГУ, 2013. - С. 256-261.

4. Чудинова, О.С. Методы анализа и моделирования регистрируемой безработицы // Формирование основных направлений развития современной статистики и эконометрики: материалы I-ой Международной научной конференции. Том III (26-28 сентября 2013 года). - Оренбург: ООО ИПК «Университет», 2013. - С. 339-347.

5. Чудинова, О.С. Исследование влияния факторов на продолжительность регистрируемой безработицы // Экономика и предпринимательство. - 2014. - № 12-4 (53-4). - С. 345-351.

6. Чудинова, О.С. Оценка востребованности зарегистрированных безработных на рынке труда Оренбургского района / О.С. Чудинова, С.М. Герасимова // В сборнике: Наука и образование: фундаментальные основы, технологии, инновации Сборник материалов Международной научной конференции, посвященной 60-летию Оренбургского государственного университета. - 2015. - С. 264-268.

Размещено на Allbest.ru