Моделирование оттока клиентов в телекоммуникационной компании

Размещено на http://www.allbest.ru/

ПЕРМСКИЙ ФИЛИАЛ ФЕДЕРАЛЬНОГО ГОСУДАРСТВЕННОГО АВТОНОМНОГО ОБРАЗОВАТЕЛЬНОГО УЧРЕЖДЕНИЯ ВЫСШЕГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет экономики, менеджмента и бизнес-информатики

Выпускная квалификационная работа

Моделирование оттока клиентов в телекоммуникационной компании

Ганьжина Наталия Юрьевна

Пермь, 2020 год



Аннотация

Данная работа посвящена моделированию оттока клиентов на данных телекоммуникационной компании Эр-Телеком Холдинг. В силу особенностей данных различных компаний нет единого метода прогнозирования оттока. В связи с этим, для решения задачи были выбраны два алгоритма машинного обучения - логистическая регрессия и градиентный бустинг. Для того, чтобы выбрать наиболее релевантный для целей компании. Основным критерием для выбора наилучшего алгоритма является полнота (recall) - критерий, который учитывает ошибку первого рода, то есть отнесение отточных клиентов к не отточным. Для построения моделей был выбран один сегмент клиентов - лояльные с услугой интернет. Результаты работы показали, что несмотря на то, что логистическая регрессия является базовым инструментом для решения задач классификации, она значительно уступает наиболее продвинутому методу - градиентному бустингу. Таким образом, для решения задачи прогнозирования оттока необходимо рассматривать несколько алгоритмов машинного обучения, чтобы выбрать наилучший. Для сегмента «лояльные клиенты с услугой интернет» рекомендуется использовать градиентный бустинг.

This study is aimed at customer churn prediction in telecommunication company Er-Telecom Holding. Due to the characteristics of the data of various companies, there is no single method for churn prediction. In this regard, to solve the problem, two machine learning algorithms were chosen - logistic regression and gradient boosting. These methods are needed in order to choose the most relevant for the company's goals. The main criterion for choosing the best algorithm is recall - a criterion that considers a 1 type error, that is, assignment of churn customers to non-churn ones. To build models, one customer segment was chosen - loyal customers with the Internet. The results showed that even though logistic regression is a basic method for solving classification problems, it is significantly inferior to the most advanced method - gradient boosting. Thus, to solve the customer churn problem, it is necessary to consider several machine learning algorithms in order to choose the best one. For the segment “loyal customers with Internet” it is recommended to use gradient boosting.



Оглавление

Введение

1. Теоретическое обоснование

2. Прогнозирование оттока в банковской сфере

3. Прогнозирование оттока в сфере страхования

4. Прогнозирование оттока в сфере телекоммуникаций

5. Прогнозирование оттока в России

6. Постановка исследовательской проблемы

7. Критерии оценки качества моделей

8. Подготовка данных и выбор значимых предикторов

9. Описание используемых алгоритмов

10. Результаты моделирования

Заключение

Список литературы



Введение

В настоящее время российский рынок телекоммуникационных услуг - один из самых быстро развивающихся, что приводит к высокой конкуренции. В большинстве городов присутствуют как локальные, так и крупные интернет провайдеры. Теперь клиентам предоставлена возможность выбора компании, более того, без значительных временных и денежных затрат можно перейти от одной компании к другой. Это сказывается на принятии управленческих решений, в связи с чем телекоммуникационные компании выбирают стратегии привлечения и удержания клиентов.

Одним из основных инструментов, гарантирующих долгий срок жизни клиента в компании, является развитие лояльности. Под лояльностью понимается комплекс взаимодействия с клиентом, направленный не только на удовлетворение основными услугами, но и на предоставление дополнительных привилегий (например, индивидуальных тарифных планов, акций, бонусов), что в совокупности повышает вероятность долгосрочного пользования услугами компании. Почему необходимо повышать лояльность клиентов и работать над их сохранением? Важно отметить, что лояльность, помимо приверженности клиента к компании, это еще и готовность ее порекомендовать. За счет этого большая доля потенциальных клиентов может стать клиентами компании.

Помимо этого, как показывают исследования, стоимость привлечения нового клиента может быть практически в 5 раз дороже, чем удержание текущих (Ali, Arэtьrk, 2014). Для сохранения положительной динамики базы активных абонентов недостаточно разработать программу лояльности, которая будет охватывать всех клиентов. Существует необходимость заранее определять тех, кто вероятно может отказаться от услуг, то есть прогнозировать отток клиентов (Keramati, Jafari-Marandi et al., 2014). Причинами оттока могут служить технические проблемы (сбои/аварии), неудовлетворенность работой компании в решении возникающих проблем, изменение тарифных планов, в том числе повышение цен, а также более выгодные условия компании конкурента, демпинг. Нужно отметить, не всегда клиенты отказываются от услуг только потому, что у компании-конкурента более выгодные тарифы, чаще всего вышеперечисленные причины наслаиваются и в совокупности формируют желание отказаться от услуг.

Именно поэтому одна из главных задач телекоммуникационных компаний - прогнозирование оттока, путем распознавания сигналов к уходу в поведении клиента или по другим собираемым данным о пользовании услугами компании (Ivanovic, Mikinac et al., 2011). В настоящее время эта задача уже стала традиционной, однако в силу конфиденциальности информации о клиентских данных, а также их специфики в различных компаниях, нет общедоступных решений для прогнозирования оттока. Помимо этого, с течением времени текущие решения теряют актуальность, поэтому есть необходимость использовать новые подходы в решении данной задачи.

Ранее компании предотвращали отток путем обзвона клиентов, которые уже обратились с техническими проблемами или иными претензиями, мотивировали их не прекращать пользование услугами. Во-первых, эти клиенты уже настроены отказаться от услуг, во-вторых, такой вариант ресурсозатратен, поскольку специалисты вручную обзванивали клиентов. В настоящее время в качестве решения проблемы удержания клиентов используются модели, предсказывающие отток, построенные с помощью методов машинного обучения. Для прогнозирования оттока использовались различные алгоритмы, такие как логистическая регрессия, деревья решений, градиентный бустинг, искусственные нейронные сети, метод опорных векторов и другие. Существование большого количества методов предполагает их сравнение между собой для выбора наиболее подходящих для конкретной задачи. Но стоит отметить, что результаты исследований имеют противоречивые выводы. Некоторые авторы отдают предпочтение логистической регрессии, которая дает высокое качество модели и хорошо интерпретируема (Coussement, Lessmann et al., 2017). Однако в определенных случаях и логистическая регрессия не давала ожидаемых результатов, поэтому авторы прибегали к использованию бустинга или нейронных сетей. На определенных данных деревья решений устойчивы и являются наилучшим методом для моделирования оттока (Huang, Kechadi et al., 2010). Следующие авторы (Huang, Kechadi et al., 2012) также использовали несколько алгоритмов, среди которых логистическая регрессия, линейная классификация, однако к единому выводу, какой из них лучше, так и не пришли, аргументируя это тем, что выбор алгоритма зависит от целей руководства. Таким образом, на основании анализа исследований по прогнозированию оттока не представляется возможным выделить какой-то один метод для моделирования, который будет иметь высокое качество и может быть применен на любых данных.

Целью работы является моделирование оттока клиентов в одной из телекоммуникационных компаний с помощью методов машинного обучения. Для решения задачи планируется выбрать два алгоритма, с помощью которых будут построены две модели, предсказывающих отток. Для выбора наилучшего алгоритма будет также выбран критерий оценивания моделей, релевантный бизнес-целям компании. Выбранный алгоритм может быть использован для ежемесячного расчета модели оттока. Результаты в дальнейшем могут использоваться для выявления группы клиентов, к которым необходим специальный подход: коммуникации на удержание, повышение лояльности, исключение из целевых групп для продажи дополнительных продуктов.

В рамках работы необходимо решить следующие задачи:

Провести обзор работ с целью выявления сильных и слабых сторон используемых алгоритмов для решения проблемы оттока, выбрать два метода прогнозирования оттока;

Сформировать базу данных: отобрать и подготовить данные к моделированию, сгенерировать новые предикторы на основе имеющихся данных, провести предобработку;

Построить модели оттока двумя алгоритмами;

Интерпретировать полученные результаты, выбрать наилучший алгоритм.

В первой главе будет описан обзор литературы по проблеме оттока с рассмотрением особенностей методов построения моделей, а также критериев их оценивания в компаниях различных отраслей. Выделены релевантные статьи о прогнозировании оттока в телекоммуникационной сфере.

Во второй главе будет сформирован исследовательский вопрос, а также описана актуальность решения проблемы оттока; выбраны методы прогнозирования оттока.

В третьей главе будет дано подробное описание данных и дизайна исследования.

В четвертой главе будет описание результатов и в заключении - основные выводы по проделанной работе.



1. Теоретическое обоснование

Данная глава посвящена обзору статей о проблеме оттока клиентов в крупных компаниях и методах ее решения. В этой части будет сформировано представление о проблеме оттока клиентов в различных сферах и проанализированы распространенные методы машинного обучения, направленные на решение данной задачи.

Согласно (Sharma, Panigrahi, 2011), под оттоком понимается ситуация, когда клиент покидает одну компанию, чтобы перейти в другую. Также понятие оттока можно сформулировать следующим образом: отток клиентов (англ. churn) - это потеря клиентов, выраженное в отсутствии покупок или платежей в течение определенного периода времени. Исходя из этого, далее отточными клиентами будут считаться те, кто вероятно откажется от услуг компании (нелояльные клиенты), а не отточными те, кто останется (лояльные клиенты).

Ранее (Hadden, Tiwaria et al., 2005) также пояснили: «Управление оттоком - это концепция выявления тех клиентов, которые намереваются перенести свой заказ конкурирующему поставщику услуг». В связи с чем (Risselada, Verhoef et al., 2010) заявили, что управление оттоком теперь становится частью управления взаимоотношениями с клиентами. Исходя из этого, компании стараются установить долгосрочные отношения и максимизировать ценность своей клиентской базы.

В изученной литературе неоднократно упоминалось, что удержание текущих клиентов значительно дешевле, чем привлечение новых, что делает проблему оттока достаточно привлекательной для изучения.

Моделирование оттока применяется во многих сферах, например, в банковском деле, страховании, мобильной связи, на розничном рынке, рынке интернет провайдеров. И на каждом из них компании имеют свою специфику, значительные различия в группах клиентов, соответственно, в данных и применяемых методах. Но, несмотря на это, анализ применения методов машинного обучения можно начать без привязки к определенной отрасли, поскольку нельзя знать наверняка, как метод сработает на тех или иных данных. Таким образом, на основе теоретического обзора необходимо выявить основные способы применения методов машинного обучения в прогнозировании оттока, изучить особенности и ограничения, с которыми столкнулись авторы, а также отобрать релевантные алгоритмы для прогнозирования оттока в сфере телекоммуникаций.

2. Прогнозирование оттока в банковской сфере

Моделирование оттока в банковской сфере изучается уже достаточно давно. Авторы (Anil Kumar, Ravi, 2008) прогнозировали отток в использовании кредитных карт в банковской сфере с помощью таких методов, как логистическая регрессия, деревья решений, случайный лес, метод опорных векторов. Для каждого клиента было доступно две группы переменных: социально-демографические и поведенческие данные, всего 22 предиктора. Особенностью этого исследования является то, как авторы работали с несбалансированностью выборки. Для этого они использовали несколько техник сэмплинга, а именно комбинацию удаления примеров мажоритарного класса (undersampling) и дублирование примеров миноритарного класса (oversampling), а также алгоритм SMOTE, который генерирует некоторое количество искусственных примеров, «похожих» на имеющиеся в миноритарном классе, но при этом не дублирующих их. Таким образом, им удалось достигнуть высокой точности используемых методов в условиях несбалансированности классов зависимой переменной.

В основе следующей работы (Farquad, Ravi et al., 2014) лежит метод опорных векторов. Авторы представили гибридный подход для извлечения правил из данного метода, с целью управления взаимоотношениями с клиентами. Три этапа в моделировании оттока заключались в сокращении размерности, построении модели, а далее правила генерировались с помощью наивного байесовского дерева. Однако авторы также столкнулись с проблемой несбалансированности выборки, которую решили аналогичными методами - undersampling, oversampling и SMOTE. Гибрид метода опорных векторов и наивного байесовского дерева с устранением несбалансированности при помощи SMOTE показали наилучшую точность в прогнозировании оттока.

Следующие авторы (Nie, Rowe et al., 2011) использовали логистическую регрессию и методы на основе деревьев решений. Для построения моделей предикторы выбирались не только на основе корреляции, но и экономического смысла. Вклад авторов заключался в том, что ими был разработан новый критерий измерения - ошибочная классификация затрат, который учитывает экономические затраты при оценке модели. В рамках данной работы используемые методы не сработали одинаково хорошо, лучше оказалась логистическая регрессия, однако у деревьев решений тоже есть преимущества - понятная интерпретация, которая может помочь в разработке маркетинговых стратегий.

Чаще всего авторы выбирают несколько методов для прогнозирования оттока и в дальнейшем сравнивают их. Однако некоторые авторы, доверяя предсказательной силе какого-либо одного метода используют только его.

Например, (Keramati, Ghaneei et al., 2016) использовали деревья решений для прогнозирования оттока, основываясь на методологии CRISP-DM, которая включает в себя несколько этапов:

Понимание бизнес-целей (business understanding)

Начальное изучение/понимание данных (data understanding)

Подготовка данных (data preprocessing)

Моделирование (modeling)

Оценка (evaluation)

Внедрение (deployment)

Используя данный подход, авторы от понимания бизнес-задачи дошли

до ее решения, предоставив готовые рекомендации, на основе интерпретации полученной модели с помощью деревьев решений.

Таким образом, чаще всего в прогнозировании оттока в банковской сфере авторы используют распространенные методы машинного обучения, как логистическая регрессия, деревья решений, нейронные сети и метод опорных векторов. Стабильно хороший результат демонстрирует логистическая регрессия, при этом она является базовым методом прогнозирования, пришедшим из статистики. Также высокую точность прогнозирования имеют и нейронные сети, а вот деревья решений чаще имеют преимущество в понятной интерпретации.

Стоит обратить внимание не только выбор модели прогнозирования, но и на методы решения проблемы несбалансированности выборки. Полезным оказался опыт авторов (Anil, Ravi, 2008), которые использовали три метода сэплинга.

3. Прогнозирование оттока в сфере страхования

Проблема оттока клиентов решается также и в сфере страхования. Страховые компании собирают много данных о клиентах, сохраняя информацию о заполненных полях по каждому полису, который они оформляют, таким образом компании имеют доступ к социально-демографическим данным клиента, имеют понимание о заработке и о приобретенной недвижимости. Статистический анализ в этой сфере применяется уже давно, включая такие виды страхования, как: медицинское страхование, страхование имущества и страхование на случай катастроф.

Для решения проблемы оттока авторы также используют методы машинного обучения. Например, в работе (Morilk, Kopcke, 2004) были использованы два широко распространенных метода - деревья решений и метод опорных векторов на данных из базы страховой компании Swiss Life. Как и в любой выборке на прогнозирование оттока, данные оказались несбалансированными. Еще одной проблемой, с которой столкнулись авторы является изменение данных об одном страховом полисе в течение анализируемого времени, что подразумевает наличие нескольких строк в выборке на один полис. В связи с чем было рассмотрено два подхода - с учетом информации о времени и без. Учет времени предполагает построение моделей временных рядов, которые и дали наилучших результат в рамках этой работы.

В следующей работе (Bolance, Guillen, 2016) используются такие методы, как логистическая регрессия, деревья решений, метод опорных векторов, нейронные сети. Авторы пришли к интересному выводу, говоря о том, что наилучший метод можно подобрать исходя из целей исследования. Такие результаты они получили с помощью оценивания моделей тремя критериями. Первый включает рассчитанные статистические показатели: чувствительность (истинно-положительная пропорция) и специфичность (истинно-отрицательная), второй - точность, а третий - площадь под ROC-кривой. Таким образом, для обучающей выборки лучшим методом оказались нейронные сети, в соответствии со вторым и третьим критерием, а для тестовой выборки - деревья решений на основе третьего, а метод опорных векторов на основе второго.

В работе (Mohammadi, Albadvi et al., 2014) решение проблемы оттока была начато с определения факторов, которые могут характеризовать поведение клиента, в том числе желание отказаться от услуг. На данных иранской страховой компании авторы для определения лояльных и нелояльных (отточных и не отточных) клиентов использовали кластеризацию k-средних. Точность использования кластеризации была подтверждена, так как в 89% случаев ожидания экспертов компании совпадали с результатами кластеризации. Особенность работы заключается в том, что авторы отвели целую главу для обсуждения системы управления взаимоотношения с клиентами (customer relationship management, CRM), обосновав важность использования для решения проблемы оттока такого показателя, как «пожизненная ценность клиента» (customer lifetime value, CLV), показывающая ценность жизненного цикла клиента, то есть текущую ценность вероятных будущих доходов, полученных от конкретного клиента. Для прогнозирования оттока использовалась логистическая регрессия, которая показала на этих данных хорошую точность - 98%.

Следующий автор (Huigevoort, 2015) тоже использовал кластеризацию k-средних, чтобы разделить клиентов из исходной выборки на несколько кластеров с похожими средними значениями по предикторам. Для решения проблемы несбалансированности выборки автор взял в одинаковом соотношении отточных и не отточных клиентов и с варьированием соотношений строил модели. Таким образом, хорошую точность показала логистическая регрессия с обучающим набором 50:50 (без оттока: отток) и нейронные сети с распределением 70:30 (без оттока: отток). Деревья решений и метод опорных векторов оказались слабее.

В работах авторов, прогнозировавших отток в сфере страхования, можно выделить следующие важные моменты: для понимания проблемы оттока важно изучать CRM, чтобы лучше понимать клиента и формировать новые показатели, например, CLV, чтобы получить полное представление о текущей базе, и применять эту информацию в моделировании оттока.

4. Прогнозирование оттока в сфере телекоммуникаций

Большинство исследований о проблеме оттока клиентов было проведено на данных телекоммуникационных компаний. Сюда входят и те компании, которые предоставляют услуги сотовой связи, и те, кто предоставляют услуги широкополосного доступа в интернет. Сфера телекоммуникаций - высоко конкурентная динамичная среда, в которой уровень осведомленности клиентов позволяет легко получить информацию о других поставщиках услуг с аналогичным или наиболее высоким качеством и по выгодной цене. Отсюда и возникает проблема оттока клиентов. Стремление телекоммуникационных компаний сокращать отток с помощью анализа данных и методов машинного обучения объясняется не только желанием повысить эффективность работы, но и возможностью это сделать, поскольку компании имеют достаточно информации о своих клиентах, чтобы ее анализировать.

В силу существования большого выбора методов и наличия их модификаций для решения проблемы оттока, методы можно варьировать и исследовать их предсказательную силу. Так же причиной для дальнейших исследований является и специфика данных в разных компаниях.

Чаще авторы используют несколько методов машинного обучения в прогнозировании оттока, а затем их сравнивают. Авторы (Huang, Kechadi et al., 2010) реализовали модели прогнозирования оттока при помощи деревьев решений, нейронных сетей и машины опорных векторов. В данной работе экспериментальным образом выбирали методы прогнозирования и критерии оценки. Авторы делают упор на проработке метода input window techniques, чтобы порядок расположения некоторых ежемесячных агрегированных показателей детализации вызовов предыдущих месяцев в объединенном наборе функций для тестирования был таким же, как и на этапе обучения. В результате исследования авторам удается достигнуть максимальной точности прогнозирования с помощью машины опорных векторов и комбинации используемого метода. Однако при таком варианте моделирования оттока остаются открытыми вопросы о сокращении размерности и вычислительных затрат на этапе обучения моделей. Также авторы отмечают высокую эффективность деревьев решений при определенных критериях оценивания. Продолжением исследования является работа (Huang, Kechadi et al., 2012), в которой авторы сделали упор на сравнительный анализ методов машинного обучения для моделирования оттока. Использовав 7 разных алгоритмов, авторы пришли к выводу, что прогнозирование оттока клиентов зависит от целей руководства. Например, деревья решений и машины опорных векторов можно использовать, если цель заключается в том, чтобы определить ошибку второго рода (FP) - отнесение лояльных клиентов к отказавшимся, а также TP - доля оттока, которая была предсказана верно. Если важна вероятность оттока, то наиболее подходящим методом будет являться логистическая регрессия.

В работе (Khan, Jamwal et al., 2010) было использовано три алгоритма машинного обучения для прогнозирования оттока: деревья решений, логистическая регрессия и нейронные сети. Особенностью работы стало то, что авторы предварительно провели кластеризацию пользователей в соответствии с их особенностями пользования услугами, и включили информацию о нахождении в определенном кластере в модель классификации. Помимо главной цели - построения моделей оттока, авторы сделали акцент на важности предикторов. В результате использования деревьев решений была выявлена сеть зависимостей, которая отображает важность функций. Таким образом, было выявлено наименьшее влияние демографических особенностей клиентов на их отток, а вот биллинговые показатели и характеристики пользования услугами имеют одинаково высокую важность. Говоря о сравнении моделей, более высокую точность показала логистическая регрессия, однако в целом можно судить о схожести производительности всех моделей.

Следующие авторы (Qureshi, Rehman et al., 2013) сравнивали такие методы, как линейная и логистическая регрессия, деревья решений и искусственные нейронные сети. Особое внимание было уделено проблеме несбалансированности выборки, которая была решена с помощью ресемплинга. По результатам данного исследования деревья решений имеют самую высокую точность предсказания среди других использованных методов. Однако в работе (Owczarczuk, 2009) деревья решений нестабильны. Помимо деревьев решений автор использует логистическую и линейную регрессию. Особенность работы заключается в том, что в наборе данных большое количество предикторов, это не только демографические данные, но и данные по пакетам услуг, детализации звонков, что в сумме дает 1 831 показатель. Исходя из этого был применен критерий Стьюдента для каждой переменной. Если в предикторе существует значительная разница в средних значениях у отточных и не отточных клиентов, то такой показатель использовался в модели, таким образом было отобрано 50 переменных. В результате моделирования линейные модели оказались более стабильны, чем деревья решений, которые быстро устаревают и со временем теряют производительность.

В следующей работе авторы (Lu, Lin et al., 2014) использовали алгоритм бустинг, который в настоящее время набирает популярность. Его особенность заключается в последовательном улучшении предыдущих (используемых в бустинге) алгоритмов. В ходе исследования были выделены кластеры с более и менее высоким риском оттока. Для сравнения на обоих кластерах строилась логистическая регрессия и бустинг, который оказался более точным в прогнозировании. Сравнительный анализ алгоритмов был также в основе работы авторов (Vafeiadis, Diamantaras et al., 2015), а именно сравнение точности прогнозирования моделей с бустингом и без. Результаты исследования также показали высокую точность моделей с бустингом.

После изучения работ по прогнозированию оттока в сфере телекоммуникаций можно сделать вывод о том, что точность предсказания зависит от специфики данных и целей руководства. Необходимо учесть тот факт, что алгоритмы имеют слабые и сильные стороны, поэтому выбор метода будет зависеть от данных и выбранных метрик оценки качества моделей.

В исследованиях показаны неоднозначные результаты по использованию деревьев решений, однако положительной стороной данного алгоритма является его интерпретируемость. Также необходимо отметить, что чаще всего логистическая регрессия берется как базовый метод, с которым в последующем сравниваются остальные алгоритмы, а применение бустинга к существующим моделям дает хорошие результаты.

Таким образом, было выделено несколько релевантных статей по моделированию оттока в телекоммуникационных компаниях. На основе изученных исследований составлена сводная таблица (Таблица 1).

Таблица 1 Сводная таблица изученных эмпирических исследований

Год	Автор	Алгоритмы машинного обучения	Результаты
2009	Owczarczuk	Деревья решений и регрессионный анализ	Деревья решений менее стабильны
2010	Khan, Jamwal , Sepehri.	Нейронная сеть, деревья решений, логистическая регрессия	Логистическая регрессия дает более точные предсказания
2012	Huang, Kechadi and Buckley.	Кластеризация и 7 алгоритмов МО, среди которых логистическая регрессия, линейная классификация	Выбор алгоритма зависит от целей руководства
2013	Qureshi, Rehman, Qamar, Kamal/	Регрессионный анализ, деревья решений, нейронные сети	Деревья решений имеют высокую точность предсказания
2014	Lu, Lin, Lu.	Логистическая регрессия, бустинг	Бустинг оказался более точным в прогнозировании
2015	Vafeiadis, Diamantaras, Sarigiannidis, Chatzisavvas.	Модели с использованием бустинга и без использования бустинга	Высокая точность у моделей с бустингом
2017	Coussement, Lessmann, Verstraeten.	8 алгоритмов МО, среди которых деревья решений, градиентный бустинг, логистическая регрессия, нейронные сети	Логистическая регрессия конкурирует с более продвинутыми алгоритмами

5. Прогнозирование оттока в России

Большой вклад в развитие решений сокращения оттока внесли кандидат технических наук Пальмов С.В. и доктор технических наук Кораблин М.А. С 2003 года авторы работали над исследованием проблемы оттока с применением методов машинного обучения. В основном они работали над исследованием возможностей алгоритмов в прогнозировании оттока, а также проводили их сравнительный анализ. Помимо методов машинного обучения авторы сделали акцент на важности CRM-стратегии. Если говорить о сравнительном анализе алгоритмов, в работе (Пальмов, Кораблин, 2005) авторы пришли к выводу, что дерево классификации и регрессии (CART) использовать для прогнозирования оттока не представляется возможным ввиду трудоемкости, в то время как алгоритм C4.5 для построения деревьев решений дает хорошую точность прогнозирования наравне с алгоритмом Apriori (набор отдельных независимых ассоциативных правил). Заслугой авторов является разработка модификаций алгоритмов для увеличения скорости прогнозирования.

Также хотелось бы упомянуть недавнюю работу Карякиной А.А. и Мельникова А.В., в основе которой сравнение моделей прогнозирования оттока. Авторы (Карякина, Мельников, 2017) использовали актуальные алгоритмы, такие как деревья решений, случайный лес, метод k-ближайших соседей и градиентный бустинг. Наилучший результат показал случайный лес, однако этот алгоритм уступал другим в ранее рассмотренных работах.

6. Постановка исследовательской проблемы

Проблема оттока клиентов широко распространена в настоящее время. Руководство компаний в различных отраслях придают ей высокую значимость. Одна из причин - удержание текущих клиентов дешевле, чем привлечение новых. Все чаще эксперты говорят о том, что для эффективности бизнеса необходимо следовать двум стратегиям - стратегия защиты (удержание клиентов) и стратегия нападения (привлечение клиентов), при этом удержание клиентов компаниям обходится дешевле. При работе с оттоком выделяют несколько его причин, среди которых неудовлетворенность качеством продукта или сервиса, возникновение выгодного предложения у конкурентов. В сфере телекоммуникаций большую роль играет высокая конкуренция. По данным РБК в 2018 году рынок телекоммуникаций в России увеличился на 3,4%, тем самым показал наилучший темп роста за последние пять лет. В сложившейся ситуации компании стараются активно «бороться» за своих клиентов, привлекая новых и удерживая текущих. машинный обучение отток клиент

До широкого использования алгоритмов машинного обучения для решения проблемы оттока, компании работали с клиентами через телефонные опросы. Такой способ использовался для выявления уровня лояльности базы, чтобы в дальнейшем предложить более выгодные условия неудовлетворенным клиентам. Однако для нахождения нелояльных клиентов требовалось опросить большую часть базы, что подразумевало значительные затраты. Для оптимизации работы была необходимость выделять более узкую группу, клиенты которой наверняка недовольны качеством услуг, то есть потенциально могут от них отказаться. Такая классификация клиентов на лояльных и нелояльных полезна компаниям тем, что появляется возможность экономить ресурсы, отправляя коммуникации, направленные на удержание, именно тем клиентам, которые скорее всего уйдут. Помимо коммуникаций на удержание, информация о нелояльных клиентах может использоваться в коммуникациях о продаже дополнительных продуктов, которая является значительной составляющей прибыли компании. Необходимо понимать, что нелояльный клиент вероятно не захочет покупать дополнительные продукты компании, ведь он скорее всего не удовлетворен качеством основных услуг. Именно поэтому предложение дополнительных продуктов всем клиентам (лояльным и нелояльным) может спровоцировать увеличение оттока.

В настоящее время большинство российских компаний при наличии достаточного объема данных о своих клиентах прибегают к использованию методов машинного обучения для решения множества задач, и прогнозирование оттока не является исключением. В некоторых крупных компаниях этим занимаются отдельные службы по аналитике данных, а некоторые компании передают прогнозирование оттока клиентов на аутсорсинг.

На рынке Big Data в России и за рубежом присутствует большое количество компаний, занимающихся решением проблемы оттока клиентов. Например, Yandex Data Factory - международное b2b-подразделение компании Яндекс, специализирующееся на анализе больших данных, предоставило решения по сокращению оттока клиентов для компаний из различных отраслей: разработчику компьютерных игр Wargaming (предсказание оттока игроков в популярной игре World of Tanks, компании «ВымпелКом» (прогнозирование оттока клиентов в телекоммуникациях). Банки также сотрудничают с компаниями-разработчиками аналитических систем, например, «Сбербанк» с «Айкумен ИБС», а «ВТБ24» с Teradata. Российские компании также обращаются к таким крупным игрокам, предоставляющим аналитические решения на рынке Big Data, как Parcus Group, которая специализируется на предоставлении решений для Телеком-компаний, CleverData, Glowbyte Consult, «Алгомост», Constanta.

Целью данного исследования является построение с помощью методов машинного обучения моделей, прогнозирующих отток клиентов. Для достижения цели необходимо определить, какие методы логично использовать для моделирования с учетом специфики данных, а также, какой критерий качества выбрать для определения наилучшего метода. В работах, рассматриваемых ранее, часто встречалось утверждение о том, что выбор метода моделирования зависит не только от того, какие алгоритмы используются и какие данные подаются на вход, а еще и от того, какую цель преследует руководство компании. Исходя из целей компании, предлагалось рассматривать не только разные методы, но и разные критерии оценки качества моделей. Отсюда возникает следующий исследовательский вопрос: как выбирать наилучшие методы машинного обучения в зависимости от сегмента и поставленной цели?

Исходя из обзора исследований о проблеме оттока в телекоммуникациях, в данном исследовании представляется логичным выбрать для моделирования такие методы, как логистическая регрессия, которая показывает высокую точность прогнозирования на данных телекоммуникационных компаний, а также градиентный бустинг, который имеет хорошее качество моделей на различных данных. При этом также будет выбран критерий оценки качества релевантный для целей компании.

Методология и данные

Данная глава посвящена описанию дизайна исследования (основных этапов), а также методов сбора данных, выбору предикторов для моделирования.

Для достижения поставленной цели были использованы алгоритмы машинного обучения по типу обучение с учителем (supervised learning) - это подход к машинному обучению, основанный на том, чтобы обучить модель на тренировочных данных, которые включают в себя значения зависимой переменной. Таким образом, алгоритм использует исторические данные для построения модели, которая в дальнейшем применяется для прогнозирования зависимой переменной на тестовых данных.

Обучение с учителем можно разделить на две основные группы задач:

Классификация. Зависимая переменная - категория, в случае проблемы оттока - откажется клиент от услуг компании или нет.

Регрессия. Зависимая переменная представляет собой реальное значение, например, прогнозируется курс валюты на определенный момент.

В данной работе решается задача классификации клиентов. То есть модели относят каждого клиента к определенному классу. К этой работе применим метод бинарной классификации, когда зависимая переменная может определяться только двумя видами классов. Для того, чтобы построить модели оттока было необходимо определить зависимую переменную. Само понятие оттока клиента можно рассмотреть с разных сторон. Самое простое - расторжение договора клиентом, но цель прогнозирования оттока заключается не только в том, чтобы узнать, кто уйдет, а в основном в том, чтобы заранее узнать, кто захочет уйти, чтобы работать над повышением лояльности этих клиентов, иными словами - провести профилактику оттока. Исходя из того, какая выбрана зависимая переменная, можно получить разные типы клиентов в результате предсказания модели. Например, если модель будет предсказывать расторжение договора, то таких клиентов скорее всего будет немного, однако удержать их будет очень сложно, так как они уже не лояльны к компании (вероятно на протяжении длительного времени клиент был не удовлетворен услугами и ознакомился с предложениями конкурентов и т.д.). Если рассматривать отток с точки зрения снижения активности, то можно успеть удержать клиента до того момента, как он решится отказаться от услуг. Активность можно измерить несколькими способами, например, посмотреть динамику пользования услугами и объемы интернет-трафика, проверить наличие снижения частоты пользования дополнительными услугами, а также рассмотреть платежное поведение (вовремя ли платит клиент). Такая логика будет использоваться в качестве определения зависимой переменной: клиент активен (потенциально не откажется от услуг), если он заплатил за услуги и не активен, если не заплатил (может отказаться от услуг). Такой способ определения оттока напрямую связан с прибылью, а также прост в интерпретации.

7. Критерии оценки качества моделей

Важной частью моделирования является верное обобщение модели с помощью правильного оценивания эффективности прогнозирования (Huang, Kechadi et al., 2012). На самом деле, критерии качества измеряют способность предиктивной модели точно ранжировать клиентов на основе вероятности оттока (Coussement, De Bock, 2013).

Существует несколько распространенных критериев для оценки точности и эффективности модели:

Classification accuracy (доля правильных ответов)

Precision (точность)

Recall (полнота)

F-мера

Остановимся подробнее на каждом, чтобы выбрать, какие критерии качества мы будем использовать, исходя из целей моделирования. Для того, чтобы понимать, на основе чего рассчитываются данные критерии, необходимо рассмотреть матрицу ошибок (confusion matrix).

В привычном виде (Таблица 2) данная матрица выглядит следующим образом.

Таблица 2 Матрица ошибок (confusion matrix)

	Предсказание, категория
Реальность, категория	Положительная	Отрицательная
Положительная	TP	FN
Отрицательная	FP	TN

Данная таблица отображает, насколько правильно модель предсказывает класс:

TP - истинно-положительное решение: случай, когда модель спрогнозировала положительную категорию, и в действительности она является положительной;

TN - истинно-отрицательное решение: случай, когда модель спрогнозировала отрицательную категорию, и в действительности она является отрицательной;

FP - ложно-положительное решение: случай, когда модель спрогнозировала положительную категорию, а в действительности она является отрицательной;

FN - ложно-отрицательное решение: случай, когда модель спрогнозировала отрицательную категорию, а в действительности она является положительной.

На примере прогнозирования оттока матрица ошибок будет выглядеть следующим образом:

Таблица 3 Матрица ошибок (confusion matrix) для прогнозирования оттока

	Предсказание
Реальность	Не оттечет (0)	Оттечет (1)
Не оттечет (0)	TN	FP
Оттечет (1)	FN	TP

И подразумевать следующие показатели:

TP (истинные положительные результаты): количество клиентов, которые должны быть в категории «отток», и алгоритм прогнозирования правильно определил их категорию «отток».

TN (Истинные отрицательные значения): количество клиентов, которые должны быть в категории «не отток», и алгоритм прогнозирования правильно определил их категорию «не отток».

FP (ложно положительные): количество клиентов, которые не являются отточными, но алгоритм неправильно классифицировал их как отточных.

FN (ложно отрицательные): количество клиентов, которые являются отточными, но алгоритм неправильно классифицировал их как не отточных.

На основе такой матрицы рассчитываются критерии качества модели. Авторы, которые занимались прогнозированием оттока, часто использовали стандартный набор критериев для оценки качества моделей. Остановимся подробнее на каждом из них (Vafeiadis, Diamantaras et al., 2015).

Доля правильных ответов:

,

Данная метрика очень проста в интерпретации и показывает долю всех правильных ответов. Несмотря на то, что при решении задачи классификации такая метрика используется очень часто, она имеет свои недостатки. При несбалансированности классов она не даст истинную оценку качества, поскольку показатель может быть высоким, но при этом не означать хорошее качество из-за того, что при одинаковом распределении весов будет смещение в сторону преобладающего класса. В силу чего данную метрику рассматривают вместе со следующими показателями:

Precision (точность) - метрика, характеризующая долю правильных ответов среди общего числа положительных классификаций. Чем выше точность модели, тем меньше не верных положительных решений.

,

В случае моделирования оттока точность будет пониматься как доля действительно отточных клиентов из всех, кого модель отнесла к отточным. Однако эта метрика учитывает ошибку второго рода, а в данной задаче важнее оценить ошибку первого рода.

Recall (полнота) - метрика, показывающая долю положительных решений, принятых классификатором, среди всех положительных примеров в тестовой выборке.

,

Полнота отличается от точности тем, что учитывает потери классификатора на тестовой выборке. Чем больше значение полноты, тем меньше потеряно правильных классификаций. (Бессмертный, Нугуманова, Платонов, 2018, p. 108). Преимуществом данных критериев является то, что они не зависят от соотношения размеров классов и дают корректное качество модели на несбалансированной выборке.

Помимо точности и полноты рассчитывается еще их гармоническое среднее. Формула 4 отображает среднее при условии, что предпочтение не отдается точности или полноте, то есть метрики равнозначны. Однако исходя из цели исследования можно добавить коэффициент, который покажет предпочтение при расчете гармонического среднего. Такую метрику используют, чтобы в целом оценить эффективность классификатора, поскольку точность или полнота отображают только наличие только одной ошибки - второго и первого рода, соответственно. По этой причине популярная комбинация F-мера обычно используется как единая метрика для оценки эффективности классификатора.

F-мера - гармоническое среднее точности и полноты:

,

Важно отметить, что значение данной метрики близко к нулю, если хотя бы один из показателей близок к нулю.

Необходимо определить, какой критерий оценки модели будет релевантным для оценки модели по прогнозированию оттока. Чтобы разобраться в этом, введем понятия ошибок первого и второго рода:

Ошибка первого рода (FN) - отнесение отказавшихся клиентов к лояльным;

Ошибка второго рода (FP) - отнесение лояльных клиентов к отказавшимся.

Цель прогнозирования оттока заключается в том, чтобы сократить ошибку первого рода, то есть свести к минимуму определение моделью отточных клиентов, как лояльных, потому что в таком случае компания не возьмет в работу на удержание клиентов, которые вероятно откажутся от услуг, потому что модель определила их как лояльных. Первая метрика - доля правильных ответов, не отображает истинное качество модели, поскольку не учитывает несбалансированность классов. Вторая метрика - точность, учитывает ошибку второго рода, которая в случае моделирования оттока не является критичной. Третья метрика - F-мера, учитывает и точность, и полноту, но отображает общую оценку классификатора. В данной задаче необходимо получить минимальное значение ошибки первого рода. Таким образом, был выбран критерий оценки модели, по которому будет определяться ее качество - recall (полнота), поскольку данная метрика учитывает ошибку первого рода.

Данные

Для исследования проблемы оттока клиентов - прогнозирования оттока, были взяты клиентские данные телекоммуникационной компании «Эр-Телеком Холдинг». В компании собираются данные по 3,5 млн клиентов из 47 городов России. Однако моделирование оттока подразумевает предварительную сегментацию клиентов для того, чтобы учесть их особенности. В компании принято разделять клиентов на следующие сегменты:

По типу услуг:

Комплексное предложение - две и более услуги; например, интернет и телевидение (далее - КП);

Моно-услуга - единичная услуга, например, только интернет (далее - моно).

Выделение таких сегментов необходимо, поскольку существует разница в способе оплаты услуг: для клиентов КП - услуги будут активны, если они оплачены на 1-й день текущего месяца, а для клиентов моно - на 5-й.

По типу «поведения» городов:

Лояльные города - города, в которых по базе в среднем высокий NPS Индекс лояльности NPS (англ. Net Promoter Score) -- индекс определения приверженности потребителей товару или компании (индекс готовности рекомендовать) от 0 до 9, где 0 - не готов рекомендовать, 9 - готов порекомендовать, низкий отток, мало обращений с классом «претензии» Обращения с классом «претензии» - любые обращения клиентов в компанию, у которых есть какие-либо претензии (например, недовольство качеством сервиса, услуг) ;

Города «сами по себе» - города, в которых стандартный NPS, невысокий отток, не так много обращений;

Города «тревожные» - города, где клиенты часто создают заявки с обращениями, имеют низкий NPS, высокий отток.

Опытным путем в компании было определено, что моделирование оттока на всей базе клиентов не дает хорошее качество моделей. В то время как использование данных сегментов позволило повысить точность предсказания моделей, так как учитывается особенность поведения клиентов в разных городах.

Для построения моделей был выбран один из сегментов - лояльные города с моно интернетом. Этот сегмент интересен тем, что у лояльных клиентов сложнее отследить намерение отказаться от услуг (стать не активным), в отличие от нелояльных клиентов, у которых многие категории событий сильнее повышают вероятность стать не активным.

Данные были взяты за исторический период - 3 месяца: с декабря 2019 года по февраль 2020 года. Целевое действие (факт оттока, 1 - не активен на начало месяца, 0 - активен на начало месяца) было взято на 1 апреля 2020 года. Такой выбор периода данных обусловлен сложившимся процессом моделирования в компании. Для того, чтобы распознать высокую вероятность оттока, есть необходимость взять исторические данные за 3 месяца, чтобы отследить динамику в пользовании услугами. Данные за февраль полностью рассчитываются к середине марта (особенность сбора данных). Таким образом, необходимо спрогнозировать отток на ту дату, до которой еще возможно провести мероприятия по профилактике оттока, то есть на 1 апреля.

Информация о клиентах по месяцам собирается в витринах данных. Ниже описание витрин, которые использовались для выбора и генерации новых предикторов для моделирования оттока:

Витрина «Billing», содержит демографическую и биллинговую информацию о клиентах (например, суммарное АРПУ на конец месяца, тип услуг, город);

Рис. 1. Период данных для моделирования оттока

Витрина «Statistics», содержит информацию о посещении сайтов, пользовании приложениями и сервисами;

Витрина «Categories», содержит информацию о категориях сайтов и трафике клиента;

Витрина «Games», содержит информацию об игровом трафике клиентов.

Еще одним источником данных является аналитическая система Oracle Business Intelligence, являющаяся платформой с инструментами бизнес-аналитики. Из данного источника выгружались данные об оттоке на начало месяца.

8. Подготовка данных и выбор значимых предикторов

Все имеющиеся данные условно можно разделить на 2 типа:

Billing - биллинговые показатели (витрина billing);

Dpi - показатели трафика (витрины statistics, categories, games).

В компании при ежемесячном расчете витрин уже используется такое разделение для моделирования оттока.

Верхнеуровневая подготовка данных состояла из объединения данных в общую базу, к которой дополнительно были добавлены целевые действия (факт оттока, 1 - не активен на начало месяца, 0 - активен на начало месяца). Несмотря на то, что в витринах уже имеется достаточно большое количество показателей, существует необходимость генерирования новых предикторов, поскольку агрегаты различных показателей могут иметь большую значимость и повысить качество модели.

В силу того, что для моделирования будут использоваться два типа витрин, генерирование новых предикторов тоже разделено на две части.

Для биллинговой витрины было сгенерировано 190 предикторов на основе имеющихся данных, ниже представлена логика их формирования:

Показатель отношения суммарного АРПУ последнего месяца к суммарному АРПУ за последние 3 месяца;

Показатель отношения количества платежей за последний месяц к суммарному количеству платежей за последние 3 месяца;

Показатель отношения количества заявок НРД по услуге к среднему количеству заявок НРД по услуге;

Показатель отношения аварий по причинам за последний месяц к суммарному количеству деактиваций за последние 3 месяца;

Показатель отношения задолженности за последний месяц к суммарному количеству задолженности за последние 3 месяца.

Таких показателей генерируется большое количество поскольку существует несколько классификаций обращений, платежей, причин обращений, также берутся разные месяцы. По этой причине описание показателей дано в обобщенном виде.

Генерирование предикторов для витрины dpi немного отличается. Особенность данной витрины в том, что там уже выделены категории сайтов, на которые заходят клиенты, а также категории игр. На основе имеющихся данных сгенерировано 152 предиктора по следующей логике:

Показатель отношения количества визитов за последний месяц к определенной категории сайтов или онлайн-магазинов к суммарному количеству визитов к этой категории за 3 последних месяца;

Показатель общего количества трафика (http и https) за последний месяц к суммарному количеству трафика за последние 3 месяца;

Показатель суммарного количества посещений сайтов с Android, iOS, Windows;

Показатель отношения суммарного количества дней игры в игры определенной категории за последний месяц к суммарному количеству дней игры в игры определенной категории за последние 3 месяца.

После генерирования показателей следующим этапом работы являлась подготовка данных для моделирования:

Работа с пустыми значениями;

Работа с категориальными показателями;

Проверка корреляции между показателями;

Выбор значимых предикторов.

Была создана таблица, которая количество пустых значений в столбцах и их долю. Те показатели, среди которых была слишком большая доля пустых значений были удалены, остальные заменены на медиану. На следующем этапе были просмотрены категориальные переменные и выбраны те, которые необходимы для моделирования. Такие показатели были преобразованы в dummy-переменные. Остальные категориальные признаки были удалены.

После проведенных преобразований была построена корреляционная матрица между переменными, чтобы исключить те, которые имеют высокую корреляцию.

...