Как уже было отмечено ранее текущий проект проводился для заказчика, ведущего деятельность в сфере ресторанного бизнеса. Основным способом отслеживания поведения клиентов для ресторана заказчика является программа лояльности. Тогда, наблюдаемый в данных факт того, что клиент стал реже потреблять в ресторанах, может быть обусловлен целым рядом причин: эвристический сегментация маркетинговый

· Клиент переключился на рестораны конкурентов

· Клиент стал реже посещать рестораны в целом, например, по причине финансовых трудностей

· Клиент перестал использовать программу лояльности (не предъявляет карту/приложение), но по-прежнему посещает ресторан и т.д.

Для каждой из причин необходим разный подход к работе с клиентами, разные маркетинговые инструменты и посылы. Наличие достоверного определения оттока позволяет релоцировать ресурсы на возврат оптимальным образом. В реальном мире отсутствие данных о причине, провоцирующей тот или иной паттерн в поведении клиента, приводит нас к необходимости использования не самого оптимального, но наиболее оптимального определения с точки зрения поставленной задачи и ресурсов доступных для ее решения.

Ключевой задачей бизнеса при маркетинговой коммуникации с клиентами является выделение релевантных для кампании клиентов, то есть тех, для которых коммуникация повысит вероятность совершения целевого действия и не спровоцирует отрицательных эффектов. Исходя из чего зависимой переменной в задаче машинного обучения была принята следующая величина - величина принимает значение 1, если в промежутке времени равном четырем неделям (на две недели больше чем срок акции) клиент совершит покупку в ресторане и без воздействия и величина принимает значение 0, если в промежутке времени равном двум неделям клиент НЕ совершит покупку в ресторане.

Наличие подобной зависимой переменной позволяет, во-первых, при соотнесении эвристического и предсказанного сегмента исключить тех клиентов, вероятность прихода для которых достаточно высока без дополнительных воздействий, во-вторых, исключить клиентов, которые совершат не дополнительный визит, а просто перенесут запланированный во времени. Тем самым гипотетически мы можем говорить о росте эффективности кампании за счет экономии на издержках рассылки и изоляции активных клиентов (которые не обеспечивают прироста в марже).

Как уже отмечалось ранее в проекте использован метод обучения с учителем, требующий наличия обучающей выборки для расчета прогноза. Обучающая выборка составляется в целях искусственного создания ситуации, которую мы хотели бы предсказать на еще не наступивший момент времени. Поскольку знания будущего нам не доступны, то невозможно сказать какие значения примет целевая переменная заранее. В этом случае в сфере машинного обучения принято “откатывать” ситуацию на горизонт времени в прошлом, когда известны все данные.

Использованная в данной работу обучающая выборка включает более чем семьдесят объясняющих переменных, в число которых входят как постоянные характеристики клиента (Возраст, регион, дата регистрации в программе лояльности), так и поведенческие (средний чек, средний интервал между покупками, доли потребления в брендах сети ресторанов и т.д.). Все характеристики рассчитаны на начало февраля 2018 года. Зависимой переменной в обучающей выборке является факт прихода в феврале. Как было отмечено ранее, взят горизонт времени чуть больше двух недель для более качественного отбора активных клиентов в сегменте, поскольку вероятна ситуация переноса визита клиента в ресторан во времени под влиянием воздействия, однако такое посещение нельзя считать инкрементальным (дополнительным). Обучение модели осуществлено методом градиентного бустинга, реализованного на языке программирования R в пакете XGBoost.

Зависимые переменные для прогнозной выборки рассчитаны на данных, известных о клиентах из сегмента на последнюю дату до начала эксперимента (19 апреля 2018 года). Результатом предсказания является величина, принадлежащая интервалу значений от 0 до 1 и показывающая вероятность прихода клиента в период акции или с точки зрения задачи выделения сегмента, показывающая, что клиент активен на определенном уровне, а значит не должен быть отнесен к таргетируемому сегменту. Логичным образом возникает вопрос: какой уровень предсказанной вероятности можно считать относительно высоким и считать таких клиентов активными, исключая из отточного сегмента.

Чем более высокий уровень предсказанной вероятности мы примем для назначения клиенту статуса “активен”, тем большая площадь пересечения будет наблюдаться в сегментах, выделенных эвристически и прогностически. Крайним случаем является установление порога вероятности на уровень равный единице, тогда мы считаем, что, согласно предсказанию, клиент придет в период проведения кампании без воздействия, если для него предсказана вероятность больше единицы (то есть никогда). Таким образом, все клиенты, которые были отнесены к целевому сегменту эвристическим правилом, по-прежнему, останутся в сегменте и с учетом прогноза.

Второй крайний случай - принятие порога вероятности равным нулю, тогда мы считаем, что, согласно предсказанию, клиент придет в период проведения кампании без воздействия, если для него предсказана вероятность больше или равно нулю (то есть всегда). Согласно такому правилу принятия решений, ни один клиент из эвристического сегмента не будет отнесен к отточному сегменту, согласно предсказанию и эффективность маркетинговой кампании в целом будет равняться нулю (нет ни одного человека, подвергшегося воздействию).

Таким образом, при сравнении эвристического и прогнозного метода к выделению сегментов, мы приходим к задаче выбора оптимального порога отсечения сегмента. Более подробно решение данной задачи будет рассмотрено в Главе 4.

Глава 4. Результаты применения прогнозных вероятностей для ограничения эвристических сегментов

Для каждого сегмента (см. Главу 2) проведен ряд итераций с уровнями предсказанной вероятности от нуля до одного и шагом в 0,01, на каждой из которых для конкретного уровня пороговой вероятности рассчитана инкрементальная маржинальность (см. Глава 3 параграф 3) при ситуации воздействия только на оттоковый (неактивный), согласно предсказанию, сегмент. Результаты итеративных расчётов более подробно рассмотрены в следующем параграфе.

4.1 Кейс 1. Сегмент неактивных клиентов

Результаты оценки инкрементального эффекта в марже в руб. (ось Y) от предсказанного сегмента неактивных клиентов для каждого порога вероятности (ось X) представлены ниже на рис. 5.

Рис. 5 Зависимость инкрементальной маржинальности от порогового значения предсказанной вероятности (Сегмент неактивные)

Типичным правилом определения порога вероятности считается разделение клиентов на тех, у кого предсказанная вероятность больше 0,5 и меньше либо равна 0,5. Как видно с рис. 5 приложение такого правила к нашим данным не является уместным, поскольку среди всего сегмента неактивных клиентов нет ни одного клиента, для которого модель предсказала вероятность прихода больше 0,5, а значит применение предсказания в таком формате не изменит ничего в сравнении с ситуацией простого эвристического выделения сегмента.

Итоговый размер инкрементальной маржи (желтая линия) будет зависеть от двух факторов - скорость сокращения сегмента при изменении пороговой вероятности и скорость прироста маржинальности в экспериментальной группе относительно контрольной. На рис. 5 нельзя отметить четкого тренда изменения итоговой инкрементальной маржинальности от предсказанного сегмента и наблюдаемые изменения - скачки в результатах, скорее, похожи на случайные события, чем закономерности.

Таким образом, использование предсказательной аналитики для извлечения сегмента среди неактивных клиентов не является оптимальным решением. Если говорить о причинах полученных результатов, то, возвращаясь к определению сегмента - зарегистрировавшиеся, но не посещавшие рестораны клиенты - можно предполагать, что для качественного предсказания алгоритму недостаточно информации - все поведенческие характеристики полностью отсутствуют и для построения предсказания доступны только такие характеристики, которые клиент заполняет сам о себе в приложении заказчика в момент регистрации в программе лояльности.

4.2 Кейс 2. Сегмент оттоковые клиенты с тремя и более покупками в предыдущей истории

Результаты оценки инкрементального эффекта в марже в руб. (ось Y) от предсказанного сегмента оттоковые клиентов с тремя и более чеками для каждого порога вероятности (ось X) представлены ниже на рис. 6. Для оттоковых клиентов с тремя и более чеками вновь наблюдается ситуация неизменности сегмента на порогах выше 0,5 для всех клиентов можно утверждать, что предсказанная вероятность их прихода в период акции без воздействия меньше 50%.

Изменения начинаются в районе показателя вероятности равного примерно 0,3, однако, чем меньший порог для восстановления метрики активности (1 или 0) мы принимаем, тем меньшую инкрементальную маржинальность можем получить от проведения маркетинговой кампании - дополнительное ограничение методом предсказательного моделирования не является оптимальным решением для сегмента.

Рис. 6 Зависимость инкрементальной маржинальности от порогового значения предсказанной вероятности (Сегмент Отток 1-2 чека)

Объяснение полученного результата может быть связано с природой извлечения сегмента - отобраны клиенты, ранее покупавшие три и более раз и не пришедшие в течение определенного количества времени. Поскольку для клиентов этого сегмента известно достаточно исторической информации для расчета базовых статистик на индивидуальном уровне, то интервал, в который мы считаем клиента активным был задан на индивидуальном уровне. Вероятно, наличие ограничения, заданного эвристически, но на уровне клиента достаточно хорошо связано с реальными паттернами поведения клиента, а значит сегмент изначально был извлечен корректно и излишнее ограничение приводит только росту потерь инкремента от воздействия.

4.3 Кейс 3. Сегмент отточные клиенты с одной или двумя покупками в предыдущей истории

Результаты оценки инкрементального эффекта в марже в руб. (ось Y) от предсказанного сегмента отточных клиентов с одним или двумя чеками для каждого порога вероятности (ось X) представлены ниже на рис. 7.

Рис. 7 Зависимость инкрементальной маржинальности от порогового значения предсказанной вероятности (отток 3+ чеков)

Первые изменения в размере инкрементальной маржи для данного сегмента начинаются уже с порога вероятности равного 0,75, то есть среди выделенного сегмента есть клиенты вероятность прихода которых около 75%. После пороговой вероятности равной 0,5 размер потенциально извлеченной маржи с учетом упущенной выгоды постепенно снижается до пороговой вероятности в примерно 0,12. Это значит, что темпы уменьшения сегмента на данном промежутке вероятностей выше, чем темпы роста инкрементальной маржинальности - в сегменте становится все меньше клиентов и снижение размерности сегмента не компенсируется приростом маржи в экспериментальной группе относительно контрольной.

Однако, на пороге вероятности равном примерно 0,05 эффект от ограничения становится положительным - ограничив сегмент для кампании, предсказанными отточными клиентами, мы могли бы извлечь большую инкрементальную маржу на меньшем объеме сегмента. Наибольший эффект наблюдается на пороге равном 2% - при ограничении эвристического сегмента только теми клиентами, для которых предсказанная вероятность прихода ниже двух процентов существует потенциальная возможность извлечения инкрементальной маржи на 30% больше, чем при таргетировании на весь эвристический сегмент.

Таким образом, использование предикатива для сегмента с одним-двумя чеками является уместным, поскольку позволяет выделить сегмент более качественно, чем при простом использовании эвристических правил. Данный случай является промежуточным между неактивными (клиенты без поведенческих данных в истории) и отточными с тремя и более чеками (клиенты для которых мы знаем достаточное количество информации по поведению в компании в прошлом), то есть мы обладаем определенным количеством информации о поведении клиентов, но для определения эвристического правила выделения сегмента этого недостаточно. При этом методы машинного обучения при данном уровне знания о прошлом поведении клиента уже способны через сопоставление с другими наблюдениями и клиентами определить склонность клиента к определенному паттерну поведения.

Заключение

На сегодняшний день информация о клиентах служит эффективным инструментом для развития бизнеса. Программы лояльности позволяют настроить маркетинговые процессы и, как следствие, долгосрочные отношения с потребителями. Таким образом, изучение методов, позволяющих эффективно работать с данными такого рода является целесообразным и имеет практическую значимость для любого бизнеса.

Представленная проектная работа проведена с целью сравнения эвристического и предсказательного подхода к выделению сегментов на примере маркетинговой кампании по возврату оттока. Для достижения цели был проделан ряд действий позволяющих сопоставить эффективность кампании при разных способах извлечения сегментов. Основной метрикой эффективности в работе является инкрементальная маржинальность, возможность расчета которой обеспечивается через проведение рандомизированного эксперимента (выделение контрольной и экспериментальной группы).

Исследование проведено в несколько этапов, в частности произведен первичный анализ клиентской базы заказчика по данным из программы лояльности, ставший основанием для определения наиболее приоритетных направлений деятельности в рамках CRM-стратегии. Выявлена высокая доля неактивных клиентов среди клиентской базы заказчика, а также отрицательная динамика перехода большой части активных сегментов в отток во времени. В связи с чем наиболее приоритетной механикой выбрана работа с оттоком. Составление дизайна кампании проводилось в сотрудничестве с CRM-агентством Out Of Cloud.

Всего в рамка работы с отточными клиентами представлено три сегмента, для выделения которых разработан набор эвристических правил. Маркетинговое воздействие осуществлялось на каждый из трех эвристически выделенных сегментов. По итогам маркетингового воздействия рассчитана эффективность кампании (инкрементальная маржа) для каждого из сегментов. На следующем этапе клиенты из сегмента последовательно исключались клиенты в порядке убывания предсказанной вероятности того, что клиент активен.

Результатом проведения проекта стали следующие практические выводы. Во-первых, при решении об использовании инструментов предсказательной аналитики для задачи выделения сегментов под маркетинговые кампании необходимо оценить уровень достаточности данных для обучения модели и подумать о возможности задания сегмента эвристически на индивидуальном уровне. Во-вторых, при оценке эффективности предсказательных моделей стоит учитывать специфику задачи, для которой они используются. В нашем примере было показано извлечение из неактивного/оттокового сегмента клиентов, которые предсказаны как активные. При этом стоит понимать, что оттоковые клиенты изначально характеризуются низкими вероятностями прихода, что и было показано в результатах. В-третьих, необходимость использования предсказания может быть обусловлена слабым пониманием феномена, который мы пытаемся предсказать. Если активность клиента может быть описана на “понимательном” эвристическом уровне, то ряд других метрик, интересных маркетингу, не всего просто задать, исходя из знания предметной области.

К ряду ограничений данного проекта можно отнести:

ѕ Специфичность разных маркетинговых воздействий/разных компаний. Уместность использования предсказаний в маркетинговых процессах может варьироваться среди разных сфер и результаты, полученные на одной кампании в ресторанной сети, не могут быть напрямую отнесены к похожего рода кампаниям в Телекоммуникациях

ѕ Отсутствие информации об эффективности кампании для клиентов, предсказанных как отточных, но не вошедших в эвристический сегмент.

ѕ Ограничение в доступных данных. Нет данных по предыдущим коммуникациям, откликам клиентов на маркетинговые воздействия со стороны компании.

Итак, полученные выводы носят прикладной характер, поскольку используемые в работе методы и инструменты позволяют оценить дополнительную полезность от использования предсказательных моделей в процессе выделения целевых сегментов под маркетинговые кампании.

Список литературных источников

1. Alonso F. et al. Combining expert knowledge and data mining in a medical diagnosis domain //Expert Systems with Applications. - 2002. - Т. 23. - №. 4. - С. 367-375.

2. Anand S. S., Bell D. A., Hughes J. G. The role of domain knowledge in data mining //Proceedings of the fourth international conference on Information and knowledge management. - ACM, 1995. - С. 37-43.- 43.

3. Artun, Omer, and Dominique Levin. Predictive marketing: Easy ways every marketer can use customer analytics and big data. John Wiley & Sons, 2015.

4. Athey S., Imbens G. W. The econometrics of randomized experiments //Handbook of Economic Field Experiments. - North-Holland, 2017. - Т. 1. - С. 73-140.

5. Barker T. B., Milivojevich A. Quality by experimental design. - CRC Press, 2016.

6. Buckinx W., Van den Poel D. Customer base analysis: partial defection of behaviourally loyal clients in a non-contractual FMCG retail setting //European Journal of Operational Research. - 2005. - Т. 164. - №. 1. - С. 252-268.

7. Burges C. et al. Learning to rank using gradient descent //Proceedings of the 22nd international conference on Machine learning. - ACM, 2005. - С. 89-96.

8. Capraro A. J., Broniarczyk S., Srivastava R. K. Factors influencing the likelihood of customer defection: the role of consumer knowledge //Journal of the academy of marketing science. - 2003. - Т. 31. - №. 2. - С. 164-175.

9. Cook T. D., Campbell D. T., Shadish W. Experimental and quasi-experimental designs for generalized causal inference. - Boston, MA: Houghton Mifflin, 2002.

10. Cossock D., Zhang T. Subset ranking using regression //International Conference on Computational Learning Theory. - Springer, Berlin, Heidelberg, 2006. - С. 605-619.

11. Cuenco M. et al. Challenges With Churn //Lean & Six Sigma Review. - 2011. - Т. 11. - №. 1. - С. 20.

12. Dursun A., Caber M. Using data mining techniques for profiling profitable hotel customers: An application of RFM analysis //Tourism management perspectives. - 2016. - Т. 18. - С. 153-160.

13. Imbens G. W., Rubin D. B. Causal inference in statistics, social, and biomedical sciences. - Cambridge University Press, 2015.

14. Fader P. S., Hardie B. G. S. How to project customer retention //Journal of Interactive Marketing. - 2007. - Т. 21. - №. 1. - С. 76-90.

15. Govind N. A/B Testing and Beyond: Improving the Netflix Streaming Experience with Experimentation and Data Science. - 2017.

16. Grigsby M. Advanced Customer Analytics: Targeting, Valuing, Segmenting and Loyalty Techniques. - Kogan Page Publishers, 2016.

17. Jamal Z., Bucklin R. E. Improving the diagnosis and prediction of customer churn: A heterogeneous hazard modeling approach //Journal of Interactive Marketing. - 2006. - Т. 20. - №. 3-4. - C. 16-29.

18. Johnson J., Tellis G. J., Ip E. H. To whom, when, and how much to discount? A constrained optimization of customized temporal discounts //Journal of Retailing. - 2013. - Т. 89. - №. 4. - С. 361-373.

19. Kane K., Lo V. S. Y., Zheng J. Mining for the truly responsive customers and prospects using true-lift modeling: Comparison of new and existing methods //Journal of Marketing Analytics. - 2014. - Т. 2. - №. 4. - С. 218-238.

20. Kopanas I., Avouris N. M., Daskalaki S. The role of domain knowledge in a large scale data mining project //Hellenic Conference on Artificial Intelligence. - Springer, Berlin, Heidelberg, 2002. - С. 288-299.

21. Lemmens A., Croux C. Bagging and boosting classification trees to predict churn //Journal of Marketing Research. - 2006. - Т. 43. - №. 2. - С. 276-286.

22. Lima E., Mues C., Baesens B. Domain knowledge integration in data mining using decision tables: Case studies in churn prediction //Journal of the Operational Research Society. - 2009. - Т. 60. - №. 8. - С. 1096-1106.

23. Radcliffe N. J. Generating incremental sales: Maximizing the incremental impact of cross-selling, up-selling and deep-selling through uplift modelling. Stochastic Solutions Limited //Stochastic Solutions Limited. Google Scholar. - 2007.

24. Radclifte N. J., Simpson R. Identifying who can be saved and who will be driven away by retention activity //Journal of Telecommunications Management. - 2008. - Т. 1. - №. 2.

25. Katsov I. (2018) Introduction to algorithmic marketing

26. Kumar, V., and J. Andrew Petersen. Statistical Methods in Customer Relationship Management. John Wiley & Sons, 2012.

27. Kumar, Vineet, and Werner Reinartz. Customer relationship management: Concept, strategy, and tools. Springer, 2018.

28. Miglautsch J. R. Thoughts on RFM scoring //Journal of Database Marketing & Customer Strategy Management. - 2000. - Т. 8. - №. 1. - С. 67-72.

29. Neslin S. A. et al. Defection detection: Measuring and understanding the predictive accuracy of customer churn models //Journal of marketing research. - 2006. - Т. 43. - №. 2. - С. 204-211.

30. Neyman J., Dabrowska D. M., Speed T. P. On the application of probability theory to agricultural experiments. Essay on principles. Section 9 //Statistical Science. - 1990. - С. 465-472.

31. Payne A. Handbook of CRM: Achieving excellence in customer relationship. - 2006.

32. Reinartz W. J., Kumar V. On the profitability of long-life customers in a noncontractual setting: An empirical investigation and implications for marketing //Journal of marketing. - 2000. - Т. 64. - №. 4 - С. 17-35.

33. Rubin D. B. Estimating causal effects of treatments in randomized and nonrandomized studies //Journal of educational Psychology. - 1974. - Т. 66. - №. 5. - С. 688.

34. Rust, R., Lemon, K., and Zeithaml, V. (2004) Return on marketing: using customer equity to focus marketing strategy. Journal of Marketing, 68(1), 109-127.

35. Siegel E. Predictive analytics: The power to predict who will click, buy, lie, or die. - Hoboken : Wiley, 2013. - С. 148.

36. Verhoef P. C. Understanding the effect of customer relationship management efforts on customer retention and customer share development //Journal of marketing. - 2003. - Т. 67. - №. 4. - С. 30-45.

37. Wierenga B. Handbook of marketing decision models, vol. 121 of international series in operations research & management science. - 2008.

38. Ziafat H., Shakeri M. Using data mining techniques in customer segmentation //Journal of Engineering Research and Applications. - 2014. - Т. 4. - №. 9. - С. 70-79.

Приложение

Рис. 2 Пример креатива по коммуникации о сгорании баллов

Рис. 3 Коммуникация для возврата оттоковых клиентов, ранее посещавших рестораны сети Росинтер

Рис. 4 Коммуникация для возврата оттоковых клиентов, ранее не посещавших рестораны сети России