Размещено на http://www.allbest.ru/

ПЕРМСКИЙ ФИЛИАЛ ФЕДЕРАЛЬНОГО ГОСУДАРСТВЕННОГО АВТОНОМНОГО ОБРАЗОВАТЕЛЬНОГО УЧРЕЖДЕНИЯ ВЫСШЕГО ОБРАЗОВАНИЯ «НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Факультет экономики, менеджмента и бизнес-информатики

Выпускная квалификационная работа

Применение предиктивных моделей в CRM-Маркетинге

Лыкова Александра Александровна

Пермь 2019 год



Оглавление

Аннотация

Введение

Глава 1. Процесс проведения проекта

1.1 Координация и взаимодействие сторон, вовлеченных в организацию проектов

1.2 Данные

Глава 2. Предварительный этап аналитической части проекта и подготовка дизайна маркетинговой кампании

2.1 Первичный анализ клиентской базы

2.2 Определение эвристических правил сегментации для маркетинговой кампании по возврату оттока

2.3 Дизайн маркетинговой кампании

Глава 3. Методология проектной работы

3.1 Проблематика использования эвристического и прогностического подхода к выделению сегментов под маркетинговые кампании

3.2 Рандомизированный эксперимент

3.3 Измерение инкрементального эффекта от воздействия

3.4 Предсказание сегмента оттоковых клиентов

Глава 4. Результаты применения прогнозных вероятностей для ограничения эвристических сегментов

4.1 Кейс 1. Сегмент неактивных клиентов

4.2 Кейс 2. Сегмент оттоковые клиенты с тремя и более покупками в предыдущей истории

4.3 Кейс 3. Сегмент отточные клиенты с одной или двумя покупками в предыдущей истории

Заключение

Список литературных источников

Приложение

Аннотация

Данная проектная работа выполнена на базе проектов сектора эмпирического анализа рынков и компаний научно-учебной лаборатории междисциплинарных эмпирических исследований НИУ ВШЭ - Пермь под руководством сотрудников лаборатории и в сотрудничестве со студией комплексного CRM-маркетинга Out Of Cloud. Работа концентрируется на оценке эффективности применения методов предсказательной аналитики в рамках CRM стратегии ресторанного бизнеса. Эффективность предсказаний рассмотрена для трех сегментов оттоковых клиентов: не активированные клиенты - не совершили ни одной транзакции после регистрации в программе лояльности; оттоковые клиенты, совершившие одну или две покупки; оттоковые клиенты, совершившие три и более покупок. Основные выводы по результатам сравнения сегментов кампании: эффективность использования предсказаний при выделении сегментов клиентов с целью возврата оттока зависит от достаточности доступных о клиенте данных. Основные ограничения при формировании практических выводов: отсутствие данных об откликах клиентов на предыдущие маркетинговые воздействия; множественность и специфичность задач маркетинговых воздействий и сфер бизнеса.

This work was carried out on the basis of the Group for Applied Markets and Enterprises Studies in National Research University Higher School of Economics (Perm) under the guidance of the laboratory researchers and in collaboration with the Out of Cloud Studio of CRM Marketing. The work focuses on the real case of predictive analytics usage in restaurant customer relationship marketing. The effectiveness of predictions was considered for three segments in the context of churn activation: non-activated clients - did not make any transactions after registration in the loyalty program; churn clients who have made one or two purchases; churn customers who have made three or more purchases. The main conclusions on case comparison: the effectiveness of forecasting customer segments for churn marketing campaigns depends on the sufficiency of available data. The main limitations of current project are the lack of data on customer responses to previous marketing impacts and the fact that confirmation of obtained results for non-restaurant business is possible only by experience.



Введение

Сегодня, когда объемы доступной информации о потребителях с каждым днем становятся все больше, когда программы лояльности перестали быть просто хорошо построенными системами скидок и бонусов, а стали скорее источником дополнительного знания для компаний о клиентах, вопрос клиентской аналитики и ее методов встает как никогда остро. Особой ценностью программы лояльности обладают в типах бизнеса, где для успешного и долгосрочного функционирования требуется постоянное взаимодействие с клиентом и высока вероятность переключения клиента между конкурентами. Типичными примерами таких видов бизнеса являются ритейл, банковская деятельность, страховые компании, ресторанные сети. Для таких компаний программа лояльности постепенно становится частью стратегии бизнеса.

С появлением программ лояльности, для компаний открываются более широкие горизонты работы с клиентом - появляется возможность не просто привлекать внимание клиента, но и анализировать его поведение в компании; воздействовать на текущую клиентскую базу, заниматься ее удержанием внутри компании, предотвращая переходы к конкурентам. С начала 1960-х годов компании сместили свой фокус с краткосрочной стратегии привлечения на более долгосрочные стратегии удержания и жизненной ценности клиента ( CLV - Customer Lifetime Value) [Rust, 2004]. Удержание клиентов для организации является одним из наиболее приоритетных направлений в маркетинговой работе по нескольким причинам [Kumar, 2018]:

ѕ Фирма теряет постоянный доход от ушедших клиентов

ѕ Фирма теряет доход, который потенциально мог возникнуть, если бы эти клиенты оставались активными и расширяли свое потребление (кросс-категориальность, рост частоты или среднего чека);

ѕ Ушедшие клиенты склонны к распространению негативных отзывов и отрицательных рекомендаций о компании, что препятствует привлечению новых клиентов;

ѕ Фирма рискует не окупить затраты, понесенные на привлечение данных клиентов;

ѕ Компании необходимо инвестировать дополнительные средства на привлечение для замещения ушедших клиентов (которое зачастую дороже удержания).

Таким образом, становится финансово важным получить четкое представление о процессе оттока клиентов и управлять им соответствующим образом. Беря во внимание перечисленные выше потенциальные потери и проблемы связанные с низким качеством удержания клиентов в компании, необходимо использовать соответствующие маркетинговые и аналитические инструменты для предотвращения оттока клиентов.

Текущая проектная работа выполнена на базе проектов сектора эмпирического анализа рынков и компаний научно-учебной лаборатории междисциплинарных эмпирических исследований НИУ ВШЭ - Пермь под руководством сотрудников лаборатории и в сотрудничестве со студией комплексного CRM-маркетинга Out Of Cloud. Заказчиком прикладного исследования является ПАО «Росинтер Ресторантс Холдинг» - лидирующий оператор в сегменте семейных ресторанов (casual dining restaurants) в России и СНГ.

По результатам предварительного анализа клиентской базы заказчика выявлено, что работа с оттоком действительно является одной из самых актуальных и требующих внимания задач - наблюдается высокий процент миграции клиентов из активных сегментов в неактивные в течение года.

В работе рассмотрено три примера маркетинговых кампаний по возврату оттоковых клиентов. Определение оттока в сферах с неконтрактными отношениями не является тривиальным (более подробно об определении в Главе 3), в самом общем смысле отток представляет собой группу клиентов, прекративших активность в компании.

Основной задачей маркетолога и аналитика в период до запуска кампании отобрать под воздействие только тех клиентов, для которых кампания окажет положительный эффект. Несмотря на то, что методы анализа данных развиваются быстрыми темпами большинство маркетологов в своей работе до сих пор склонны доверять экспертному мнению [Ziafat, 2014] и выделять целевые сегменты с использованием простых эвристик. Тем не менее, на сегодняшний день известен ряд методов, основанных на более сложных вычислениях и не связанных с субъективной оценкой эксперта. Одним из примеров является предсказательная аналитика в маркетинге. Интересным в таком случае является вопрос о том, насколько более эффективным делает процесс извлечения сегментов под кампании использование предсказательных методов.

Таким образом, данная работа фокусируется на измерении денежного эффекта от применения прогнозных методов при решении задачи сегментирования клиентов для маркетинговой кампании по возврату оттоковых клиентов на примере крупной ресторанной сети в России.

Объект исследования: маркетинговые кампании, проводимые на клиентской базе заказчика

Предмет исследования: эвристические и предсказательные подходы к выделению сегментов для маркетинговых кампаний.

Цель работы: анализ результативности применения предсказательных моделей в CRM-аналитике в контексте оценки эффективности маркетинговых кампаний крупной ресторанной сети в России.

Для реализации поставленной цели предполагается решение следующих блоков задач:

ѕ Анализ литературных источников (исследование экспериментальных методов, методов предсказательной аналитики и способов оценки эффективности маркетинговых кампаний);

ѕ Проведение первичного анализа клиентской базы;

ѕ Разработка и реализация кампании (определение эвристических правил выделения сегмента, создание и запуск кампаний по выделенным сегментам);

ѕ Прогнозирование вероятности оттока для сегментов;

ѕ Оценка эффективности кампаний для случаев эвристических правил и предсказательных методов выделения сегмента.

В работе используется информация, предоставленная ресторанной сетью о клиентах, участвующих в программе лояльности. На текущий момент в программу лояльности входит более одного миллиона зарегистрировавшихся пользователей (не все являются активными клиентами), по которым известна их транзакционная история.

В ходе кампании для уточнения предсказания оттоковых сегментов клиентов применен метод градиентного бустинга. Возможность достоверной оценки эффективности маркетинговый кампаний обеспечивается проведением кампаний в формате рандомизированного эксперимента. За основную метрику эффективности принята инкрементальная маржа.

Практическая ценность работы заключается в оценке эффективности методов (эвристического и предсказательного) на реальных кейсах маркетинговых кампаний, направленных на возврат отточных клиентов в сети ресторанов Росинтер.

Проектный характер работы определяет следующую структуру ее представления: В Главе 1 описаны организационные подходы к реализации проекта , также представлено описание имеющихся данных и их анализ. Во второй главе представлены правила, согласно которым произведена сегментация для маркетинговых кампаний и, непосредственно, дизайн маркетинговой кампании. В третьей главе описывается методология исследования. В четвертой главе представлены результаты применения предсказательной аналитики для ограничения эвристически выделенных сегментов.

Результатом проектной работы является описание условий, при которых прогнозная аналитика может принести значимую ценность для CRM стратегии компании, а также ряд практических рекомендаций и выводов по поводу применения предсказательной аналитики к задачам выделения сегментов.

Суть проектов заключается в оценке эффективности применения предсказаний для рассматриваемых сегментов:

ѕ По сегменту с нулем чеков предсказывать что-либо не имеет смысла, так как имеющейся информации на уровне индивида недостаточно;

ѕ По сегменту с тремя и более чеков предсказание не информативно - выделение оттока достаточно точно проведено с использованием эвристических правил на индивидуальном уровне;

ѕ По сегменту с одним-двумя чеками предсказание оттока помогает увеличить эффективность кампании до 30%.



Глава 1. Процесс проведения проекта

1.1 Координация и взаимодействие сторон, вовлеченных в организацию проектов

Работа выполнена на базе проектов сектора эмпирического анализа рынков и компаний научно-учебной лаборатории междисциплинарных эмпирических исследований НИУ ВШЭ - Пермь под руководством сотрудников лаборатории и в сотрудничестве со студией комплексного CRM-маркетинга Out Of Cloud. Заказчиком прикладных проектов, рассмотренных в текущей работе, является сеть ресторанов Росинтер. Распределение зон ответственности, задач и координация вовлеченных в проект сторон подробно рассмотрены в текущем параграфе

Заказчик. ПАО «Росинтер Ресторантс Холдинг» - лидирующий оператор в сегменте семейных ресторанов (casual dining restaurants) в России и СНГ [Официальный сайт компании Росинтер, 2019]. В бренд портфолио холдинга на 2019 год входит семь брендов. Ключевым отличием ресторанной сети является сочетание брендов из разных национальных кухонь - итальянская (“IL-Patio”, “Costa Coffee”), японская (“Планета Суши”), американская (“TGI-Fridays”, “Американский Бар и Гриль”), паназиатская (“Шикари”), русская (“Мама Раша”). На данный момент филиалы ресторанной сети открыты на рынках России, стран СНГ и Центральной Европы.

Основой, обеспечивающей возможность выполнения проектов для заказчика, стало наличие собственной программы лояльности в ресторанной сети Росинтер. Программа лояльности заказчика объединяет все бренды и позволяет клиентам накапливать и использовать бонусы во всех ресторанах сети. Изначально программа лояльности была организованна в форме пластиковых карт, на данный момент система модернизирована и представляет собой мобильное приложение “Почетный гость” (действует с ноября 2014 года). Предъявляя приложение в ресторане или используя его при заказе доставки, гость получает не менее 10% от счета в виде баллов, которые затем может использовать для получения скидки до 50% в ресторанах «Росинтер Ресторантс». На начало 2018 года в программе “Почетный гость” было зарегистрировано более одного миллиона пользователей.

На стороне клиента функционал мобильного приложения позволяет совершать широкий спектр действий по взаимодействию с ресторанами сети: бронирование столов, заказ доставки, накопление и списание баллов за покупки, получение информации об акциях ресторана. Обратной стороной данного процесса является накопление подробной информации о клиентах и их потреблении в сети. Клиенты, зарегистрировавшиеся в программе, могут быть идентифицированы единственным образом, что позволяет применять аналитические и прогностические инструменты на индивидуальном уровне, персонифицировать коммуникации. Сбор информации о всех действиях клиентов в сети позволяет проводить более глубокие и точные исследования, с использованием не только характеристик, которые сам клиент указывает о себе в момент регистрации (пол/регион/дата рождения), но и поведенческих характеристик, которые могут быть рассчитаны на основе его потребления в ресторанах (частота посещений ресторанов, количество чеков, доли брендов и т.д.).

Основная роль заказчика в ходе выполнения проекта заключалась в сборе данных о клиентах посредством программы лояльности, хранении и актуализации собранных баз данных, а также в постановке задач, соответствующих видению и стратегии бизнеса.

Медиатор.

Проектная работы выполнена в сотрудничестве со студией (агентством) комплексного CRM-маркетинга Out Of Cloud. Агентство было образовано в 2011 году в бизнес-инкубаторе Национального Исследовательского Университета «Высшая Школа Экономики», на сегодняшний день основными направлениями деятельности студии являются Email- маркетинг и CRM-маркетинг.

В ходе проектной деятельности агентство выполняло следующие задачи:

ѕ Коммуникационную - как посредник между заказчиком проекта и исполнителями аналитических, исследовательских задач;

ѕ Стратегическую - как эксперт в разработке стратегии управления взаимоотношениями с клиентами;

ѕ Техническую - как проектировщик и дизайнер запланированных маркетинговых кампаний.

Таким образом, основные роли медиатора заключались, во-первых, в обеспечении коммуникации между участниками проекта, во-вторых, в разработке CRM стратегии, в-третьих, в разработке набора механик и посылов для маркетинговых кампаний.

Исполнитель.

Основная задача студента в составе рабочей группы лаборатории - из доступных компании-заказчику источников данных извлечь знание о клиенте и его взаимоотношениях с компанией на всех этапах жизненного цикла клиента с целью дальнейшего формирования взаимно ценных отношений компании заказчика с клиентом. Также в зону ответственности исполнителя входит подбор релевантных методов (аналитических, прогностических) и механик (форма проведения кампаний) для получения достоверного знания о клиентах по результатам проекта.

1.2 Данные

Как уже было отмечено ранее основным источником данных для проведения текущего проекта является программа лояльности заказчика - мобильное приложение «Почетный гость» сети ресторанов Росинтер. В целом весь процесс проекта можно подразделить на два этапа до проведения кампании и после проведения кампании (подробнее в Главе 2), структура используемых данных зависит от целей и задач каждого конкретного этапа в следствие чего все используемые данные целесообразно разделить на две группы - данные, используемые на подготовительном этапе проекта и данные, используемые в период после проведения кампании.

Основной целью подготовительного этапа является первичный анализ клиентской базы заказчика и выявление потенциальных точек роста для выстраивания дальнейшей стратегии коммуникации с клиентами, приоритезации посылов и сегментов для коммуникаций. Исходя из вышесказанного на данном этапе использовались все доступные данные из источников заказчика для более полного описания клиентов на индивидуальном уровне. Также на данных до проведения кампании был произведен расчет показателей для предиктивной модели оттока (см. Главу 2).

Основные виды данных, доступных в период до проведения кампании можно условно разделить на три структурных единицы:

ѕ Клиентская база. Единицей измерения является клиент, данные доступны за период 11.2014-04.2018 и включают в себя такие показатели как пол, возраст, регион клиента, его контактные данные и др.;

ѕ Транзакционные данные. Единицей измерения является уникальная товарная позиция в чеке, данные доступны за период 11.2014-04.2018 и включают в себя такие показатели как дата и время чека, тип транзакции, территориальные признаки, наименование товарных позици, суммы и др.;

ѕ Рестораны. Единицей измерения является ресторан сети, данные доступны за период 11.2014-04.2018 и включают в себя такие показатели как бренд, географическое положение, часы работы, характеристики удобства и дополнительного сервиса, др.

Основной целью этапа после проведения кампании является оценка эффективности эксперимента с точки зрения конверсий по воронке коммуникаций, а также с точки зрения инкрементальной маржи в сегменте от проведенной кампании. В соответствии с поставленной задачей необходимые для ее решения данные должны быть, во-первых, актуализированы за период проведения кампании, во-вторых, включать в себя как данные по транзакциям клиентам (описание потребительского поведения), так и данные по коммуникациям с клиентом и дизайну самой кампании (для понимания того, под какое воздействие и в какой сегмент попал каждый клиент).

Виды данных, доступных в период после проведения кампании можно также условно разделить на три группы:

ѕ Информация по дизайну эксперимента. Единицей измерения является клиент, данные доступны за период проведения кампании и содержат такие показатели как сегмент клиента, характеристики воздействия;

ѕ Транзакционные данные. Единицей измерения является уникальная товарная позиция в чеке, данные доступны за период проведения кампании и включают в себя такие показатели как дата и время чека, тип транзакции, территориальные признаки, наименование товарных позиций и суммы;

ѕ Коммуникации в кампании. Единицей измерения является коммуникационное событие, для которого уточнены такие характеристики как дата события, текст, тип события (отправка/доставка/прочтение), канал коммуникации.



Глава 2. Предварительный этап аналитической части проекта и подготовка дизайна маркетинговой кампании

2.1 Первичный анализ клиентской базы

Спектр маркетинговых задач в сфере работы с клиентами крайне широк, исходя из чего создание CRM-стратегии, планирование и приоритезация коммуникаций требует предварительной аналитической работы по выявлению потенциальных точек роста бизнеса или групп клиентов, наиболее требующих маркетинговых коммуникаций в текущий момент.

Для общего описания клиентской базы заказчика исполнитель предварительно провел верхнеуровневый анализ клиентской базы с использованием модифицированного RFM-анализа. RFM-анализ позволяет проводить сегментирование клиентской базы с использованием небольшого количества поведенческих метрик, например, количество дней с последней покупки, средний чек и частота покупок [Dursun, 2016]. Несмотря на свою простоту анализ позволяет понять структуру клиентской базы и разработать набор необходимых механик для работы с базой по увеличению эффективности взаимоотношений с клиентами.

Основные плюсы RFM - анализа заключаются в том, что сегментирование клиентов зависит от их покупательского поведения, которое позволяет отнести клиента к его сегменту и далее коммуницировать с ним более персонифицировано.

Для верхнеуровнего анализа было отобрано пять мер и пограничные значения мер, исходя из которых клиенты подразделялись на группы были определены на основе экспертного мнения и специфики ресторанного бизнеса (см. Таблица 1).



Таблица 1 Меры сегментирования клиентской базы

Метрика	Содержание метрики	Единицы измерения	Границы разделения на сегменты
Активация	Количество месяцев со дня регистрации в программе лояльности	Месяц	Со дня регистрации прошло менее трех месяцев
			Со дня регистрации прошло три и более месяцев
Чеки	Количество чеков в истории потребления клиента	Чек	Ни сделал ни одной покупки в ресторанах сети (ноль чеков)
			Сделал одну или две покупки в ресторанах сети
			Сделал три и более покупки в ресторанах сети
Давность	Количество дней со дня последней транзакции	Дни	Со дня последней транзакции прошло 180 дней или менее
			Со дня последней транзакции прошло более 180 дней, но до 360
			Со дня последней транзакции прошло более 360 дней, но до 720
			Со дня последней транзакции прошло более 720 дней
Доход	Общая сумма всех чеков клиента с учетом скидок	Рубли	Ниже медианного значения
			Медианное значение и выше
Частота	Среднее количество походов клиента в рестораны сети в месяц	Визит	Ниже медианного значения
			Медианное значение и выше

Вся база клиентов была разделена на 12 сегментов, как представлено в Таблице 2. На основании вышеописанных правил на конец двух периодов 2016 и 2017 года клиентская база была сегментирована. По каждому из сегментов были рассчитаны основные показатели бизнеса: количество клиентов в сегменте, выручка за текущий год, количество транзакций за текущий год, средний чек, частота транзакций в квартал.



Таблица 2 Наименование сегментов на этапе верхнеуровнего анализа базы

Измерения сегментации	Дата активации (текущий квартал)	Давность последней транзакции
		<=180	>180;<=360	>360;<=720	>720
# транзакций	0 (нет данных)	New	Zero
	1-2 (ограниченные данные)		Active 1-2	PreChurn 1-2	Churn1-2	Dead
	3+ (достаточно данных)		Active 3+_HCheck_HFreq	PreChurn3+	Churn3+
			Active 3+_HCheck_LFreq
			Active 3+_LCheck_HFreq
			Active 3+_LCheck_LFreq

Согласно результатам, полученным в ходе модифицированного RFM-анализа, клиентская база сети ресторанов Росинтер в обоих периодах (2016, 2017 года) характеризуется большой долей клиентов, которые не совершили ни одной покупки в периоде три и более месяцев со дня регистрации в программе лояльности, а также высоким процентом миграции клиентов из активных сегментов в неактивные в течение года, а также малая вовлеченность вновь пришедших клиентов в посещение сети ресторанов в будущих периодах.

Наиболее рискованными сегментами для компании, как с точки зрении бизнес показателей (доходность), так и сточки зрения динамики в течение жизни, являются сегменты оттока, предоттока и неактивированных клиентов (зарегистрировавшиеся, но не пришедшие в ресторан в последующем). Доля данных сегментов составила одну треть от всей клиентской базы на момент окончания 2017 года.

Основываясь на аналитических выводах предварительного этапа при разработке CRM-стратегии рекомендовано начать работу с увеличения вовлеченности и повышения активности клиентской базы среди малоактивных сегментов.

2.2 Определение эвристических правил сегментации для маркетинговой кампании по возврату оттока

Несмотря на то, что методы анализа данных развиваются быстрыми темпами большинство маркетологов в своей работе до сих пор склонны доверять экспертному мнению [Ziafat, 2014]. Самым распространенным методом отбора клиентов, релевантных для той или иной маркетинговой кампании, замещающим прогностические подходы к определению сегментов является и являлся метод эвристики. Эвристический подход подразумевает определение правил для выделения сегмента, основанных на экспертном мнении и простых расчетных статистиках. В рамках проекта первым способом выделения сегмента под маркетинговую кампанию по возврату оттока стало сегментирование, на основании знания предметной области (Domain knowledge).

Поскольку на этапе предварительного анализа базы данных выявлена необходимость в вовлечении оттоковых и неактивированных клиентов, то в соответствии с разработанной агентством Out Of Cloud CRM - стратегией наиболее приоритетной для бизнеса кампанией является коммуникация по активации клиентов оттока. Цель проведения кампании - увеличение маржи от отточного сегмента. Согласно эвристическим правилам, было выделено три целевых сегмента под кампанию. Сегменты подразделены на три группы в соответствии с количеством чеков клиента, поскольку наличие разного числа покупок позволяет нам в дальнейшем оперировать разным количеством информации, описывающей поведение клиента.

Сегмент 1. Неактивные клиенты, зарегистрировавшиеся в программе лояльности сети ресторанов Росинтер за семьдесят или более дней до момента начала акции и не совершившие ни одного посещения. Граница равная семидесяти дням выбрана как квантиль уровня 0,9 из распределения количества дней между датой регистрации и датой первого посещения по клиентам, совершившим хотя бы одну покупку в сети ресторанов по программе лояльности. Иными словами, согласно нашему правилу, клиент будет отнесен к неактивным клиентам, если он не совершил первую покупку в течение периода, за который 90% клиентов совершают первый визит в ресторан.

Сегмент 2. Клиенты с одной или двумя покупками за всю историю жизни в программе лояльности, не посещавшие рестораны сети 155 и более дней. Граница равная 155 дням выбрана как квантиль уровня 0,9 из распределения среднего интервала между покупками по клиентам с тремя и более покупками. Иными словами, клиент с одним-двумя посещениями считается отточным, если давность его последнего посещения превышает средний интервал от одного похода в ресторан до следующего 90% клиентов с тремя и более покупками из базы.

Сегмент 3. Клиенты с тремя и более покупками за всю историю жизни в программе лояльности, не посещавшие рестораны сети 155 и более дней или давность последней превышает показатель утроенного среднего интервала между покупки для данного клиента. Наличие истории из трех и более покупок для каждого клиента сегмента позволяет на индивидуальном уровне определять временную границу, после которой клиента можно считать потерянным. Логично предположить, что посетители ресторанной сети могут характеризоваться различными паттернами и сценариями потребления, тогда не является уместным единым образом включать в отток клиентов, приходящих несколько раз в неделю на ланч и клиентов, приходящих раз в месяц поужинать с семьей.



2.3 Дизайн маркетинговой кампании

Как уже отмечалось ранее, проект был осуществлен в сотрудничестве с агентством комплексного CRM-маркетинга Out Of Cloud. Согласно результатам первичного анализа данных, наиболее малоактивными сегментами клиентов являются сегменты оттоковых, предоттоковых клиентов и клиентов, не совершивших ни одной транзакции, которые в совокупности составляют почти треть базы. Исходя из чего первой по приоритетности механикой для активации отобранных сегментов было рекомендовано протестировать механику начисления безусловных баллов на короткий срок. Поскольку программа лояльности заказчика представляет собой приложение, внутри которого клиент может копить и списывать баллы, то всему сегменту были начислены бонусы в форме дополнительных баллов на личный счет на ограниченный срок времени - две недели.

Коммуникация с отточными клиентами позволяет напомнить им о компании, вовлечь во взаимодействие, безвозмездность предоставляемого бонуса позволяет снизить порог к осуществлению визита, а ограниченный срок действия сконвертировать дополнительные походы клиентов в рестораны. Ограниченность во времени позволяет не только замотивировать клиентов совершить дополнительный поход в ресторан в обозначенный срок, но и понять эффективность проведенной кампании в краткосрочном периоде - оценить количество дополнительных посещений и рост активности клиентов на видимом горизонте времени.

Поскольку многошаговые коммуникации показывают более высокую эффективность в сравнении с одношаговыми, то студией Out Of Cloud был разработан график последовательных коммуникаций для выделенных сегментов на срок проведения акции (Рис. 1). До начала акции клиент получает анонс, содержащий описание акции для клиента и информацию о том, что завтра на его счет будут начислены баллы, которые сгорят по истечению двух недель. Далее за несколько дней до окончания акции клиент получил повторное напоминание о том, что являются участником акции и может использовать начисленные баллы. Последнее оповещение отправлялось за день до момента сгорания баллов и содержало предупреждение о скором сроке окончания акции - пример креатива коммуникации о сгорании баллов представлен в Приложении 2.

Рис. 1 График коммуникаций маркетинговой кампании

Механика, используемая в кампании предусматривала начисление 350 баллов на личный счет клиента в программе лояльности «Почетный гость», использовать начисленные баллы клиент мог в течение двух недель с момента начисления в период с 20 апреля 2018 года по 3 мая 2018 года. В акции было использовано три канала коммуникации - Push, Email и персональное сообщение в кабинете клиента в приложении.

Выделение нескольких сегментов в рамках одной кампании требует проработки специальных посылов под каждый сегмент. В то время как отточному клиенту, совершавшему покупки в ресторанах заказчика до момента начала акции можно коммуницировать через посыл «возвращения» компанию (см. приложение 3), для клиента только зарегистрировавшегося и ни разу не посещавшего заведения сети данный посыл будет неуместен (креатив для коммуникации неактивным клиентам представлен в приложении 4).



Глава 3. Методология проектной работы

3.1 Проблематика использования эвристического и прогностического подхода к выделению сегментов под маркетинговые кампании

Основная идея текущего прикладного проекта заключается в оценке роста эффективности маркетинговых кампаний при использовании прогнозных методов наряду с эвристическими правилами на этапе выделения целевого сегмента. Несмотря на бурное развитие аналитических методов и методов работы с данными для большинства маркетологов приоритетным при принятии решения и на сегодняшний день является опыт, экспертное мнение или сотрудник, хорошо знающий предметную область [Ziafat, 2014]. Очевидно, что такой подход обладает рядом существенных минусов:

· Процесс определения мер и пороговых значений мер для выделения сегмента зависит от субъективной оценки эксперта

· Выбор верных статистик зависит от природы меры, выбранной для сегментации, и не всегда является тривиальным [Miglautsch, 2000]

Параллельно с этим нельзя не отметить, что большую популярность в целом ряде отраслей набирает предсказательная аналитика, в частности тренд использования предсказаний для решения задач бизнеса коснулся и маркетинга. Вместе с тем, как развивается и внедряется предсказательная аналитика в маркетинговую деятельность компаний все чаще возникает вопрос о том, действительно ли использование машинных предсказаний является более точным и достоверным способом решения задач, чем стандартные ранее применяемые методы в маркетинге.

Ряд исследований был проведен на стыке маркетинга, основанного на данных и роли экспертного мнения в данном процессе [Lima, 2009]. Концепция экспертного мнения (знания предметной области - “Domain knowledge”) связана с информацией или данными, полученными из различных источников знаний или от признанного эксперта по поводу предметной области [Anand, 1995]. Знание предметной области в аналитике данных используется как инструмент обнаружения значимой информации, которая затем может использоваться в качестве руководства в исследовательском процессе.

Например, в работе [Anand, 1995] рассмотрен подход, сочетающий мнение бизнес эксперта с процессом исследования данных. Такого рода симбиоз позволяет выявить в данных закономерности и особенности полезные для дальнейшей аналитики - знание предметной области используется как инструмент ограничения пространства поиска ключевых показателей до интеллектуального анализа данных. В работе [Alonso, 2002] роль эксперта активна не только на этапе построения модели, но и на этапе предварительной обработки данных. В работе [Kopanos, 2002] сделана попытка определения важности роли экспертного мнения на всех этапах работы с данными.

Результатом большинства из перечисленных работ является увеличение эффективности процесса работы с данными (вне зависимости от этапа) при активной роли эксперта. Однако, мало исследован обратный процесс, из чего становится интересна задача оценки того, насколько более эффективными стали бы решения на основании знания предметной области, если бы дополнительно проходили этап верификации результатами предиктивной аналитики.

Сфера маркетинга как таковая включает в себя огромное множество подсфер и разного рода задач, в каждой из которых необходимо в частном порядке оценивать релевантность использования предсказаний (прогнозов). В рамках данной работы предсказательная аналитика как инструмент была оценена с точки зрения задачи выделения сегментов для маркетинговых кампаний, а именно определение сегмента отточных и неактивных клиентов (зарегистрированы, но не имеют ни одной покупки), таргетирование которых позволит компании извлечь наибольшую выгоду в терминах инкрементальной маржинальности.

Таким образом центральная тема текущей проектной работы может быть сформулирована следующим образом: привносит ли использование предиктивной аналитики дополнительную эффективность в процесс эвристического выделения сегментов под маркетинговые кампании с целью возврата отточных клиентов?

3.2 Рандомизированный эксперимент

Текущий проект проводился в рамках прикладного научного исследования в сфере CRM-маркетинга. Глобальной задачей всего исследования являлось тестирование набора гипотез для увеличения эффективности маркетинговых кампаний. Одним из наиболее распространенных методов для проверки гипотез и установлении причинно-следственных связей между феноменами является метод эксперимента. Эксперимент является наиболее информативным методом исследования, в отличие от, например, тестовых механик эксперимент позволяет не просто составить представление о процессе в формате «если..то..», но и понять причинность во взаимодействии феноменов [Barker, 2016].

Особенностью экспериментального дизайна, отличающей эксперимент от других исследовательских методов, является факт манипуляции одной из независимых переменных. Благодаря данной манипуляции исследователь может говорить о причинах полученного эффекта, поскольку контролирует, когда и на кого применен стимул, в какой момент стоит измерять эффект от воздействия, также исследователь контролирует периодичность измерения зависимой переменной.

На сегодняшний день эксперимент все чаще является методом, применяемым не только в научных исследованиях, но и в практических задачах бизнеса. Например, известная компания Netflix широко использует постановку экспериментов для тестирования гипотез и улучшения опыта клиентов во взаимодействии с компанией. В одной из статей в блоге компании [Govind, 2017] перечисляется ряд преимуществ экспериментального подхода:

· Экспериментальная механика играет одну из ключевых ролей в получении данных для тестирования гипотез и делает возможным итеративный процесс научного метода, сочетая дедуктивно-индуктивный подход;

· Позволяет установить не только корреляционные, но и каузальные зависимости в данных;

· Возможность вынесения Data-driven решений. В сочетании с человеческим суждением эксперименты являются мощным инструментом для обеспечения отбора лучших идей.

Данный проект своим итогом подразумевает ответ на вопрос о наличии и величине эффекта от применения маркетингового воздействия (стимула) среди сегментов, определенных разными методами. Основной трудностью при решении поставленной задачи является невозможность одновременного присутствия клиента в группе, попавшей под воздействие и группе, не попавшей под воздействие [Rubin, 1974]. Вероятно повторение эксперимента на уровне клиента, но тогда результат будет зависим, во-первых, от последовательности воздействия и не воздействия, во-вторых, от контекста, окружающего клиента в разные моменты времени.

Оценка эффективности маркетинговых кампаний по отношению к конкретному клиенту является нетривиальным по своей природе процессом, поскольку каждый потребитель обладает уникальными характеристиками (меняющимися во времени), специфичным способом взаимодействия с компанией или брендом. Как правило, маркетолог не может абсолютно строго отнести эффект на определенное маркетинговое действие, поскольку необходимо свойство отделимости полученного эффекта от внешних причин или других маркетинговых воздействий, проводимых в тот же момент времени.

В рамках текущей работы обозначенная выше проблема решается путем проведения рандомизированного эксперимента на группах (сегментах) клиентов. Рандомизированный эксперимент определяется нами как ситуация, в которой механизм распределения единиц наблюдения между экспериментальной и контрольной группой не зависит от их наблюдаемых и ненаблюдаемых характеристик [Athey, 2017]. Противоположностью рандомизированному эксперименту является обсервационное исследование, в котором исследователь не контролирует механизм распределения на группы воздействия, соответственно процесс распределения может быть зависим от характеристик субъекта [Imbens, Rubin, 2015].

В таком случае уверенность в результатах рандомизированного эксперимента напрямую зависит от случайности распределения клиентов между экспериментальной и контрольной группой. При абсолютно рандомизированном эксперименте фиксированное число наблюдений берется случайным образом из общей совокупности наблюдений и подвергается воздействию, оставшаяся часть совокупности относится к контрольной группе (не получает воздействия), что удовлетворяет:

,

Где W - вектор присвоения (размерности N), со значениями , которое может принимать значения 1 (клиент наблюдение попадает под воздействие и 0 - не попадает.

В случае рандомизированного эксперимента, проводимого в практическом поле, почти невозможно утверждать, что распределение проходило случайным образом и в частности, что две группы клиентов после распределения обладают схожими характеристиками. Набор доступных для исследователя данных всегда является ограниченным, исходя из чего мы имеем лишь субъективно случайную выборку, то есть делаем предположение о несуществовании важной переменной, которая отличает наблюдения в контрольной и экспериментальной группах [Rubin, 1974].

Качество рандомизации в рамках работы тестировалось рядом статистических инструментов:

1. Статистические тесты для сравнения характеристик двух выборок (t-test, Тест Манна-Уитни в зависимости от вида распределения переменной)

2. Графики индивидуальных и относительных распределений (график распределения, график квантиль-квантиль).

Согласно [Cook, Campbell, Shadish, 2002], соблюдение всех предпосылок рандомизированного эксперимента позволяет утверждать, что полученный эффект является результатом воздействия, под которое проводилась рандомизация. Иначе говоря, проведение маркетинговой кампании в формате рандомизированного эксперимента позволяет говорить о выполнении условия внутренней валидности, измерять эффект кампании относительно некоторого базового уровня поведения целевого сегмента, попавшего в контрольную группу, и как следствие относить полученный эффект на конкретное воздействие [Katsov, 2018].

Формат рандомизированного эксперимента также делает процесс измерения эффекта от воздействия более качественным и достоверным. В отсутствии релевантной контрольной группы в случае маркетинговой кампании мы можем судить только о том, какой объем выручки или маржи принесла группа клиентов, попавших под воздействие. Однако, невозможно сказать был бы этот объем меньше или больше при отсутствии воздействия. Более подробно процесс измерения эффекта от воздействия при проведении рандомизированного эксперимента рассмотрен в следующем параграфе.

3.3 Измерение инкрементального эффекта от воздействия

Сопоставление методологий выделения сегментов и измерение выигрыша от применения предиктивной аналитики в задаче выделения целевого сегмента под кампанию требует возможности расчета эффекта маркетинговой кампании в чистом виде.

Эффект кампании в количественном выражении в рамках работы оценивается через инкрементальный эффект (Uplift) - отслеживается прирост показателя KPI (“Key Performance Indicator”) в экспериментальной группе (попавшей под воздействие) относительно контрольной группы (не попавшей под воздействие). Инкрементальный эффект как мера эффективности маркетингового воздействия был применен в ряде ранних исследований и является более достоверной метрикой успешности кампании [Kane, 2014; Radcliffe, 2007].

Отметим, что измерение прироста (инкрементального эффекта) не требует знания о конверсии на уровне индивида, для расчета эффекта кампании необходимо, во-первых, понимать размеры контрольной и экспериментальной групп, во-вторых, иметь информацию об общем показателе эффективности на уровне группы (количество конверсий в каждой из групп, объем выручки в каждой из групп и т.д.) [Katsov, 2018]. Следуя оригинальной работе [Neyman, 1990] расчет инкрементального эффекта в рамках данного проекта проводился через расчет среднего эффекта от воздействия (“average treatment effect”):

,

Где - значение исхода для наблюдения под воздействием,

- значение исхода для наблюдения без воздействия

Напомним, что в реальном мире представляется невозможным наблюдать оба значения на уровне индивида, исходя из чего расчёт среднего эффекта от воздействия при наличии формата рандомизированного эксперимента рассчитывается следующим образом:



,

Где ,

Тогда общий инкрементальный эффект от кампании можно записать как:

,

Вербально алгоритм расчета инкрементального эффекта может быть описан через следующую последовательность действий:

· Рассчитываются абсолютные показатели KPI отдельно для контрольной и экспериментальной группы за необходимый период времени

· Рассчитываются показатели KPI на одного клиента внутри каждой группы (контрольной и экспериментальной)

· Рассчитывается разница между показателями KPI на одного клиента в экспериментальной и контрольной группе

· Полученная разница умножается на численность экспериментальной группы;

Результатом вычислений является инкрементальный эффект в KPI от применения воздействия. Поскольку целью данной работы является не столько оценка эффективности используемой механики, сколько оценка выигрыша от применения предсказательного подхода к определению сегмента, то при оценке необходимо учесть как полученную выгоду от части сегмента, включенного в эксперимент согласно предсказанию, так и упущенную выгоду от сегмента, исключенного согласно предсказанию.

Алгоритм расчета выигрыша от применения прогностического (предсказательного) подхода сводится к следующей последовательности действий:

· Определяется порог предсказанной вероятности, выше которого клиенты считаются оттоковыми (входящими в целевой сегмент)

· Инкрементальный эффект в марже рассчитывается по каждой подгруппе внутри сегмента

· Считается разница в удельных значениях

При прочих равных мы считаем, что использование предсказания эффективно, если существует такой порог вероятности, при котором сегмент приносит большую инкрементальную маржу, при меньшей численности клиентов, подвергшихся воздействию. Данная ситуация возможна, если в сегменте, действительно, присутствует ряд активных клиентов, которые посещают рестораны сети без воздействия - эти клиенты согласно механике рандомизированного эксперимента равномерно распределены между контрольной и экспериментальной группой, поэтому предоставление клиентам из экспериментальной группы дополнительного бонуса (безвозмездных баллов) только снижает инкрементальный эффект в компании - клиенты из группы контроля также приходят, но потребляют по полной стоимости.

3.4 Предсказание сегмента оттоковых клиентов

Управление взаимоотношениями с оттоковыми клиентами на самом общем уровне можно разделить на два подхода: реактивный и проактивный. Реактивный подход предполагает работу с клиентами, которые уже классифицированы как оттоковые [Payne, 2006], например, предоставление скидки клиентам, давно не посещающим ресторан. Проактивный подход подразумевает более четкое определение причин оттока и работу с клиентом в момент, когда он склонен стать оттоковым [Payne, 2006], например, предложение бесплатного блюда при следующем посещении ресторана клиентам, чья частота походов стала снижаться.

Дизайн маркетинговой кампании, используемый в рамках данного проекта подразумевает скорее реактивный подход, поскольку выделяется сегмент, удовлетворяющий конкретному набору правил, с которым затем происходит работа как с неактивными клиентами. Разница между реактивным и проактивным подходами крайне размыта на практике для неконтрактных отношений, поскольку, давая определение того, когда клиента можно считать отточным, мы не всегда знаем наверняка каждый конкретный клиент, попавший под условия оттока, действительно является отточным, является только склонным к оттоку, но еще активным или случайно попал под набор правил.

Переход к проактивному подходу позволяет на более раннем этапе заметить склонность клиента к прекращению активности в компании и провести меры по его активации до момента окончательного прекращения отношений. Ограничение эвристического сегмента через предсказания, потроенные на исторических данных, но оценивающих будущее поведение клиента наш подход перестает быть абсолютно реактивным и уже подразумевает отчасти проактивную деятельность по активации той части клиентов, которая так и не придет в ближайшем будущем.

С точки зрения предсказательного моделирования, решаемая нами задача классификации клиентов (на оттоковых и не оттоковых), предусматривает наличие бинарной зависимой (предсказываемой) переменной - оттоковых клиент, активный клиент. На сегодняшний день известен ряд моделей классификации, позволяющих решать подобные задачи, например, модель бинарной логистической регрессии, которая нашла широкое применение в маркетинговых задачах с бинарным или множественным выбором [Andrews, 2002]. Более усовершенствованные модели, которые принимают во внимание гетерогенность в откликах включают в себя модели с латентными классами (finite mixture models, latent class models) [Wedel, 2000] и Байесовские методы [Arora, Allenby, 1998; Yang, Allenby, 2003)]. Для проблем бинарного выбора эти подходы требуют наличия панельных данных (то есть наличия нескольких наблюдений для одной единицы наблюдения, например, клиента). Однако зачастую по покупателю имеется только одно наблюдение, что делает невозможным отделить эффекты от случайных ошибок [Donkers, 2006]. В текущем проекте использование таковых алгоритмом не будет в полной мере решать поставленную задачу, поскольку только по одному из трех сегментов существует возможность составления «истории» клиента, а не расчет агрегированных параметров на какой-либо момент времени.

В рамках данной работы выбран инструмент предсказания методом градиентного бустинга [Friedman, 2002], поскольку данный метод является более усовершенствованным в сравнении с логистической регрессией (предусматривает итеративный подход) и не требует наличия панельных данных. Градиентный бустинг -- это техника машинного обучения для задач классификации и регрессии, которая строит модель предсказания в форме ансамбля слабых предсказывающих моделей, обычно деревьев решений. Обучение ансамбля проводится последовательно в отличие, например от бэггинга [Breiman, 1996]. На каждой итерации вычисляются отклонения предсказаний уже обученного на обучающей выборке ансамбля. Следующая модель, которая будет добавлена в ансамбль будет предсказывать эти отклонения. Таким образом, добавив предсказания нового дерева к предсказаниям обученного ансамбля мы можем уменьшить среднее отклонение модели, что является конечной целью оптимизационной задачи.

Выбранный нами метод классификации (градиентный бустинг) относится к методам класса обучения с учителем (требуют наличия обучающей выборки), отличительной особенностью которых является наличие достоверно известных значений набора объясняющих переменных и соответствующих им значений зависимой переменной.

Определение значений зависимой переменной на исторических данных возможно путем введения формального правила категоризации наблюдений на группы. Для предсказания оттоковых клиентов необходимо внести правило, согласно которому мы считаем их таковыми, то есть задать целевое значение события вероятность которого будет оцениваться в процессе прогнозирования.

Для сфер с контрактными отношениями таких как телекоммуникации, страхование или банкинг определение оттока обычно является более очевидным, поскольку можно наблюдать даты официального начала и конца отношений. Другими словами, прекращение отношений клиента и компании в таких сферах является задокументированным фактом - закрытие счета в банке или окончание срока полиса страхования.

В сферах с неконтрактными отношениями таких как перевозки или ритейл определение оттока однозначным набором правил является нетривиальной задачей, поскольку невозможно определить, когда клиент уже стал постоянным или когда решил полностью завершить свои отношения с компанией. Отсутствие формальных моментов, ограничивающих длительность отношений клиента и компании является источником дополнительной неопределенности.

...