(13)

Значение данной метрики означает, что правило покупки Сыра при условии покупки Вина 2 на 25% сильнее просто отдельной покупки Сыра.

Итак, для решения задачи поиска ассоциативных правил вина и сыра будет использоваться Априори (“Apriori”) алгоритм. В основе данного алгоритма лежит следующее утверждение: «Если элемент X является подмножеством Y, то supp(X) ? supp (Y)». Данный алгоритм в поиске ассоциативных правил использует так называемое префиксное дерево (“prefix tree”). Пример префиксного дерева представлен на рисунке 1.

Рис. 1 Префиксное дерево**Источник: Agrawal (1993)

Изначально генерируется пустое множество, в котором есть все одинарные наборы элементов, то есть наборы элементов с одним товаром (находимся на первой строке префиксного дерева). Затем, для каждого одинарного элемента рассчитывается поддержка (“support”). Если поддержка (“support”) данного одинарного элемента является больше либо равной минимальной поддержке (“support”), задаваемой пользователем, то такой одинарный набор появляется дальше в префиксном дереве (вторая строка префиксного дерева). Те наборы элементов, поддержка которых меньше порога, отбрасываются. Далее, на основе одинарных наборов элементов генерируются двоичные (наборы элементов, содержащих два различных товара), которые сформированы из пар отдельных элементов, не отброшенных на первом шаге. Другими словами, для генерации всех частых наборов элементов с помощью |K|=m, нужно рассмотреть «кандидатов» так, что все их наборы элементов (m) размера m-1 являются частыми. Также, горизонтально («в ширину») рассчитываются поддержки (“support”) для каждого набора элементов. И, аналогично первой итерации, те наборы элементов, поддержка (“support”) которых не меньше минимальной, проходят дальше по префиксному дереву. Алгоритм работает до тех пор, пока все «кандидаты» не будут иметь поддержку меньше указанного порогового значения. Алгоритм «Априори» требует только одной итерации для каждого значения K, что крайне важно, потому что при этом условии процесс завершится в разумное время даже при достаточно больших массивах данных.

На входе алгоритму подается значение minsupport (минимальная поддержка). Формально, действие алгоритма, который был описан выше, отображено следующим образом (рис. 2)

Рис. 2 Формальное отображение алгоритма*

*Источник: Agrawal (1993)

Стоит отметить, что в классическом алгоритме Apriori каждая переменная является отдельным товаром, купленным клиентом. В данном же случае каждая переменная рассматривается как атрибут товара (его характеристика), а фактически исследуются только 2 товара.

На языке R написана библиотека “arules”, в которой производится расчет поддержки (“support”) и уверенности (“confidence”) и производится поиск устойчивых ассоциативных правил (Hahsler, 2019). С помощью данной библиотеки будут выполняться все расчеты.

Для запуска Априори-алгоритма необходимо указать входные параметры. Во-первых, нужно указать пороговые значения: минимальную поддержку (“minsupport”) и минимальную уверенность (“minconfidence”). В литературе, а также на различных форумах нет определенного правила, как выставлять пороговые значения. Обычно, в эмпирических работах минимальную поддержку выставляют на уровне 1% и уверенность на уровне 20% при выборке около 200000 наблюдений. Во-вторых, нужно ограничить длину правила. Необходимо найти сочетания только 2-х товаров, поэтому и максимальная длина правила должна быть 2 элемента в наборе элементов. В-третьих, необходимо указать, сочетания к каким товарам необходимо найти. Исходя из исследовательского вопроса, необходимо найти сочетания сыра к вину, значит, исходным товаром, к которому будут подбираться другие товары, является именно вино. Эту процедуру следует сделать уже после запуска алгоритма, выставляя в левом столбце «вино», а в правом - «сыр». Итак, входные данные для Априори-алгоритма следующие:

1) Минимальная поддержка (“minsupport”) = 1%;

2) Минимальная уверенность (“minconfidence”) =20%;

3) Максимальная длина правила (количество элементов в наборе элементов) = 2.

Таким образом, для задачи поиска наиболее часто встречающихся атрибутов вина и сыра будет применен данный алгоритм, который позволит из всех транзакций определить предпочтения клиентов в выборе товаров. Выбор данного алгоритма можно объяснить следующим. Во-первых, используется база данных транзакций ритейла. Во-вторых, массив данных имеет среднюю размерность (измеряется тысячами транзакций), поэтому мощности алгоритма хватит для поиска соответствующих правил.

4. Данные и их предварительный анализ

В работе используются данные, предоставленные розничной сетью «Семья», которая функционирует на территории Пермского края. Массив данных представляет собой транзакции (чеки), в которых есть либо вино, либо сыр, либо вино и сыр. Временной промежуток данных 2014-2015 гг. В исходном виде данные представляют собой транзакции с уточнением по каждой позиции в чеке. Таким образом, в исходный данных единицей наблюдения является позиция в чеке (т.е. товар - вино или сыр). Всего в изначальной базе данных 863030 наблюдений и 8 переменных. Структура данных в изначальном массиве данных выглядит следующим образом (таблица 2) Date - дата покупки, Time - время покупки, ID_Card - идентификатор карты лояльности, ID_Cheque - идентификатор чека, id_level2 - идентификатор первого уровня (например, твердый сыр или красное вино), id_level3 - идентификатор второго уровня (например, твердый импортный сыр или красное сухое вино), ID_SKU - идентификатор уникального конкретного товара, учитывая все характеристики (например, для вина объем, производитель, сухость, процент содержания алкоголя и т.д.), name_sku - наименование уникального конкретного товара.:

Таблица 2Пример исходных данных розничной сети «Семья»

Кроме того, имеется информация об идентификаторах этих атрибутов (характеристик) имеющихся товаров, в которой для каждого идентификатора существует характеристики товаров. Таким же идентификаторы есть и в основной таблице с данными, по которым в дальнейшем были выделены атрибуты (характеристики) товаров. Были выделены атрибуты сыров: мягкий/твердый, плавленый/не плавленый, с плесенью/без плесени, брынза/не брынза, страна производства (импортное/отечественное) и атрибуты вина: сухость (сладкое, полусладкое, полусухое, сухое), цвет (белое, красное).

На этапе первичной обработки данных было необходимо преобразовать данные в так называемый транзакционный формат, то есть так, чтобы все товары, купленные вместе в одном чеке, находились в одной строке. Для этого данные сначала были сгруппированы по идентификатору чека (ID_Cheque) и дате (Date). А затем, трансформированы в нужный транзакционный формат.

После работы над исходными данными, представленными в виде транзакций, получился массив данных, который представляет собой набор следующих переменных (атрибутов вина и сыра):

1) 40101 (Сыры твердые СНГ);

2) 40102 (Сыры твердые импортные);

3) 40201 (Сыры плавленые СНГ);

4) 40202 (Сыры плавленые импортные);

5) 403 (Рассольные сыры, брынза);

6) 404 (Сыры с плесенью);

7) 300501 (Вина белые сухие);

8) 300502 (Вина белые полусухие);

9) 300503 (Вина белые полусладкие);

10) 300504 (Вина белые сладкие);

11) 300601 (Вина красные сухие);

12) 300602 (Вина красные полусухие);

13) 300603 (Вина красные полусладкие);

14) 300604 (Вина красные сладкие);

15) 3005 (Вина белые);

16) 3006 (Вина красные).

Все переменные представлены в бинарном виде. Для каждого наблюдения, которое представляет собой чек (единственную транзакцию), переменные принимают значение “True”, если товар с определенными характеристиками есть в чеке, и значение “False”, если товара с такими характеристиками в чеке не было. Данные представлены в таком виде для того, чтобы применить Априори-алгоритм. В итоговом массиве данных 195697 наблюдений.

Проведем предварительный анализ данных полученного массива. Описательные статистики выглядят следующим образом (таблица 3) Значения в таблице означают, сколько раз товар такими переменными появлялся в базе данных транзакций со значениями “True” или “False”..

Таблица 3Описательные статистики переменных

Из данной таблицы можно сделать вывод, что выборке твердых сыров больше, чем любых других, причем твердых сыров СНГ больше, чем импортных. Кроме того, сухих вин больше, чем других типов, причем красных сухих больше, чем белых.

Далее, были построены гистограммы появления вин и сыров по тем же переменным в базе транзакций в относительных единицах (рис. 3).

Рис.3 Частота появления вина и сыра по переменным (в относительных единицах)

Из графиков видно, что больше всего в данный период клиенты розничной сети покупали твердые сыры (более 50% транзакций). Из этого может следовать то, что есть значительная часть транзакций, в которых присутствовали только сыры. Наиболее редко в данный период клиенты приобретали сыры с плесенью (около 10% транзакций). Кроме того, можно отметить, что больше всего в исследуемый период клиенты розничной сети «Семья» покупали сухое красное вино, что подтверждают данные описательных статистик, приведенных выше. Наименьшим спросом пользовались сладкие вина, причем как красные, так и белые (менее 5 % транзакций).

5. Эмпирические результаты

Сначала, с помощью фильтров в Excel были рассмотрены сочетания вина и сыра, которые встречались наиболее часто. В ходе анализа (перебора всех возможных комбинаций атрибутов вина и сыра) было выявлено, что наиболее часто встречаются такие сочетания атрибутов вина и сыра как:

1) Белое сухое вино - твердый сыр СНГ (3,53%);

2) Белое сухое вино - твердый импортный сыр (2,25%);

3) Красное сухое вино - твердый сыр СНГ (4,88%);

4) Белое сухое вино - плавленый импортный сыр (1,82%).

Однако, данный способ может быть достаточно ограниченным, потому что доли, которые получились могут быть незначительны для всего массива данных, поэтому следует обратиться к более продвинутым способам нахождения искомых сочетаний. Используем метод машинного обучения - поиск ассоциативных правил (Априори-алгоритм).

Процесс выполнения алгоритма представлен на рисунке (рис. 4).

Рис. 4 Процесс выполнения Априори-алгоритма

На рисунке видно, что все вычисления алгоритма прошли достаточно быстро, что подтверждает применимость данного алгоритма для имеющихся данных. Если бы время выполнения алгоритма было достаточно большим, пришлось бы применять более оптимизированный алгоритм.

Краткий итог после выполнения алгоритма (summary) показывает следующие параметры алгоритма. Алгоритм сгенерировал 64 правила. Длина правил: 5 правил с единичным набором элементов, 59 правил с двумя элементами в наборе элементов. Минимальная поддержка осталась чуть больше 1%, а максимальная - более 60%, что говорит о распространенности правила. Также, минимальная уверенность на уровне 20%, а максимальная - более 70%, что говорит о силе правила. Более того, можно отметить, что показатель “lift” почти для всех правил больше 1, что тоже подтверждает хорошее качество правил и их устойчивость (таблица 4).

Таблица 4Описательные статистики метрик алгоритма

Для наглядности распределения правил по поддержке (“support”), достоверности (“confidence”) и зависимости (“lift”) рассмотрим график (рис.5).

Рис. 5 График распределения ассоциативных правил по показателям качества

По графику видно, что правила с высокой зависимостью имеют небольшую поддержку и уверенность. Это может быть из-за того, что такие товары встречаются скорее вместе, чем по отдельности, однако, для всей базы транзакций относительно не часто. Однако, их можно также считать сильными правилами, поскольку эти показатели являются наибольшими. И, наоборот, правила с большой поддержкой и уверенностью имеют небольшую зависимость (примерно 1).

Перейдем к анализу полученных правил. Для начала таблица с правилами была отсортирована по уверенности (“confidence”). Затем, были оставлены только правила, в которых два элемента в наборе. Далее, были отобраны только те правила, в левой части которых стоит характеристика вина, а в правой - сыра. И, также, было проконтролировано, чтобы “lift” правил был больше 1, чтобы совместное появление этих товаров было эффективнее, чем одиночное. Таким образом, осталось 25 ассоциативных правил. Правила с расшифровкой характеристик представлены в таблице (табл. 5).

Таблица 5Ассоциативные правила атрибутов вина и сыра

Из данной таблицы можно сделать вывод о том, что подтверждается гипотеза об универсальности твердых сыров. На это указывает то, что вне зависимости от региона производства (СНГ или импортный) твердый сыр подходит к различным винам, как по цвету, так и по сухости. Показатели уверенности (“confidence”) говорят о том, что клиенты розничной сети «Семья» в 50-70% случаев к вину покупают твердый сыр. Кроме того, плавленый импортный сыр подходит к сухим, полусухим и полусладким красным и белым винам. Что касается этого блока, то клиенты в 40% случаях к вину покупают плавленый импортный сыр. Можно сказать, что частично подтверждается вторая гипотеза об идеальной паре красного сухого вина и полумягкого сыра. Более того, говоря о рассольных сырах и брынзе, такой сыр подходит как к красному (сухому и полусладкому), так и к белому вину. Примерно 40% клиентов в пару к винам покупают рассольные сыры или брынзу. Кроме того, можно сделать вывод о том, что к белому сладкому вину покупают только твердый импортный сыр. Также, можно сказать, что все получившиеся ассоциативные правила являются устойчивыми, потому что показатель зависимости (“lift”) для всех правил больше 1. Алгоритм не выявил правила ассоциации с участием сыра с плесенью, что отвергает гипотезу об идеальной паре белое сладкое вино и сыр с плесенью.

Заключение

Проведенное исследование позволяет получить информацию о потребительских предпочтениях в области вина и сыра клиентов розничной сети «Семья» в период 2014-2015 гг. Данная тема достаточно актуальна, так как сочетаемость этих товаров широко обсуждается в литературе. Однако, сочетание этих товаров рассматривается только в разрезе их вкусового наполнения. Исследования проводились посредством дегустаций, что не отражает действительного поведения людей как потребителей.

Исследование проводилось на достаточно большом массиве данных, что позволило широко проанализировать потребительские предпочтения клиентов. Результаты показывают, что наиболее универсальным сыром ко всем винам является твердый сыр. Кроме того, рассольные сыры и брынзу покупают как к красному (сухому и полусладкому) вину, так и к белому вину.

Результаты данной работы будут полезны маркетологам розничной сети «Семья», потому что выводы, полученные в ходе исследования дают достаточно важную информацию об их клиентах. Данная информация может быть полезна при выстраивании ценовой политики (стратегии) изучаемых товаров (вино и сыр). Если учитывать данные товары как комплементы, то при снижении цены одного из товаров-комплементов спрос потребителей возрастет на оба товара. Кроме того, данная информация может быть использована для улучшения эффективности мерчендайзинга. Полученные пары характеристик вина и сыра дают маркетологам информацию о том, как лучше расположить вина и сыр в торговом зале (какие товары следует располагать совместно, а какие раздельно). Более того, маркетологи могут использовать данную информацию для стратегии кросс-продаж и для рекламных и маркетинговых кампаний. Например, использовать совместное расположение вина и сыра в рекламных каталогах или устраивать промо-акции для данных товаров.

В будущем, в расширении данного исследования, можно обратить внимание на другие группы товаров, которые существуют в ассортименте розничной сети. Также, возможно рассмотрение нескольких точек продаж.

В данном исследования можно выделить несколько ограничений. Во-первых, предполагается, что люди, которые покупают вино и сыр неслучайно, что отражается в их чеках. То есть факт того, что в их чеках оказались вино и сыр вместе, следует из намеренного сочетания вина и сыра. Однако, не всегда это может быть так. Во-вторых, рассматривается только одна точка продаж, что говорит о том, что нельзя распространять результаты исследования на другие точки продаж данной розничной сети. В дальнейшем, это ограничение можно преодолеть и включить данные и по другим точкам продаж, однако, необходимо учитывать размер полки, то есть имеющийся ассортимент, поскольку в гипермаркете ассортимент намного шире, чем в супермаркетах по типу «у дома». В-третьих, в качестве характеристики товара не учитывается цена. Это является недостатком, потому что цена для потребителей играет важную роль при выборе товаров. Однако, данный недостаток не удалось преодолеть, потому в некоторых транзакциях присутствует сыр, который был приобретен на развес. Его не удастся по цене сравнить с кусковым сыром, потому что, возможно, он на самом деле входит в категорию дорогих сыров, но по весу его взяли немного, поэтому сумма денег, уплаченных за него, небольшая.

Список использованной литературы