Рисунок 2 - Диаграмма состояний автоматизированной системы

В таблице 11 представлены более детализированные функциональные требования автоматизированной системы, которая поддерживает принятие решений с разной периодичностью.

Таблица 10 - Детализированные функциональные требования к автоматизированной системе

Тип данных	Функция	Результат анализа	Решение на основе данных	Периодичность
Внутренние	ABC анализ	Товарная матрица	Продвижение товаров	Месяц
	Качественный анализ	Товарная матрица	Продвижение товаров	Месяц
	OLS прогноз	Прогноз продаж	Планирование продаж	Квартал
Качественные	ABC анализ	Предпочтения целевой аудитории	Продвижение товаров	Месяц
	Качественный анализ	Целевая аудитория	Продвижение товаров	Месяц
Вторичные	Визуальный анализ	Тенденции рынка	Рентабельность бизнеса	Год

3. Практическая часть

3.1 Анализ внутренних данных

В результате анализа необходимо получить данные в табличной форме, по которым будет проведен анализ.

Пример исходных данных по заказу, оформленному в интернет-магазине, представлен в Приложении 1. Реальные данные содержат 3336 заказов, в которых 15930 позиций, но структура xml данных аналогична Приложению 1.

Ввод данных клиентом на сайте реализован максимально просто, что приводит к низкому качеству данных.

Негативные особенности исходных данных:

- в поле customer_name указано в разных форматах: имя, имя+фамилия, имя+фамилия+отчество, некоторые клиенты вместо имени вводят набор символов;

- customer_addr также указан совершенно в разных форматах, зачастую отсутствует индекс для заказов, которые отправляются по почте, и агрегировать такие данные очень сложно;

- в поле customer_email нет проверки на достоверность email адреса, например, наличия @ и реально существующего почтового домена.

Все это затрудняет получение качественной информации о состоянии клиентской базы.

Для того, чтобы добиться необходимого csv формата необходим парсер. Для решения поставленной задачи выбран язык Python и библиотеки ElementTree и csv. Парсер написан специально под формат данных поставленной задачи и доступен в Приложении 2.

Результат преобразования в транспонированном виде (для удобства представления в тексте работы) выглядит в соответствии с таблицей 12.

Таблица 11 - Результат преобразования данных с помощью парсера

order_id	1923
add_date	08.06.2012, 20:47, Пятница
deliv_date	04.01.2018, 18:31, Четверг
deliv_type	Курьер по Москве
amount	800.00
customer_name	пробный заказа
customer_email	1@1.ruu
customer_tel	123456
customer_addr	1111 gh
item_id	488
item_name	Моделирующая маска для упругости бюста
item_price	800.00
cnt	10
art	32501

Данные в таком представлении уже доступны для анализа, но для большей эффективности необходимы дополнительные преобразования:

1. Разделение столбцов `add_date', `deliv_date' на 3: `deliv_date', `deliv_time', `delive_day'. В качестве разделителя будет использована `,'.

2. Создание нового столбца `sex' с полом клиента, который будет определен по имени, указанному в заказе.

3. Определение категории товара по названию или id.

Для решения поставленных задач необходимо использовать библиотеки Python pandas, csv, numpy.

Задача 1 решается максимально просто, поскольку исходный столбец просто необходимо разделить на 3.

Задача 2 требует сценарной проработки.

1. В наличии имена клиентов в разных форматах, из которых необходимо получить пол: мужчина или женщина. Для этого в интернете найдены списки мужских и женских имен, которые подгружены в качестве справочников.

2. Созданы 2 столбца: `isMan' - принимает значение True, если имя в поле `customer_name' содержится имя из списка мужских имен и `isWoman' - принимает значение True, если имя в поле `customer_name' содержится в списке женских имен.

3. Поскольку некоторые женщины указали свое отчество в поле `customer_name', такие строки будут иметь значение `isMan'=True и `isWoman'=True. В таком случае необходима дополнительная обработка значений.

4. Создан столбец `sex', который заполняется на основе столбцов `isMan' и isWoman' в соответствии с таблицей 13.

Таблица 12 - Определение пола клиента

isWoman	isMan	Sex	Комментарии
True	False	W	Женщина
False	True	M	Мужчина
True	True	W	Женщина
False	False	0	Значение не определено (опечатка, имя не указано)

Результат второго этапа преобразования в транспонированном виде (для удобства представления в тексте работы) выглядит в соответствии с таблицей 14.

Таблица 13 - Результат второго этапа преобразования данных

order_id	1923
add_date	08.06.2012
deliv_date	04.01.2018
deliv_type	Курьер по Москве
amount	800.00
customer_name	Пробный заказа
customer_email	1@1.ruu
customer_tel	123456
customer_addr	1111 gh
item_id	488
item_name	Моделирующая маска для упругости бюста
item_price	800.00
cnt	10
art	32501
add_time	20:47
add_day	Пятница
deliv_time	18:31
deliv_day	Четверг
isWoman	True
isMan	False
sex	0

Задача 3 осложняется тем, что адрес полностью не структурирован и вся информация указана в одном поле. Это не позволяет сделать мэппинг по ключу со справочником, содержащим регионы. Например, адрес указан в формате: «Сочи,п.Лазаревское,354200 ул.Лазарева 3А кв.2», а также «Ракетный бульвар, д.16. офисное здание. Звонок снизу;487». Разбор таких адресов требует мощного алгоритма, который на данный момент не может быть разработан из-за ограниченности в ресурсах.

Также для разбора адресов были рассмотрены публичные сервисы, которые предлагают нормализацию адресов за деньги. Например, сервис dadata.ru нормализует адреса за умеренную плату, но возвращает нормализованный адрес в разбивке по полям. А для решения поставленной задачи необходимо, чтобы по адресу был возвращен только регион.

Возможно эта опция доступна при работе через API, но работа с АРI стоит дороже и интеграция с этим функционалом сложнее.

В связи с этим задача анализа продаж по регионам откладывается.

Для того, чтобы избежать лишних затрат в будущем, необходимо модифицировать форму ввода данных при оформлении заказа и разбить адрес по полям (город, улица, индекс и другие). Это даст минимальный объем данных, который можно будет проанализировать без дополнительных затрат и преобразований.

Задача 4 требует использования справочника категорий для каждого товара в интернет-магазине, поскольку категория не содержится в исходном файле с заказами.

Для тщательного анализа необходима «Категория» - первый уровень агрегации и «Подкатегория» - более детализированное описание товара. Разбивка по категориям, указанная в таблице 15, была взята с сайта интернет-магазина. В приложении 3 приведен код предобразования на Python.

Таблица 14 - Категоризация товаров интернет-магазина

Категория	Подкатегория	Товар
Для тела	Для ног	1
Аксессуары	Аксессуары для волос	2
Аксессуары	Бижутерия	3
Аксессуары	Аксессуары	4
БАДы	БАДы	5
Гигиена	Для зубов	6
Гигиена	Средства личной гигиены	7
Декоративная косметика	Для ресниц	8
Декоративная косметика	Тон	9
Декоративная косметика	Для губ	10
Декоративная косметика	Парфюм	11
Декоративная косметика	Тени	12
Декоративная косметика	Для ногтей	13
Для волос	Бальзамы и маски	14
Для волос	Шампуни	15
Для лица	Очищение лица	16
Для лица	Маски для лица	17
Для лица	Крем для лица	18
Для тела	Для рук	19
Для тела	Крем для лица	20
Для тела	Очищение тела	21
Для тела	Дезодорант	22
Для тела	Для ног	23
Для тела	Антицеллюллитная серия	24
Для тела	Увлажнение тела	25
Для тела	Патчи	26

Результат третьего этапа преобразования в транспонированном виде (для удобства представления в тексте работы) представлен в таблице 16.

Таблица 15 - Результат второго этапа преобразования данных

order_id	1923
add_date	08.06.2012
deliv_date	04.01.2018
deliv_type	Курьер по Москве
amount	800.00
customer_name	Пробный заказа
customer_email	1@1.ruu
customer_tel	123456
customer_addr	1111 gh
item_id	488
item_name	Моделирующая маска для упругости бюста
item_price	800.00
cnt	10
art	32501
add_time	20:47
add_day	Пятница
deliv_time	18:31
deliv_day	Четверг
isWoman	True
isMan	False
sex	0
Category	Для тела
Subcategory	Увлажнение тела

После того, как получена необходимая структура данных, необходимо нормализовать сами значения.

Пропуски в данных. Ранее в аналитической части было выбрано действие для каждого поля, в котором будет встречаться пропущенное значение (раздел 2.2.2.1). Всего строк в изначальной выгрузке - 12343, детальное описание действий по нормализации указано в таблице 17.

Таблица 16 - Результаты анализа пропущенных значений

	К-во пропусков	% от общего к-ва	Описание действия
Id заказа	0	0	-
Имя покупателя	0	0	-
Дата оформления заказа	0	0	-
Сумма заказа	0	0	-
Тип доставки	84	0,0068	Поскольку значение мало, тип был определен вручную по адресу.
Id товара	15	0,0012	Исключено 15 строк
Категория товара	0	0	-
Стоимость товара	0	0	-
Количество позиций одного товара в заказе	0	0	-
Адрес доставки	-	-	Не участвует в анализе
Телефон	144	0,0117	Исключено 144 строки
Email	0	0	-

Согласно проведенному анализу можно сказать, что данные обладают хорошей полнотой. Всего 226 строк из 12343 были исключены из выборки.

Выбросы. На этапе анализа была определена статистическая последовательность поиска выбросов, которая должна быть применена к переменной «сумма заказа», поскольку именно она исследуется, результаты указаны в таблице 18.

Таблица 17 - Анализ выбросов

Медиана	1399,79
Минимум	500
Q1	910
Q2	1399,79
Q3	2220,94
Максимум	15015
Межквартильный диапазон	1310,94
Внутренние границы (мин)	-1799
Внутренние границы (макс)	4187,35
Внешние границы (мин)	-3022,82
Внешние границы (макс)	6153,76
Значения, не входящие в границы (к-во)	281 строка

Согласно проведенному анализу, потенциально 281 строка не входит во внешние границы массива, а значит потенциально является выбросом. Несмотря на теоретическое обоснование, из выборки были исключены только 2 строки, со значением суммы заказа 100000000 и 28602 поскольку эти строки слишком сильно выходят за определенные границы. Остальные превышения допустимы, учитывая, что в период 2012-2014 гг. клиенты покупали активнее в связи с отсутствием кризиса.

Анализ качественных переменных

На рисунке 2 представлена разбивка категорий товара по сумме заказа за весь период существования интернет-магазина. Из гистограммы видно, что категории, которые приносят больше прибыли - это средства для волос, лица и тела.

Рисунок 3 - Продажи по категориям за весь период

Из детализированного анализа категорий по годам видно, что преобладание средств волос сохраняется, а на второе место в 2017г. выходит категория средств для тела, а средства для лица теперь занимают третье место. Именно эти 3 категории являются наиболее перспективными для продвижения.

Результат анализа количества заказанных товаров по категориям не совпадает с продажами и представлен на рисунке 3. По количеству проданных товарных единиц на первое место выходит категория средств для тела. Это может означать, что товары для тела, которые наиболее часто приобретаются имеют меньшую стоимость, чем средства для волос. Наиболее детальную информацию о конкретных продуктах, предоставит выполненный АВС анализ.

Рисунок 4 - Количество по категориям за весь период

При анализе объема продаж по годам можно заметить, что объем снижается. И для определения конкретной причины необходим анализ вторичных данных, которые покажут текущую ситуацию на рынке. Если глобальные предпосылки к снижению объема продаж отсутствуют, то необходимо искать причину во внутренних процессах интернет-магазина.

Анализ сезонности количества проданных товаров на рисунке 4 показал, что товары для волос и для тела одинаково хорошо продаются вне зависимости от сезона, а товары для лица продаются лучше в осенний период. В связи с этим стоит заниматься продвижением товаров для лица в осенний период.



Рисунок 5 - Количество по сезонам

Анализ сезонности продаж на рисунке 5 показывает, что средства для тела одинаково хорошо продаются вне зависимости от сезона, средства для лица имеют небольшое повышение весной и осенью, а средства для волос немного популярнее летом и осенью. Эта информация также важна для организации промо и продвижения товара. Какие конкретно товары стоит продвигать в определенные сезоны также ясно их АВС анализа, который дает детализацию до конкретного товара.

Рисунок 6 - Продажи по сезонам

В интернет-магазине есть 2 способа доставки товара: курьером по Москве и отправка по почте. Согласно проведенному анализу, больше продается товаров с типом доставки курьером по Москве, но сумма продаж по почте России тоже значительна, что иллюстрирует рисунок 6. Смещение в сторону клиентов из Москвы может быть связано с неравномерными доходами населения по регионам России.

Рисунок 7 - Продажи по типу доставки

Из рисунка 7 видно, что пол клиентов магазина преимущественно женский. Значение 0 соответствует ситуации, когда имя либо не указано, либо его невозможно автоматически определить по базе имен.

Рисунок 8 - Количество заказанных товаров среди мужчин и женщин

Из рисунка 8 видно, что продажи не зависят от дня недели, в который был сделан заказ.



Рисунок 9 - Продажи по дням недели

Взаимосвязь между качественными переменными

Для анализа взаимосвязи качественные значения были переведены в числовые.

В таблице 19 приведена корреляционная матрица, согласно которой сильная связь между независимыми характеристиками временного ряда отсутствует, поэтому они могут быть добавлены в прогнозную модель.

Таблица 18 - Связь между независимыми переменными

amount	year	autm	winter	summer
1.0000	0.0403	0.0426	-0.0243	-0.0313	amount
	1.0000	-0.0896	0.0617	-0.0404	year
		1.0000	-0.3235	-0.3233	autm
			1.0000	-0.3547	winter
				1.0000	summer
		spring	byPostOfRussia	isWoman
		0.0153	-0.0934	0.0394	amount
		0.0652	-0.0370	-0.1009	year
		-0.3124	0.0374	0.0079	autm
		-0.3427	0.0075	0.0408	winter
		-0.3425	-0.0076	0.0161	summer
		1.0000	-0.0362	-0.0659	spring
			1.0000	-0.0052	byPostOfRussia
				1.0000	isWoman

3.2 Анализ вторичных данных

Вторичные данные не подвергаются автоматической обработке, поэтому необходимо из выбранных источников вторичных данных получить описание потребительского поведения и состояния отрасли.

Спад в экономике России

Согласно данным компании PWC за 2016г. [15] Россия находится в состоянии продолжительной рецессии. В соответствии с результатами опроса потребители ощущают влияние кризиса значительно более остро, чем в 2015г и изменили свое отношение к процессу потребления:

1) более критически настроены по отношению к тому, что они покупают и какие услуги им предоставляют, что приводит к переходу в другие магазины или предъявлению претензий;

2) более внимательно относятся к цене и качеству того, что они покупают;

3) более сознательны с финансовой точки зрения, что влияет на стратегии, которые они выбирают в целях экономии средств.

Потребители менее уверены в своем будущем, что может привести к тому, что они будут стремиться к увеличению своих сбережений, как только появится такая возможность. В 2016 году респонденты считают, что кризис завершится не ранее начала 2019 года.

Также важным фактом является то, что в период с 2004 по 20014г. доходы россиян росли быстрыми темпами (в среднем приблизительно на 7% в год в реальном выражении), сейчас же реальные доходы сокращаются, поэтому старые модели потребления более не актуальны. Например, эмоциональные покупки уже не так распространены среди покупателей.

Необходимо указать, что ситуация в регионах России разная. Москва показывает большую стабильность, чем города среднего размера с менее диверсифицированной экономикой, где ситуация ухудшается гораздо стремительнее.

Согласно проведенным исследованиям можно отметить следующие черты поведения покупателей, которые согласно опросам потребителей, сохранятся после окончания кризиса:

- увеличился объем покупок «по акции», причем доля покупок косметических товаров по промо акциям и скидкам возросла с 8% в 2015г. До 18% в 2016г.

- импульсивные покупки были вытеснены из обычной жизни потребителей;

- продукция под собственной торговой маркой (СТМ) пользуется популярностью;

- большинство опрошенных (88%) не планируют брать кредиты в течение следующих 12 месяцев;

- люди становятся более критически настроенными и более требовательными к приобретаемым товарам и услугам;

Кризис и скорректированное поведение потребителей привело к тому, что 67% компаний, которые приняли участие в исследовании отметили падение продаж в связи со снижением спроса.

Наряду с изменением потребительского поведения, компании также скорректировали свое поведение:

- 64% сократили расходы на рекламу;

- 55% сократили расходы на POS-маркетинг;

- 55% изменили маркетинговые каналы;

- 60% сократили количество предоставляемых скидок.

Онлайн-реклама на российском рынке

Согласно исследованию PWC за 2017г. [16], в сегменте онлайн-рекламы по-прежнему нет единой системы измерения аудитории и эффективности рекламы, хотя более половины совокупных рекламных доходов уже приходится на доходы от онлайн-рекламы.

Рынок онлайн-рекламы в России развивается динамично и, ожидается, что его средние темпы роста за ближайшие пять лет превысят показатели мирового рынка (в России - 12,3%, в мире - 9,8%).

Участники опроса выделили следующие тренды, касающиеся онлайн-рекламы:

- таргетированная «хорошая» онлайн-реклама вместо раздражающей;

- развитие мобильных технологий;

- видеоконтент;

- новые метрики измерения эффективности рекламы, например, «покупка» аудитории с определенными качественными характеристиками, а не просто объем трафика;

Онлайн-реклама предоставляет большие возможности, но на пути к ее успешному использованию лежит ряд препятствий:

1. Достоверность и прозрачность данных.

В основе рынка онлайн-рекламы лежит использование данных. Его будущее развитие зависит от решения задачи атрибуции - способности отслеживать действия потенциального клиента на протяжение всего цикла взаимодействия с ним, начиная с момента, когда пользователь впервые видит рекламу, и заканчивая целевым действием - переходом на сайт и «последним» кликом, приводящим к покупке, или оффлайн- покупкой.

Атрибуция напрямую связана с данными, так как без них невозможна ни сегментация, ни таргетинг. Однако для успешного решения задачи атрибутирования необходимы достоверные данные.

2. Множество платформ с разными системами измерения

3. Модели по возврату инвестиций в данные требуют изучения - непонятно как монетизировать и быть уверенным в том, что прибыль была получена именно за счет онлайн-рекламы.

4. Нехватка высококвалифицированных специалистов. Современные технологии позволяют достаточно легко собирать огромное количество данных, но их необходимо качественно обработать, чтобы превратить «большие данные» в «умные данные».

В будущем доходы от рекламы будут определяться способностью владельцев рекламных платформ предлагать достоверные, кросс-платформенные системы показателей для определения и оценки степени охвата и активности аудитории на различных платформах. Данные и их прикладной анализ станут точкой пересечения всех направлений развития индустрии, давая толчок для появления новых рекламных технологий.

Тенденции на глобальном рынке товаров народного потребления в 2017 году

Исследование PWC за 2017г. [17] также подтверждает то, что на данный момент ситуация на рынке товаров народного потребления (ТНП) существенно изменилась и это изменение должно отразиться на деятельности компаний в сегменте производства ТНП, если они планируют сохранить свое положение на рынке. Если раньше, продажи увеличивались за счет роста населения и роста доходов населения, то сейчас эта ситуация изменилась в худшую сторону. На данный момент рост доходов населения существенно замедлился, вместе с тем снизилась покупательская способность рынков.

Исследование за 2017 г. подтверждает результаты исследования 2016 г. и говорит о том, что основной потребитель сейчас - это представитель среднего класса, который хорошо осведомлен о предложениях рынка и ищет не просто дешевый товар, а предложение, которое предлагает лучшее качество за оправданную цену.

На рынке США и Великобритании потребительский рынок условно разделился на 2 класса: «survivalists» и «selectionists». В категорию survivalists входят, в основном, пенсионеры и население с большими долгами по кредитам, ипотекам и прочим. Эта категория однозначно перешла на покупку более дешевой продукции, пусть даже низкого качества. Категория selectionists потребителей менее остро ощущает на себе кризис, поэтому требует высокого качества, которое бы соответствовало запрашиваемой цене, причем эта категория готова платить больше, если их удовлетворяет качество продукции. Хорошим примером является сеть натуральной косметики LUSH, которая предлагает эксклюзивно натуральную косметику далеко не по низким ценам.

Россия входит в число развивающихся рынков вместе с Бразилией и Китаем, где замедление роста ВВП и инфляция существенно снижает потребительский энтузиазм.

Согласно исследованию, производители ТНП из всех сил стараются добиться роста маржи за счет сокращения внутренних затрат, а не за счет продаж.

Продажи косметики в кризисный период

Отдельное исследование рынка косметики за 2016 г. [18] показывает, что несмотря на кризис, объем российского рынка косметики вырос на 5% и составляет 630 млрд рублей, что говорит о стабильности рынка. Но если рассматривать отдельные регионы, то ситуация не так позитивна. Например, по данным GfK, петербургский рынок косметики по итогам 2016 года вырос на 2,7% в денежном выражении, однако упал на 4,2% в натуральном. Причина в том, что за один поход в магазин петербуржцы стали покупать меньше средств по уходу за собой, чем средний российский покупатель. Также исследования компании Nielsen подтверждает, что основным источником прибыли являются промо-акции, скидки и специальные предложения ритейлеров.

Исследование подтверждает, что потребители стали разборчивее и легко переключаются на более дешевые аналоги.

Также важно отметить, что присутствует рост онлайн-продаж косметики. В OZON.ru говорят о росте продаж категории "косметика" на 27% к прошлому году. По словам представителя интернет-ретейлера, эта категория стала одной из ключевых в ассортименте и растет быстрее других позиций. У сети Lush на продажи через интернет-магазин приходится более 3% выручки, и в компании ожидают дальнейшего роста.

Согласно результатам исследования ситуация на рынке косметики неоднозначная и все сложнее привлекать потребителя и предоставлять конкурентоспособное предложение.

Специалисты не ожидают существенного изменения ситуации в 2017 и 2018г.

Анализ отрасли глобального рынка косметики

Согласно исследованию состояния глобального рынка косметики за 2016г. [19] за последние пять лет четко прослеживается тенденция того, что сектор косметики для ухода за кожей стабильно увеличивает свой объём. В частности, в 2016 году средства для ухода за кожей представляют собой крупнейшую категорию из всех, что составляет 36,4 % мирового рынка. Остальные категории представлены на рисунке 9.

Рисунок 10 - Мировой косметический рынок 2011-2016 по категориям продуктов. Источник: statista.com

По оценкам экспертов, продажи косметических продуктов в России увеличились на 5% в период с 2011 по 2016 год. И в ближайшие три года ожидается рост около 1%, а это означает, что количество единиц, проданных в 2019 году, составит около 211 миллионов единиц. По данным eMarketer.com, более 50% российских интернет-покупателей совершили онлайн-покупки средств красоты и личной гигиены в 2016 году. Yandex.ru, ведущий российский поисковик, обрабатывает более 2 миллионов запросов в месяц для термина «косметика».

По данным Euromonitor, в 2016 году рынок красоты и личной гигиены в России составил 8,73 млрд. долларов США, что на 2,2% меньше, чем в 2015 году, когда этот показатель был равен 8,93 млрд. долларов. Сегмент средств для ухода за кожей был самым большим - 1,76 млрд. долларов, парфюмерия - 1,39 млрд. долларов, косметика для ухода за волосами - 1,35 млрд. долларов; средства для макияжа - 1,22 млрд. долларов, а сектор мужской косметики - 1,12 млрд. долларов. Исследования показывают, что спреи и сыворотки с дозирующими устройствами имеют самый высокий спрос в России.

В отличие от результатов предыдущего исследования, эксперты этого исследования ожидают, что потребители вернутся к покупке более дорогих премиальных косметических брендов, начиная с 2017 года.

На момент публикации исследования были выявлены следующие тенденции рынка (некоторые совпали с предыдущими источниками):

- повышенный спрос на косметику среднего и массового рынков;

- снижение спроса на косметику премиум-класса;

- рост цен, вызванный колебаниями валютных курсов;

- рост продаж профессиональной косметики для домашнего использования;

- рост онлайн-розничной торговли;

Анализ вторичных данных показал, что на текущий момент экономика находится в кризисе, выход из которого в ближайшее время не ожидается. В связи с этим модели потребительского поведения должны быть пересмотрены. Несмотря на очевидные трудности, анализ показал, что на данный момент рынок косметики в России стабилен и даже показывает небольшой рост. Дополнительным плюсом является увеличение доли продаж через онлайн-магазины, популярность небольших производителей, которые предлагают достойное качество своей продукции, не имея известного бренда. Поэтому текущее состояние рынка и его тенденции в целом благоприятны для продвижения маленького интернет-магазина по продаже косметики.

Результаты исследования вторичных данных объясняют причину снижения продаж интернет магазина, а также подтверждают предпочтение покупателей категорий косметической продукции «Для лица».

3.3 Анализ качественных данных

Контент социальной сети

Группа https://vk.com/tiandemedia активна с 2016г и насчитывает 1926 постов и начиная с 2017 года для разграничения записей используются хэш тэги, что существенно упрощает анализ записей. Скрипт на Python, который собирает данные и преобразует их в формат csv, представлен в приложении 4.

Необходимо определить наиболее популярные записи на стене группы по лайкам и репостам.

В результате АВС анализа в группу А - «наиболее популярные» попали тэги, указанные в таблице 20.

Таблица 19 - Популярные тэги в социальной сети

Тэг	Количество лайков
#конкурс	1971
#новинка	1417
#вебинар	1273
#новинка	618
# продукт	1040
# опрос	316
#отзыв	526
#конкурс	303
#акция	295
#путешествие	252
#рабочаянеделя	240
#советывизажиста	219
#новости	211
#новостипартнеров	201
#деньтиандэ	311
#лишнийвес	143
#событие	141
#activelife	133
#поздравление	132
#розыгрыш	127
#новыйкаталог	125
#поздравление	125
#макияж	114

К сожалению, автоматически проанализовать, какие именно продукты получили большее количество лайков, не получится, для этого необходим специальный алгоритм, но то, что на первом месте по популярности записи, связанные с конкурсами, подтверждает результаты анализа вторичных данных, которые свидетельствуют о том, что сейчас людям больше всего интересно получать продукцию, участвуя в акциях и конкурсах.

Пользователи социальной сети

Несмотря на то, что не удалось выяснить характеристики пользователей, которые интересуются косметикой бренда, вместо этого можно проанализировать характеристики пользователей, которые состоят в группе в социальной сети, посвященной бренду.

Необходимо проанализировать следующие характеристики пользователей: высшее образование, пол, возраст, страна, город. Ограничением такого способа анализа является то, что не все пользователи социальной сети указывают полную информацию о себе, особенно это касается даты рождения и образования.

В условиях исследования, пользователи, у которых высшее образование не указано, будут считаться пользователями, у которых нет высшего образования.

В приложении 4 приведен скрипт, который производит сбор заданных характеристик из группы Вконтакте, посвященной бренду косметики.

Согласно рисунку 10 большинство пользователей находятся в России (1) и менее 2 тысяч пользователей в Украине (2), Беларуси (3) и Азербайджане (4).

Рисунок 11 - Количество подписчиков в разных странах

Анализировать города удобнее в табличном формате, поэтому в таблице 21 указаны города, которые имеют более 10 подписчиков в группе. Видно, что большинство подписчиком из Москвы, что подтверждает анализ внутренних данных, где большинство продаж также привязаны к Москве. Остальные города, которые фигурируют, в таблице являются кандидатами для продвижения продукции.

Таблица 20 - Подписчики по городам

id	city	Количество подписчиков
1	Москва	12126
0	-	2950
2	Санкт-Петербург	1667
3	-	1458
4	Herzliya	728
15	-	115
9	Buenos Aires	31
65	Кинель	25
160	Грозный	21
88	Набережные Челны	16
215	-	16
13	Борок	14
11	Северодвинск	13
49	Екатеринбург	13
6	Чоп	12
39	Владимир	12
200	-	11
18	Альметьевск	10

Хотя большинство пользователей не указывают свою дату рождения, согласно рисунку 11 те, кто указывает, в основном, родились в промежуток с 1982 по 1995 год, это проиллюстрировано на рисунке 12.

Рисунок 12 - Количество подписчиков по дате рождения

В результате анализа внутренних данных количество женщин среди клиентов интернет-магазина значительно превышало количество мужчин, и это подтверждается результатами анализа данных социальной сети на рисунке 13, где 1 - женщины, 2 - мужчины.

Рисунок 13 - Количество подписчиков среди мужчин и женщин

Также доступным для анализа параметром является образование подписчиков группы социальной сети. На рисунке 14 показано количество подписчиков, у которых указано высшее образование - 1, и количество подписчиков, у которых высшее образование не указано - 0. Видно, что подписчики без образования являются основным контингентом группы и это необходимо учитывать.

Рисунок 14 - Подписчики с образованием

Анализ помог определить ключевые характеристики пользователя, который интересуется косметикой бренда и может стать клиентов интернет-магазина.

3.4 Прогнозирование данных

Целью прогнозирования внутренних данных является определение будущих продаж по месяцам, а также определение будущего спроса по категориям товаров.

Для определения месячных продаж, необходимо использовать метод Ordinary Least Square (OLS), который является наиболее известным метод регрессионного анализа, причем данные должны быть представлены в виде временных рядов с месячным шагом.

Согласно рисунку 15 продажи за 5 лет имеют тенденцию неравномерно снижаться, что соответствует текущей экономической ситуации. Это значительно осложняет прогнозирование временных рядов. Тенденция к снижению подтверждает анализ качественных данных, который был проведен ранее, и свидетельствует о том, что методы продаж, применяемые с 2012 по 2016, сейчас не работают и должны быть пересмотрены.

Рисунок 15 - Динамика продаж по месяцам с 2012 по 2017 год

Необходимо спрогнозировать будущие продажи по данным в формате временных рядов - это означает, что модель интересует только значение зависимой переменной и период, к которому это значение относится.

В данном случае предполагается взять за основу временной ряд с периодичностью - месяц и с помощью модели линейной и квадратичной регрессии.

Согласно таблице 22, в которой представлены результаты моделирования с разными параметрами, наиболее точная и актуальная модель - это модель на основе переменной timetrend и использования dummy переменных для каждого месяца.

Таблица 21 Результат сравнения регрессионных моделей

№	Независимые переменные	Тип модели	Adjusted R-squared	R-squared	Durbin-Watson	RMSE
1	Timetrend	OLS	0.597295	0.602967	1.072112	49475,64
2	Timetrend, dummy(1-11)	OLS	0.599673	0.667334	0.966345	45287,92
3	Squared timetrend	OLS	0.495605	0.502709	0.857001	82269,76
4	Squared timetrend, dummy(1-11)	OLS	0.474357	0.563198	0.735691	51894,41

На рисунке 16 представлен результат прогнозирования данных на основе существующих продаж за 5 лет методом наименьших квадратов. Несмотря на то, что параметры модели соответствуют ожидаемым, сами значения предсказанных продаж далеки от реальных значений. Модели 1,3 совсем не подходят для использования. Модели 2,4 не плохо предсказывают значения, но хорошо показывают тренд. Таким образом можно понять произойдет ли повышение или понижение продаж в будущих месяцах.

Рисунок 16 Результат прогнозирования модели (№1 - левая верхняя, №2 - правая верхняя, №3 - левая нижняя, №4 - правая нижняя

Заключение

Целью исследования является повышение продаж интернет-магазина косметики с заявленными характеристиками, в котором на протяжении 5 лет момент отсутствовало какие-либо влияние на потребителей.

Научная новизна исследования заключается в разработке новой методики применения общеизвестных маркетинговых и статистических методов к конкретному объекту рынка (интернет-магазину с заявленными характеристиками).

Практическая значимость исследования заключается в том, что его исследования могут быть применены для интернет-магазинов со схожими характеристиками, а также то, что автоматизированная система применена на практике.

В ходе исследования был сделан обзор предметной области, связанный с розничной продажей, а именно:

- определены понятия: ритейл, маркетинг, маркетинговый анализ;

- определено что такое прогнозирование в маркетинге и каковы его разновидности;

- проведен сравнительный анализ типов данных, которые используются для маркетингового анализа, а также методов их сбора.

В результате обзора предметной области были выбраны типы данных и модели прогнозирования, которые подходят для использования в заданных условиях. Для проведения регулярного качественного анализа данных необходимо использовать не только внутренние данные, которые показывают динамику спроса одной торговой площадки, но и открытые данные, которые позволяют быть в курсе интересов потенциальных потребителей, которые не являются клиентами этой торговой площадки.

В результате анализа предметной области были выбраны методы анализа исходных данных, а также модели прогнозирования, которые должны использоваться. Также была проанализирована современная экономическая ситуация на рынке товаров народного потребления и косметики, в частности. Анализ показал, что на данный момент присутствует кризис, выход из которого в ближайшее время не ожидается. Это подтверждается результатами анализа внутренних данных, согласно которым продажи снижаются. Также, благодаря резкой смене потребительского поведения, прогнозирование временных рядов оказалось недостаточно точным.

Исходя из этого можно сделать вывод о том, что модели потребительского поведения должны быть пересмотрены.

Результатом исследования является автоматизированная система, которая обладает следующими функциями:

- производит сбор различных типов маркетинговых данных: внутренних и вторичных.

- производит расчет статистических характеристик данных, предоставляя пользователю системы возможность сделать качественные выводы о динамике спроса в самом интернет-магазине, а также об интересах целевой аудитории конкретного бренда в социальной сети Вконтакте.

- производит прогноз тренда будущих продаж на основе собранной статистики внутренних продаж.

В таблице 22 представлено подробное описание функций и инструментов, с помощью которых они были реализованы.

Таблица 22 - Реализация функциональных требований

Функция	Инструмент сбора и обработки данных	Инструмент визуализации данных
Определение наиболее значимых товаров интернет-магазина	Python, библиотеки: ElementTree, csv, pandas, numpy Строк кода: 44 Время работы: <2мин для каждых 100 заказов	IBM SPSS Statistics
Определение глобальных тенденций рынка	Не автоматизировано	Не автоматизировано
Определение тренда будущих продаж	gretl, OLS модель прогнозирования	gretl
Выявление предпочтений целевой аудитории бренда	Python, библиотеки: requests,json, vk,sys,csv, datetime Строк кода: 77 Время работы: <5 мин для обработки 797 записей на стене группы ВКонтакте	IBM SPSS Statistics
Характеристика целевой аудитории	Python, библиотеки: : requests,json, vk,sys,csv, datetime Строк кода: 80 Время работы: <5 мин для обработки 18 тыс. профилей пользователей ВКонтакте	IBM SPSS Statistics

Список литературы

1. Рынок сбыта товаров и услуг: [Электронный ресурс] https://businessman.ru/new-rynok-sbyta-tovarov-i-uslug.html (дата обращения: 02.02.2018)

2. Авраменко С., Секерин В. Классификация рынков по типу конечного потребителя: [Электронный ресурс] Вопросы региональной экономики №3(12) 2012. URL: http://fta-mo.ru/upload/ journal/arch/jurnal_no12.pdf (дата обращения: 14.02.2018)

3. Котлер Ф. Основы маркетинга Краткий курс. - Издательский дом "Вильяме", 2007 -- 656 с.--ISBN 978-5-8459-0376-1

4. Багиев Г., Тарасевич В. - Маркетинг: Учебник для вузов. 4-е изд. Стандарт третьего поколения. - СПБ.: Питер, 2012. - 560с.

5. Беляевский И.К. МАРКЕТИНГОВОЕ ИССЛЕДОВАНИЕ: Учебное пособие, руководство по изучению дисциплины, практикум по курсу, учебная программа / Московский государственный университет экономики, статистики и информатики. -- М. 2004, -- 414 с.

6. Классификация методов и моделей прогнозирования: [Электронный ресурс] https://habrahabr.ru/post/177633/ (дата обращения: 20.02.2018)

7. Top 52 free statistical software: [Электронный ресурс] https://www.predictiveanalyticstoday.com/top-free-statistical-software/ (дата обращения: 20.02.2018)

8. Парсинг: [Электронный ресурс] https://seodic.ru/terms/%D0%BF%D0%B0%D1%80%D1%81%D0%B8%D0%BD%D0%B3 (дата обращения: 02.03.2018)

9. Обработка пропусков в данных - часть 1: [Электронный ресурс] BaseGrpup Labs https://basegroup.ru/community/articles/missing (дата обращения: 02.03.2018)

10. Как вычислить выбросы: [Электронный ресурс] Wikihow https://ru.m.wikihow.com/%D0%B2%D1%8B%D1%87%D0%B8%D1%81%D0%BB%D0%B8%D1%82%D1%8C-%D0%B2%D1%8B%D0%B1%D1%80%D0%BE%D1%81%D1%8B (дата обращения: 02.03.2018)

11. Гомидова В. Множественная регрессия и корреляция: [Электронный ресурс] VII Международная студенческая электронная научная конференция "СТУДЕНЧЕСКИЙ НАУЧНЫЙ ФОРУМ 2015" https://www.scienceforum.ru/2015/pdf/8364.pdf (дата обращения: 02.03.2018)

12. Коэффициент детерминации: [Электронный ресурс] Machinelearning http://www.machinelearning.ru/wiki/index.php?title=%D0%9A%D0%BE%D1%8D%D1%84%D1%84%D0%B8%D1%86%D0%B8%D0%B5%D0%BD%D1%82_%D0%B4%D0%B5%D1%82%D0%B5%D1%80%D0%BC%D0%B8%D0%BD%D0%B0%D1%86%D0%B8%D0%B8 (дата обращения: 02.03.2018)

13. Критерий Дарбина-Уотсона: [Электронный ресурс] http://univer-nn.ru/ekonometrika/kriterij-darbina-uotsona/ (дата обращения: 02.03.2018)

14. Статистика Дарбина-Уотсона: [Электронный ресурс] https://university.prognoz.ru/biu/ru/%D0%A1%D1%82%D0%B0%D1%82%D0%B8%D1%81%D1%82%D0%B8%D0%BA%D0%B0_%D0%94%D0%B0%D1%80%D0%B1%D0%B8%D0%BD%D0%B0-%D0%A3%D0%BE%D1%82%D1%81%D0%BE%D0%BD%D0%B0 (дата обращения: 02.03.2018)

15. Затяжной сп...