Размещено на http://www.allbest.ru/

Аннотация

маркетинг продвижение продажа магазин

Магистерская диссертация написана на тему «Автоматизированная система обработки данных из открытых источников для поддержки процесса поиска рынков сбыта и повышения продаж в ритейле». Рынок сбыта - определенное экономическое пространство, состоящее из покупателей со схожими потребностями и восприятием продукта - группами. Эффективное продвижение товара на известных рынках сбыта дает возможность увеличивать объем продаж в каждой группе и на рынке в целом.

Объект исследования - маркетинговые процессы в ритейле. Предмет исследования - Процесс поиска новых рынков сбыта в интернет-магазине косметики.

Целью выпускной квалификационной работы является повышение объема продаж интернет-магазина с заявленными характеристиками с помощью разработки и внедрения автоматизированной системы поиска новых рынков сбыта.

Диссертация состоит из трех глав. В первой главе представлена характеристика предметной области, определена проблема отсутствия влияния на рынки сбыта со стороны конкретного интернет-магазина, определены типы данных, необходимые для анализа, и методы продвижения товаров интернет-магазина.

Во второй главе определены источники данных, методы их сбора и анализа, представлена схема автоматизированной системы.

В третьей главе описана реализация автоматизированной системы и представлен результат работы системы.

Ключевые слова: маркетинг, анализ данных, парсинг, рынок сбыта, прогнозирование продаж.

Введение

Тема исследования актуальна поскольку на текущий момент на российском рынке присутствует кризис, который повлек за собой изменение поведения потребителей, что негативно влияет на мелких ритейлеров. В связи с этим необходим автоматизированный процесс поиска новых рынков сбыта для сохранения и повышения объема продаж c минимальными затратами со стороны ритейлеров.

Также необходимо отметить, что маркетинговые процессы в ритейле - обширная область, которую необходимо адаптировать под конкретные потребности мелких ритейлеров. В данном случае будут взяты за основу потребности интернет-магазина косметики, который обладает следующими характеристиками:

- представлена косметика одного бренда;

- не участвует в процессе производства;

- принимает заказы из любых регионов России;

- не несет затрат на хранение продукции, только на курьерскую доставку со склада;

- имеет историю заказов за ближайшие 5 лет в слабоструктурированном виде;

- полной поддержкой занимается администратор;

- специализированные аналитики и маркетологи отсутствуют;

Исходя из особенностей интернет-магазина необходимо определить и внедрить автоматизированный процесс поиска новых рынков сбыта.

Целью данной работы является повышение объема продаж интернет-магазина с заявленными характеристиками с помощью разработки и внедрения автоматизированной системы поиска новых рынков сбыта.

Рынок сбыта - определенное экономическое пространство, состоящее из покупателей со схожими потребностями и восприятием продукта [1]. Очень важно выявить критерии, по которым рынок сбыта можно сегментировать - объединить покупателей, одинаково реагирующих на один и тот же набор побудительных стимулов в группы, это даст возможность влиять на объемы продаж в каждой группе, тем самым увеличивая объем продаж в каждой группе и рынке в целом. В каждом сегменте находятся потребители со схожими характеристиками и потребностями, поэтому важно правильно сегментировать рынки для удовлетворения реальных потребностей.

Одним из вариантов сегментирования является разделение по следующим принципам:

- географический принцип включает в себя разделение на государства, регионы, города, климатические зоны и другие критерии;

- демографический принцип подразумевает подразделение на категории в зависимости от демографических критериев, таких как: пол, возраст, размер семьи и другие);

- психографическй принцип связан с особенностями личности потребителей, а также с образом жизни потребителя;

- поведенческий принцип включает в себя особенности поведения потребителя в контексте совершения покупок, например: повод, статус покупателя, интенсивность потребления и другие [2].

В интернет-магазине приобрести товар может любой желающий, поэтому все перечисленные принципы сегментирования необходимо учитывать.

Товар должен эффективно удовлетворять потребностям сегмента рынка для того, чтобы хорошо продаваться. Вид человеческой деятельности, направленной на удовлетворение нужд и потребностей посредством обмена называется маркетингом [3].

Основными задачами маркетинга являются:

- формирование и стимулирование спроса;

- обеспечение обоснованности принимаемых управленческих решений;

- расширение объема продаж, рыночной доли и прибыли.

Для того, чтобы выполнить свои основные задачи, процесс маркетинга должен состоять из трех неотъемлемых этапов:

1. Исследование рынка: сегментация и выявление потребностей у каждого сегмента.

2. Производство товаров или услуг, соответствующим требованиям рынка.

3. Продвижение товара.

На этапе исследования рынка неотъемлемо проводится маркетинговое исследование, которое является информационно-аналитической поддержкой маркетинга. Исследование начинается с внутреннего обследования компании и охватывает рынок, на котором функционирует компания, в целом. Для каждого обследования существуют специальные методики анализа, и результатом исследования является выявление закономерностей и тенденций развития рынка, оценка рыночной ситуации, а также определение и прогноз емкости рынка [4].

Производство в рамках данной работы рассматривается с точки зрения закупки нового товара у новых поставщиков, поскольку согласно заявленным характеристикам интернет-магазина, непосредственно производство текущей продукции находится за рамками воздействия администрации магазина.

1. Теоретическая часть

1.1 Исследование рынка

Маркетинговое исследование представляет собой вид исследовательской деятельности, который призван удовлетворять информационные потребности маркетинга.

Существуют различные методы маркетингового анализа [5]:

- статистический анализ и прогнозирование;

- сетевое планирование;

- моделирование процессов и рисков;

- эвристические методы (методы экспертных оценок);

- многомерные (матричные) методы анализа;

- гибридные методы анализа в маркетинге.

Статистический анализ и прогнозирование (САиП) - это анализ абсолютных, средних и относительных величин, группировки, индексные, трендовые и регрессионные факторные модели, методы вариационного, дисперсионного, корреляционного и циклического анализа, методы многомерного анализа: факторного, кластерного и других. Среди видов статистического анализа выделяются дескриптивный (описательный), выводной анализ, анализ различий, анализ связей, а также предсказательный анализ. Все эти разновидности анализа могут использоваться как по отдельности, так и в комбинации. Служат основным средством изучения массовых, повторяющихся явлений и широко используются в прогнозировании поведения рынка.

Сетевое планирование (СП) предназначено для регулирования последовательности и взаимозависимости маркетинговых операций, разработки планов инноваций и других операций.

Моделирование рисков (МР) - модели процессов, основанные на теории вероятностей и теории принятия решений. С помощью методов выстраиваются модели товаропотоков и потоков покупателей, модели реакции рынка. Инструментарий маркетингового моделирования рисков включает методики сегментации рынков, так называемый SWOT-анализ - исследование и оценку силы и слабостей фирмы, ее возможностей и угрожающих факторов.

Эвристические методы (ЭМ) - основывающиеся на интуиции, воображении и опыте. Они применяются для количественного измерения тех событий, для которых не существует способов измерения (метод «Дельфин», метод коллективной генерации идей, теория катастроф).

Многомерные матричные методы (МММ) - моделирование ситуаций на основании построения и анализа многомерных матриц, моделей поведения (SWOT-анализ, матрица БКГ, матрица «Мак-Кинза»).

Гибридные маркетинговые методы (ГММ) - объединяют детерминированные и вероятностные характеристики. Применяются, прежде всего, для исследования сложных процессов, например, проблем товародвижения.

Все перечисленные группы методов хорошо работают в совокупности и работают для удовлетворения целей маркетинга: формирования и стимулирования спроса, обеспечения обоснованности принимаемых управленческих решений и увеличения объема продаж, рыночной доли и прибыли.

Маркетинговое исследование состоит из основных этапов, представленных ниже [3]:

1. Разработка концепции

a. Выбор цели

b. Выдвижение гипотез

c. Разработка алгоритмов

d. Постановка задач

2. Выбор методологии исследования

3. Формирование информационного хранилища

a. Сбор информации

b. Обработка информации

c. Хранение информации

4. Формирование банка моделей

a. Анализ данных

b. Моделирование данных

c. Прогнозирование данных

5. Оформление результатов исследования

Все перечисленные этапы должны исполняться регулярно во времени, например, ежеквартально или раз в полгода с накоплением полученных данных. По мере накопления данных становится возможным осуществлять прогнозирование. Прогнозирование в маркетинге, в основном, применяется для определения будущего спроса и объема продаж. Для этих целей существуют специальные модели и методы прогнозирования.

Метод прогнозирования представляет собой последовательность действий, которые нужно совершить для получения модели прогнозирования. Методы делятся на интуитивные и формализованные.

Интуитивные методы прогнозирования имеют дело с суждениями и оценками экспертов.

Формализованные методы -- описанные в литературе методы прогнозирования, в результате которых строятся модели прогнозирования, то есть определяют такую математическую зависимость, которая позволяет сделать прогноз, то есть вычислить будущее значение процесса..

Модель прогнозирования - это функциональное представление, адекватно описывающее исследуемый процесс и являющееся основой для получения его будущих значений. Существуют модели предметной области и модели временных рядов.

Модели предметной области -- математические модели, для построения которых используют законы и зависимости определенной предметной области. Такого рода моделям свойственен индивидуальный подход в разработке.

Модели временных рядов -- математические модели прогнозирования, которые представляют собой зависимость будущего значения от прошлого внутри самого процесса и на этой зависимости рассчитать прогнозное значение. Эти модели универсальны для различных предметных областей, то есть их общий вид не меняется в зависимости от природы временного ряда [6].

1.1.1 Сбор данных

Одним из этапов маркетингового анализа является сбор и подготовка данных.

Маркетинговые данные делятся на несколько типов: внешние и внутренние, первичные и вторичные, качественные и количественные.

Внешние маркетинговые данные необходимы для описания ситуации на рынке в целом. К ним относится общая статистика по изучаемому рынку, данные конкурентов, анализ спроса, предложения, потребностей, потребительских предпочтений. Внешние маркетинговые данные необходимы для грамотного позиционирования, разработки продуктовой стратегии и прогнозирования.

Внутренние маркетинговые данные компании -- это, как правило, статистика и география продаж. Внутренние маркетинговые данные обычно наиболее достоверны, однако не дают полной картины о положении компании на рынке.

Первичные маркетинговые данные представляют собой результаты исследований, проведенных с учетом потребностей конкретного заказчика внутри компании. Маркетинговые данные этого типа наиболее ценны, но и наиболее дороги, а получение их подразумевает проведение полномасштабного исследовательского проекта.

Вторичные маркетинговые данные -- это результаты исследований, проведенных другими компаниями в собственных целях, а также данных из, так называемых готовых маркетинговых отчетов и обзоров, предлагаемых маркетинговыми компаниями. Вторичные маркетинговые данные позволяют провести беглую оценку ситуации на рынке и принять решение о необходимости проведения глубокого исследования.

Качественные маркетинговые данные призваны дать представление о настроениях целевой аудитории, о восприятии продукта или концепции. Задача этого вида маркетинговых данных -- ответить на вопросы: что и для кого производить. Как правило, сбор качественных маркетинговых данных предшествует сбору количественных.

Количественные маркетинговые данные дают более точные ответы на все стратегические вопросы, но их получение требует временных и финансовых затрат, поэтому количественные исследования проводятся только тогда, когда их необходимость обоснована. Сбор этого вида маркетинговых данных проводится на основании выборки из целевой аудитории. В таблице 1 приведен сравнительный анализ типов данных.

Таблица 1 -Типы данных для исследования

Типы данных	Сложность сбора	Автоматизация сбора	Пример источника
Внешние	Высокая	Да	Данные конкурентов, анализ спроса, предложения, потребительских предпочтений
Внутренние	Низкая	Да	Статистика продаж, данные о клиентах
Первичные	Высокая	Да	Специально заказанные отчеты
Вторичные	Низкая	Нет	Аудиторские отчеты
Качественные	Средняя	Да	Опросы потребителей
Количественные	Высокая	Да	Выборка из целевой аудитории

Согласно проведенному анализу наиболее целесообразными для использования являются внутренние, вторичные и качественные данные. В особенности перспективно использовать внутренние и качественные данные, поскольку современные инструменты и методы обработки данных позволяют удешевить и ускорить обработку этих данных. Например, интеграция с открытыми источниками и получение данных в удобном для анализа формате может быть реализована на различных языках программирования с использованием готовых библиотек. Сравнительный анализ инструментов и методов сбора и анализа будет произведен позднее.

1.1.2 Анализ данных

Согласно условиям поставленной задачи, интернет-магазин имеет данные о продажах за 5 лет, что позволяет использовать модели временных рядов для прогнозирования будущих продаж. Из моделей прогнозирования необходимо выбрать максимально простую в использовании модель, которая не требует специальных навыков в эконометрике.

Существует достаточное количество пакетов для статистического анализа данных и прогнозирования. Например, в IBM SPSS Statistics мастер построения моделей самостоятельно определяет, какую математическую модель эффективнее использовать для поданных входных данных [7], но не все пакеты находятся в общем доступе.

В таблице 2 приведен сравнительный анализ инструментов в соответствии со следующими критериями:

- простота использования - присутствие интуитивно-понятного интерфейса приветствуется, желательно обойтись без программирования;

- стоимость использования - приложение должно быть бесплатным для использования;

- автоматизация - опция, которая позволит задавать последовательность действий и исполнять их по определенным правилам, что позволит пользователю сэкономить время;

- интероперабельность по данным включает в себя разнообразие источников данных, которые могут быть использованы;

- информация - наличие обучающих материалов для использования приложения.

Таблица 2 - Сравнительный анализ инструментов статистического анализа данных

	Простота	Стоимость	Автома-тизация	Интеропера-бельность	Информация
SAS University edition	Высокая (специальный модуль для прогнозирования)	Бесплатно для неком-мерческого использования	Да	Более 60 источников данных, а также: Teradata, SAP HANA, Hadoop, Oracle Exadata	Видеоуроки youtube, официальный сайт, руководство пользователя
Gretl	Средняя (GUI+консоль)	Бесплатно	Да, с помощью пакетов функций	R, xls, xml, sav (spss), csv	Видеоуроки youtube, официальный сайт, руководство пользователя
IBM SPSS Statistics	Высокая (специальный модуль для прогнозирования)	Бесплатно на 14 дней для неком-мерческого использования	Да	ODBC, xls, csv, SAS, stata	Видеоуроки youtube, официальный сайт, руководство пользователя
SOFA Statictics	Высокая	Бесплатно	Нет	xls, open office, google docx, csv, sql	Видеоуроки youtube, официальный сайт, руководство пользователя (без прогнозирования)
Data melt	Низкая (обязательно программирование на java python и пр.)	Бесплатно с ограниченными возмож-ностями	Да	-	Официальный сайт
Develve	Высокая	Бесплатно для неком-мерческого использования	Нет	xls, csv	Видеоуроки youtube, официальный сайт (без прогнозирования)

Среди проанализированных инструментов ярко выделяются продукты от широкоизвестных производителей IBM и SAS, поскольку они имеют огромное количество обучающих материалов высокого качества и удобный интерфейс, но при этом для коммерческого использования невозможно использовать бесплатную версию, а IBM вообще предоставляет бесплатный доступ всего на 14 дней. Тем не менее, необходимо взять один из этих проприетарных продуктов, чтобы оценить разницу в удобстве использования по сравнению с open source. Для этих целей выбран IBM SPSS, поскольку Базовая кафедра является Центром компетенции по технологии IBM BIG DATA, и студентам доступен бесплатно пакет IBM SPSS, который будет использован в данной ВКР. Если бы у Базовой кафедры не было возможности предоставить IBM SPSS для свободного использования, то в качестве проприетарного продукта был бы выбран SAS University edition, поскольку он не ограничивает время бесплатного использования и обладает схожими с IBM SPSS характеристиками.

Среди open source инструментов, SOFA Statictics и Develve имеют высокую простоту, но по обеспеченности учебными материалами они проигрывают gretl, у которого к тому же хорошая интероперабельность и возможность автоматизации.

Таким образом, для проведения маркетингового анализа были выбраны 2 инструмента: gretl и IBM SPSS Statictics.

Результатом завершения этапа анализа и прогнозирования является структурированная информация о том, какие рынки сбыта существуют, каковы их характеристики и потребности. После этого можно будет приступить к продвижению товара.

1.2 Продвижение товара

После того, как определена целевая аудитория и характеристики рынка сбыта, можно приступить к продвижению товара. Существуют различные способы продвижения товара при торговле через интернет-магазин:

- продвижение в поисковых системах (SEO) - целый комплекс мероприятий, который направлен на то, чтобы запросе с целью покупки через поисковую систему сайт входил в топ 5 при выдаче результатов поиска;

- реклама в тематических и региональных ресурсах - когда определена территория, где необходимо продвигать товар, можно обратиться на форумы, блоги, порталы, СМИ необходимого региона для размещения рекламы;

- товарные площадки - это различные сайты-агрегаторы, где товары сравниваются по характеристикам для удобства выбора; таким способом часто выбирают электронику, поскольку у товаров этой категории много характеристик, ради которых и производится выбор;

- социальные сети - активно использующийся способ продвижения товара и привлечения покупателей; дополнительным преимуществом является то, что создать группу с контентом в социальной сети абсолютно бесплатно;

- купоны - это сайты, где в виде купонов размещены различные акции и выгодные предложения товаров и услуг;

- партнерские программы подразумевают сотрудничество нескольких интернет-магазинов и в предложении товаров партнера своим потребителям;

- специализированная рассылка.

В таблице 3 представлен сравнительный анализ способов продвижения товара в соответствии с определенными критериями.

Таблица 3 - Сравнительный анализ способов продвижения

	Сложность реализации	Реализуемо самостоятельно?	Требования	Порядок оплаты
SEO	Сложно	Нет	Формулировка требований входит в оплату наемных работ	Оплата наемных работ (более 100 тыс. руб.)
Реклама	Легко	Нет	Целевая аудитория хорошо определена	Фиксированная ставка за n показов рекламы (от 300р за 1000 показов)
Товарные площадки	Легко	Нет	Нет	% от перехода на сайт из площадки
Социальные сети	Легко	Да	Целевая аудитория определена	Бесплатно
Купоны	Легко	Нет	Нет	По запросу
Партнерские программы	Сложно	Нет	Договоренность с партнером	Зависит от партнера
Рассылка	Легко	Да	База email адресов покупателей определена	Бесплатно

Согласно проведенному обзору и анализу, наиболее благоприятные для использования методы продвижения - это реклама, рассылка и социальные сети, поскольку эти методы дешево стоят, легки в реализации, и необходимая информация будет получена на этапе исследования рынка, как это было определено в предыдущем разделе.

Купоны и товарные площадки также выглядят привлекательно, но подходят скорее для нового магазина, который еще не набрал клиентскую базу, но стоит в будущем также рассмотреть возможности использования этих сервисов.

Метод SEO слишком дорог и сложен в реализации - это отдельная область, самостоятельно освоить которую быстро не получится.

Партнерские программы не были выбраны, поскольку договариваться со сторонней компанией и, в особенности, следить за тем как она выполняет свои обязательства достаточно сложно, и непонятно как измерить положительный эффект от этой активности.

1.3 Постановка задачи

Объект исследования - Маркетинговые процессы в ритейле.

Предмет исследования - Процесс поиска новых рынков сбыта в интернет-магазине косметики.

Целью данной работы является повышение объема продаж интернет-магазина с заявленными характеристиками с помощью разработки и внедрения автоматизированной системы поиска новых рынков сбыта.

В ходе исследования определены характеристики интернет-магазина, для которого разрабатывается система.

На рисунке 1. представлена схема процесса, который необходимо автоматизировать. Необходимо отметить, что автоматизация будет применена только для этапа «Формирование хранилища данных» и для этапа «Моделирование данных».

Рисунок 1 - Схема процесса поиска новых рынков сбыта

В связи с этим, необходимо выполнить следующие задачи для того, чтобы достигнуть поставленной цели:

1. Определить источники качественных, вторичных, внутренних данных, которые необходимы для анализа и прогнозирования, а также методы их сбора и анализа.

2. Определить функциональные требования к автоматизированной системе.

3. Разработать методологию сбора, обработки и анализа разных типов данных для удовлетворения требований к автоматизированной системе.

4. Реализовать автоматизированную систему согласно методологии.

1.4 Практическая значимость

В современном мире принятие решений в предпринимательской деятельности должно быть основано на данных, а не на суждениях и предположениях, в связи с этим информационная поддержка при поиске новых рынков сбыта обязательно должна присутствовать. Данные обычно представляются в виде графиков, которые позволяют сделать конкретный вывод о текущей ситуации в определенной предметной области. Зачастую получение данных в хорошем качестве и представление их в удобном для понимания формате дорого обходится, потому что требует затрат от различных ресурсов (поставщик данных, разработчик отчетности и других). В связи с этим, любое представление данных не должно просто удовлетворять любопытство, а приводить к принятию конкретных управленческих решений. В противном случае ценность этих данных минимальна.

В первой главе был проведен сравнительных анализ разновидностей данных и ПО для анализа этих данных. Учитывая характеристики интернет-магазина, который выбран в качестве предмета исследования, в таблице 4 сформулированы требования к результату анализа разных типов данных, а также управленческие решения, которые можно принять на основе этих данных, учитывая способы продвижения, которые были выбраны ранее.

Таблица 4 - Первичные требования к функционалу системы

Функция	Тип данных	Сбор данных автоматизирован	Управленческие решения на основе данных
Спрос конкретных товаров, динамика продаж в будущем	Внутренние	Да	Изменение цены, ассортимента товара, определение рентабельности магазина, рассылка предложений клиентам
Целевая аудитория определенного бренда и ее настроение на текущий момент	Качественные	Да	Запуск таргетированнной рекламы, промо акции в социальных сетях
Глобальные тенденции поведения рынка в целом, без детализации до конкретных потребителей и брендов	Вторичные	Нет	Корректировка планов продаж, сути промо акций с учетом ситуации на рынке

Таким образом, анализ внутренних, вторичных и качественных данных необходим интернет-магазину с заявленными характеристиками, поскольку позволит получить конкретный результат.

2. Аналитическая часть

2.1 Источники и сбор данных

2.1.1 Внутренние данные

Внутренние данные играют важную роль при анализе, поскольку они максимально достоверны и дают представление об уровне удовлетворенности потребителей не только товаром, но и сервисом конкретного интернет-магазина. Самая важная информация, которая может быть получена из внутренних данных - это сколько какого товара продали в конкретный период времени. Эта информация хранится в заказе, который потребитель оформляет на сайте интернет-магазина. Таких заказов существует достаточное количество: период с 2012 по 2017 год. За это время было сделано уникальных 3154 заказа и продано 11875 товарных единиц, временной ряд состоит из суммы продаж в рублях по месяцам с 2012 по 2017г и содержит 72 записи.

В зависимости от технической реализации интернет-магазинов, внутренние данные могут быть представлены в разных форматах. В данном случае интернет-магазин реализован на платформе ucoz и данные представлены в формате xml. Этот формат невозможно анализировать помощью статистических пакетов, но плюсом является то, что xml-формат подразумевает наличие структуры, в соответствии с которой хранятся данные. Поэтому необходимо привести данные в табличный вид, доступный для статистической обработки. Наиболее универсальный формат для статистической обработки - csv, к нему и нужно привести в соответствие исходные данные.

Для преобразования будет использован парсинг - синтаксический анализ структурированных данных, который автоматически производится специальной программой - парсером. Характер парсинга определяется заданием получить определенную информацию со страниц сайта, параметры анализа заранее задаются. Собранная информация предоставляется в определенном виде и проводится на одном из языков программирования [8]. В данном случае необходим парсинг xml файла с информацией о заказах. Парсер будет написан на языке Python с использование библиотеки ElementTree.

В результате парсинга будут получены следующие характеристики: Id заказа, имя покупателя, дата оформления заказа, сумма заказа, тип доставки, id товара, категория товара, стоимость товара, количество позиций одного товара в заказе, адрес доставки, телефон, еmail, рейтинг товара.

Полученные данные недостаточно готовы к статистическому анализу, некоторым из них требуется дополнительные преобразования в категории для получения следующих параметров: год оформления заказа, месяц оформления заказа, регион доставки, пол клиента.

2.1.2 Вторичные данные

Под вторичными данными подразумеваются результаты исследований, которые уже были выполнены, но для других целей. В эту категорию могут входить опросы, отчеты конкурентов, аудиторские отчеты, опубликованные научные исследования и другие данные. Целью анализа вторичных данных является выявление глобальных тенденций в области розничной продажи косметики.

Вторичные данные, которые будут использоваться в данном исследовании должны быть:

- актуальными - опубликованными не ранее 3х лет назад,

- достоверными - источник данных должен быть четко определен.

Лицо или организация, публикующие данные, должны быть надежными. Исследование должно быть бесплатным. Содержание вторичных данных должно помочь достижению цели - выявлению глобальных тенденций в области розничной продажи косметики в России с минимальными затратами.

Для анализа выбраны статьи и исследования, указанные в таблице 5.

Таблица 5 - Источники для анализа вторичных данных

Название источника	Ресурс	Тип источника	Период публикации
Затяжной спад в экономике: Что предпринимают потребители и бизнес в России	PWC	Исследование	Июнь 2016 г
Измерение аудитории и оценка эффективности онлайн-рекламы на российском рынке	PWC	Отчет	2017 г
Тенденции на рынке товаров народного потребления в 2017 году	PWC	Ежегодный отчет	2017 г
Глобальный рынок косметики - 2016: анализ отрасли и оценка возможностей	cosmetology-info	Аналитическая статья	2017 г
Косметика парфюмерия - маркетинговые исследования рынка	groupmarketing	Аналитическая статья	2017г

Хотелось бы использовать официальный отчет производителя косметики, которая продается в интернет-магазине, но на официальном сайте такой информации нет.

2.1.3 Качественные данные

Поскольку качественные маркетинговые данные должны давать представление о настроениях целевой аудитории и о восприятии конкретного продукта, необходимо определить наиболее подходящий источник данных для этих целей. В данном случае необходимо мнение потребителей о косметике определенного бренда, которая распространяется через дистрибьютеров. То есть, интернет-магазин, участвующий в исследовании, не является единственным распространителем косметики этого бренда.

Источник качественных данных должен быть актуальным, быть в открытом доступе предоставлять сведения об участниках исследования. Наиболее подходящим источником является социальная сеть.

В России наиболее популярны несколько социальных сетей: Instagram, Twitter, Facebook, Вконтакте и Одноклассники. В каждой из этих социальных сетей существуют тематические группы, где выкладываются различные посты с фотографиями конкретных косметических продуктов, которые оцениваются участниками группы. Анализ предпочтений участников групп покажет, какие продукты наиболее популярны, и совпадает ли эта оценка с информацией, полученной при анализе внутренних данных.

Администрация интернет-магазина не является владельцем ни одной из этих групп, но может вступить и просматривать результаты опросов и предпочтения других участников группы. В таком случае целью анализа качественных данных является получение тэгов выкладываемых постов в группе социальной сети, набранное постом количество «лайков» и характеристику пользователей, которые выразили свое предпочтение с помощью лайка.

Помимо простого выявления предпочтений всегда очень важно качественно характеризовать целевую аудиторию. Для этого необходим механизм обработки профилей участников тематических групп, которые высказали свое предпочтение с помощью «лайка». Не все пользователи указывают полностью реальные данные в социальных сетях, и это будет рассматриваться как погрешность исследования, потому что необходимо использовать информацию из открытых источников, которая может быть получена быстро и в любой момент. Характеризовать целевую аудиторию необходимо по следующим параметрам: возраст, пол, образование, место проживания.

В связи с этим необходимо выбрать, какая социальная сеть будет источником качественных данных. Выбор необходимо сделать, руководствуясь критериями, приведенными ниже:

- Активность пользователей. Необходимо найти официальную группу в каждой из социальных сетей и сравнить среднее количество оценок (лайков), которые выставляют участники социальных сетей публикациям, связанным с косметической продукцией интересующего бренда. Активность необходимо оценить за ближайшие 3 месяца.

- Интероперабельность по данным. Данные из социальных сетей необходимо получать быстро, в полном объеме и с минимальными трудозатратами. Существуют готовые приложения, которые уже имеют встроенный интерфейс для интеграции с социальными сетями, например, IBM Bluemix, но такие приложения стоят очень дорого и не могут использоваться для нужд маленького интернет-магазина.

- Наличие справочной информации. Этот параметр включает в себя наличие статей и готовых модулей, необходимых для достижения цели исследования качественных данных, которые будут адаптированы под нужны исследования, поскольку написание собственных библиотек для социальных сетей производиться не будет.

В таблице 6 приведен сравнительный анализ социальных сетей, из которых необходимо выбрать одну, данные из которой будут использоваться.

Таблица 6 - Выбор социальной сети для анализа качественных данных

	Активность (диапазон «лайков»)	Интероперабельность	Наличие справочной информации
Instagram	100-150	API только по согласованию с Instagram	В достаточном объеме
Facebook	0-10	API без ограничений	В достаточном объеме
Вконтакте	0-100	API без ограничений	В достаточном объеме
Одноклассники	0-100	API без ограничений	Не найдена информация о методах api Python
Twitter	0-10	API	В достаточном объеме

Для качественного анализа чем больше данных - тем лучше, поэтому социальные сети, в чьих группах очень мало активности со стороны пользователей, совершенно не подходят. Лидером по активности является Instagram, но api для разработки эта социальная сеть предоставляет только после регистрации приложения и прохождения им процедуры модерации.

Вконтакте и Одноклассники набрали одинаковый уровень активности пользователей в группах, но более качественная информация по библиотекам и модулям у Вконтакте, поэтому Вконтакте выбирается в качестве источника качественных данных.

2.2 Методы анализа данных

Концепция автоматизированной системы заключается в построении процессов планирования, прогнозирования объема продаж, определения целевой аудитории и продвижения товара. Процесс должен легко поддерживаться неспециалистом в области маркетинга и аналитики, но при этом оказывать влияние на объем продаж интернет-магазина с заявленными характеристиками. Для планирования и прогнозирования необходим маркетинговый анализ и, согласно результатам предварительного анализа, он будет проводиться на внутренних, вторичных и качественных данных, на основе которых будут приниматься управленческие решения.

Для обоснования принятия решений необходимо регулярно выполнять следующее:

- ежемесячно определять перечень товаров, которые продаются наиболее успешно и наоборот;

- ежеквартально определять ориентировочный объем продаж на следующий месяц;

- ежеквартально характеризовать целевую аудиторию бренда;

- ежемесячно определять, что интересует целевую аудиторию на данный момент;

- ежегодно понимать тенденции рынка на глобальном уровне и его перспективы.

Важно отметить, что получение результатов на основе данных обоснованно имеет разную периодичность.

2.2.1 Анализ вторичных данных

В качестве источников вторичных данных выбраны статьи и исследования, лежащие в свободном доступе. На данный момент существуют инструменты, которые автоматизируют анализ текстовой информации, например, IBM Data Explorer, но настройка инструмента трудоемка, и для достижения цели анализа вторичных данных избыточна. В связи с этим анализ вторичных данных не будет автоматизирован.

2.2.2 Анализ внутренних данных

Для анализа внутренних данных были выбраны инструменты автоматизации Gretl и SPSS, в которых доступны все статистические аналитические функции, поэтому необходимо выбрать основные методы, с помощью которых будет проведен анализ внутренних данных.

Предварительный анализ данных

Внутренние данные могут быть неточными, неполными (содержать пропуски) или противоречивыми в связи с ошибками ввода со стороны посетителей или администратора интернет-магазина, а также ошибок обработки данных ядром интернет-магазина. В связи с этим необходимо сделать предварительную статистическую обработку данных для того, чтобы последующие операции анализа и прогнозирования были достовернее.

Предварительный статистический анализ необходим для определения основных характеристик, без которых сложный анализ и прогнозирование невозможны. Также он выполняет функцию описания исходных данных.

Пропуски в данных. Для оформления заказа необходима контактная информация, поэтому заказы, где отсутствует номер телефона и email, потенциально не были обработаны, потому что без контактной информации с клиентом невозможно связаться. Записи без идентификаторов должны быть исключены из анализа, поскольку невозможно подставить какое-либо значение вместо идентификатора.

Помимо пропущенного ключевого поля, пропуски могут содержаться и в остальных переменных, которые участвуют в анализе.

Для переменных разных типов используются разные методы обработки пропусков [9]. Существуют Available-case analysis - методы обработки, основанные на игнорировании пропусков в расчетах. Эти методы, как и Complete-case Analysis, тоже часто применяются по умолчанию.

Статистические характеристики, такие как средние значения, стандартные отклонения, можно рассчитать, используя все непропущенные значения для каждого из атрибутов/столбцов. Как и в случае Complete-case Analysis, при условии выполнения гипотезы MCAR, применение данного метода не приведет к существенному искажению параметров модели. Преимущество данного подхода в том, что при построении модели используется вся доступная информация. Главный же недостаток данных методов заключается в том, что они применимы для расчета далеко не всех показателей и, как правило, сопряжены с алгоритмическими и вычислительными сложностями, приводящими к некорректным результатам.

В таблице 8 для каждого параметра указан метод обработки пустого значения.

Таблица 7 - Методы обработки пустых значений при анализе внутренних данных

	Тип действия	Описание действия
Id заказа	Исключить строки из выборки	-
Имя покупателя	Оставить пустым	-
Дата оформления заказа	Замена пропущенного значения	Упорядочить заказы по «id заказа», выбрать первую заполненную дату у ближайшего заказа
Сумма заказа	Замена пропущенного значения	Заменить пропущенное значение формулой: , где n - количество позиций в заказе
Тип доставки	Замена пропущенного значения	Заменить модой
Id товара	Исключить строки из выборки	-
Категория товара	Оставить пустым	-
Стоимость товара	Замена пропущенного значения	Стоимость товара из записи, которая содержит такой же id товара (поиск по всей выборке)
Количество позиций одного товара в заказе	Оставить пустым	-
Адрес доставки	Оставить пустым	-
Телефон	Оставить пустым, если указан Email, иначе строки из выбрки	-
Email	Оставить пустым	-

Аномальные значения. При поиске аномалий первое место занимают выбросы, поскольку они снижают качество последующего анализа. Существуют статистические методы поиска выбросов, которыми необходимо воспользоваться сейчас.

Выбросы являются следствием ошибок в данных, которые могли быть совершены клиентом или администратором при вводе данных.

Последовательность поиска выбросов, следующая [10]:

1. Найти медиану набора данных.

2. Найти межквартильный размах.

3. Найти внутренние и внешние границы значений в наборе данных.

4. Определить значения, которые не входят в границы.

5. Качественно оценить можно ли исключать выбросы из набора данных.

Непротиворечивость данных. Противоречивыми данными считаются заказы, для которых выполняется следующее условие (1):



Если противоречивые данные обнаружены, то необходимо заменить значение поля согласно формуле (2):

ABC-анализ

Наиболее распространенная методика анализа внутренних данных - группировка товаров. Согласно принципу Парето 20% усилий дают 80% результата, это означает, что всего 20% всех товаров интернет-магазина дают 80% прибыли. В таком случае, внутренние данные помогут определить наиболее прибыльные товары и товары, которые почти не приносят прибыль. Для разбиения товаров на категории используется АВС анализ, где объектом является товар, а классификационным признаком - совокупная стоимость всех проданных товаров. В результате анализа будут получены группы с различной прибыльностью, что позволит эффективно планировать акции для продвижения товара.

Анализ качественных переменных

Качественных переменных гораздо больше, чем количественных, поэтому необходимо определить существует ли взаимосвязь между качественными и количественными переменными.

В результате анализа станет ясен характер связи между качественными и количественной переменной, что позволит исключить из дальнейшего анализа бесполезные характеристики.

Причем, важно учитывать не только зависимость совокупной стоимости товара от качественных характеристик, но и совокупное количество заказанного товара.

Анализ качественных данных

Поскольку качественные данные также представлены в табличном виде, к ним применимы методы анализа, аналогичные методам анализа внутренних данных. Переменные, которые доступны для анализа представлены в таблице 9.

Таблица 8 - Переменные для анализа качественных данных

Переменная	Тип
Тэг записи на стене группы	Качественная (категориальная)
Количество лайков	Количественная (числовая)
Возраст участника	Качественная (категориальная)
Пол участника	Качественная (категориальная)
Место проживания (город)	Качественная (категориальная)
Образование	Качественная (категориальная)

Если при анализе внутренних данных зависимой переменной являлась сумма оформленного заказа, то при анализе качественных данных зависимой переменной становится «количество лайков», которое показывает интерес участников группы к определенной категории товара. Остальные переменные являются независимыми и качественными, поэтому необходимо применить статистические методы, актуальные для анализа качественных переменных.

Предварительный анализ

В связи с тем, что используются данные из открытых источников, необходимо предварительно проверить их на предмет противоречивости, наличия пропусков и аномалий.

Пропуски в данных. Поскольку в сравнении с внутренними данными, количество качественных существенно меньше, очень нежелательно исключать хоть какие-то строки из анализа. Но тем не менее, возможна ситуация, когда запись в группе выложили без тэга или описания. Такие записи должны быть исключены, поскольку тэг записи - это единственное, что может связать запись с категорией товара, которая использовалась при анализе внутренних данных.

Также возможна ситуация, когда данные, описывающие участника группы, доступны не полностью, и это нормальная ситуация, потому что пользователь вправе не показывать свои личные данные посторонним. В связи с этим, пропущенные значения, которые касаются информации о пользователе не будут искусственно обработаны.

В таблице 10 для каждого параметра указан метод обработки пустого значения.

Таблица 9 - Методы обработки пустых значений при анализе качественных данных

	Тип действия	Описание действия
Тэг записи на стене группы	Исключить строки из выборки	-
Количество лайков	Оставить пустым	-
Возраст участника	Оставить пустым	-
Пол участника	Оставить пустым	-
Место проживания участника	Оставить пустым	-

АВС-анализ

Применяя принцип Парето к качественным данным, мы получим, что 20% всех категорий товаров представляют наибольший интерес среди участников группы. В таком случае, удастся сравнить интерес к товарам марки среди клиентов интернет-магазина и интерес людей, потенциально не являющихся клиентами интернет-магазина. Полученная информация поможет найти новые товары, спрос на которые может повысить прибыльность интернет-магазина с привлечением новой целевой аудитории.

В данном случае объектом АВС-анализа является тэг выложенной записи в группе социальной сети, а классификационным признаком - количество лайков, которые поставили участники.

Качественный анализ

Анализируя характеристики целевой аудитории, невозможно определить зависимую переменную, поэтому единственное, что можно оценить, это количество подписчиков. В связи с этим, необходимы гистограммы следующих характеристик:

- количество подписчиков в разных странах;

- количество подписчиков в разных городах;

- количество подписчиков по дате рождения;

- количество подписчиков среди мужчин и женщин;

- количество подписчиков с образованием и без.

Поскольку для анализа внутренних и качественных данных были использованы одни и те же методы, необходимо сравнить полученные результаты и сделать вывод о том, совпадают ли потребительские предпочтения среди клиентов интернет-магазина с предпочтениями участников группы в социальной сети.

Также важно сравнить результаты анализа качественных и внутренних данных с результатами анализа вторичных данных, это позволит понять соответствует ли реальное поведение покупателей результатам отчетов.

2.3 Прогнозирование данных

Прогнозирование выполняется с целью определить будущие результаты продаж интернет-магазина, и для этого необходимы внутренние данные, которые уже были подготовлены на этапе анализа.

Выбор методов и моделей прогнозирования

Прогнозирование должно быть простым и легко реализоваться в статистических пакетах, которые были выбраны для решения поставленной задачи. В данном случае хорошо подходит модель прогнозирования, называемая регрессией, поскольку она хорошо работает с временными рядами и проста в реализации.

Регрессия - величина, выражающая зависимость среднего значения случайной величины от значений случайной величины , где - независимая переменная, а - зависимая. Независимые переменные также называются факторами.

Модели регрессии делятся на 2 типа: парная и множественная. В случае парной регрессии на зависимую переменную влияет только одна независимая. В случае множественной регрессии, на независимую переменную влияет произвольное количество факторов. Множественная регрессия делится на степенную и линейную в зависимости от степени уравнения, описывающего зависимость между переменными.

Уравнение множественной регрессии выглядит в соответствии с формулой 3 [11].

(3),

Где - зависимая переменная,

- независимые, объясняющие переменные,

- возмущение или стохастическая переменная, включающая влияние неучтенных факторов в модели.

В данном случае для зависимой переменной «Сумма заказа» существует несколько независимых переменных, и использование множественной регрессии предпочтительнее.

Небольшим ограничением регрессионной модели является то, что независимые переменные должны быть количественными. Поскольку в условиях поставленной задачи почти все переменные внутренних данных являются качественными, им необходимо придать количественную определенность - поставить в соответствие определенное число каждому значению набора данных. Эта операция доступна во всех статистических пакетах, включая gretl, который был выбран для прогнозирования.

Очень важно, чтобы независимые переменные не были интеркоррелированы - связь между независимыми переменными должна отсутствовать. Если между независимыми переменными существует высокая корреляция, то нельзя определить их изолированное влияние на результативный показатель и параметры уравнения регрессии оказываются неинтерпретируемыми.

Отбор факторов производится как на основе теоретико-экономического анализа, так и с помощью матрицы показателей корреляции. Однако теоретический анализ не всегда дает однозначные ответы на вопрос о количественной взаимосвязи рассматриваемых признаков и целесообразности включения фактора в модель. Поэтому отбор факторов необходимо осуществить в две стадии: на первой подобрать факторы исходя из сущности проблемы; на второй - на основе матрицы показателей корреляции определить статистики для параметров регрессии.

Оценка точности прогнозирования

Практическая значимость уравнения множественной регрессии оценивается с помощью коэффициента детерминации R². Коэффициент детерминации принимает значения от 0 до 1. Чем ближе значение коэффициента к 1, тем сильнее зависимость. При оценке регрессионных моделей это интерпретируется как соответствие модели данным. Для приемлемых моделей предполагается, что коэффициент детерминации должен быть хотя бы не меньше 50%. Модели с коэффициентом детерминации выше 80% можно признать достаточно хорошими (коэффициент корреляции превышает 90%). Равенство коэффициента детерминации единице означает, что объясняемая переменная в точности описывается рассматриваемой моделью [12]. Также необходимо проверить скорректированный коэффициент детерминации - adjusted R². Этот коэффициент используется для многофакторных моделей и чем он ближе к единице, тем удачнее разработана модель.

Также для определения качества модели используется автокорреляция остатков [13], наличие которой определяется по критерию Дарбина-Уотсона. Автокорреляция остатков наблюдается тогда, когда значения предыдущих остатков завышают (положительная) или занижают (отрицательная) значения последующих . Основными причинами автокорреляции являются:

- неправильный выбор формы регрессионной зависимости;

- неучет в модели одного или нескольких важных факторов;

- цикличность значений экономических переменных при построении модели по временным данным.

Автокорреляция может привести к ошибочному выводу о несущественном влиянии исследуемого фактора на результат, в то время как на самом деле влияние фактора значимо. Существует два наиболее распространенных метода определения автокорреляции остатков:

1. Построение графика зависимости остатков от времени и визуальное определение наличия или отсутствия автокорреляции.

2. Использование критерия Дарбина - Уотсона и расчет величины.

Поскольку расчет критерия Дарбина-Уотсона уже автоматизирован в статистических пакетах, которые были выбраны для построения модели, предполагается использовать его. Расчет критерия производится программой, но интерпретация результата производится пользователем [14].

На практике проверка гипотезы об отсутствии автокорреляции осуществляется с помощью таблицы критических значений критерия Дарбина-Уотсона:  и , где n - количество наблюдений, k - количество переменных в модели, б - уровень значимости.

А)  - автокорреляция отсутствует.

Б)  - существует положительная автокорреляция.

В)  - существует отрицательная автокорреляция.

Г)  или  - область неопределенности критерия.

Если фактически наблюдаемое значение DW попадает в зону неопределенности, то на практике предполагают существование автокорреляции.

2.4 Схема автоматизированного процесса

Согласно диаграмме состояний, на рисунке 2 система состоит последовательных и параллельных этапов сбора, обработки и анализа данных, в результате которых принимается решение о продвижении товара на новый рынок сбыта.

...