Размещено на http://www.allbest.ru/

Федеральное агентство по рыболовству

Федеральное государственное бюджетное образовательное учреждение

высшего профессионального образования

«Астраханский государственный технический университет»

Институт информационных технологий и коммуникаций

КУРСОВОЙ ПРОЕКТ

по дисциплине: «Анализ данных»

на тему: «Приложение для анализа оптовых закупок сумок сетями спортивных магазинов на основе технологии Deductor»

Студент гр. ДИИЭ-31б

Магомедов Муслим Сулеймангаджиевич

Руководитель:

д.т.н. Ханова А. А.

Астрахань 2016 г.



Содержание

Введение

1. Область применения

2 . Теоретическое обоснование модели анализа данных

2.1 Модель “OLAP-куб”

2.2 Модель «Линейная регрессия”

3. Проектная часть

3.1 Описание входных данных

3.2 Разработка структуры хранилища данных

3.3 Описание процесса ETL

4. Реализация модели анализа в Deductor

4.1 Описание сценариев проекта Deductor

4.2 Описание выходных отчетов

4.3 Карта Кохонена

Заключение

Список литературы

Приложение 1

Приложение 2



Введение

Спортивный образ жизни, активно пропагандируемый последние десятилетия, прочно вошел в сознание современного человека. Люди стремятся вести активный отдых, заниматься спортом, поддерживать свою спортивную форму и, тем самым, свой имидж современного человека. В связи с популяризацией спорта и огромным желанием людей быть здоровыми и активными.

Емкость мирового рынка спортивных товаров, по различным экспертным оценкам, составляет от $67 млрд. до $100 млрд. Российский рынок спортивных товаров оценивается в $1 млрд. - $4 млрд. в год, при ежегодном приросте в 15-17%. По мнению международных экспертов, российский рынок спортивных товаров и услуг относится к числу наиболее перспективных.

Сегодня на российском рынке наблюдается увеличение количества магазинов спортивных товаров. Для эффективного функционирования магазина необходимо провести отлаженную работу закупок и продажи товаров.

По своей экономической природе закупки представляют собой оптовый товарооборот, осуществляемый субъектами торговой деятельности с целью последующей перепродажи закупленных товаров.

Правильно организованные оптовые закупки дают возможность сформировать необходимый торговый ассортимент спортивных товаров для розничной торговой сети, осуществлять воздействие на производителей товаров в соответствии с требованиями покупательского спроса, обеспечивают эффективную работу торгового предприятия.

Цель работы - анализа оптовых закупок сумок сетями спортивных магазинов путем разработки модели средствами аналитической платформы Deductor.



1. Область применения

Для миллионов людей спорт сегодня больше, чем просто увлечение. Растет популярность здорового образа жизни, повышается спрос на услуги спортивных школ и клубов, растут продажи атрибутики, специализированных продуктов питания. Другими словами, увеличивается емкость мирового рынка спортивной индустрии - сейчас эта цифра уже превысила $200 млрд.

Структура рынка спортивных товаров сложилась таким образом, что основные продажи приходятся на одежду и обувь. Эта ситуация характерна для многих стран Запада: футболки и майки- 35-40%, спортивные костюмы- 28-30%, спортивная обувь - 20-25%, шорты и брюки- 3-4%, куртки- 1-2%, купальники- 0,5-1%.

Российский рынок спортивных товаров становится все более привлекательным, главным образом, за счет большого количества потенциальных покупателей, недостаточной насыщенности рынка товарами, моды на спортивный стиль в одежде, обуви и аксессуарах. Кроме того, иностранные аналитики возлагают большие надежды на возросшее внимание властей к здоровому образу жизни населения, что, в свою очередь, должно увеличить число занимающихся физкультурой и спортом людей, а, следовательно, потенциальных покупателей.

Для регулирования рынка спортивных товаров необходимо провести анализ поставок за прошедшее время. С этой целью была построена модель в аналитической платформе Deductor.

Задачи, которые позволит решить представленная модель:

· просмотр сводных данных по сетям;

· расчет объема закупок;

· расчет стоимости поставок;

· спрос на вид товара;

· просмотр сводных диаграмм по различным параметрам.

Внедрение данной модели позволит проанализировать, оценить и сравнить закупочные цены на продукцию, размер и стоимость поставок.



2. Теоретическое обоснование модели анализа данных

2.1 Модель “OLAP-куб”

Основная идея OLAP заключается в построении многомерных кубов, которые будут доступны для пользовательских запросов. Однако исходные данные для построения OLAP-кубов обычно хранятся в реляционных базах данных. Нередко это специализированные реляционные базы данных (Data Warehouse). В отличие от так называемых оперативных баз данных, с которыми работают приложения, модифицирующие данные, хранилища данных предназначены исключительно для обработки и анализа информации. Поэтому проектируются они так, чтобы время выполнения запросов к ним было минимальным. Обычно данные копируются в хранилище из оперативных БД согласно определенному расписанию. Плюс OLAP - предоставление пользователю возможности самостоятельной интерактивной работы с отчетами. То есть пользователь сам подбирает комбинацию измерений, получая результат сначала на экране компьютера, а затем в печатном виде. С момента внедрения в организации подобного инструмента происходит стремительное снижение потребностей пользователей в услугах служб автоматизации. Уже не надо никому заказывать необходимый отчет и затем долго его отлаживать и согласовывать. Можно сделать этот отчет самому. Здесь проявляется преимущество OLAP-систем по сравнению с ERP. Независимость от внутренней службы автоматизации гораздо быстрее удовлетворяет руководство компании аналитическими возможностями Информационной Системы. Менеджмент предприятия получает возможность получения корпоративной информации непосредственно из системы, становясь менее зависимым от тех, кто раньше эту информацию готовил. Как результат, менеджерский состав оказывается непосредственно вовлеченным в развитие информационных технологий своего предприятия. А участие руководства в процессе построения информационной системы является решающим фактором успеха проекта автоматизации.

2.2 Модель «Линейная регрессия”

Математическое уравнение, которое оценивает линию простой (парной) линейной регрессии:

Y=a+bx.

X - называется независимой переменной или предиктором. 

Y - зависимая переменная или переменная отклика. Это значение, которое мы ожидаем для y (в среднем), если мы знаем величину x, т.е. это «предсказанное значение y»

· a - свободный член (пересечение) линии оценки; это значение Y, когда x=0 (Рис.1).

· b - угловой коэффициент или градиент оценённой линии; она представляет собой величину, на которую Y увеличивается в среднем, если мы увеличиваем x на одну единицу.

· a и b называют коэффициентами регрессии оценённой линии, хотя этот термин часто используют только для b.

Парную линейную регрессию можно расширить, включив в нее более одной независимой переменной; в этом случае она известна как множественная регрессия.

Линейная регрессия является статистическим инструментом, используемым для прогнозирования будущих цен исходя из прошлых данных, и обычно применяется, чтобы определить, когда цены являются перегретыми. Используется метод наименьшего квадрата для построения «наиболее подходящей» прямой линии через ряд точек ценовых значений. Данные могут быть предварительно произвольно сглажены перед построением наиболее подходящей линии. Если сглаживание не желательно, то просто выбирается период сглаживания равный 1

На практике линия регрессии чаще всего ищется в виде линейной функции 

 

(линейная регрессия), наилучшим образом приближающей искомую кривую. Делается это с помощью метода наименьших квадратов, когда минимизируется сумма квадратов отклонений реально наблюдаемых  от их оценок  (имеются в виду оценки с помощью прямой линии, претендующей на то, чтобы представлять искомую регрессионную зависимость):

( -- объём выборки). Этот подход основан на том известном факте, что фигурирующая в приведённом выражении сумма принимает минимальное значение именно для того случая, когда 



3. Проектная часть

3.1 Описание входных данных

Входные данные для анализа содержат следующую информацию:

Справочник «Справочник сетей»:

· Код сети

· Регион

· Сеть магазинов

Справочник «Товары»:

· Код товара

· Наименование товара

· Тип товара

· Цена

Справочник «Менеджеры»:

· Код менеджера

· Менеджер

Таблица «Журнал продаж»

· Дата

· Менеджер

· Код сети

· Код товара

· Количество товара

· Сумма

Код товара извлекается из справочника «Товары», Код сети из справочника «Справочник сетей» и Код менеджера из справочника «Менеджеры». Дата заполняется автоматически, Количество товара вносится оператором, а Сумма рассчитывается как Количество товара* Цена (из справочника «Товары»).

Перед загрузкой в Deductor все данные должны быть преобразованы в текстовый формат.

Справочник «Справочник сетей» содержит данные по существующим сетям (таблица 3.1)

Таблица 3.1 - Справочник «Справочник сетей»

Наименование	Тип данных	Содержимое
Код сети	Целый	Код сети
Регион	Строковый	Регион
Сеть магазинов	Строковый	Наименование сети магазинов

Справочник «Товары» содержит данные по товарам (таблица 3.2)

Таблица 3.2 - Справочник «Товары»

Наименование	Тип данных	Содержимое
Код товара	Целый	Код товара
Наименование товара	Строковый	Наименование товара
Тип товара	Строковый	Тип товара

Справочник «Журнал продаж» содержит данные по имеющимся продажам (таблица 3.3)

Таблица 3.3 - Справочник «Товары»

Наименование	Тип данных	Содержимое
Дата	Дата/время	Дата
Менеджер	Строковый	ФИО менеджера
Код сети	Целый	Код сетей магазинов (из справочника «Справочник покупателей»
Код товара	Целый	Код товаров (из справочника «Товары»
Количество товара	Целый	Количество товара
Сумма	Целый	Сумма денежных средств от продажи товара

Справочник «Менеджеры» содержит данные по менеджерам магазина (таблица 2.4)



Таблица 3.4 - Справочник «Менеджеры»

Наименование	Тип данных	Содержимое
Код менеджера	Целый	Код менеджера
Менеджер	Строковый	ФИО менеджера

3.2 Разработка структуры хранилища данных

Хранилище данных Deductor Warehouse - это специально организованная база данных, ориентированная на решение задач анализа данных и поддержки принятия решений, обеспечивающая максимально быстрый и удобный доступ к информации. ХД Deductor Warehouse соответствует модели ROLAP (схема «снежинка») и может быть развернуто на СУБД Firebird.

Хранилище данных Deductor Warehouse включает в себя потоки данных, поступающие из различных источников, и специальный семантический слой, содержащий так называемые метаданные (данные о данных). Семантический слой и сами данные хранятся в одной СУБД.

Запрос к хранилищу осуществляется непосредственно сквозь семантический слой, который через внутреннюю систему команд (скрытую от пользователя и аналитика) подбирает запрашиваемую информацию из многообразия хранимых данных. Работу семантического слоя можно сравнить с деятельностью библиотекаря, который по просьбе читателя достает с разрозненных полок книги и раскрывает их на нужных страницах.

Все данные в Deductor Warehouse хранятся в структурах типа «снежинка», где в центре расположены таблицы фактов, а «лучами» являются измерения, причем каждое измерение может ссылаться на другое измерение. Именно эта схема используется в данном хранилище данных.

Для описания структуры таблиц хранилища данных и связей между ними была использована модель ERD в нотации DM .

В Deductor Warehouse имеются следующие типы объектов:

Измерение - последовательность значений одного из анализируемых параметров. В таблице 3.6 представлены используемые для анализа данных оптовых закупок сумок сетями спортивных магазинов.

Таблица 3.6 - «Измерения»

Метка	Имя	Тип данных	Размер поля
Менеджер	S_MANAGER	Строковый	20
Код сети	Kod_seti	Целый	0
Код товара	Kod_tovara	Целый	0
Дата	DATE	Дата/Время	0

Атрибут - свойство измерения (то есть точки в пространстве). Атрибут как бы скрыт внутри другого измерения и помогает пользователю полнее описать исследуемое измерение. В таблице 3.7 представлены используемые атрибуты.

Таблица 3.7 - «Атрибуты»

Метка	Имя	Тип данных	Размер поля	Ссылка на измерение
Название сети	Set	Строковый	100	Код сети
Тип товара	Tip	Строковый	100	Код типа товара
Наименование товара	Tovar	Строковый	100	Код товара
Регион	Region	Строковый	100	Код сети

Факт - значение, соответствующее измерению. Факты - это данные, отражающие сущность события. Как правило, фактами являются численные значения, например, доход (см. таблицу 3.8).

Таблица 3.8 - «Факты»

Метка	Имя	Тип данных	Размер поля
Количество товара	Kolichestvo	Вещественный	0
Сумма	Summa	Вещественный	0

Ссылка на измерение - установленная связь между двумя и более измерениями. Дело в том, что некоторые бизнес-понятия (соответствующие измерениям в хранилище данных) могут образовывать иерархии. В данном случае измерение «Код товара» содержит ссылку на измерение «Код типа товара».

Процесс - совокупность измерений, фактов и атрибутов. По сути, процесс и есть «снежинка». Процесс описывает определенное действие.

Все загружаемые в ХД данные обязательно должны быть определены как измерение, атрибут либо факт.

Информация о принадлежности данных к тому или иному типу (измерение, ссылка на измерение, атрибут или факт) содержится в семантическом слое хранилища.

Структура процесса «Хранилище» представлена на рисунке 3.1.

Рисунок 3.1 - Процесс «Хранилище»

3.3 Описание процесса ETL

ETL -- комплекс методов, реализующих процесс переноса исходных данных из различных источников в аналитическое приложение или поддерживающее его хранилище данных.

ETL-система должна обеспечивать выполнение трех основных этапов процесса переноса данных (ETL-процесса).

· Извлечение данных. На этом этапе данные извлекаются из одного или нескольких источников и подготавливаются к преобразованию. Следует отметить, что для корректного представления данных после их загрузки в ХД из источников должны извлекаться не только сами данные, но и информация, описывающая их структуру, из которой будут сформированы метаданные для хранилища.

· Преобразование данных. Производятся преобразование форматов и кодировки данных, а также их обобщение и очистка.

· Загрузка данных -- запись преобразованных данных в соответствующую систему хранения.

Начальным этапом процесса ETL является процедура извлечения записей из источника данных и подготовка содержащейся в них информации к процессу преобразования.

Процесс извлечения данных заключается в следующем:

· Извлечение информации из текстового файла «Справочник сетей.txt»;

· Извлечение информации из текстового файла «Товары.txt»;

· Извлечение информации из текстового файла «Журнал продаж.txt»;

Алгоритм процесса:

1. С помощью команды Мастера импорта выбирается Текстовый файл.

2. Указывается имя файла и осуществляется его предварительный просмотр.

3. Устанавливаются параметры формата исходных данных.

4. Устанавливаются параметры столбцов с указанием типов данных.

5. Осуществляется процесс извлечения данных из текстового файла.

Результат выполнения процесса извлечения данных приведен на рисунках 3.2 - 3.6.

Рисунок 3.2 - Результат извлечения данных из файла «Справочник сетей.txt»

Рисунок 3.3 - Результат извлечения данных из файла «Товары.txt»

Рисунок 3.4 - Результат извлечения данных из файла «Журнал продаж.txt»

После того как данные извлечены из источников, осуществляется последний этап ETL -- загрузка данных в хранилище. Процесс загрузки заключается в переносе данных из промежуточных таблиц в структуры хранилища данных. хранилище данные deductor регрессия

1. Первыми в процессе загрузки данных в ХД загружаются таблицы измерений «Код сети», «Код товара» которые содержат описательную информацию, необходимую для таблицы фактов.

2. Далее загружается таблица фактов «Журнал продаж», в которой содержится информация непосредственно по процессу Закупки.



4. Реализация модели анализа в Deductor

4.1 Описание сценариев проекта Deductor

Последовательность действий, которые необходимо провести для анализа данных, называется сценарием. Сценарий можно автоматически выполнять на любых данных.

Для описания реализации модели анализа в Deductor использована модель BPwin в нотации IDEF0.

Построение сценария начинается с вызова Мастера импорта, с помощью которого загружается хранилище данных. (Рисунок 4.1)

Рисунок 4.1 - Мастер импорта

В результате импорта получилась таблица, изображенная на рисунке 4.2.

Рисунок 4.2 - Результат Мастера импорта.

После того, как данные были успешно импортированы в ХД, была произведена Фильтрация по полю Товар = «Rollfina» (Рисунок 4.3) и с помощью обработчика Калькулятор было подсчитано Общее количество товара (Рисунок 4.4). Результат отображен на Рисунке 4.5.

Рисунок 4.3 - Фильтрация по Товару

Рисунок 4.4 -Обработчик Калькулятор

Далее по предыдущим узлам сценария производится Групповая обработка (Рисунок 4.5). Результат Групповой обработки в виде OLAP-куба приведен на рисунке 4.7.

Рисунок 4.5 - Этап Групповой обработки

Рисунок 4.6 - Результат обработчика Групповая обработка

Рисунок 4.7 - OLAP-Куб

Следующий узел сценария начинается с Фильтра по полю Менеджер = «Сидоров А.А». Далее с помощью обработчика Калькулятор рассчитывается количество проданного товара менеджером Сидоровым А.А. (Рисунок 4.8-4.11).

Рисунок 4.8 - Фильтр Менеджер = «Сидоров А.А.»

Рисунок 4.9 - Калькулятор Количество принятого товара

Рисунок 4.10 - Этап Групповой обработки

Рисунок 4.11 - Результат Групповой обработки

Рисунок 4.12 - OLAP-Куб

Следующий узел сценария начинается с Фильтра по полю Наименование сети = «Спортмастер». Далее с помощью обработчика Калькулятор рассчитывается общая сумма затрат по данному поставщику. (Рисунок 4.13-4.16).

Рисунок 4.13 - Фильтр Наименование поставщика = «Спортмастер»

Рисунок 4.14 - Калькулятор Общая сумма затрат

Рисунок 4.15 - Результат Групповой обработки

Рисунок 4.16 - OLAP- Куб

Также в данной курсовой работе использовался регрессионный анализ. Широкое применение линейной регрессии обусловлено тем, что достаточно большое количество реальных процессов в экономике и бизнесе можно с достаточной точностью описать линейными моделями.

Построение линейной модели изображено на Рисунках 4.17-4.18

Рисунок 4.17 - Обработчик Линейная регрессия

Рисунок 4.18 - Диаграмма линейной регрессии

Таким образом, пройдя все этапы анализа, был получен следующий сценарий (Рисунок 4.19).

Рисунок 4.19 - Сценарий

4.2 Описание выходных отчетов

В результате анализа были получены отчеты в виде OLAP-кубов и диаграмм.

В отчете «Общие данные по продажам» представлены сводные данные по продаже сумок Rollfina (Рисунок 4.20).

Отчёт «Данные по менеджеру» показывает количество проданного товара менеджером (Рисунок 4.21).

Рисунок 4.20 - OLAP-куб и диаграмма «Общие данные продажам»

Рисунок 4.21 - OLAP-куб и диаграмма «Данные по менеджеру»

4.3 Карта Кохонена

На последнем этапе мы создаем карту Кохонена, для более наглядного отображения наших продаж.

Заключение

Для успешного выполнения коммерческих операций по продаже товаров предприятия торговли должны систематически заниматься выявлением и изучением источников сетей и товаров, проводить исследования товарных рынков.

Исследование рынка - самое распространенное направление в маркетинговых исследованиях. Как подчеркивают специалисты, без рыночных исследований невозможно систематически собирать, анализировать и сопоставлять всю информацию, необходимую для принятия важных решений, связанных с деятельностью на рынке, выбором рынка, определением объема продаж, прогнозированием и планированием рыночной деятельности.

Для правильно организованных оптовых закупок была построена модель, которая дает возможность сформировать необходимый торговый ассортимент товаров для снабжения населения или розничной торговой сети спортивных товаров, осуществлять воздействие на производителей товаров в соответствии с требованиями покупательского спроса, обеспечивают эффективную работу торгового предприятия.



Список литературы

1. Алексеев Н.С. Теоретические основы товароведения продовольственных товаров. - М, Прогресс, 2010

2. Экономика предприятия торговли и сферы услуг / Под ред. В.В. Басконова М: ИНФРА - М, 2007.

3. Дашков Л.П., Памбухчиянц В.К. Коммерция и технология торговли. - Москва, 2008.

4. Кацко И.А. Практикум по анализу данных на компьютере: Учеб. пособие для вузов/ Кацко И.А. Паклин Н.Б. - М.: Издательство "КолосС", 2009. - 278 с.

5. BaseGroup Labs. Технологии анализа данных - 26 мая 2015 [Электронный ресурс] URL: http://www.basegroup.ru/

6. Корпоративные хранилища данных. Интеграция систем. Проектная документация - Апрель 2015 [Электронный ресурс] URL: http://www.prj-exp.ru/

7. Маркетинг журнал 4p.ru. Обзор рынка: спортивные товары. [Электронный ресурс] URL: http://4p.ru/main/research/14969/?sphrase_id=1446875



Приложение 1

Реализация модели анализа нотации IDEF0



Приложение 2

Реализация модели анализа в нотации IDEF0 (декомпозиция)

Размещено на Allbest.ru

...