Разработка ИТ поддержки реализации театральных билетов

Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

Московский институт электроники и математики им. А.Н. Тихонова

МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ

по направлению подготовки

Информационно аналитические системы

образовательная программа «Компьютерные системы и сети»

Разработка ИТ поддержки реализации театральных билетов

Мингалеев Михаил Альбертович



Оглавление

• Вступление
• Постановка задачи
• Базовый подход к решению
• Обзор и сравнение реализаций
• Практическая реализация
• Выводы
• Заключение
• Список литературы



Вступление

В современных реалиях театрального бизнеса (и не только театрального), нередко возникают вопрос о причинах тех или иных спадов и подъемов на рынке. Финансовые процессы носят довольно непредсказуемый характер, и его анализ зачастую имеет довольно большие погрешности из-за того, что аналитик не способен учесть все неочевидные процессы. Для более точного анализа рынка используются такие понятия как тренд, сезонность и нерегулярная компонента, которые отражают статические процессы рынка, и по изменениям и уровнях которых можно анализировать что и какой мере влияет на рынок, давая новые возможности в анализе. В данной работе будет проведена работа по выявлению этих компонент из базы данных и описан алгоритм, по которому можно будет провести эти действия без глубоких знаний в анализе или программировании.



Постановка задачи

В начале в качестве основы имеется крупная база данных в формате PostgreSQL, содержащая в себе данные о покупках и продажах билетов на развлекательные мероприятия, поставщиках и покупателях, местах проведения и организаторах.

Требуется алгоритм база данные

1. Получить данные из базы данных в общепринятом формате.

2. Провести обзор и сравнение существующий решений, а именно алгоритмов и средств для их реализации.

3. Привести выгруженные данные к первой нормальной форме.

4. Провести обработку и устранение несоответствий в базе данных.

5. Сделать выборку данных в которой сезонные процессы имеют стационарный характер, нежели случайный.

6. Получить прогноз в явно виде - тренд, сезонность и нерегулярную компоненту.

В итоге должен быть реализован алгоритм, позволяющий получить из базы данных в явном виде трендовую, сезонную и нерегулярную компоненту.

Базовый подход к решению

В представленной постановке задачи в начале следует получить данные. Для первичного анализа следует выгрузить данные в удобном формате в виде csv или других простых форматов, которые умеет воспринимать подавляющее большинство ПО связанный с обработкой данных.

После данные должны быть проверены, приведены с формату выбранного ПО и превращены в одну большую плоскую таблицу, которую легко анализировать.

Учитывая, что рассматривается долгосрочный прогноз, следует отфильтровать данные по каким-то стабильным отраслям. Разовые случайные процессы интересуют меньше всего, поэтому следует искать более менее повторяющиеся из года в год процессы.

Вероятно группы по которым будет делаться прогноз нельзя будет выделить одним лишь визуальным анализом. Следует попробовать кластеризировать данные и работать с отдельными кластерами.

Итоговый алгоритм предсказаний и выделения компонент следует выбрать из числа более-менее новых и известных, чья эффективность было проверена и сертифицирована. Это так же должен был быть алгоритм выдающий решение в явном виде, обучаемые нейросети и им подобные не подходят.

Обзор и сравнение реализаций

На сегодняшний момент проблема прогноза и характеристик ряда в явном виде затрагивается не так часто. Основной причиной этому является то, что зачастую алгоритмы с неявным результатом дают куда более точные предсказания. Обучающиеся нейросети и системы дата майнинга используют принципы обучения, которые подразумевают, что модель состоит из нейронов, которые каждый обособленно складывают своё поведение. Их общая работа, с настраивающимися относительно данных связями между нейронами, и является финальным продуктом нейросети, посему описать это в явном виде практически невозможно, а уж тем более найти причину подъема и падения на рынке. В нашем случае следует обратить к другой области развития прогнозирования, а именно в выявлении тренда и сезонности на рынке.

Уже около 10 лет этот концепт имеет свой развитие, и лучше всего в нём преуспевали американцы, используя ими разработанную серию X11. Гибко настраиваемая система позволяла анализировать данные без знания области этих данных, и выявлять скрытые зависимости, по которым уже предсказывать поведение или даже как на него влиять. Долгое время система была единственной и из аналогов к ней не было, пока испанский банк не разработал свою под названием Tramo Seats. Основной особенностью Tramo Seats является то что всю работу оно делает автоматически, вплоть до выбора параметров для модели. Это позволяет её использовать даже не специалисту, однако делать тонкую настройку куда сложнее.

Сравнение алгоритмов

В ходе настоящей работы было выяснено, что потребуются высокоточные и проверенные алгоритмы долгосрочного прогнозирования, предоставляющие прогноз в явном виде. Отметая обучаемые системы вроде «случайных деревьев», следует присматриваться к тем алгоритмам, которые в итоге выдают тренд, сезонность и нерегулярную компоненту. Выбор падает на американские алгоритмы серии X и на принятый в евростате алгоритм Tramo Seats.

Методы X-11

Весьма гибкие методы, дающие специалисту массу возможностей в настройке обработки. В частности, позволяет собственноручно добавлять календарные эффекты, повышающие точность предсказания. Начиная с X12, добавляется множество возможностей для предсказания и оценки сезонности. Считается, что метод лучше всего проявляется себя на данных за 5-6 лет. Из недостатков следует отметить, что у специалистов нет большой уверенности в частоте работы фильтра X11, что лежит в основе этих методов.

Tramo Seats

Трамо Сиатс состоит из двух программ. Tramo - программа аналогичная regARIMA, и Seats - которая выбирает самый оптимальный фильтр в зависимости от данных. Разработаны в Евросоюзе испанским банком, как эдакий ответ американскому инструменту серии X.

Tramo Seats разделяет данные на тренд, сезонность, нерегулярную компоненту. Все эти компоненты не содержат белого шума, кроме нерегулярной. Несмотря на то что она более эффективная, данная модель даёт куда меньше возможности настраивать что-либо. Большинство процессов происходят сами, посему нередко модель самостоятельно выбирает какой будет сезонность. Считается что даёт лучшие результаты чем алгоритмы семейства X11, однако есть меньше возможностей в плане добавления своих календарных эффектов и диагностики.

Выбирая из средств аналитики, нужно выбрать что-то способное оперировать с большим массивом данных, не требующее глубоких знаний, позволяющее воспроизводить исследования и нацеленное одновременно на преобразование и на обработку данных. Так же желательно, чтобы это было не несколько последовательных инструментов, а 1-2.

Выбор инструментов

R

Язык R в данный момент является самым мощным инструментом аналитики и работы с данными. Математический пакет, созданный аналитиками для самих себя, способен производить сложные манипуляции и поддерживает тяжёлые и громоздкие модели. Является бесплатным и имеет несколько открытых реализаций для общего пользования. Недостатком является то, что требуются знания языка R, а так же то что он неэффективен в случае слияния и преобразования таблиц, и не удобен в случае выборки и фильтрации данных.

Matlab

Довольно крупный пакет, нацеленный на отработку и отладку математических расчётов. Является мощным инструментом, однако имеет весьма дорогую лицензию. Так же требует некоторых навыков, и обладает не самой удобной интеграцией с другими приложениями. Пакет в целом как и R не слишком направлен на реструктуризацию и фильтрацию данных, имея больше математическое направление.

SciPy

Большая математическая библиотека для языка Python. Учитывая, что Python один из самых гибких языков программирования, это весьма перспективное направление. Возможности Scipy довольно близки к Mathlab, однако эта библиотека ещё слишком новая. В данной работе придётся иметь дело с довольно крупными и тяжёлыми алгоритмами, для реализации которых потребуются сложные модели датамайнинга. Для создания их собственных аналогов требуются глубокие знания математики и этого пакета.

MS Excel

Известный программный продукт, которым пользуются многие пользователи для простых расчётов и визуального анализа. Как бы это странно не звучало, но формат хранения Excel на данный момент имеет неплохую совместимость, в основном потому что очень многие предприятия предпочитают хранить отчётность именно в этом формате. Увы, не смотря на распространённость, функциональность у Excel довольно маленькая, и подойти в решении задачи он может разве что для фильтрации данных. Так же следует сказать, что его оптимизация не позволяет работать с огромным массивом данных, а если точнее выразится, то скорость его работы будет на порядки ниже остальных.

SAS

Мощный, действительно мощный инструмент для работы с большим количеством данных и большими базами данных. SAS в своей нише нередко является незаменимым инструментов для консолидации данных из разных баз, делая это быстро и эффективно. Однако увы, скрипты для SAS довольно сложны и порой абсолютно нечитаемые для неподготовленного пользователя . Так же следует отметить, что для математических манипуляций язык порой просто не приспособлен, хотя и имеет встроенные модели для предсказаний. Тем не менее, для его использования требуется как минимум пройденный по нему курс.

SPSS Statistics

Это программа компании IBM для статистической обработки и анализа данных. Имеет в своём арсенале довольно мощные алгоритмы, встроенную поддержку ARIMA моделей, функции по преобразованию данных и даже способно анализировать огромные массивы без падений производительности, обрисовывая каждую точку на графиках, однако имеется одно большое но - воспроизводилось и установка на поток весьма сложна. Обычно все данные которые были поставлены на поток безвозвратно меняются. Создание же скриптов с последовательностями обработки требует знания внутреннего языка SPSS Modeller и достаточного количества времени на их выполнение.

SPSS Modeller

Ещё один весьма удобный продукт компании IBM. В этом продукте создатели решили две главные проблемы SPSS Statistics, а именно производительность и воспроизводимость. Однако SPSS Modeler, имея в своём арсенале всё чтобы строить потоки, потерял большую часть сложных аналитических инструментов коими обладал SPSS Statistics. Данный продукт как и SPSS Statistics довольно прост в использовании, является платным.

Stata

Относительно дешёвый аналог SPSS Statistic, однако более узкоспециализированный. Этот программный пакет содержит инструменты для анализа в разных областях медицины, продаж, и многих других мест. Визуальное оформление хоть и простое, но создание алгоритмов происходит с помощью простых скриптов на внутри программном языке.

Gretl

Известная программа для анализа данных. Является бесплатной и имеет множество пакетов для обработки временных рядов. Совместима с большинством форматом ввода данных, имеет простой интерфейс и быструю обработку. По опыту можно сказать что она не предназначена для слияния таблиц и другими подобными операциями с данными, хотя имеет внутри примитивный арсенал для таких действий.

В итоге методом проб и ошибок было решено остановиться на SPSS Modeller. Этот инструмент был проще других, в нем в последовательности действий было проще всего выявлять ошибки, он с заметно превосходящей аналоги скоростью проводил преобразование данных. Само же предсказание планировалось делать в инструменте SPSS Statistics и других более узкоспециализированных аналогах. Так в же в SPSS Modeller имеется неплохой задел для продолжения более специфичных способов аналитики, поскольку помимо родных инструментов он так же имеет возможность напрямую обрабатывать данные через язык R.

Практическая реализация

Выгрузка данных изначально имеет проблему. База данных не имела возможности выгрузить всё в таблицы, выдавая внутренние ошибки. Наилучшим решением было сделать локальный бекап. Структура бекапа такова, что каждое значение внутри было записано просто командой ввода. Небольшой скрипт на языке С и любом другом позволяет превратить этот бэкап в файлы csv, которые являются общепринятым форматом и имеют хорошую совместимость.

Далее следовало начать преобразования данных в одну большую плоскую таблицу. Во-первых, это требуется для возможной развертки и агрегаций, а во-вторых в такой форме данные могут быть обработаны практический любой программой. В качестве начального инструмента для развертывания был выбран SPSS Statistics, поскольку было заявлено что он куда более прост в освоении и на него имеется бесплатная лицензия для студентов университетов. SPSS Statistic имеет хорошую совместимость для чтения файлов, и имеет удобный адаптивный интерфейс для чтения из текстовых фалов, имеющий организацию не по международным стандартам. Однако имеются некоторые недостатки. Во-первых, откатить последние изменение после неудачной или неправильного слияния данных невозможно. Выход без сохранения и загрузка заново отнимают немало времени, поскольку программа подгружает в память весь свой арсенал. Во-вторых, скрипты у SPSS Statistics довольно неудобные и громоздкие, и поэтому держать отдельный текстовый файл сложно и неудобно.

По этой причине был выбран SPSS Modeller. Этот инструмент обладает заметно более удобным видом, способом фильтрации и соединения таблиц, и главное, что сохраняются именно потоки, а не результат действий. Обработка заново занимает около 1-2 минуты, что не критично.

Рис.1 Из отдельных таблиц базы данных собирается одна таблица

Здесь реализована простая сборка базы данных. Используется внутреннее объединение по уникальному ключу.



Рис.2 Узел «Слияние», в котором происходит полное внутренне объединение по первичному ключу

Тут происходят первые проблемы. В частности, оказалось, что база данных в местах имеет в себе данные только в качестве уникальных идентификаторов. И поэтому довольно сложно работать с такой базой, приходится дополнять данные. После анализа уникальных идентификаторов с помощью интернета можно сопоставить с реальными выступлениями, и не без изъянов определить названия жанром и порой вовсе не «уникальные» жанры. Более того, имеет место быть заведомо неправильно заполнение базы, и видно как она «до проектировалась на ходу» когда определённые жанры добавлялись, разделялись, и дополнялись в список к выступлению.

Чтобы решить эту проблему для начала нужно выделить агрегацией шоу которые имеют больше одной уникальной комбинации Название - Жанры. Как было выяснено заранее, практическими и статистическими методами, в данной базе бывает так что шоу из года в год при изменении его параметров меняется уникальный идентификатор, но не название. При этом одновременно разных шоу с одинаковыми названиями нет, тот же щелкунчик если он «особенный», то он пишется «В постановке» кого-то там или ещё какие добавление делающие его уникальным. Посему

Рис.3 Секция в которой происходит поиск и корректировка неуникальных первичных ключей с помощью агрегации.

после того как были добавлены жанры (которые в том числе определяют разделение по возрастам, наличие еды и прочие мелочи, относящиеся не только к жанрам, но и направлениям), были агрегированы пары Название - Жанр, агрегированы по названиям, выбраны те где фактически на одно название приходится две варианта жанра, и после все названия этих выступлений сопоставлены суммой этих жанров. Такая схема позволяет присвоить выступлению все жанры, которые ему полагаются (так как после анализа стало видно, что базу заполняли разные люди и одни иной раз забывали добавить то что писали другие), но создаёт проблемы если жанр был добавлен ошибочно. Изъянов в базе данных было немного и можно было проверить вручную какие жанры каким выступлениям были присвоены. По результатам проверки ыяснено, что таких проблем не возникло ни разу, а, следовательно, работа выполнена правильно.

Получается после этих действий большая плоская таблица, являющаяся первой нормальной формой базы данных с устранёнными не состыковками.

Визуальный анализ начинается с ящика с усами (Box-Whisker).

Ящик с усами -- это диаграмма размаха. Эта диаграмма, по мнению автора диссертации, лучше всего позволяет увидеть множество величин и характеристик данных в весьма простом и удобном представлении. Ящиком обозначается половина данных, которая находиться в центре, усами остальные 25% сверху и 25% снизу. Медиана даёт представление о том, как данные распределены внутри ящика, и так же имеются выбросы, которые сильно выделяются из модели.

Рис.4 Демонстрация распределения значений графике Размаха. Диаграмма лежит горизонтально.

Данная иллюстрация наглядно представляет распределение данных внутри этого графика. Для начального визуального анализа следует взять самые очевидные данные - доходность относительно месяца. Каждый театр -- это фактически точки, каждый ящик с усами будет показывать распределённость доходов театров в месяц. И сопоставив эти данные, можно будет думать в дальнейшем что следует делать с данными.

Рис.5 График размаха демонстрирует сильное смещение основной массы значений по сравнение с выбросами вверх.

Данный график демонстрируют нам, что среди всего массива театров имеется просто огромное число выбросов. И при этом это всё выбросы вверх, а основная масса театров находится на ничтожно низком уровне по сравнению с гигантами, которые и выделены тут. Очевидным шагом будет попытка отфильтровать их и работать с ними отдельно, в то время как с данной массой работать по-своему.

Является ли выбросом запись в диаграмме размаха или нет, определяется разбросу данных. Определяется это по формуле .

Фактически можно с уверенность сказать, что выбросом является всё что в полтора раза дальше от центра, чем размах половины срединных данных, то есть длинны «ящика». Стоим в SPSS Modeller алгоритм который выделяет выбросы из наших данных.



Рис.6 Потоковая фильтрация выбросов вверх.

В алгоритме имеются части, требующиеся для отладки, но в итоге мы получаем файл с аномалиями, и файл с остальными данными. Поскольку аномалий ниже графиков не было, можно не выделять их. (конкретно на мои данных).

Смотрим результат.

Рис.7 Диаграмма размаха показывает что при отсутствии выбросов картина не меняется, данные всё так же имеют смежённое распределение.

На первый взгляд может показаться, что извлечь полезную информацию трудно. Однако это говорит нам о довольно равномерном рассеивании, показывая, что данные не имеют каких-то аномальных скоплений. Большая часть театров, которая существует в индустрии, находится в нижней нише и на один театр приходится несколько более низкого дохода. Как выяснить это точно? Используя гистограмму.

Рис.8 и Рис.9 Вместе демонстрируют явное гамма распределение.

Как мы видим, данные равномерно распределены. На 1 театр с доходностью в миллион приходится 1 с доходность в 100 тысяч. Поэтому выявлять из них какие-то отдельные группы по доходам нет никакого смысла.

Тем не менее, всё ещё есть вероятность что в работе присутствуют какие-то отдельные группы, которые визуальным анализом получить вовсе не так просто. Существуют методы кластеризации, с помощью которых данные можно делить на отдельные группы, их примирение можно смотреть в моей предыдущей работе. Результатом было выявлено что, не смотря на то что среди театров происходит неявное разделение на кластеры, рыночные процессы в них идентичны и практически не влияют на общую картину.

Готовясь в дальнейшей загружать данные в модель предсказаний, стоит помнить, что в этих данных не удалось выделить какие-то явные зависимости, которые позволили бы нам использовать какие-то более-менее простые модели предсказаний без потери точности. Однако даже на графиках размаха можно заметить, что данные обладают ярко выделенной сезонностью, которая даёт возможность предсказывать изменения из года в год. Работа с данными предстоит в общем формате, и фактически требуется довольно точная и громоздкая модель. Сейчас наиболее известные и проверенные модели -- это модели серии X11 и TramoSeats.

Основываясь на том что требуется получать данные именно с отражением тренда и сезонности без лишних надстроек, было решено использовать Tramo Seats, потому что в нём уже зашиты внутрь алгоритмы, способные без дополнительных настроек решить проблему получения сезонности и тренда.

Увы, но постольку поскольку этот алгоритм применяется в основном в банковской среде, его реализаций есть не много. Сравнивая результаты из разных программных пакетов, в моей научно-исследовательской работе было выяснено, что наилучший пакетом реализации для моих данных является пакет Gretl. Взяв итоговые очищенные данные и про агрегировав их по месяцам и годам, была получена в формате CSV таблица в которой были записаны какой уровень продаж был в каждый месяц каждого года.

В Gretl данные были открыты как временные ряды

Рис.10 Интерфейс программы идентифицировал данные как временные ряды.

С указанием начальной даты и того что каждое значение ежемесячное.

Запускаем с стандартными настройками, только на второй вкладке интерфейса Tramo Seats следует указать чтобы были созданы все переменные в Gretl. Получает результат

Рис. 11 Пакет «Tramo анализ» сформировал график и отчёт, нашёл тренд и сезонность, с точностью предсказаний более 10%

И собственно тренд и нерегулярная компонента.



Рис.12 Программа Gretl записала составляющие в отдельные переменные, давая возможность их выгрузить для обработки другими средствами.

Сезонная компонента находится из разности реальных данных и суммы тренда и нерегулярной компоненты. Но для большей уверенности смотрим отчет и видим:

Рис.13 Отчет демонстрирует сезонность за два года.

По каким-то причинам Tramo Seats взял период в два года, однако если присмотреться, то судя по аддитивной сезонности период равен году. Результат был получен, задача достигнута. Корректируя потоки на файле SPSS Modeller, можно подготавливать файл с нужной агрегацией, делать выборку по какому-либо театру или периоду времени, настраивая под желание заказчика. В целом алгоритм позволяет настраиваться как пользователю удобно.



Выводы

Из проделанной работы можно сделать вывод, что в базе данных имеет место быть гамма распределение, обусловленное рынком. После слияния данные требуется проверить, и кластерной структуры они не имеют. Наиболее эффективным методом вычисления трендовой, сезонной и нерегулярной компоненты является метод Tramo Seats, лучше всего реализованный в программе Gretl.



Заключение

В данной работе был создан алгоритм и построена цепочка действий, позволяющая получить из несогласованной базы данных компоненты тренда, сезонности и нерегулярной составляющей. Это поможет аналитикам и людям не знакомыми с продуктами, представленными в работе, без особого труда получить хорошее подспорье для анализа существующий тенденций в их области, и предостережёт от ошибок, сильно тормозящих их работу.



Список литературы

Banco de Espaсa.TramoSeats: разработано и реализовано испанским банком. - Сайт 2018: https://www.bde.es/bde/en/secciones/servicios/Profesionales/Programas_estadi/Programas_estad_d9fa7f3710fd821.html

Язык программирования R и его место среди статистических программ - Сайт 2018: https://samoedd.com/soft/r-introduction

Википедия. MATLAB - Сайт 2018: https://ru.wikipedia.org/wiki/MATLAB

University of Bristol. Stata review - Сайт с PDF 2018: http://www.bristol.ac.uk/cmm/learning/mmsoftware/stata.html

Размещено на Allbest.ru

...