Размещено на http://allbest.ru

Введение

визуализация программная информация

Данные почти никогда не встречаются в нужном виде. Какие-то значения отсутствуют вовсе, другие появляются без какого-либо контекста или сопровождаются нелогичными, противоречивыми подписями и опечатками. Очень часто необходимые данные разбросаны по разным таблицам, когда нужно, чтобы они все оказались в одной-единственной. Неправильное представление данных влечет за собой ошибки в принятии решений на оперативном, тактическом и стратегическом уровнях организации. Избегать такие ошибки помогают аналитические бизнес системы, направленные на быстрый и качественный анализ информации, а также представление данных в нужном формате, что оказывает поддержку пользователя в принятии решений. Таким образом начала развиваться сфера визуализации данных и визуализации информации.

Требования заказчиков непрестанно растут. Высокого качества предоставляемой информации и быстродействия системы может оказаться недостаточно для быстрого принятия решений, к тому же данных может слишком много для понимания и восприятия. Таблицы, растягивающиеся на несколько страниц, простыни текстовой информации и монотонные расчеты могут сбить пользователя с толку, привести к временным затратам и ошибкам.

Уже давно известно, что при восприятии изображений и текста действуют разные правила [1]. Визуальная информация запоминается и воспроизводится быстрее. Этот феномен называется эффект превосходства образа. Современные технологии учли и это.

Визуальный способ подачи информации является одним из важнейших способов получения информации пользователями, он дает возможность доносить до аудитории большие объёмы данных и позволяет потребителю экономить время, которое он тратит на получение всё возрастающих объёмов информации. Визуализация ускоряет процесс восприятия данных. Это связано с тем, что человек основное количество информации получает посредством зрительного восприятия [1]. К тому же, благодаря техническому прогрессу, в 21 веке появляется распространяется интерактивная инфографика, которая способна предоставлять ещё больше информации, занимая всё меньшую площадь, при этом вызывая интерес у потребителя контента. Инфографика позволяет раскрыть новостную историю, наглядно объяснить происходящие события, а также привлечь интерес аудитории.

Несомненно, не только бизнес нуждается в анализе данных. Чтобы вести успешную политику органам власти необходимо вести регулярный мониторинг волнующих население тем, другими словами анализ настроения населения. Данный анализ проводится уже десятки лет и помогает органам местной власти направить свою политику в нужное русло. Устные и письменные опросы, личные встречи с гражданами конечно актуальны, но недостаточно эффективны, так как способны проанализировать мнение лишь небольшой части населения.

В настоящее время общение и обмен мнениями людей происходит в социальных сетях и стремительно набирает обороты. Зарегистрированные пользователя не только смело выражают свое мнение о наболевшем, но и открыто делятся информацией о себе: факты биографии, переписка, дневники, фото, видео, аудиоматериалы, заметки о путешествиях и т.д.

Несомненно, технологический прогресс не стоит на месте, разрабатываются различные аналитические системы, способные анализировать большие объемы информации, полученные из социальных сетей.

На фоне этого возникает потребность в визуализации аналитической информации для более глубокого изучения интересов общества и его настроений.

Объектом исследования данной работы является выбор графического отображение аналитической информации, полученной на основе сообщений из социальных сетей.

Предметом исследования является апробация технологий визуализации данных, с целью лучшего запоминания аналитических данных и ускорение процесса принятия решений.

Целью данной работы является проектирование и реализация аналитического отчета на основе анализа сообщений, полученных из социальных сетей для оценки их динамики и повышения информативности о состоянии населения Ханты-мансийского края, его настроении, проблемах и отношениях.

Для достижения данной цели был поставлен ряд задач:

- Рассмотреть понятия «Визуализация данных» и «Инфографика», их предназначения и представления.

- Рассмотреть актуальные инструменты визуализации данных. Сравнить их и выбрать подходящее программное обеспечение с помощью магического квадранта Gartner [2].

- Проектирование формы отчета, обоснование выбора визуальных решений, используемых в отчете.

- Разработка аналитического отчета с помощью технологий визуализации.

Глава 1. Аналитическая часть

визуализация программная информация

Визуализация данных. Определение

В нaстоящее время концепция визуализации информации понимается, как средством усиления ментальных процессов человека. Зрительная системa человека способна быстро обрабатывать визуальные сигналы, а передовые информационные технологии превратили компьютеры и гаджеты в мощное средство управления цифровой информацией. Визуaлизация является связывающим зрительной системы человека и компьютера, помогая идентифицировать обрaзы, строить гипотезы и извлекать идеи из огромных массивов данных, что способствует научному исследованию и прогнозированию. Несмотря на то, что развитие компьютерного интерфейса aктивно началось в 1990-е гг., визуальные средства, облегчающие построение ментальных образов, имеют давнюю историю [3]. Примерaми визуализации могут служить географические карты, периодическая таблица Менделеева, статистические диаграммы фондовых рынков и другие.

Впервые термин «визуализация информации» был предложен в работе [4], чтобы описать представление абстрактной информации средствами визуального интерфейса.

Aвторы современных систем визуализации подчеркивают важность интерактивности и aнимации [4], механизма динамических запросов [5], различных алгоритмов отображения визуальной информации на плоскости экрана. Современные системы визуaлизации сосредоточены, в первую очередь на данных, порожденных деятельностью людей во Всемирной паутине [6, 7]: Интернет-трафик, блогосфера, взаимосвязи между людьми в социальных сетях, взаимосвязи между товарами в Интернет-магазинах, генерируемые вследствие деятельности покупaтелей, свободно создаваемые текстовые коллекции типа «Википедия» и другие.

Визуaлизация данных -- это мощный инструмент, позволяющий представлять сложную информацию интересным и доступным для понимания способом. Мозг человека синтезирует и запоминает визуальную информацию намного быстрее и лучше, чем какую-либо другую. Однако, если визуализация осуществлена неграмотно, эффект может оказаться обратным. Неправильное преподнесение информации может не только частично исказить сообщение, но и привести к абсолютно неверному пониманию. Визуaлизация данных позволяет проанализировать большие объемы информации и увидеть тенденции и взаимосвязи, скрытые ранее.

Специалисты выделяют три уровня визуaлизации:

1. Визуализация дaнных помогaет прочитать числовые значения -- переработка массивa дaнных в диаграммы, позволяющая увидеть взaимосвязи.

2. Визуaлизация информации соединяет различные фaкты в историю, и в какой-то степени уже предлaгает воспроизведение событий. Это и есть «инфогрaфика» в ее чистoм виде.

3. Визуaлизация знaний. Когда, например, предприниматель хочет донести миру идею своего инновационного бизнеса. Идея у него в голове и ему надо облачить ее не в форму слов, а изображение в схему или карту.

Грaфик - это чертёж, диaграмма на которой наглядно, при помощи линий и других грaфических элементов покaзаны какие-либо числовые дaнные.

Инфогрaфика - грaфический способ подачи информации, дaнных и знаний с помощью грaфиков, схем и т.д. Основная цель инфографики - быстрoе информирование пользователя, дополнение или наглядное подтверждение данных в статьях, работах, доклaдах и тд. Инфогрaфика преподносит обработанные, точные данные, визуализация которых быстро помогает своей aудитории воспринять информацию и запомнить ее.

Классификация методов визуализации и их применение

Существует несколько видов представления визуализации:

- Стaтичная - это визуализация без анимационных эффектов, предназначенная для публикации, как в Интернет изданиях, так и в печатных СМИ.

- Интерaктивная или динамическая - это визуализация, которая содержит анимацию и другие интерактивные элементы, например, многоуровневая нaвигация, упрaвляемые 3D oбъекты, интегрированные фото- и видеоматериалы, музыку и звук. При данном подходе реализуется оперативное взаимодействие пользователя с системой визуализации в целях прямой манипуляции изображенными объектами и выбора, какую информацию отображать, а кaкую -- нет. Такая визуализация может быть опубликована только в электронном виде. В работе [8] выделены семь типов взаимодействия с пользователем:

- обзор -- дает общее (обзорное) представление о всех объектах;

- масштабирование -- показывает информацию с возможностью увеличения;

- фильтрация -- фильтрует не интересующие пользователя данные;

- детали по требованию -- осуществляет выбор объектов или групп объектов и при необходимости отображает подробную информацию о них;

- отношения -- показывает взаимосвязи между объектами информации;

- история -- хранит информацию о действиях пользователя для обеспечения отмены или повтора действия;

- извлечение -- позволяет сделать выборку части коллекции по некоторым параметрам.

Нaбор инструментов визуализации достаточно велик - от простейших графиков до сложных отображений множества связей. Виды визуaлизации информaции:

Грaфики. Показывают взаимосвязь данных друг от друга. Строятся по осям абсцисс и ординат, могут быть трехмерными.

Линейный грaфик.

Наиболее распространен в использовании. Точки и наборы точек, которые соответствуют значениям оп осям, соединяются линиями. Может отражать сразу несколько наборов данных.

Рисунок 1. Линейный график

График рассеивания

Позволяет визуально распределить ограниченный набор точек, соответствующих своим осям.

Между точек принято рисовать выравнивающую кривую, которая наглядно показывает закономерности среди значений.

Рисунок 2. График рассеивания

Диаграммы сравнения. Отображают сравнение данных.

Столбиковая и линейчатая диаграмма.

Показывает один или несколько наборов данных, сравнивая их друг с другом. Есть два варианта отображения нескольких наборов: в виде нескольких стоящих рядом столбцов (но не слишком близко); в виде одного, но поделенного внутри, в соответствии с долями, значений.

Рисунок 3. Столбиковая диаграмма

Рисунок 4. Линейчатая диаграмма

Гистограмма.

Отображает распределение набора данных в выборке в виде столбцов.

Рисунок 5. Гистограмма

Круговая диаграмма.

Показывает доли процентов, занимаемые каждым значением внутри круга. Можно представить несколько наборов, тогда диаграммы наложены друг на друга. В таком случае, для наглядности, каждая диаграмма меньше другой.

Рисунок 6. Круговая диаграмма.

Пузырьковая диаграмма.

В этом случае соединен график с диаграммой, по двум осям расставлен набор точек, соответствующие показателям. При этом сами точки не соединены и имеют различную величину, которая задается третьим параметром.

Рисунок 7. Пузырьковая диаграмма

Кольцевая диаграмма.

Показывает процент от максимального количества, которое занимает одно из значений в наборе данных, в виде дробно закрашенного кольца. Часто используется сразу несколько таких диаграмм, сравнивающих разные значения.

Рисунок 8. Кольцевая диаграмма

Диаграмма разброса (span chart).

Отображает самую большую и маленькую величину значений внутри набора данных в виде разрезанной столбиковой диаграммы.

Рисунок 9. Диаграмма разброса

Лепестковая диаграмма.

Отображает сравнение величин нескольких значений, каждая из которых соответствует точке на оси. Количество осей соответствует количеству значений, а точки соединяются линями.



Рисунок 10. Лепестковая диаграмма

Облако тегов.

Отображает сравнение ключевых слов или фраз, тегов, которые содержатся в тексте (набора данных), задавая каждому разный кегль. Размер кегля зависит от числовой величины параметра.

Рисунок 11. Облако тегов

Тепловая диаграмма

Отображает сравнение значений внутри набора данных, закрашивая их цветами одного спектра. Основой является изображение или карта, на которой помещены значения. Цвет зависит от величины параметра и чаще всего отображается пятнами.

Рисунок 12. Тепловая диаграмма

Деревья и структурные диаграммы. Показывают структуру набора данных и Дерево (tree).

Отображает иерархию набора данных, в которой элементы являются родительскими или дочерними по отношению друг к другу. Выстраивается в виде соединенных линиями объектов. Объект обычно представляется в виду круга или пятиугольника.

Рисунок 13. Дерево

Ментальная карта (mind map)

Отображает состав и структуру явления или понятия в виде дерева, в котором каждый объект имеет один или несколько дочерних элементов. Это частный случай дерева, с той разницей, что ветви расходятся из узла, который находится в центре изображения.



Рисунок 14. Ментальная карта

Формализованные структурные диаграммы.

Отображают состав или структуру системы или ее части в виде карточек, которые описаны с разной степенью детализации и связаны друг с другом, как родительские и дочерние.

Отображается с помощью UML (Unified Modeling Language) или IDEFIX (Integration Definition for Information Modeling).

Рисунок 15. Формализованная структурная диаграмма

Диаграмма Венна-Эйлера (Venn/Euler diagram)

Показывает отношения между значениями набора данных в виде накладывающийся друг на друга кругов. Область, в которой пересекаются все круги, показывает общее между ними и обычно закрашивается в любой цвет.



Рисунок 16. Диаграмма Венна-Эйлера

Плоское дерево (tree map).

Отображают иерархию набора данных, в которой элементы являются родительскими или дочерними по отношению друг к другу. Показаны в виде набора вложенных прямоугольников, каждый из которых является веткой дерева, а находящиеся внутри него элементы -- ветвями. Прямоугольники отличаются по размеру в зависимости от параметра и имеют свой цвет, который задается другими параметрами.

Рисунок 17. Плоское дерево

Диаграммы визуализации процесса. Отображают процесс, состоящий из последовательности действий. Могут включать один или несколько сценариев развития событий.

Формализованная блок-схема (block diagram).

Показывает ключевые шаги, через которые проходит процесс, в виде связанных друг с другом стрелками блоков. Отображается в стандартизированном формате, где вид блока зависит от его роли в процессе.

Рисунок 18. Формализованная блок-схема

Неформализованная блок-схема (block diagram)

Отображает ключевые шаги, которые проходит процесс, в виде связанных друг с другом стрелками блоков. Представлен в свободной форме, когда шаги показаны произвольными фигурами, а стрелки могут быть двунаправленными или вообще не иметь направления. Блоки могут быть объединены в группы.

Рисунок 19. Неформализованная блок-схема

Диаграмма циклического процесса

Отображает основные этапы процесса, который включает в себя комплекс повторяющихся действий. Циклическая часть представлена в виде круга, который образует соединенные направлениями шаги. Начало и конец процесса -- входящей и исходящей из цикла стрелками.



Рисунок 20. Диаграмма циклического процесса

Диаграмма Сенки (Sankey diagram)

Отображает основные этапы процесса и интенсивность его протекания на каждом из этапов. Отображается без узлов, в виде соединяющихся и разветвляющихся линий разного размера (в зависимости от параметра). Имеет любое количество начальных и конечных точек, а значит и много сценариев развития.

Рисунок 21. Диаграмма Сенки

Матрицы. Сопоставляют между собой значения внутри набора данных в виде таблицы.

Таблица (matrix).

Отображает набор данных в виде заполненных его значениями ячеек таблицы, которые образуют собой столбцы и строки. Каждой строке и столбцу соответствует параметр, который определяет конкретную ячейку значения.

Временная шкала (timeline).

Отображает набор значений на горизонтальной оси, которая соответствует временному интервалу. Отрезки между значениями могут быть разного размера.

Диаграмма Ганта (Gantt diagram)

Отображает последовательность, длительность, а также время начала и завершения этапов и конкретных задач, крайне необходимых для выполнения проекта. Отображается в виде ступенек, каждая из которых соединена линиями. Длина лестницы зависит от времени, необходимого для выполнения задачи.

Рисунок 22. Диаграмма Ганта

Карты. Отображают значения, зависимые от географического или архитектурного объекта.

Географическая карта

Отображает схематично состав и расположение географических объектов.

Рисунок 23. Географическая карта

Фотографическая карта

Отображает географический объект в виде снимка с космического спутника или обычного самолета.

Дорожная карта

Отображает схематично трассы, магистрали, железные и другие дороги, наложенные на очертания географических объектов.

Тематическая карта.

Отображает множество объектов в виде маркеров на карте мира, страны или города. Чаще всего используются объекты человеческого производства: дом, магазин, памятник, объект инфраструктуры и т.д. на карте города; либо города на карте страны; либо страны на карте мира. За основу можно взять любую карту, зачастую пользуются географической, фотографической, дорожной или топографической картами.

Картограмма (cartogram).

Отображается в виде схематичной карты набор элементов, каждый из значений которого привязано к географическому объекту. При этом размер объекта зависит от величины значения.

Рисунок 24. Картограмма

Диаграммы связей. Отображает связи внутри набора данных -- как правило, достаточно большого.

Круговая диаграмма связей (network diagram, arc diagram)

Отображает связи внутри набора элементов данных в виде круга, на котором расположены значения. Значения связаны между собой дугами или линиями, которые находятся во внутренней области круга. При значительном количестве параметров они могут заполнять место внутри круга. Связи имеют направленность.

Рисунок 25. Круговая диаграмма связей

Линейная диаграмма связей

Отображает связи внутри набора элементов данных в виде линии, на которой расставлены значения. Значения связаны линиями, которые находятся сверху и снизу. Связи имеют направленность.

Рисунок 26. Линейная диаграмма связей

Связи на карте

Отображает взаимосвязь внутри набора элементов данных в виде Земли или географической карты, на которой расставлены объекты. Значения связаны выпуклыми линиями, если изображение трехмерное, или линиями, если карта плоская. Связи также могут иметь направление.



Рисунок 27. Связи на карте

В работе [8] сформулирован обобщающий принцип проектирования интерактивных систем визуализации в виде «мантры» визуального поиска информации:

Примеров, типов и подходов к самой типизации существует гораздо больше, но я постаралась перечислить наиболее часто используемые и востребованные инструменты. Кроме того, часто встречаются комбинации сразу нескольких типов визуализации данных.

2.Процесс создания визуализации

Основной принцип построения визуализации. Под основным принципом построения визуализации информации понимается «эталонная модель визуализации», изложенная в работе [3]. Модель заключается в преобразовании необработанных данных в таблицы данных, далее в визуальные структуры и уже потом в визуальное представление.

Преобразование данных. Необработанные данные могут быть любого формата: электронные таблицы или просто неструктурированные данные. Такие данные необходимо преобразовать в набор объектов и отношений, которые являются более структурированными и пригодными к отображению в визуальном формате.

Визуальное отображение. Обработанные данные необходимо отобразить в визуальные структуры. Важно правильно выбрать визуальную структуру, в которой будут отражены все данные. Такие структуры хорошо запоминаются и могут быть легко интерпретированы человеком без ошибочно. Необходимо оперировать цветом и размером объектов, при этом быть максимально осторожным, так как излишние эффекты могут перегрузить или ввести пользователя в заблуждение.

Для правильного выбора типа графика необходимо изучить сами данные, понять цель и конечного пользователя - кому же эти данные необходимо представить. Если данных нет, в наше время -- это не проблема. Существует огромное множество открытых ресурсов, размещающих в открытом доступе очень интересные наборы данных.

Главное - сформулировать цель. Когда есть четко сформулированная цель (идея), которую необходимо донести до аудитории, процесс выбора графика становится достаточно простым и его можно поделить на три этапа:

Цель - Идея - Сравнение - График

1. Идея.

Без идеи невозможно выбрать тип графика. Или же автор сделает ошибки. Выбор правильного вида визуализации зависит от четкого понимания данных и идеи, которую необходимо и хочется донести пользователю. Тип диаграммы определяют не параметры и совсем не рубли, числа или проценты, ее определяет идея.

Составление хороших диаграмм не только помогает донести до аудитории свои мысли, но и самому глубже понять проблему и разобраться в процессе.

Рисунок 28. Отображение идеи в названии графика

Чтобы с уверенностью донести свою идею пользователю и оправдать свои ожидания. Необходимо внести суть графика в его названии (заголовке). Возможно даже задать вопрос, ответ на который и будет построенным графиком.

Зачастую заголовки указывают какие данные содержаться в диаграмме, но не объясняют их важность. Что именно происходит с объектом продаж, логистической структурой предприятия или соотношением заработной платы и качестве работы. Не стоит хранить эту информацию в секрете, нужно использовать ее и идею в качестве заголовка к диаграммам и графикам. Таким способом автор помогает читателю правильно понять идею и приобрести уверенность в том, что он концентрирует свое внимание именно на том аспекте представленных данных, который особенно важен.

2. Сравнение.

Поняв, какой вид визуализации необходимо использовать, можно определить вид сравнения. Или же сначала определяют вид сравнения компонентов, а уже потом определяют вид визуализации. Этот второй этап и есть связующее звено между идеей и готовым графиком.

Рисунок 29. Виды сравнения

Любой аспект количественных данных может быть представлен одним из пяти типов сравнения:

- Покомпонентное. При покомпонентом сравнении прежде всего необходимо показать размер каждого компонента в процентах от некоторого целого. Ключевые слова «доля», «проценты от», «составило х%».

- Позиционное. При позиционном сравнении необходимо выявить, как объекты соотносятся друг с другом - больше, меньше или одинаковы. Ключевые слова позиционного сравнения - «больше чем», «меньше чем», «равно».

- Временное. Этот вид сравнения один из наиболее распространённых и древних. В данном случае интересует не размер каждой доли в сравнении с целым и не соотношение долей, а то, как они меняются во времени - что происходит с определёнными показателями на протяжении дней, месяцев, лет - возрастают ли они, уменьшаются, колеблются или остаются неизменными. Ключевые слова: «изменяться», «расти», «убывать», «возрастать», «снижаться», «колебаться».

- Частотное. Частотное сравнение определяет сколько объектов попадает в определённые последовательные области числовых значений.

- Корреляционное. Корреляционное сравнение показывает наличие или отсутствие зависимости между двумя переменными. Это самый интересный тип сравнения, поскольку позволяет находить закономерности и доказательства. Если в формулировке вашей идеи есть слова «относится к», «возрастает при», «снижается в случае», «меняется при», «не меняется при», «связь между», то это указывает на корреляционный метод сравнения.

3. График.

При выборе типа графика, наиболее подходящего к имеющимся данным, нужно учитывать три фактора: соответствие контексту, в котором будет находиться график, -- образование и культурный уровень потенциальных читателей.

Различные типы графиков приспособлены для иллюстрации различных типов сравнения данных.

Приведенная матрица иллюстрирует данный тезис. По вертикали обозначены пять основных типов диаграмм, по горизонтали - пять типов сравнения.

Рисунок 30. Матрица типов диаграмм и сравнения

Покомпонентное сравнение данных лучше всего демонстрируется при помощи круговой диаграммы. Поскольку круг создает прекрасное впечатление целого, круговая диаграмма идеально подходит для выполнения единственной цели покомпонентного сравнения - показать каждую долю, как определенный процент от целого (например, доли продаж каждой компании в отрасли).

Для построения большинства круговых диаграмм лучше использовать не более шести компонентов. Если необходимо отобразить большее число компонентов, нужно выбрать из них пять наиболее важных, а остальные сгруппировать в графу «прочее».

Поскольку человеческий глаз движется по часовой стрелке, наиболее важный компонент следует располагать на линии 12 часов, а для усиления эффекта лучше использовать наиболее контрастный оттенок. Если нет необходимости выделять главный компонент, нужно расставить все от самого большого к малому.

3.Постановка задачи

Задачи анализа, прогнозирования и управления могут быть разными, в первую очередь, в зависимости от того, кто ставит задачу, т.е. кто является конечным потребителем аналитической отчета. Можно выделить следующие типы конечных пользователей, заинтересованных в анализе, прогнозировании и управлении на основе данных, полученных из социальных сетей:

1. Органы государственной власти и местного самоуправления.

2. Предприятия государственного и частного сектора экономики, в том числе:

- Коммерческие организации (в первую очередь, «брендовые»).

- Исследовательские организации.

- Средства массовой информации.

- Силовые структуры.

3. Общество, в том числе:

- Политические партии.

- Отдельные физические лица.

Конечным пользователем в нашем случае являются органы государственной власти Ханты-Мансийского округа.

Администрация региона - это ключевой механизм, через который реализуется управленческая и бюджетная политика субъекта Российской Федерации. Через администрацию осуществляются большинство ключевых и важных для региона решений. Данные факторы определяют администрацию как системно значимое функциональное подразделение в Российской Федерации. Одной из функциональных задач администрации является осуществление регулирования, оперативного управления, мониторинга, сопровождения и контроль за функционированием общественной жизнедеятельности. Один из вариантов решения этой задачи - это использование аналитических систем.

Наша система должна автоматизировать процесс подготовки отчета о волнующих и наиболее обсуждаемых темах населения ХМАО.

Аналитический отчет должен помогать пользователю принимать решение при решении следующих задач:

- Комплексная оценка настроений среди населения (анализ мнений пользователей).

- Выявление общественно значимых событий, а также оценка их динамики (выявление негативной волны обсуждений).

- Управление информационными потоками в социальной сети.

- Исследование общества (анализ демографических показателей).

- Поддержание связей с населением (обратная связь).

- Повышение информированности пользователей о деятельности государственной власти.

- Повышение репутации государственной власти и продвижение новостей.

- Прогнозирование результата своих действий.

Структура отчета:

1. Количество зарегистрированных пользователей по городам ХМАО.

2. Количество зарегистрированных мужчин и женщин.

3. Наиболее коррумпированные социальные отрасли.

4. Отношение населения к медицине.

5. Рейтинг ВУЗов ХМАО.

6. Качество дорог ХМАО.

7. Динамика обсуждений губернатора ХМАО.

Процесс подготовки аналитического отчета состоит из следующих этапов (рисунок):

1. Сбор данных из сети Интернет. Поиск по заданным параметрам и сохранение текстовых сообщений пользователей из социальной сети Вконтакте. Осуществляется с помощью системы собственной разработки компании ЗАО «ЕС-лизинг».

2. Анализ данных. Выделение полезного из собранных сообщений в CSV-файлы. Осуществляется с помощью контент аналитики (IBM Watson Content Analytics).

3. Визуализация данных. Построение графиков в программе Tableau на основе CSV-файлов.

4. Компоновка отчета. Компоновка созданных графиков и статичной информации в виде аналитического отчета.

Рисунок 31.Процесс подготовки аналитического отчета

4.Обзор программного обеспечения

Инструменты для анализа данных

Для полнотекстового поиска и анализа сообщений из социальных сетей, а также последующего формирования выборки, использовался продукт компании IBM - «IBM Watson Content Analytics». Собраны данные из открытых источников и загружены в IBM Watson Content Analytics, посредством импорта CSV-файлов. Так же были определены основные и дополнительные атрибуты для формирования выборки.

IBM Watson Content Analytics - инструмент, предназначенный для сбора и анализа структурированной и неструктурированной информации в документах, электронной почте, базах данных, на Web-сайтах и других источниках данных, основная цель которого - выявление фактов и закономерностей на основе анализа контента. Анализ таких закономерностей позволяет принимать обоснованные решения, быстро выявлять информацию о трендах, шаблонах и взаимосвязях, позволяющую проводить более качественный бизнес-анализ и улучшить управление делопроизводством. К функциям относится просмотр и импорт содержимого, осуществление синтаксического разбора и анализа содержимого. IBM Watson Content Analytics помогает анализировать текст во всех данных и делать эти данные доступными для анализа и выработки оптимальных решений. Платформа позволяет в интерактивном режиме исследовать данные из разных срезов (фасетов) и находить взаимосвязи между различными значениями в срезах и аномалии значений. Удобный интерфейс обеспечивает быстрое получение нужных документов из ранжированного списка результатов, путем выполнения запросов к индексу.

Инструменты для визуализации данных

Инструментов для визуализации данных существует большое множество. Среди них есть более простые и более сложные, интерактивные и устанавливаемые на компьютер, более совершенные и находящиеся на ранних стадиях разработки. У всех есть свои плюсы и минусы, специализация и спектр возможностей.

Чтобы выбрать оптимальную программу для выполнения поставленных, было проведено исследование самых популярных программ для визуализации данных. В выборе программы так же помогли исследования Gartner.

Gartner -- исследовательская и консалтинговая компания, специализирующаяся на рынках информационных технологий. Наиболее известна введением в употребление таких терминов, как: ERP, магический квадрант, цикл зрелости технологий, а также регулярными исследованиями рынков информационных технологий и аппаратного обеспечения.

Для оценки поставщиков какого-либо сегмента рынка информационных технологий, исследователи Gartner используют две линейные прогрессивные экспертные шкалы:

- Полнота видения (англ. completeness of vision).

- Способность реализации (англ. ability to execute).

Каждый производитель, попавший в рамки рассмотрения исследуемого сегмента рынка, оценивается по этим двум критериям. Полнота видения откладывается на оси абсцисс, а способность реализации -- на оси ординат. Таким образом, каждый производитель оказывается в одном из четырёх квадрантов плоскости, которые называются:

- Лидеры (англ. leaders) -- поставщики с положительными оценками как по полноте видения, так и по способности реализации.

- Претенденты (англ. сhallengers) -- поставщики с положительными оценками только по способности реализации.

- Провидцы (англ. visionaries) -- поставщики с положительными оценками только по полноте видения.

- Нишевые игроки (англ. niche players) -- поставщики с отрицательными оценками по обоим критериям.

Аналитики Gartner называют магическим квадрантом (магический квадрат) конкретный анализ какого-либо сегмента рынка, с распределением производителей по указанным четвертям; ежегодно компания выпускает несколько десятков магических квадрантов на регулярной основе.

Поставщики иногда отмечают даже сам факт попадания в какой-либо магический квадрант отдельным событием, как признание рыночных достижений, даже если компания не попала в квадрант лидеров [2].

Рисунок 32.Магический квадрант для BI и аналитических платформ

Детально были рассмотрены следующие разработчики:

1. IBM Cognos Business Intelligence

Превращает данные в представления операций и производительности организации за прошлый, настоящий и будущий периоды времени, что позволяет управленцам извлекать прибыль из возможностей и минимизировать риски. Эти представления можно использовать для понимания быстрых и отдаленных последствий решений, затрагивающих сложные взаимосвязанные факторы. Согласованные моментальные копии с данными об эффективности бизнеса представляются в аналитических отчетах корпоративного класса и независимо составленных сводных панелях, основанных на надежной информации. Благодаря этому пользователи, не являющиеся техническим персоналом, пользователи бизнес-аналитики, а также ИТ, могут быстро отвечать на изменяющиеся бизнес-потребности.

Сильные стороны:

- IBM Cognos обладает мощным математическим инструментарием и высокой производительностью, решение позволяет оперативно решать задачи бюджетного процесса и работать с большим объемом данных.

Предостережения:

- IBM Cognos рассчитан на представителей среднего и крупного бизнеса с достаточно сложным бюджетным процессом, в котором участвует более 25-30 пользователей.

2. Tableau

Tableau обладает самыми высокими показателя по шкале способности реализации, благодаря успешной компании "land and expand" стратегии. Многие аналитики Gartner стали находить возможности Tableau применимыми для больших организаций и адаптивными к их стратегиям. Некоторые эксперты утверждают, что быстрый рост компании может привести к проблемам, когда компания перестанет справляться со своими обязанностями перед крупными клиентами. Tableau отчетливо занял свое место на рынке BI с акцентом на «помочь людям увидеть и понять свои данные».

Сильные стороны:

- Скорость. Скорость внедрения, скорость обучения, скорость получения отчета, скорость ответа на вопрос к данным, в итоге скорость получения результата. Минуты и секунды, вместо недель и месяцев.

- Простота. Пользователь не думает об инструменте, а думает о своих данных, о задаче которая перед ним стоит. Просто действуете.

- Самообслуживание. Не нужно теперь зависеть от ИТ-поддержки, не нужно разрабатывать технические задания, не нужно копипастить в Excel.

- Визуализация. В арсенале лучшие практики визуализации информации. Автоматическое геокодирование, умелые подсказки - как лучше смотреть на данные, специально разработанные цветовые схемы, позволяющие лучше отразить информацию. Карты - одна из наиболее сильных сторон.

- Технические возможности. Технология, разработанная Tableau Software, позволяет подключаться к широкому спектру различных источников данных. Способность подключаться в режиме «живое подключение» дает существенные преимущества - нет дублирования данных в собственном формате, нет высоких требований к оборудованию, высокая производительность на Big Data. Способность также сохранения данных в собственном формате .tde обеспечивает значительное улучшение производительности для медленных источников данных.

Предостережения:

- Ограниченный функционал. Tableau обладает ограниченной линейкой продукции для изучения данных. Зачастую крупные организации предпочитают покупать полный пакет программного обеспечения от одного вендора.

- Параметры. Невозможно использовать динамические параметры, формулы для расчета значений, динамически названия формул, изменять значение одного параметра при смене другого и тд. Это лишает возможности создания сложных IT отчетов, информационные панели (дашборды), традиционный анализ, управление метаданными, разработка и интеграция и платформы бизнес-администрирования представляют слабые возможности, что делает Tableau неподходящим для централизованного и встроенного использования.

- Обрабатывает только готовые для аналитики данные.

4. Описание входных данных

С помощью системы IBM Watson Content Analytics были определенны основные и общие атрибуты текстовых сообщений:

1. Источник информации.

2. Дата публикации сообщения.

3. Автор сообщения.

4. Заголовок сообщения, определяющий тематику.

5. Текст сообщения.

В качестве дополнительных, необязательных следует выделить следующие атрибуты:

1. Эмоциональная окраска сообщения.

2. Географическая привязка или местоположение автора при публикации сообщения.

3. Количество сообщений, относящихся к следующим темам:

- Коррупция.

- Медицина.

- Образование.

- Качество дорог.

- Правоохранительные органы.

- Государственный аппарат.

Запросы, по которым была осуществлена выборка указаны в Приложении.

5.Выбор способа визуализации показателей

Количество зарегистрированных пользователей по городам ХМАО

Наименование диаграммы «Количество зарегистрированных пользователей по городам ХМАО» указывает на то, что это сравнение позиционное, так как необходимо донести до пользователя не столько цифры, сколько лидирующие позиции, а именно в каком городе ХМАО больше всего пользователей зарегистрировано в социальной сети Вконтакте.

Для визуального представления позиционного сравнения отвечает круговая и линейчатая диаграмма.

Рисунок 33.Круговая диаграмма «Количество зарегистрированных пользователей по городам ХМАО»

Рисунок 34.Линейчатая диаграмма «Количество зарегистрированных пользователей по городам ХМАО»

На обеих диаграмма сразу бросается в глаза лидирующая позиция города Сургута (168 554 зарегистрированных пользователей), далее Нижневартовска и Нефтеюганска. Однако, на круговой диаграмме сложно определить хотя бы примерное количество зарегистрированных пользователей и позиции других городов.

Нa линейчатой диаграмме ясно определены позиции городов по отношению друг к другу (позиционное сравнение). По вертикали располагается не шкaла, а обозначения сравниваемых элементов - гoродов. Покaзатели по сгруппированы по возрастанию/убыванию, так как гoрод с нaибольшим количество зарегистрированных пользователей сильно выделяется от своих соседей.

Таким образом более подходящим видом диаграммы былa выбрала линейчатая. В следующем графике необходимо отобразить всего две величины: количество зарегистрированных мужчин и количество зарегистрированных по ХМАО. Здесь сравнения является покомпонентным, а не позиционным, так как позиций всего две.

Для визуaлизации покомпонентного сравнения используют круговые диаграммы и иногда столбиковые.

Рисунок 35.Круговая диаграмма «Процентное соотношение зарегистрированных мужчин и женщин в ХМАО»



Рисунок 36.Столбиковая диаграмма «Процентное соотношение зарегистрированных мужчин и женщин в ХМАО»

По обеим диаграммам видно, что количество зарегистрированных мужчин и женщин почти одинаковое, но мужчин больше. На сколько больше по столбиковой диаграмме сказать сложно, а вот на круговой это сразу видно. Поэтому в состав аналитического отчета будет добавлена круговая диаграмма. Однако, круговая диагрфмма наименее практичный инструмент из других типов диаграмм. К тому же они чаще всего используются не по назначению и с ошибками. Покомпонентное сравнение показывает лишь доли, поэтому дфнный тип диаграммы будет использован в дфнной работе один раз. Не всегда табличное представление данных дает точные ответы, ведь для поиска нужного значения уходит много времени. Если значений большое множество, необходимо использовать диаграммы, как единственный или дополняющий модуль. Для наглядности, пример:

Рисунок 37. Табличное представление данных



Рисунок 38.Табличное представление данных с цветовым эффектом

Чтобы найти наибольшее значение в левой таблице понадобиться несколько секунд. В таблице справа нужное значение находится быстро, благодаря цветовым эффектам, однако, если появится вопрос относительно других значений, цвет уже не помогает. Поэтому табличное представление данных подходит крайне редко, когда ответы нужно получить быстро.

Для того, чтобы показать самую коррумпированную отрасль по мнению населения ХМАО, была выбрана столбиковая диаграммой и плоское дерево.

Некоторые специалисты советуют не использовать столбиковые диаграммы, а отдавать предпочтение линейным. Конечно столбиковая диаграмма не является ошибочной, но применяя ее есть риск путаницы между позиционным и временным сравнением. К тому же часто сравниваемые элементы имеют довольно длинные наименования (регионы, отрасли, наименования компаний и тд.). Я не побоялась этих рисков, так как наименования у меня являются недлинными ключевыми словами выборки сообщений, их немного.

Рисунок 39.Столбиковая диаграмма «Самая коррумпированная отрасль»

Иногда неплохо использовать шкалу и одну цифру, на которой необходимо сделать акцент. Сочетание шкалы и нескольких цифр излишне и создает помехи, как в линейчатых диаграммах, так и в гистограмма и графиках.

Рисунок 40.Диаграмма плоское дерево «Самая коррумпированная отрасль»

На плоском дереве хорошо воспринимаются отрасли с высокими значениями. Однако, такая диаграмма занимает слишком много места. Она хороша, когда показателей слишком много для отображения на столбиковой диаграмме.

Поэтому в состав отчета войдет столбиковая диаграмма.

Отношение населения к медицине

Имеются данные об отношении жителей ХМАО к медицине, а именно количестве сообщений с негативным и позитивным окрасом на протяжении 2014 года за каждый месяц.

Если покомпонентное и позиционное сравнение показывают взаимосвязи в определенный момент времени, то временное сравнение отражает динамику изменений. Данный тип сравнения лучше всего иллюстрировать при помощи гистограмм. На рисунке показана совмещенная гистограмма - содержит две гистограммы.



Рисунок 41. Совмещенная гистограмма «Отношение населения ХМАО к медицине»

На рисунке также отображена совмещенный график - содержит гистограмму и столбиковую диаграмму. Такая совмещенная гистограмма хорошо отражает плановые и фактические значения. Глядя на этот график создается впечатление, что негативные показатели акцентируют на себе больше внимания, что является хорошей функцией, но лишней в данном случае.

Рисунок 42.Совмещенный график «Отношение населения ХМАО к медицине»

Если бы значений было семь или восемь, я бы склонилась к использованию гистограммы. Для демонстрации большего количества значений необходимо использовать график. Выбирая между гистограммой и графиком, можно также руководствоваться характером имеющихся данных. С помощью гистограммы лучше отражать точные значения параметра в определенные моменты времени. К этой категории относятся, например, данные по объемам продаж. Графики больше подходят для отражения тенденции на протяжении некоторого непрерывного периода. Совмещенный график показывает сравнение двух и более параметров.

Из всех типов диаграмм, график используется наиболее часто, к этому все привыкли еще со школьных уроков по математике. Во-первых, его легче нарисовать, во-вторых, это самый компактный тип диаграмм. На графике наиболее наглядным образом можно показать, что значение определенного параметра растет, уменьшается, изменяется или остается стабильным.

Рейтинг ВУЗов ХМАО

Так как жителей ХМАО значительно волнует тема образования, а рейтинг местных высших учебных заведений найти на открытых Интернет-ресурсах было затруднительно, я попробовала составить данный рейтинг самостоятельно, обладая информацией о количестве пользователей, указавших место обучения, и возраст которых составляет 16-18 лет (средний возраст абитуриента или студента 1го курса) на 2014 год.

Для отображения рейтинга ВУЗов (позиционное сравнение) использовалась линейчатая и пузырьковая диаграмма.

Рисунок 43.Линейная диаграмма «Рейтинг ВУЗов с наибольшим количеством поступивших в 2014 году»



Рисунок 44.Пузырьковая диаграмма «Рейтинг ВУЗов с наибольшим количеством поступивших в 2014 году»

Компоненты пузырьковой диаграммы слишком большие, а наименования ВУЗов слишком длинные, поэтому размер кегля недостаточный для нормального прочтения. Поэтому в аналитический отчет будет добавлена линейчатая диаграмма, которая прекрасно отображает рейтинг учебных заведений и их наименования полностью видны.

Качество дорог ХМАО

Зная количество сообщений пользователей, касающихся дорог и имеющих негативный окрас, данные были отображены на карте ХМАО, где видно, что наиболее недовольные города - Сургут и Нижневартовск. Это можно понять по размеру окружностей - чем больше окружность, тем больше негативных сообщений.

Однако, для наглядности и более глубокой работы с картой не хватает таких дополняющих объектов, как легенда, количество сообщений возле каждого города или отображение наименования города (добавление на карту и того и другого будет избыточно). Необходимо учесть эти замечание при компоновке отчета.



Рисунок 45.Карта «Качество дорог»

Качество дороги Сургут-Нижневартовск

В подсознании человека давно сформировалось правило «зеленый-хорошо», «красный-плохо». Примеров этому большое множество: светофор на дороге или программа Яндекс-пробки, где зеленым цветом обозначаются дороги без пробок, а красным наоборот загруженность. Это же правило применилось для визуализации качества дороги Сургут-Нижневартовск. На основе данных о количестве сообщений, несущих негативный окрас и собранных по городам, непосредственно прилегающих к дороге Сургут-Нижневартовск, построен маршрут, где цветами обозначены плохие и хорошие участки дороги.

Рисунок 46. Дорожный маршрут Сургут-Нижневартовск

Динамика обсуждений губернатора ХМАО

Попробуем проанализировать отношение населения к деятельности губернатора Ханты-Мансийского Автономного Округа - Натальи Комаровой, отобразив тенденцию разговорной активности пользователей Вконтакте.

Для отображения тенденции лучше всего подходит гистограмма.

Рисунок 47. Гистограмма «Динамика обсуждений губернатора Ханты-Мансийского Автономного Округа - Натальи Комаровой»

По гистограмме, отображенной на рисунке видно, что основные обсуждения приходят на май 2014 года.

6.Построение отчета в Tableau

Загрузка данных

С помощью системы IBM Watson Content Analytics была осуществлена выборка 12 843 853 сообщений пользователей из социальной сети «Вконтакте». Данные были выгружены в .csv формате.

В таблице 1 представлены наименования графиков и используемые для их построения атрибуты.

Таблица 1.

Направление	Наименование графика	Способ визуализации	Необходимые атрибуты
Общее	Количество зарегистрированных пользователей по городам ХМАО.	Линейчатая диаграмма	- Города - Количество пользователей
Общее	Количество зарегистрированных мужчин и женщин.	Круговая диаграмма	- Количество зарегистрированных мужчин - Количество зарегистрированных женщин
Коррупция	Наиболее коррумпированные социальные отрасли.	Столбиковая диаграмма	- Коррупция - Количество сообщений
Медицина	Отношение населения к медицине.	Совмещенная гистограмма	- Дата - Негатив - Позитив
Образование	Рейтинг ВУЗов ХМАО.	Линейчатая диаграмма	- ВУЗ - Количество зарегистрированных
Дороги	Качество дорог ХМАО.	Карта	- Город - Индекс - Широта - Долгота - Количество сообщений
Дороги	Качество дороги Сургут - Нижневартовск	Карта	- Координаты дороги - Количество негативных сообщений по городам
Политика	Динамика обсуждений губернатора ХМАО.	Гистограмма	- Дата - Количество сообщений

Tableau позволяет загрузить сразу excel файлы, текстовые и другие. Так же возможно сразу открыть набор загруженных источников данных и графиков, с которыми я работала ранее (при условии, что они были сохранены).

Рисунок 48. Загрузка данных

Подготовка данных для построения графиков

Сразу после загрузки данных программа предлагает пользователю ознакомиться с данными, указать формат, добавить или удалить столбцы, а также переименовать заголовки.

Рисунок 49. Работа с загруженными данными

Указание формата является очень важным шагом перед началом построения диаграмм. Например, если не указать географический формат, то отобразить значения на карте не получится.

...