Моделирование OLAP куба: загрузка данных в гиперкуб
В исследовании рассматривается первый этап моделирования OLAP куба, а именно загрузка данных в гиперкуб. Подробно на примерах описываются все шаги для построения срезов гиперкуба. Также описан механизм объединения элементов разных таблиц между собой.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | статья |
| Язык | русский |
| Дата добавления | 08.12.2024 |
| Размер файла | 782,4 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Моделирование OLAP куба: загрузка данных в гиперкуб
Азарян Магдалина Андраниковна, Насырова Бахтыгуль Халитовна, Казарян Джемма Манвеловна, Таволжанова Олеся Андреевна
Аннотация
В статье рассматривается первый этап моделирования OLAP куба, а именно загрузка данных в гиперкуб. Подробно на примерах описываются все шаги для построения срезов гиперкуба. Также описан механизм объединения элементов разных таблиц между собой.
Ключевые слова: OLAP куб, реляционные базы данных, гиперкуб, преагрегирование данных, факты, измерения.
Annotation
The article deals with the first stage of modeling an OLAP cube, namely, loading data into a hypercube. All the steps for constructing hypercube slices are described in detail with examples. The mechanism for combining elements of different tables with each other is also described.
Key words: OLAP cube, relational databases, hypercube, data preaggregation, facts, dimensions.
При моделировании OLAP куба первым этапом работы системы будет загрузка данных и преобразование их во внутренний формат. Для OLAP системы колонки таблицы могут быть либо фактами, либо измерениями [3]. При этом логика работы с этими колонками будет разная. В гиперкубе измерения фактически являются осями, а значения измерений - координатами на этих осях. При этом куб будет заполнен сильно неравномерно - будут сочетания координат, которым не будут соответствовать никакие записи и будут сочетания, которым соответствует несколько записей в исходной таблице, причем первая ситуация встречается чаще, то есть куб будет похож на вселенную - пустое пространство, в отдельных местах которого встречаются скопления точек (фактов). Таким образом, если мы при начальной загрузке данных произведем преагрегирование данных, то есть объединим записи, которые имеют одинаковые значения измерений, рассчитав при этом предварительные агрегированные значения фактов, то в дальнейшем нам придется работать с меньшим количеством записей, что повысит скорость работы и уменьшит требования к объему оперативной памяти [4].
Для построения срезов гиперкуба нам необходимы следующие возможности - определение координат (фактически значения измерений) для записей таблицы, а также определение записей, имеющих конкретные координаты (значения измерений) [1]. Рассмотрим каким образом можно реализовать эти возможности.
Для хранения гиперкуба проще всего использовать базу данных своего внутреннего формата. Схематически преобразования можно представить следующим образом:
То есть вместо одной таблицы мы получили нормализованную базу данных. Вообще-то нормализация снижает скорость работы системы, могут сказать специалисты по базам данных, и в этом они будут безусловно правы, в случае, когда нам надо получить значения для элементов.
Рисунок 1. Преобразование данных плоской таблицы к внутреннему представлению
моделирование olap куб
Но все дело в том, что нам эти значения на этапе построения среза вообще не нужны. Как уже было сказано выше, нас интересуют только координаты в нашем гиперкубе, поэтому определим координаты для значений измерений. Самым простым будет перенумеровать значения элементов. Для того, чтобы в пределах одного измерения нумерация была однозначной, предварительно отсортируем списки значений измерений в алфавитном порядке. Кроме того, перенумеруем и факты, причем факты преагрегированные. Получим следующую схему:
Теперь осталось только связать элементы разных таблиц между собой. В теории реляционных баз данных это осуществляется при помощи специальных промежуточных таблиц [2]. Нам достаточно каждой записи в таблицах измерений поставить в соответствие список, элементами которого будут номера фактов, при формировании которых использовались эти измерения (то есть определить все факты, имеющие одинаковое значение координаты, описываемой этим измерением). Для фактов соответственно каждой записи поставим в соответствие значения координат, по которым она расположена в гиперкубе. В дальнейшем везде под координатами записи в гиперкубе будут пониматься номера соответствующих записей в таблицах значений измерений. Тогда для нашего гипотетического примера получим следующий набор, определяющий внутреннее представление гиперкуба:
Рисунок 2. Проиндексированные данные измерений и фактов
Рисунок 3. Внутреннее представление гиперкуба
Такое будет у нас внутреннее представление гиперкуба. Так как мы делаем его не для реляционной базы данных, то в качестве полей связи значений измерений используются просто поля переменной длины (в РБД такое сделать мы бы не смогли, так как там количество колонок таблицы определено заранее).
Использованные источники:
1. Илюшечкин В.М., Основы использования и проектирования баз данных / В.М. Илюшечкин. - Москва.: Высшее образование, 2011. - 213 с.
2. Цыганов А.А., Управление данными / А.А. Цыганов, А.В. Кузовкин, Б.А. Щукин. - Москва.: Academia (Академпресс), 2010. - 256 с.
3. Многомерная модель [Электронный ресурс]. - Режим доступа: https://spravochnick.ru/bazy_dannyh/dorelyacionnye_modeli_dannyh/mnogomern aya_model/ (дата обращения 23.01.2022).
4. Словарь по OLAP [Электронный ресурс]. - Режим доступа: https://www.cfin.ru/itm/olap/glossary.shtml (дата обращения 30.11.2019) (дата обращения 15.01.2022).
Размещено на Allbest.ru
...Подобные документы
Построение систем анализа данных. Построение алгоритмов проектирования OLAP-куба и создание запросов к построенной сводной таблице. OLAP-технология многомерного анализа данных. Обеспечение пользователей информацией для принятия управленческих решений.
курсовая работа [1,3 M], добавлен 19.09.2008Основа концепции OLAP (On-Line Analytical Processing) – оперативной аналитической обработки данных, особенности ее использования на клиенте и на сервере. Общие характеристика основных требования к OLAP-системам, а также способов хранения данных в них.
реферат [24,3 K], добавлен 12.10.2010OLAP: общая характеристика, предназначение, цели, задачи. Классификация OLAP-продуктов. Принципы построения OLAP системы, библиотека компонентов CubeBase. Зависимость производительности клиентских и серверных OLAP-средств от увеличения объема данных.
курсовая работа [113,6 K], добавлен 25.12.2013Сущность OnLine Analytical Processing (OLAP). Классификация OLAP-продуктов по способу хранения данных и месту нахождения OLAP-машины. Создание приложения с помощью клиентского инструментального средства. Принципы построения ядра системы анализа данных.
курсовая работа [275,8 K], добавлен 19.07.2012Рассмотрение OLAP-средств: классификация витрин и хранилищ информации, понятие куба данных. Архитектура системы поддержки принятия решений. Программная реализация системы "Abitura". Создание Web-отчета с использованием технологий Reporting Services.
курсовая работа [2,7 M], добавлен 05.12.2012Вечное хранение данных. Сущность и значение средства OLAP (On-line Analytical Processing). Базы и хранилища данных, их характеристика. Структура, архитектура хранения данных, их поставщики. Несколько советов по повышению производительности OLAP-кубов.
контрольная работа [579,2 K], добавлен 23.10.2010Основные сведения об OLAP. Оперативная аналитическая обработка данных. Классификация продуктов OLAP. Требования к средствам оперативной аналитической обработки. Использование многомерных БД в системах оперативной аналитической обработки, их достоинства.
курсовая работа [67,5 K], добавлен 10.06.2011Построение схемы хранилища данных торгового предприятия. Описания схем отношений хранилища. Отображение информации о товаре. Создание OLAP-куба для дальнейшего анализа информации. Разработка запросов, позволяющих оценить эффективность работы супермаркета.
контрольная работа [1,9 M], добавлен 19.12.2015Разработка подсистем анализа веб-сайта с помощью Microsoft Access и Olap-технологий. Теоретические аспекты разработки подсистемы анализа данных в информационной системе музыкального портала. Olap-технологии в подсистеме анализа объекта исследования.
курсовая работа [864,8 K], добавлен 06.11.2009Понимание хранилища данных, его ключевые особенности. Основные типы хранилищ данных. Главные неудобства размерного подхода. Обработка информации, аналитическая обработка и добыча данных. Интерактивная аналитическая обработка данных в реальном времени.
реферат [849,7 K], добавлен 16.12.2016Архитектура и технология функционирования системы. Извлечение, преобразование и загрузка данных. Oracle Database для реализации хранилища данных. Создание структуры хранилища. Механизм работы системы с точки зрения пользователя и с точки зрения платформы.
курсовая работа [2,2 M], добавлен 22.02.2013Иерархические, сетевые и реляционные модели данных. Различия между OLTP и OLAP системами. Обзор существующих систем управления базами данных. Основные приемы работы с MS Access. Система защиты базы данных, иерархия объектов. Язык программирования SQL.
курс лекций [1,3 M], добавлен 16.12.2010Хранение и обработка данных. Компоненты системы баз данных. Физическая структура данных. Создание таблиц в MS Access. Загрузка данных, запросы к базе данных. Разработка информационной системы с применением системы управления базами данных MS Access.
курсовая работа [694,0 K], добавлен 17.12.2016Понятие информационной и автоматизированной системы. Жизненный цикл базы данных: этап начальной разработки, проектирование, реализация и загрузка, тестирование и оценка, функционирование. Структурный анализ и проектирование, средства моделирования.
лекция [216,9 K], добавлен 07.12.2013Понятие о современных вычислительных системах. Структура ВС типа "Обобщенный nD-куб". Определения, необходимые для разработки алгоритма распределения программных модулей по вычислительным модулям вычислительной сети. Структура типа обобщенный гиперкуб.
курсовая работа [1,1 M], добавлен 09.03.2013Действия для создания информационной базы данных Access. Создание таблиц и формы, запроса и отчета. Формирование необходимой структуры, показа требуемых данных. Порядок сортировки, макет группировки и оформление фона. Загрузка и выгрузка данных.
контрольная работа [4,2 M], добавлен 06.11.2008Хранилище данных, принципы организации. Процессы работы с данными. OLAP-структура, технические аспекты многомерного хранения данных. Integration Services, заполнение хранилищ и витрин данных. Возможности систем с использованием технологий Microsoft.
курсовая работа [1,0 M], добавлен 05.12.2012Определение многомерной модели данных для удовлетворения основных информационных потребностей предприятия. Экстракция, загрузка и перенос данных из различных источников данных. Разработка собственных ETL–систем. Оптимизация работы хранилища данных.
презентация [9,1 M], добавлен 25.09.2013Назначение хранилищ данных. Архитектура SAP BW. Построение аналитической отчетности на основе OLAP-кубов в системе SAP BW. Основные различия между хранилищем данных и системой OLTP. Обзор функциональных сфер BEx. Создание запроса в BEx Query Designer.
курсовая работа [1019,1 K], добавлен 24.12.2012Методы построения хранилища данных на основе информационной системы реального коммерческого предприятия. Основные аналитические задачи, для решения которых планируется внедрение хранилищ данных. Загрузка процессоров на серверах. Схемы хранения данных.
контрольная работа [401,0 K], добавлен 31.05.2013