Сравнение сущности транзакционных и аналитических процессов в базах данных

Размещено на http://allbest.ru

Гуманитарно-педагогическая академия (филиал), Крымский федеральный университет им. В. И. Вернадского в г. Ялта

Сравнение сущности транзакционных и аналитических процессов в базах данных

Маковейчук Кристина Александровна, кандидат наук,

доцент, заведующий кафедрой

Существует два основных требования к современной системе управления базами данных:

· данные из различных источников должны быть объединены в единую базу данных;

· данные должны иметь возможность быть проанализированными в реальном времени, поддерживать интерактивные принятия решений [1, 4].

До появления больших данных традиционный анализ предусматривал занесение информации в традиционную БД. Этот подход основывался на модели реляционных БД, использующей таблицы для хранения данных и отношений между ними. Данные обрабатывались и запоминались в строках таблиц.

С течением времени БД совершенствовались и сейчас используют массовую параллельную обработку, когда данные разбиваются на небольшие группы и обрабатываются одновременно на многих узлах, что обеспечивает значительное ускорение работы.

Вместо хранения информации в строках таблиц БД могут также использовать архитектуры столбцов, которые позволяют обрабатывать только столбцы с данными, необходимыми для формирования результатов запроса, и, кроме того, поддерживают хранение неструктурированной информации.

MapReduce -- это модель распределённых вычислений, представленная компанией Google, используемая для параллельных вычислений над очень большими, несколько петабайт, наборами данных в компьютерных кластерах.

Технология MapReduce представляет собой комбинацию двух функций, улучшающих обработку данных. Сначала map-функция разделяет данные на несколько групп, которые затем обрабатываются параллельно. Затем reduce-функция объединяет результаты расчетов в варианты ответов.

MapReduce библиотеки были написаны на многих языках программирования, с различными уровнями оптимизации.

Компания Google использовала технологию MapReduce для индексирования сети Интернет и получила патент на свою MapReduce-платформу. Однако постепенно эта методика начинает использоваться все шире и шире.

Наибольшую известность получила ее реализация в проекте Apache Hadoop на основе открытого кода.

Платформа Hadoop на основе открытого кода была разработана с помощью технологии MapReduce для параллельной обработки больших объемов информации на множестве узлов стандартного недорогого оборудования.

Информация разделяется на блоки и загружается в файловое хранилище данных, например Hadoop Distributed File System (HDFS), организованное как несколько избыточных узлов на недорогом запоминающем устройстве. Узел name протоколирует размещение данных на конкретных узлах. Данные реплицируются более чем на одном узле, что обеспечивает их сохранность в случае выхода какого-либо узла из строя.

Затем данные можно анализировать с помощью технологии MapReduce, которая определяет местонахождение необходимых для расчета сведений из узла name.

После этого обработка на узлах идет параллельно. Результаты расчетов обобщаются для составления ответа на запрос и затем загружаются на узел, который впоследствии доступен для анализа с помощью других инструментов. В качестве альтернативы возможна загрузка полученных сведений в традиционные хранилища для обработки с помощью транзакций [5].

Сегодня многие компании стараются увязать свою собственную технологию в области БД с технологией Hadoop и предложить результат в качестве собственной стратегии по решению задач, связанных со скоростью обновления.

Немецкая компания SAP в качестве основной стратегии в области больших данных предлагает представленное в 2011 г. хранилище данных на платформе высокопроизводительного аналитического программно-аппаратного комплекса (high-performance analytic appliance -- HANA).

В этом комплексе реализована прогрессивная технология вычислений in-memory, обеспечивающая обработку в реальном времени больших объемов данных в оперативной памяти сервера для получения результатов, касающихся аналитики и транзакций.

В начале 2012-го появился продукт Oracle Exalytics, также реализующий данную технологию.

Размещение на платформе HANA бизнес-приложений, таких как SAP Business Objects, обеспечивает серьезный выигрыш в их производительности.

SAP состыковала систему HANA с Hadoop, позволив покупателям обмениваться данными между Hive, Hadoop Distributed File System и SAP HANA или SAP Sybase IQ server.

Таким образом, требование первое - система управления базой данных предприятия должна быть в состоянии обрабатывать данные, поступающие из различных типов источников (рис. 1).

Проблема 1: разнообразие приложений, создающих данные

Система управления данными предприятия должна быть в состоянии обрабатывать транзакционные и аналитические типы запросов, которые отличаются в нескольких измерениях.

Типичные запросы для оперативной обработки транзакций (OLTP) - это создание заказов на продажу, счетов-фактур, бухгалтерских данных, выборка заказа для клиента или отображение его основных данных.

Online Analytical Processing (OLAP) состоит из аналитических запросов. Типичные запросы OLAP-стиля - напоминания (напоминание об оплате), перекрестные продажи (продажи дополнительных продуктов или услуг клиенту), оперативная отчетность, или анализ тенденций на основе истории.

Рисунок 1. Источники данных в современных системах [1]

Проблема 2: системы, реализующие OLTP и/или OLAP - альтернатива или объединение?

Так как всегда считалось, что эти типы запросов значительно отличаются, было принято разделение системы управления данными на две отдельные системы обработки OLTP и OLAP запросов. В литературе утверждается, что OLTP нагрузка при записи интенсивней, в то время как OLAP-нагрузки появляются только при чтении, и что две рабочие нагрузки полагаются на "Противоположные законы физики баз данных".

Тем не менее, исследования в современных корпоративных системах показали, что это утверждение не соответствует действительности [1].

Основное различие между системами, которые обрабатывают эти типы запросов, в том, что OLTP системы обрабатывают больше запросов с одним объектом выборки или запросов, которые из большого объема данных возвращают всего несколько объектов, в то время как системы OLAP агрегируют лишь несколько столбцов таблицы, но для большого количества объектов. Для синхронизации аналитической системы с транзакционной системой (системами), необходим многотиражный ETL (Extract-Transform-Load) процесс. аналитический транзакционный код управление

Процесс ETL занимает много времени и является относительно сложным, потому что все соответствующие изменения должны быть извлечены из внешнего источника или источников, если их несколько, данные преобразуются в формат, необходимый для аналитики, и загружаются в целевую базу данных.

Несмотря на то, что разделение базы данных на две системы позволяет рабочей нагрузке специфичным образом оптимизироваться в обеих системах, оно приводит к целому ряду недостатков:

· система OLAP не имеет последних (актуальных) данных, так как процесс ETL вводит задержку. Задержка может варьироваться от нескольких минут до нескольких часов или даже дней. Следовательно, многие решения должны опираться на устаревшие данные, а не использовать новейшую информацию;

· для достижения приемлемой производительности, системы OLAP работают с предопределенными материальными агрегатами, что уменьшает гибкость запросов пользователя;

· избыточность данных является высокой. Аналогичная информация хранится в обеих системах, просто различно оптимизирована;

· схемы, используемые OLTP и OLAP системами, различны, что вносит сложность для приложений, использующих их обе, и сложно для процесса ETL синхронизации данных между системами.

При обработке транзакций часто принимают, что доли чтения и записи равны, в то время как на самом деле в аналитической обработке доминируют больше чтение и различные запросы.

Тем не менее, анализ рабочей нагрузки нескольких систем реальных предприятий показывает, что OLTP и OLAP системы не так и отличаются, как ожидалось в классических корпоративных системах.

Рисунок 2. Анализ рабочей нагрузки нескольких систем по OLTP и OLAP запросам [1]

Как показано на рисунке 2, OLTP процессы в системе имеют более 80% запросов на чтение.

Менее 10% от фактического объема - запросы на изменение существующих данных, например, обновление и удаление. Системы OLAP обрабатывают еще большее количество запросов на чтение, которые составляют около 95% рабочей нагрузки.

Обновления в транзакционной нагрузке представляют особый интерес. Анализ обновлений в различных сферах промышленности показывает их отличие [1, 2, 3, 6].

Отличие состоит в том, что количество обновлений в OLTP системах является достаточно низким и варьируется по отраслям.

В проанализированных высокотехнологичных компаниях, пики «частота обновления» около 12%, это означает, что около 88% из всех сохраненных в базе данных транзакций никогда не обновляются.

В других секторах исследование показало, что возможны даже более низкие проценты обновления, например, менее 1% в банковском и дискретном производстве.

Список литературы

1. Plattner, Hasso. In-Memory Data Management. The Inner Mechanics of In-Memory Databases / Hasso Plattner ; Hasso Plattner Institute, Potsdam, Brandenburg Germany // Springer. - 2013. - 298 р. ISBN 978-3-642-36523-2

2. Маковейчук, К.А., Галлини, Н.И. Визуализация результатов и формирование отчетности учреждения высшего образования с помощью комплексной информационно-справочной системы анализа и мониторинга показателей контингента абитуриентов, обучающихся и преподавателей [Электронный ресурс] / К. А. Маковейчук, Н. И. Галлини. - Журнал "Постулат". - 2016. - № 3. - Режим доступа: e-postulat.ru/index.php/Postulat/article/view/61/64. - 17.01.2017.

3. Маковейчук, К.А., Колодин, В. Р. Построение алгоритма формирования базы данных информационного и контрольно-аналитического обеспечения финансовой стратегии предприятия / К.А. Маковейчук, В.Р. Колодин // В сборнике: Информационные системы в моделировании и управлении: сборник материалов Всероссийской научно-практической конференции. Гуманитарно-педагогическая академия (филиал) ФГАОУ ВО «КФУ им. В.И. Вернадского» в г. Ялте; Санкт-Петербургский государственный электротехнический университет "ЛЭТИ". - Симферополь: ИТ "АРИАЛ", 2016. - 290 с. - С. 214 - 219.

4. Паклин, Н. Б. Бизнес-аналитика: от данных к знаниям: учебное пособие / Н. Б. Паклин, В. И. Орешков. - 2-е изд., испр. - СПб: Питер, 2013. - 704 с.: ил. ISBN 978-5-459-00717-6

5. Спирли, Э. Корпоративные хранилища данных. Планирование, разработка, реализация [Текст] = Enterprise data warehouse. Planning, building, and implementation / Э. Спирли; [Пер. с англ. и ред. В.М. Неумоина]. - М. : Вильямс, 2001. -Т. 1. - Парал. тит. л.: англ. - 396 с.: ил., табл. - Библиогр.: с. 383-386. ISBN 5-8459-0191-X

6. Сухобоков, А. А. Влияние инструментария Big Data на развитие научных дисциплин, связанных с моделированием / А. А. Сухобоков, Д. С. Лахвич // Наука и образование: научное издание МГТУ им. Н.Э. Баумана. - 2015. - № 3. - С. 207-240.

Аннотация

Сравнение сущности транзакционных и аналитических процессов в базах данных. Маковейчук Кристина Александровна, кандидат наук, доцент, заведующий кафедрой. Гуманитарно-педагогическая академия (филиал), Крымский федеральный университет им. В. И. Вернадского, в г. Ялта

На основе обращения к сущности процессов OLTP и OLAP в статье дается ответ на вопрос о необходимости и возможности существования систем, объединяющих оба процесса. Приводятся примеры таких систем и краткая характеристика реализованных в них технологий.

Ключевые слова: параллельные вычисления, данные в памяти, архитектура столбцов, транзакции, аналитика

Размещено на Allbest.ru