Основные подходы к хранению и анализу больших данных

Размещено на http://www.allbest.ru/

Основные подходы к хранению и анализу больших данных

Одинокое А.Е. - магистрант кафедры «Автоматика и системотехника»,

Шеленок Е.А. - канд. техн. наук, доцент кафедры «Автоматика и системотехника», (ТОГУ)

Аннотация

В статье описываются базовые подходи и методы хранения и анализа данных, которые могут быть отнесены к категории Big Data. Рассмотрены базовые принципы работы с большими данными, отличающиеся от принципов работы с традиционными хорошо структурированными данными. Рассмотрена одна из основополагающих технологий больших данных - Ha- doop, содержащая набор самых эффективных современных механизмов анализа Big Data.

Ключевые слова: Big Data, хранение, анализ, MapReduce, Hadoop, HDFS. Введение

Abstract

Odinokov A. E. - Pacific National University, Khabarovsk, Russian Federation Shelenok E. A. - Pacific National University, Khabarovsk, Russian Federation

The article describes the basic approaches and methods of storing and analyzing data that can be classified as Big Data. The basic principles of working with big data that differ from the principles of working with traditional well-structured data are considered. Considered is one of the fundamental technologies of big data - Hadoop, which contains a set of the most effective modern Big Data analysis mechanisms.

Key words: Big Data, storage, analysis, MapReduce, Hadoop, HDFS.

Большие данные (Big Data) - общее название для структурированных и неструктурированных данных огромных объемов, которые эффективно обрабатываются с помощью масштабируемых программных инструментов. Такие инструменты появились в конце 2000 годов и стали альтернативой традиционным базам данных и решениям Business Intelligence.

Термин Big Data появился в 2008 году. Впервые его употребил редактор журнала Nature - Клиффорд Линч. Он рассказывал про взрывной рост объемов мировой информации и отмечал, что освоить их помогут новые инструменты и более развитые технологии.

Анализ больших данных проводят для того, чтобы получить новую, р а- нее неизвестную информацию. Подобные открытия называют инсайтом, что означает озарение, догадку, внезапное понимание.

Источники больших данных:

Интернет (соцсети, форумы, блоги, СМИ и другие сайты);

Корпоративные архивы документов;

- Показания датчиков, приборов и других устройств.

Поскольку к категории Big Data относится огромное количество информации, которая зачастую (в отличии от классической трактовки данных) оказывается слабоструктурированной (или неструктурированной), а ее описание плохо поддается формализации, принципы работы с подобными данными требуют применения особых методов и подходов. В настоящей статье рассмотрены основные подходы к хранению и обработки больших данных.

Принципы работы с большими данными

Основные принципами работы с данными, относящимися к категории Big Data являются:

Горизонтальная масштабируемость. Это базовый принцип обработки больших данных. Как уже говорилось, больших данных с каждым днем становится все больше. Соответственно, необходимо увеличивать количество вычислительных узлов, по которым распределяются эти данные, причем обработка должна происходить без ухудшения производительности.

Отказоустойчивость. Этот принцип вытекает из предыдущего. Поскольку вычислительных узлов в кластере может быть много (иногда десятки тысяч) и их количество, не исключено, будет увеличиваться, возрастает и вероятность выхода машин из строя. Методы работы с большими данными должны учитывать возможность таких ситуаций и предусматривать пр е- вентивные меры.

Локальность данных. Так как данные распределены по большому количеству вычислительных узлов, то, если они физически находятся на о дном сервере, а обрабатываются на другом, расходы на передачу данных могут стать неоправданно большими. Поэтому обработку данных желательно проводить на той же машине, на которой они хранятся.

Эти принципы отличаются от тех, которые характерны для традицио н- ных, централизованных, вертикальных моделей хранения хорошо структурированных данных. Соответственно, для работы с большими данными разрабатывают новые подходы и технологии.

Методы и техники анализа больших данных

Международная консалтинговая компания McKinsey, специализирующаяся на решении задач, связанных со стратегическим управлением, выделяет 11 методов и техник анализа, применимых к большим данным:

Методы класса Data Mining (добыча данных, интеллектуальный анализ данных, глубинный анализ данных) - совокупность методов обнаружения в данных ранее неизвестных, нетривиальных, практически поле з- ных знаний, необходимых для принятия решений. К таким методам, в частности, относятся обучение ассоциативным правилам (Association Rule Learning), классификация (разбиение на категории), кластерный анализ, регрессионный анализ, обнаружение и анализ отклонений и другие.

Краудсорсинг - классификация и обогащение данных силами широкого, неопределённого круга лиц, выполняющих эту работу без вступления в трудовые отношения.

Смешение и интеграция данных (Data Fusion and Integration) - набор техник, позволяющих интегрировать разнородные данные из разнообразных источников с целью проведения глубинного анализа (например, цифровая обработка сигналов, обработка естественного языка, включая тональный анализ, и другие).

Машинное обучение (включая обучение с учителем и без учителя) - использование моделей, построенных на базе статистического анализа или машинного обучения для получения комплексных прогнозов на основе базовых моделей.

Искусственные нейронные сети, сетевой анализ, оптимизация, в том числе генетические алгоритмы ( Genetic Algorithms -- эвристические алгоритмы поиска, используемые для решения задач оптимизации и моделирования путём случайного подбора, комбинирования и вариации искомых параметров с использованием механизмов, аналогичных естественному отбору в природе).

Распознавание образов.

Прогнозная аналитика.

Имитационное моделирование (Simulation) - метод, позволяющий строить модели, описывающие процессы так, как они проходили бы в де й- ствительности. Имитационное моделирование можно рассматривать как разновидность экспериментальных испытаний.

Пространственный анализ (Spatial Analysis) - класс методов, использующих топологическую, геометрическую и географическую информацию, извлекаемую из данных.

Статистический анализ - анализ временных рядов, A/B- тестирование (A/B Testing, Split Testing - метод маркетингового исследования; при его использовании контрольная группа элементов сравнивается с набором тестовых групп, в которых один или несколько показателей были изменены, для того чтобы выяснить, какие из изменений улучшают целевой показатель)/

Визуализация аналитических данных - представление информации в виде рисунков, диаграмм, с использованием интерактивных возможностей и анимации как для получения результатов, так и для использования в качестве исходных данных для дальнейшего анализа. Очень важный этап анализа больших данных, позволяющий представить самые важные результаты анализа в наиболее удобном для восприятия виде.

Hadoop: MapReduce и HDFS

Hadoop - это проект фонда Apache Software Foundation, свободно распространяемый набор утилит, библиотек и фреймворков для разработки и выполнения распределённых программ, работающих на кластерах из сотен и тысяч узлов. хранение графический данный

В основе Hadoop лежит модель распределенных вычислений MapReduce и распределенная файловая система HDFS (Hadoop Distributed File System).

Модель MapReduce содержит в себе основные шаги Map и Reduce, названных аналогично функциям высшего порядка из многих языков программирования, применяемым на этих шагах.

Программы, использующие реализацию MapReduce, автоматически распараллеливаются и исполняются на кластере, состоящем из множества связанных между собой компьютеров. Исполнительная система сама заботится о деталях декомпозиции входных данных на части, планировании исполнения программы на наборе машин, обработке сбоев и управлении необходимым сообщением между машинами. Это позволяет программистам даже без опыта работы с параллельными и распределенными системами с легкостью использовать ресурсы больших распределенных систем.

Библиотеки, использующие модель MapReduce написаны на многих языках программирования. Популярная реализация с открытым исходным кодом является частью Apache Hadoop. Название MapReduce изначально было запатентованной технологией Google, но с тех пор было обобщено. К 2014 году в Google больше не использовали MapReduce в качестве своей основной модели обработки больших данных [1], а разработка Apache Mahout привела к более функциональным и менее диско-ориентированным механизмам, которые поддерживают возможности MapReduce [2].

Чаще всего фреймворки реализующие модель MapReduce осуществляют три операции (шага):

Map. Входные данные решаемой задачи представляют большой список значений, и на шаге Map происходит его предварительная обработка. Для этого главный узел кластера ( Master Node) получает этот список, делит его на части и передает рабочим узлам ( Worker Node). Каждый рабочий узел применяет функцию Map к локальным данным и записывает результат в формате «ключ-значение» во временное хранилище. Типичная структура операции Map представлена на рис. 1.

Рис. 1. Графическая интерпретация операции Map

Shuffle. Рабочие узлы перераспределяют данные на основе ключей (созданных функцией Map) так, что все данные, принадлежащие одному ключу, лежат на одном рабочем узле. Типичная структура операции Shuffle представлена на рис. 2.

Рис. 2. Графическая интерпретация операции Shuffle

Reduce. Рабочие узлы обрабатывают каждую группу результатов по порядку следования ключей. Главный узел получает промежуточные ответы от рабочих узлов и передаёт их на свободные узлы для выполнения следующего шага.

Получившийся после прохождения всех необходимых шагов результат - это решение задачи, которая изначально формулировалась. Типичная структура операции Reduce представлена на рис. 3.

Рис. 3. Графическая интерпретация операции Reduce

Hadoop Distributed File System (HDFS) - распределенная файловая система, которая обеспечивает высокоскоростной доступ к данным приложения.

HDFS является иерархической файловой системой. Таким образом, в HDFS имеется поддержка вложение каталогов. В каталоге может располагаться ноль или более файлов, а также любое количество подкаталогов.

HDFS состоит из следующих обязательных компонентов:

Узел имен (NameNode) - программный код, выполняющийся, в общем случае, на выделенной машине экземпляра HDFS и отвечающий за файловые операции (работу с метаданными);

Узел данных (DataNode) - программный код, как правило, выполняющийся выделенной машине экземпляра HDFS и отвечающий за операции уровня файла (работа с блоками данных).

Hadoop содержит единственный узел типа NameNode и произвольное количество узлов типа DataNode.

Основные концепции, заложенные при проектировании HDFS, и архитектурные решения, применяемые для реализации этих концепций, приведены ниже:

Объем данных. HDFS не должна иметь достижимых в обозримом будущем ограничений на объем хранимых данных. Архитектурные решения: HDFS хранит файлы поблочно. Блоки в HDFS распределены между узлами данных вычислительного кластера. Все блоки (кроме последнего блока файла) имеют одинаковый размер. Кроме этого блок может быть размещён на нескольких узлах.

Отказоустойчивость. HDFS расценивает выход из строя узла данных как норму, а не как исключение (и, действительно, вероятность выхода хотя бы одного узла из тысячи даже на надежном физическом оборудовании существенная). Архитектурные решения:

для обеспечения отказоустойчивости все данные в HDFS реплицируются настраиваемое количество раз;

защита от копирования поврежденных данных решена с помощью хранения контрольных сумм в отдельном скрытом файле;

копирование метаданных с помощью вторичного узла имен.

Самодиагностика. Диагностика исправности узлов в Hadoop-кластере не должна требовать дополнительного администрирования. Архитектурные решения:

Каждый узел данных через определенные интервалы времени отправляет диагностические сообщения узлу имен (узлы данных подробно будут рассмотрены ниже);

Логгирование операций над файлами в специальный журнал узла имен.

Производительность. В апреле 2008 года Hadoop побил мировой рекорд производительности в стандартизованном тесте производительности по сортировке данных - 1 ТБайт был обработан за 309 сек. на кластере из 910 узлов. Архитектурные решения:

Принцип «один раз записать - много раз прочитать» (Write-Once and Read-Many, WORM) полностью освобождает систему от блокировок типа «запись-чтение»; избавиться от конфликтов множественной записи проектировщики решили, разрешив запись в файл в одно время только одному процессу;

HDFS оптимизирован под потоковую передачу данных;

снизить нагрузку на каналы передачи данных (а именно эти каналы чаще всего являются узким местом в распределенных средах), а также более рационально использовать место на жестких дисках позволило сжатие данных

репликация происходит в асинхронном режиме;

хранение всех метаданных узла NameNode в оперативной памяти.

Заключение

Рассмотрены основные современные подходы к хранению и обработке больших данных. На примере технологии Hadoop описаны базовые принципы функционирования модели MapReduce.

Библиографические ссылки

1. Data Center Knowledge : site. 2020.

2. BIGDATA : site. 2020.

3. Basic Approaches to Storage and Analysis of Big Data

Размещено на Allbest.ru