Способы хранения и обработки большого объема данных с использованием MapReduce и Percona Server

Размещено на http://www.allbest.ru/

Омский Государственный Технический Университет

Статья

на тему: Способы хранения и обработки большого объема данных с использованием MapReduce и Percona Server

Выполнила:

А.Г. Янишевская

Аннотация

Работа с большими данными подразумевает работу с информацией огромного объема и содержания, быстро обновляемой, находящейся в разных источниках. Задачи работы с большими данными требуются для эффективности работы, применяются для создания новых продуктов и повышения конкурентоспособности. В данной статье рассмотрены следующие методы работы с большими объемами данных:

MapReduce - разработка компании Google в области моделей распределенных вычислений. Используется самой компанией для параллельных вычислений над большими наборами данных;

Percona server -- сборкой MySQL изначально предназначенной и оптимизированной для работы с большими данными.

Ключевые слова: Большие данные, параллельные вычисления, map, reduce, mapreduce, percona server.

Под большими данными (Big data) в информационных технологиях понимается серия подходов, а также инструментов и методов, обработки структурированных и неструктурированных данных огромных объемов для получения из них воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети. Первые методы работы с большими данными были сформированы в конце 2000-х годов и стали альтернативой традиционным системам управления базами данных и решениями класса Business Intelligence. В данную серию включат, прежде всего, такие средства массово-параллельной обработки неопределенно структурированных данных как решения категории NoSQL, а так же алгоритмы MapReduce и программные каркасы и библиотеки проекта Hadoop.

В качестве основных характеристик при работе с большими данными отмечают “три V”: объём (volume), скорость (Velocity, скорость прироста, скорость обработки и получения результатов), многообразие (Variety, возможность одновременной обработки различных типов данных).

Основными источниками больших данных можно назвать:

1. данные измерительных устройств и приборов, поступающие непрерывно;

2. потоки данных из социальных сетей;

3. данные метеорологических служб;

4. данные о местонахождения абонентов сотовой связи.

Благодаря развитию и широкому распространению этих источников ожидается проникновение технологий больших данных, как в научно-исследовательскую сферу, так и в коммерческий сектор и в сферу государственного управления.

Обработка больших объемов данных зачастую становится самой трудной и самой проблемной областью в создании крупных агрегационных сервисов. Это привело к созданию довольно эффективных способов решения проблемы.

Подробнее остановимся на двух наиболее распространенных решениях: модель распределенных вычислений MapReduce и Percona server - сборкой MySQL изначально предназначенной и оптимизированной для работы с большими данными.

MapReduce.

MapReduce -- модель распределённых вычислений, представленная компанией Google, используется компанией в компьютерных кластерах для параллельных вычислений над очень большими, даже несколько петабайт, наборами данных.

MapReduce -- это фреймворк для работы с набором распределенных задач, использующий большое количество компьютеров (называемых «нодами»), образующих структуру кластера.

Работа фреймворка состоит из двух шагов:

1. Map-шаг. Происходит предварительная обработка входных данных. Компьютер - главный узел (master node) получает входные данные. Происходит разделение исходного набора данных на части и передача другим компьютерам - рабочим узлам (worker node) для предварительной обработки. Название шаг берет от одноименной функции высшего порядка;

2. Reduce-шаг. Шаг заключается в свертке обработанных данных. От рабочих узлов в главный узел поступают отчеты и на их основе формируется результат - решение изначальной задачи.

Преимущество MapReduce заключается в возможности распределенно производить операции предварительной обработки и свертки. Операции предварительной обработки могут производиться параллельно так, как работают независимо друг от друга. Однако, процесс может быть менее эффективным по сравнению с более последовательными алгоритмами, так как целью алгоритма MapReduce является применение его к большим объёмам данных, которые могут обрабатываться большим количеством серверов.

Тем не менее, MapReduce может быть использован для сортировки огромного количества данных, и требует лишь несколько часов даже на объемы порядка петебайта данных. Также параллелизм предоставляет возможности восстановления после частичных сбоев: если возникает сбой в рабочем узле, то его работа может быть передана другому рабочему узлу.

Таким образом, хотя фактически семантика отличается от прототипа, в основе фреймворка лежат функции мар и reduce, широко применяемые в функциональном программировании.

Percona server.

Percona server -- это сборка MySQL от российской команды под руководством Петра Зайцева -- эксперта по производительности MySQL, бывшего руководителем группы High Perfomance в MySQL Inc и ведущего блог MySQLPerformanceBlog.com.

Этой сборке по умолчанию включен XtraDB storage engine, который отличается от MySQL+InnoDB plugin. Ключевыми показателями является лучшая производительность/масштабируемость, особенно на современных многоядерных серверах. mapreduce percona server данные

Также улучшена функциональность -- добавлено много полезной для оптимизации статистики. Percona server собирается наверсиях MySQL 5.0 и 5.1. Сервер полностью совместим с таблицами innodb, что означает возможность перехода от innodb к xtradb и обратно без проблем, за исключением случаев, когда используются некоторые харрактерные только для xtradb функции.

Хранилище XtraDB основано на InnoDB-plugin и полностью совместимо с ним, однако, отличается более высокой производительностью, благодаря интеграции патчей от компаний Google и Percona, а именно:

1. улучшена работа с памятью;

2. изменена подсистема ввода/вывода;

3. расширены возможности по масштабированию для больших проектов;

4. система организации блокировок адаптирована для работы на системах с большим числом CPU;

5. реализованы дополнительные возможности для накопления и анализа статистик;

6. добавлен ряд новых возможностей: поддержка нескольких потоков чтения и записи, управление пропускной способностью, упреждающая выборка данных (read-ahead), адаптивная установка контрольных точек (adaptive checkpointing).

Литература