Размещено на http://www.allbest.ru/

МАСШТАБИРОВАНИЕ ОБЛАЧНЫХ СЕРВИСОВ ДЛЯ МУЛЬТИОБЛАЧНОГО ЦЕНТРА КОЛЛЕКТИВНОГО ДОСТУПА

приложение web доступ коллективный

Полежаев П.Н., Легашев Л.В.

ФГБОУ ВО «Оренбургский государственный

университет», г. Оренбург

Повышение эффективности функционирования мультиоблачных систем коллективного доступа напрямую связано с разработкой алгоритмов эффективного масштабирования ресурсов используемых облачных сервисов. Задача масштабирования Web-приложений, вычислительных и DaaS (Desktop as a Service) сервисов в облачной среде является актуальной, что подчёркивается многими исследованиями на указанную тематику.

В публикации [1] представлена новая архитектура и алгоритм для динамического масштабирования web-приложений на основе пороговых значений активных сессий. Предложенное авторами исследования решение способно обрабатывать внезапные скачки нагрузки, предоставлять конечным пользователям информационные ресурсы по требованию, сокращая при этом затраты на инфраструктуру и управление. Работа [2] посвящена описанию основных принципов работы интегрированной среды облачных вычислений InterCloud, которая обеспечивает своевременную масштабируемость облачных сервисов, а также соблюдение требований QoS (Quality of Service) в условиях переменной нагрузки, ресурсов и сетевых условий. Ученые из Имперского колледжа Лондона в своем исследовании [3] представили интеллектуальную платформу для управления виртуальными ресурсами облачных приложений, включая масштабирование на уровне виртуальных машин и более детальное масштабирование на уровне ресурсов (процессора, оперативной памяти, I/O и т.д.). При разработке алгоритмов авторы оперируют понятием стоимости потребления ресурсов и эксплуатационными расходами облачных провайдеров; двумя пороговыми значениями по предельному использованию центрального процессора и оперативной памяти, а также требованиями QoS к верхней и нижней границе времени отклика, приемлемой для пользователей в рамках соглашения об уровне услуг SLA (Service Level Agreement). В публикации [4] представлена система CloudScale гибкого масштабирования ресурсов для многопользовательских облачных вычислительных инфраструктур. Система CloudScale использует онлайн-прогнозирование спроса на ресурсы и обработку ошибок прогнозирования с целью достижения адаптивного распределения ресурсов. CloudScale разрешает вопросы конфликтов масштабирования между приложениями с использованием миграции, а также интегрирует динамическое масштабирование напряжения и частоты процессора с целью достижения экономии энергопотребления. Исследователи Xiao Z., Chen Q. и Luo H. В своей работе [5] представляют систему для автоматического масштабирования интернет-приложений в облачной среде. Авторы инкапсулируют каждый экземпляр приложения внутри виртуальной машины и используют технологию виртуализации для обеспечения изоляции ошибок.

Ранее в рамках проводимого исследования нами разработаны модели мультиоблачного центра коллективного доступа. Рассмотрим часть его структурной модели, имеющую значение для задачи масштабирования облачных сервисов. Каждый виртуальный ЦОД, находящийся в составе мультиоблачного центра коллективного доступа, может быть формализован в виде следующего вектора:

,

где - пулы виртуальных машин, используемых для назначения сервисов, - облачные сервисы, запущенные в виртуальном ЦОД, - дисковые образы виртуальных машин, - провайдер, на базе которого развернут виртуальный ЦОД.

Каждый провайдер облачных услуг формализуется в виде вектора:

,

где - множество шаблонов виртуальных машин, - стоимость выполнения в минуту виртуальной машины, созданной на основе заданного шаблона, - стоимость хранения ее дискового образа, и - соответственно стоимости входящего и исходящего трафика за мегабайт. Учет стоимостных показателей позволит по ним формализовать оптимизационные задачи планирования, масштабирования и миграции сервисов.

Шаблон виртуальной машины описывается следующим кортежем:

,

где - количество вычислительных ядер, - частота ядра в мегагерцах, - относительная производительность вычислительных ядер в пересчете на один мегагерц, - размер оперативной памяти в мегабайтах, - максимальная пропускная способность в мегабитах в секунду.

Вычислительная производительность виртуальной машины, запущенной по шаблону может быть определена по формуле:

.

Формализуем шаблон виртуальной машины следующим образом:

,

где - тип сервиса (DaaS, SaaS - Software as a Service, CaaS - Computations as a Service), - используемый тип шаблона виртуальной машины, - используемый дисковый образ.

Далее рассмотрим подробнее параметры виртуального ЦОД . Пул виртуальных машин - это группа виртуальных машин , построенных на базе одних и тех же шаблона () и дискового образа (), используемая для назначения одних и тех же сервисов:

.

Служба характеризуется вектором:

,

где - запущенные экземпляры сервиса, - шаблон сервиса, - поток входящих запросов к сервису, появившихся к моменту времени . Каждый экземпляр сервиса характеризуется назначенной виртуальной машиной , при этом сам экземпляр сервиса может запускаться как непосредственно на виртуальной машине, так и внутри контейнера, который запущен на ней.

Дисковый образ описывается кортежем:

,

где - размер жесткого диска в мегабайтах, - тип дискового образа. Все дисковые образы заранее подготовлены и содержат все необходимые программы, библиотеки и конфигурации.

Задача масштабирования облачных сервисов включает в себя решение следующих проблем:

а) Необходимость прогнозирования количества сессий (пользователей) и потребления ресурсов виртуальных машин в пределах определенного временного горизонта, равного времени запуска виртуальных машин . Запуск любой виртуальной машины требует время на: ожидание запроса в очереди, создание виртуальной машины, ее загрузку, запуск служб сервиса. В реальности этот показатель составляет 10-15 минут, поэтому масштабирование облачных сервисов не может осуществляться мгновенно и требует прогнозирования вперед показателей, по которым осуществляется масштабирование.

б) Необходимость адекватного подбора количества используемых экземпляров виртуальных машин под каждый сервис. Данная проблема связана с тем, что при недостаточном количестве виртуальных машин пользователи могут получить нарушения SLA: снижение времени отклика (например, для сервиса DaaS) или увеличение продолжительности обработки запросов (например, для SaaS и CaaS) из-за нехватки оперативной памяти, ресурсов процессоров или каналов связи используемых виртуальных машин. В то же время, при избыточном количестве виртуальных машин возникает проблема их простоя и увеличения расходов на оплату провайдерам за их использование.

в) Многоцелевая оптимизация - нужно одновременно минимизировать стоимость работы сервисов и степень нарушений SLA.

г) Сложность живой миграции ряда сервисов - это, в первую очередь, касается сервисов DaaS, т.к. они используются пользователями в интерактивном режиме. Для сервисов SaaS и CaaS миграция реализуется более просто.

д) Отсутствие устойчивости - быстрое изменение требований к ресурсам в разные моменты времени. Необходимо, чтобы масштабирование имело инерционный эффект, обеспечивающий требуемую устойчивость.

В рамках данной статьи рассмотрим решение проблем а), б), г) и д).

Для каждой службы , в первую очередь, необходимо уметь прогнозировать - количество сессий пользователей, которые будут ею пользоваться в момент времени (здесь соответствует текущему моменту времени). В качестве единиц времени используются минуты, при необходимости, за одну единицу можно принять более длинные временные интервалы, например, 10 минут, 15 минут или 1 час. Для этой цели предлагается использовать сети LSTM (Long Short Term Memory - долгой краткосрочной памяти), которые хорошо себя зарекомендовали в области прогнозирования временных рядов [6]. LSTM является разновидностью рекуррентных нейронных сетей. В данной работе предлагается использовать классические LSTM-ячейки, объединенные в блоки, причем скрытое состояние, вычисленное для одного пакета обучающих данных, используется для инициализации скрытого состояния при обработке следующего пакета. Прогнозирование осуществляется на основе известных данных скользящего окна ширины - известных векторов данных:

.

Помимо количества сессий, сети LSTM могут быть использованы для одновременного прогнозирования агрегированных показателей потребления ресурсов:

а)  - требуемая суммарная вычислительная производительность виртуальных машин сервиса для обслуживания запросов пользователей в момент времени ;

б) - требуемый суммарный объем памяти в момент времени ;

в) - требуемая суммарная пропускная способность всех каналов связи в момент времени .

Наличие данных показателей позволяет определить более точно количество виртуальных машин конфигурации , которые потребуются для работы сервиса в момент времени :

(1)

где - настраиваемые параметры, задающие дополнительный запас по свободным соответствующим ресурсам процессора, оперативной памяти и каналов связи на случай возможной перегрузки (подбираются экспериментальным путем).

Формализуем алгоритм масштабирования количества ресурсов сервиса :

Шаг 1. Получить текущее время , присвоить .

Шаг 2. С помощью сетей LSTM вычислить значения , и .

Шаг 3. Вычислить количество требуемых виртуальных машин .

Шаг 4. Проверяется следующее условие:

если оно истинное, то инициируем запуск машин:

и обнуляем счетчик .

Шаг 5. Проверяется условие:

если оно истинное, то:

шаг 5.1. увеличиваем счетчик количества срабатываний таких проверок ;

шаг 5.2. если , то:

шаг 5.2.1. выбрать все свободные виртуальные машины, инициировать их остановку и удаление;

шаг 5.2.2. обнулить счетчик .

Шаг 6. Если условия шагов 4 и 5 ложные, то обнулить счетчик .

В данном алгоритме использованы следующие дополнительные обозначения:

а) - время, для которого строится прогноз;

б)  - количество виртуальных машин службы , запуск которых инициирован, и которые будут запущены к моменту времени ;

в)  - количество виртуальных машин службы , остановка которых инициирована;

г)  - счетчик количества срабатываний условия для уменьшения количества виртуальных машин;

д) - порог количества срабатываний условия для уменьшения количества виртуальных машин.

Данный алгоритм вызывается периодически через единичные интервалы времени. Также возможна модификация данного алгоритма с целью обеспечения большей гибкости при масштабировании, например, когда условие шага 4 (для увеличения количества виртуальных машин) делается менее жестким и допускает некоторое нарушение на несколько виртуальных машин. Такое допустимо, т.к. у ресурсов виртуальных машин может быть задан дополнительный запас через параметры и это в свою очередь обеспечит устойчивость алгоритма. Также может быть изменен шаг 5.2.1, на котором дополнительно инициируется миграция на другие виртуальные машины уже запущенных задач по обработке запросов пользователей (при условии, что запущенный сервис поддерживает такую возможность). Миграция осуществляется с тех виртуальных машин, которые имеют наименьшую загрузку ресурсов.

Предложенный алгоритм масштабирования облачных сервисов реализован в рамках симулятора мультиоблачного центра коллективного доступа. Предварительная его апробация показывает преимущество над стандартными пороговыми алгоритмами масштабирования, которые используют только текущие показатели ресурсов без прогнозирования. Планируется реализация модификаций данного алгоритма и проведение экспериментального сравнения с другими разработками в данной сфере, полученные результаты будут опубликованы.

Работа выполнена при поддержке РФФИ (проекты №18-37-00460 и №18-07-01446).

Список литературы

1. Chieu T. C. et al. Dynamic scaling of web applications in a virtualized cloud computing environment // E-Business Engineering, 2009. ICEBE'09. IEEE International Conference on. - IEEE - 2009. - P. 281-286.

2. Buyya R., Ranjan R., Calheiros R. N. Intercloud: Utility-oriented federation of cloud computing environments for scaling of application services // International Conference on Algorithms and Architectures for Parallel Processing. - Springer, Berlin, Heidelberg - 2010. - P. 13-31.

3. Han R. et al. Lightweight resource scaling for cloud applications // Proceedings of the 2012 12th IEEE/ACM International Symposium on Cluster, Cloud and Grid Computing (ccgrid 2012). - IEEE Computer Society - 2012. - P. 644-651.

4. Shen Z. et al. Cloudscale: elastic resource scaling for multi-tenant cloud systems // Proceedings of the 2nd ACM Symposium on Cloud Computing. - ACM - 2011. - P. 1-14.

5. Xiao Z., Chen Q., Luo H. Automatic scaling of internet applications for cloud computing services // IEEE Transactions on Computers. - 2014. - V. 63. - №. 5. - P. 1111-1123.

6. Jozefowicz R., Zaremba W., Sutskever I. An empirical exploration of recurrent network architectures //International Conference on Machine Learning. - 2015. - С. 2342-2350.

Размещено на Allbest.ru