Разработка методов анализа параметров распределенных облачных платформ и синтеза имитационных моделей

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Конкретная фундаментальная задача, на решение которой направлена работа, состоит в синтезе моделей и разработке алгоритмов расчета параметров производительности сетей передачи данных общего вида с учетом распределения нагрузки, виртуальных сетей, наложенных, программно-конфигурируемых сетей и прочих технологий, применяющихся в облачных центрах обработки данных (ЦОД) предназначенных для обработки больших данных. Это позволит получать адекватные модели произвольной сети и использовать результаты расчетов для динамического управления ЦОД, оптимизировать настройки балансировки нагрузки на оборудование, повысить производительность сети в целом.

Сети такого вида существенно отличаются от локальных вычислительных сетей наличием большого количества дополнительных протоколов и возможностей, применяемых, как правило, только в центрах обработки данных и крупных узлах обмена информацией. Адекватная реализация таких технологий, как виртуальные наложенные сети (VXLAN, IPSEC Mesh, VRF), NFV системы и технологии, повсеместная виртуализация всего, динамическая маршрутизация с вероятностной балансировкой нагрузки, полная связность на канальном уровне, широко представлены в системах имитационного моделирования, но методы синтеза таких моделей сложны и недоступны широкому кругу администраторов и программистов. К тому же точность реализации зависит от возможности учитывать реальные характеристики многопротокольного трафика, правильности и полноты сбора информации о трафика в каждый момент времени.

Дополнительно предлагается создавать и использовать модель приложений, которые при обработке больших данных являются основными потребителями сетевых ресурсов. Для решения задачи предлагается использовать методы теории вероятностей, теории вычислительных систем в части теории массового обслуживания, теории марковских процессов, численного решения уравнений в частных производных, теория сетей ЭВМ, телекоммуникаций и телетрафика. Задачи анализа показателей производительности сети связаны с необходимостью проведения измерений в рабочих режимах функционирования оборудования и каналов связи, в связи с чем возникают проблемы, обусловленные случайным характером и ограниченным объемом экспериментальных данных, необходимостью получения результатов обработки в минимальные сроки.

Телекоммуникационные технологии в последние годы переживают масштабные перемены, связанные с интеграцией сетей и услуг связи. Появляются новые сервисы, традиционные сервисы и услуги переходят на платформы NFV, количество потребителей таких сервисов растет очень высокими темпами. Именно появление новых инфокоммуникационных услуг и сервисов вызвало бурное развитие технологий, в которых на первое место встают вопросы качества предоставления услуг.

Будут теоретически обобщены и разработаны новые методы, алгоритмы, программные средства, основанные на принципах двумерной диффузионной аппроксимации процессов функционирования систем массового обслуживания.

В настоящее время существуют системы имитационного моделирования, учитывающие некоторые из используемых протоколов, однако при создании новых и модернизации существующих высокопроизводительных сетей передачи данных приходится проводить вычислительные эксперименты большое количество раз на разных наборах шаблонов для разных вариантов топологий, что при малой скорости имитационного моделирования сложных сетей является крайне затратным по времени и ресурсам.

Предлагается использовать метод обобщенной двумерной диффузионной аппроксимации систем массового обслуживания, который, в отличие от известных методов, позволяет повысить точность расчетов характеристик системы при произвольных законах распределений времен поступления и обслуживания на уровне двух первых моментов в случаях неограниченной очереди и ограниченной очереди с потерями. В основе метода лежит разработанная методика расчета характеристик сетевых моделей совместного решения уравнений баланса потоков в сети массового обслуживания на уровне средних значений и дисперсий интервалов и метода обобщенной двумерной диффузионной аппроксимации СМО, что повышает степень адекватности модели к реальной сети. Такой подход удобен при моделировании многозвенных облачных сетей передачи данных с учетом их вложенности, в том числе и виртуализации.

Научная новизна работы заключается в:

- разработке методов синтеза модели на основе данных прогона реальных приложений на реальной топологии;

- определении прогнозных характеристик распределений выходных потоков рекурсивным алгоритмом на основе интеллектуальных методов;

- разработке методов сбора информации параметрах трафика и сети облачной системы в момент работы приложения, его распознавании и определении параметров для их дальнейшего использования в моделях;

- предложенном алгоритме развертывания и управления наложенными сетями распределенной облачной платформы, которые строятся на базе виртуальных сетях нескольких облачных провайдеров, а также туннелей VPN для передачи данных через Интернет между виртуальными центрами обработки данных.

Проблему прогнозирования использования ресурсов распределенными приложениями для обработки больших данных в рамках работы предлагается решать с помощью методов машинного обучения на основе собранной статистики предыдущих запусков приложений. Проблема маршрутизации потоков данных будет сформулирована в виде оптимизационных задач по максимизации удовлетворения требований к QoS. Для ее решения планируется использовать интеллектуальные методы.

Следует отметить, что существующие варианты параллельных алгоритмов анализа больших данных не учитывают возможность применения проактивной маршрутизации потоков данных, они, как правило, используют традиционные механизмы маршрутизации. В рамках данной работы планируется использовать технологию программно-конфигурируемых сетей (Software Defined Networking, SDN) и программные коммутаторы OpenVSwitch для создания виртуальных сетей между контейнерами и установки маршрутов передачи данных в соответствии с известной коммуникационной схемой заранее до начала анализа. Для автоматического распараллеливания и планирования работы инфраструктуры будет сформирован ряд дискретных нелинейных оптимизационных задач. Для их решения планируется использовать метаэвристические интеллектуальные алгоритмы.

Список литературы

инфокоммуникационный двумерный аппроксимация

1. Полежаев П.Н.; Планирование задач для вычислительного кластера с учетом сети и многопроцессорности узлов, Параллельные вычислительные технологии (ПаВТ'2011): труды международной научной конференции (Москва, 28 марта - 1 апреля 2011 г.) [Электронный ресурс], Челябинск: Издательский центр ЮУрГУ, 2011, с. 254-265.

2. M.A. Bender, D.P. Bunde, E.D. Demaine, S.P. Fekete, V.J. Leung, H. Meijer, and C.A. Phillips; “Communication-aware processor allocation for supercomputers: Finding point sets of small average distance”, Algorithmica, vol. 50, no. 2, 2008, pp. 279-298.

3. Improving Simulation Credibility Through Open Source Simulations Tom Henderson University of Washington [Электронный ресурс], The Boeing Company Simutools Conference. - Режим доступа: http://www.tomh.org/talks/simutools08-keynote-final.pdf.

4. Ns-3 Model Library [Электронный ресурс]. - ns-3 project 2012. Режим доступа: http://www.nsnam.org/docs/models/ns-3-model-library.pdf.

5. Облачные вычисления. Горских А.Г. [Электронный ресурс]: Южно-Уральский Государственный Университет. - Режим доступа: http://dom.susu.ru/DisrtSystems/Slides/SUSU_DistributedSystems_Cloud.pdf.

Размещено на Allbest.ru