Окончательное решение - коммутаторами уровня 3 (также известные как многоуровневые коммутаторы). Коммутаторы уровня 3 могут быть настроены для работы только в качестве коммутатора уровня 2, или они могут быть настроены для выполнения как коммутаторы уровня 2, так и маршрутизации уровня 3. Сегодня многие корпоративные локальные сети средних и крупных предприятий используют коммутаторы уровня 3 для маршрутизации пакетов между подсетями (VLAN) в кампусе. В принципе, коммутатор уровня 3 работает во многом так же, как исходные два устройства, на которых основан коммутатор уровня 3: коммутатор локальной сети уровня 2 и маршрутизатор уровня 3.

3.5 VXLAN

Оверлейная сеть - это логическая сеть, построенная на основе существующей физической сети (сеть наложения) для виртуализации сетевых ресурсов.

Рис. 23. Оверлейная сеть.

Плоскости управления и пересылки оверлейной сети не зависят от таковых в нижележащей сети. Для терминала (например, сервера), подключенного к оверлейной сети, нижележащая сеть прозрачна, тем самым отделяя сеть-носитель от сервисной сети.

В качестве одной из основных технологий облачных вычислений виртуализация серверов широко используется в центрах обработки данных. По мере развития корпоративных сервисов число виртуальных машин быстро растет, и миграция виртуальных машин становится общей услугой. Однако это создает следующие проблемы для традиционных сетей:

- Количество виртуальных машин в сети ограничено сетевыми спецификациями. В legacy сети уровня 2 пакеты данных пересылаются на основе записей в MAC-таблицах. Количество виртуальных машин ограничено емкостью таблицы MAC-адресов.

- Ограничение сетевой изоляции. Текущая технология изоляции сети является VLAN. Идентификатор VLAN, определенный в IEEE 802.1Q, имеет только 12 битов и может представлять только 4096 VLAN (рис. 24), что недостаточно для большой сети уровня 2, которая должна изолировать большое количество виртуальных машин.

Рис. 24. IEEE 802.1Q.

Область миграции виртуальных машин ограничена сетевой архитектурой. Чтобы обеспечить непрерывность обслуживания во время миграции виртуальной машины, IP-адреса и MAC-адреса виртуальной машины должны оставаться неизменными. Следовательно, сеть должна быть уровня 2 и обеспечивать резервирование и надежность с многократным резервированием маршрутов. Традиционные технологии, такие как STP и виртуализация устройств, применимы только к малым и средним сетям.

Для решения указанных проблем и удовлетворения требований к возможностям сети виртуализации облачных вычислений разработана технология оверлейной сети. Эта технология решает проблемы следующими способами:

- Ограничения масштаба адресаций виртуальных машин, налагаемых спецификациями сети. VXLAN инкапсулирует пакеты данных, отправленные виртуальными машинами, в пакеты UDP, а также инкапсулирует IP-адреса и MAC-адреса, используемые в физической сети, во внешние заголовки. Тогда сеть знает только об инкапсулированных параметрах, а не о внутренних данных. Это значительно снижает требования к спецификации MAC-адресов в крупных сетях уровня 2.

- Обеспечивает большие возможности изоляции сети. VXLAN использует 24-битный идентификатор сегмента сети, называемый идентификатором сети VXLAN (VNI), для идентификации пользователей. Этот VNI аналогичен идентификатору VLAN и поддерживает максимум 16M [(2 ^ 24 - 1) / 1024 ^ 2] сегментов VXLAN.

- Устраняет ограничения области миграции виртуальной машины, налагаемые сетевой архитектурой. VXLAN использует инкапсуляцию MAC-in-UDP для расширения сетей уровня 2. Он инкапсулирует Ethernet-пакеты в IP-пакеты для передачи этих Ethernet-пакетов по маршрутам поверх сети уровня 3 и не должен знать MAC-адреса виртуальных машин. Нет никаких ограничений на сетевую архитектуру уровня 3, и поэтому сети уровня 3 являются масштабируемыми и имеют мощные возможности автоматического устранения неисправностей и распределения нагрузки. Это позволяет выполнять миграцию виртуальных машин независимо от архитектуры сети.

- Поскольку виртуализация серверов быстро развертывается в центрах обработки данных на основе физической сетевой инфраструктуры, VXLAN предлагает следующие преимущества:

- Максимум 16M сегментов VXLAN поддерживаются с помощью 24-битных VNI, что позволяет центру обработки данных обслуживать нескольких арендаторов (tenants).

- Граничным устройствам не-VXLAN сети не требуется идентифицировать MAC-адрес виртуальной машины, что уменьшает количество MAC-адресов, которые должны быть изучены, и повышает производительность сети.

- Инкапсуляция MAC-in-UDP расширяет сети уровня 2, разделяя физические и виртуальные сети. Арендаторы (tenants) могут планировать свои собственные виртуальные сети, не ограничиваясь физическими сетевыми IP-адресами или широковещательными доменами. Это значительно упрощает управление сетью.

VXLAN является технологией сетевой виртуализации на уровне 3 (NVO3), определенной IETF, и использует режим инкапсуляции пакетов MAC-in-UDP. На рисунке 25 конечная точка виртуального туннеля (VTEP) добавляет заголовок VXLAN к исходному пакету, который затем инкапсулируется в заголовок UDP. Наконец, внешний IP-заголовок и внешний MAC-заголовок добавляются к пакету. Затем пакет пересылается в соответствии со стандартными процессами пересылки уровня 2 и уровня 3 в однонаправленной сети.

Рис. 25.Формат пакета VXLAN.

На 26-м рисунке показана архитектура оверлейной сети, основанная на технологии VXLAN.

Рис. 26. Модель сети VXLAN.

VTEP является пограничным устройством в сети VXLAN. Это начальная или конечная точка туннеля VXLAN и отвечает за инкапсуляцию и декапсуляцию пакетов VXLAN. VTEP могут быть развернуты на коммутаторах доступа или vSwitches (виртуальные коммутаторы на серверах).

Сетевой идентификатор VXLAN (VNI) - это сетевой идентификатор, аналогичный идентификатору VLAN, который используется для идентификации сети VXLAN уровня 2. VNI представляет сегмент VXLAN. Виртуальные машины в разных сегментах VXLAN не могут взаимодействовать друг с другом на уровне 2.

Туннель VXLAN - это логический туннель, установленный между двумя VTEP для передачи пакетов VXLAN. Сервисные пакеты инкапсулируются с заголовками VXLAN, UDP и IP (в этом порядке) в туннеле VXLAN. Затем они прозрачно перенаправляются в удаленный VTEP на уровне 3. Удаленный VTEP декапсулирует полученные пакеты.

Рассмотрим процесс пересылки пакетов VXLAN. Аархитектура оверлейной сети на основе технологии VXLAN (рис.27):

Рис. 27. Архитектура оверлейной сети на основе технологии VXLAN.

Далее описывается процесс пересылки пакетов в сети VXLAN для виртуальных машин в той же подсети.

1. VM1 отправляет пакет, предназначенный для VM2.

2. После получения пакета VTEP1 выполняет инкапсуляцию VXLAN. IP-адрес VTEP2 является IP-адресом назначения во внешнем IP-заголовке, добавляемом к пакету. VTEP1 передает инкапсулированный пакет в VTEP2 через IP-сеть на основе внешнего MAC-адреса и IP-адреса пакета.

3. VTEP2 декапсулирует полученный пакет, получает исходный пакет, отправленный VM1, и пересылает пакет в VM2.

Рассмотрим MAC-адреса второго уровня и пересылку пакетов BUM.

В сети VXLAN виртуальные машины в одной подсети могут общаться друг с другом, запрашивая таблицы MAC-адресов. На следующем рисунке VM1 отправляет пакет в VM2 через VTEP1. VTEP1 должен узнать MAC-адрес VM2 из пакета.

Поскольку в исходном стандарте VXLAN плоскость управления не определена, изученные MAC-адреса хоста не могут передаваться между VTEP. Тем не менее, VXLAN имеет механизм изучения MAC-адресов, аналогичный традиционному Ethernet. После получения пакета VXLAN VTEP записывает IP-адрес источника VTEP, MAC-адрес виртуальной машины и VNI в таблицу локальных MAC-адресов. Если VTEP получает пакет, в котором MAC-адрес назначения является MAC-адресом виртуальной машины, VTEP может реализовать инкапсуляцию VXLAN и переслать пакет.

Рис. 28. Пересылка пакета.

Опишем процесс, в котором VTEP1 и VTEP2 изучают MAC-адрес VM1 (процесс изучения MAC-адреса VM2 аналогичен):

1. VM1 отправляет пакет, предназначенный для VM2.

2. VTEP1 инкапсулирует полученный пакет и пересылает его в VTEP2. Тем временем VTEP1 изучает MAC-адрес, VNI и входящий интерфейс VM1.

3. VTEP2 декапсулирует полученный пакет и запоминает MAC-адрес, VNI и входящий интерфейс (VTEP1) VM1.

Перейдем к пересылке BUM пакетов (рис.29). BUM расшифровывается как broadcast, unicast, multicast.

Рис. 29. Пересылка BUM пакетов.

На рисунке 29 VM1 отправляет пакеты на VM2. Поскольку VM1 не имеет MAC-адрес VM2, VM1 отправляет широковещательный пакет ARP для запроса MAC-адреса VM2. Далее описывается, как VM1 получает MAC-адрес VM2:

1. VM1 передает пакет ARP для запроса MAC-адреса VM2.

2. Поскольку полученный пакет запроса является широковещательным пакетом, VTEP1 ищет информацию обо всех туннелях в широковещательном домене, инкапсулирует пакет на основе полученной информации о туннелях и отправляет пакет во все туннели. Таким образом, VTEP1 пересылает пакет в VTEP2 и VTEP3, которые находятся в одной подсети.

3. VTEP2 декапсулирует полученный пакет, получает исходный пакет ARP, отправленный VM1, и перенаправляет пакет в VM2. VTEP3 обрабатывает пакет таким же образом и перенаправляет его в VM3.

4. VM2 и VM3 сравнивают IP-адрес назначения в запросе ARP с локальным IP-адресом. VM3 обнаруживает, что IP-адрес назначения не является локальным IP-адресом, и отбрасывает пакет. VM2 обнаруживает, что IP-адрес назначения является локальным IP-адресом, и отвечает на запрос ARP. Поскольку VM2 узнал MAC-адрес VM1 на этом этапе, ответный пакет ARP является известным одноадресным пакетом. Последующий процесс пересылки такой же, как и у известных одноадресных пакетов.

5. VM1 получает ответ ARP от VM2 и узнает MAC-адрес VM2. Последующий процесс пересылки такой же, как и у известных одноадресных пакетов.

Различные VLAN должны обмениваться данными друг с другом через шлюзы уровня 3. VXLAN с разными VNI используют аналогичный метод для связи друг с другом.

В типичной сети VXLAN Spine-Leaf шлюзы уровня 3 могут быть развернуты в централизованном или распределенном режиме на VXLAN в зависимости от их местоположения.

В централизованной сети шлюзов шлюзы уровня 3 развернуты централизованно на одном узле spine. На рисунке 30 трафик через подсети направляется через шлюзы уровня 3 для реализации централизованного управления трафиком.

Рис. 30. Централизованная сеть шлюза.

В централизованной сети шлюзов трафик в разных подсетях управляется централизованно, а шлюзы просты в развертывании и управлении. Однако трафик между подсетями на одном и том же конечном узле необходимо пересылать через узел spine, что означает, что путь пересылки трафика не является оптимальным. Кроме того, все записи арендаторов терминала, пересылаемые через уровень 3, генерируются на узле spine, который поддерживает только ограниченное количество записей и может стать узким местом по мере увеличения числа арендаторов.

В распределенной сети шлюза VXLAN конечные узлы функционируют как VTEP туннелей VXLAN, а также шлюзов VXLAN уровня 3. Узлы spine не знают о туннелях VXLAN и только пересылают пакеты VXLAN.

Рис. 31. Распределенная сеть шлюза.

Шлюзы VXLAN уровня 3 могут быть развернуты на конечном узле (leaf) для реализации связи между подсетями на одном узле. Это позволяет трафику напрямую пересылаться конечным узлом без прохождения через узел spine, сохраняя большую пропускную способность. Централизованный шлюз уровня 3 должен изучать записи ARP всех виртуальных машин в сети. В отличие от этого, при развертывании распределенного шлюза конечному узлу, функционирующему в качестве шлюза, нужно только изучить записи ARP виртуальных машин, подключенных к нему. Это устраняет узкое место, вызванное ограниченными спецификациями входа ARP в сценариях централизованного шлюза уровня 3, улучшая возможности расширения сети.

4. Реализация архитектурного решения

Дата центров может быть несколько (рис. 32), которые связаны через Backbone (магистраль передачи данных). Например, каждый дата центр может находится в разных городах. Соединение ЦОД между собой предназначено для организации сетевого взаимодействия между оконечным оборудованием, расположенным в разных ЦОД.

Рис. 32. Дата Центры.

Рассмотрим архитектуру сети одного ЦОД в целом (рис.33):

Рис. 33. Архитектура сети ЦОД.

Сеть ЦОД строится по модульному принципу с использованием горизонтального масштабирования. Уровень агрегации ЦОД (Aggregation layer) объединяет все модули между собой и организации подключения сети ЦОД к ядру сети. Межсетевые экраны (firewall) выполняют контроль безопасности доступа ко всему входящему и исходящему трафику ЦОД.

Архитектура сети модуля ЦОД должна предоставлять высокий уровень безопасности, доступности, простоту управления, высокую производительность.

Для обеспечения масштабируемости, производительности и отказоустойчивости архитектуры сети модуля используем топологию Клоз. Это класс многоуровневой сети коммутации с соединениями каждый с каждым, поэтому она позволяет стоить горизонтально масштабируемые сети. В любой момент времени Клоз фабрика может обеспечить передачу трафика между любыми серверами на полной скорости подключения серверов к leaf коммутаторам. Следовательно, сети Клоса меняют подход к построению сети от вертикального масштабирования к горизонтальному в соответствии с логикой работы приложений для In-Memory Computing, Big Data, в которой одно приложение из многих компонент, работает на множестве серверов, что подразумевает большое количество горизонтальных коммуникаций между компонентами приложения. Архитектурные решения, которые были рассмотрены в предыдущих главах отвечают архитектурным требованиям модуля ЦОД, а именно использование наложенных сетей - технология сетевой виртуализации (VXLAN) решают проблемы масштабируемости на втором уровне OSI и в системах облачных вычислений.

Рис. 34. Архитектура модуля ЦОД.

На рисунке 34 представлена архитектура сети модуля ЦОД, состоящая из нижележащей (underlay network) и наложенной (overlay network) сетей. Нижележащая сеть (underlay network) построенная по топологии Клоза, которая реализуется с помощью spine-коммутаторов (коммутаторы 3-го уровня) и leaf-коммутаторов (коммутаторы 3-го уровня). При этом каждый leaf-коммутатор связан с каждым spine-коммутатором, образуя несколько непересекающихся плоскостей. Таким образом, трафик между любыми двумя leaf-коммутаторами балансируется по нескольким эквивалентным маршрутам, что обеспечивает устойчивость к множественным отказом и высокую производительность. Обычно используется 4 плоскости, но возможно расширение до 8 или 16. Масштабируемость регулируется количеством плоскостей и ограничена физическими параметрами коммутаторов (количеством uplink-интерфейсов на leaf-коммутаторах).

Подключаются межсетевые экраны для контроля доступа между различными серверами внутри модуля.

Описание пересылки пакета. Сервер/хост при отправке пакета на leaf коммутатор формирует обычный L2 фрейм (таблица 3):

Таблица 3. Формат L2 фрейма.

Таблица 4. Формат VXLAN.

После того, как leaf коммутатор 1 принимает пакет хоста 1, он определяет broadcast domain уровня 2 пакета на основе интерфейса доступа и информации VLAN и ищет исходящий интерфейс и информацию инкапсуляции в broadcast domain.

VTEP leaf коммутатора 1 выполняет инкапсуляцию VXLAN на основе полученной информации о инкапсуляции и пересылает пакеты через полученный исходящий интерфейс (таблица 4).

После получения пакета VXLAN VTEP leaf коммутатор 5 проверяет пакет VXLAN на основе номера порта назначения UDP, IP-адресов исходящего коммутатора (VTEP 1) и коммутатора получателя (VTEP 5) и VNI. Leaf коммутатор 2 получает broadcast domain уровня 2 на основе VNI и выполняет декапсуляцию VXLAN для получения внутреннего пакета уровня 2.

Leaf коммутатор 5 получает MAC-адрес отправителя внутреннего пакета уровня 2, добавляет теги VLAN к пакетам на основе исходящего интерфейса и информации о инкапсуляции в таблице локальных MAC-адресов и пересылает пакеты на хост 5.

Заключение

Целью выпускной квалификационной работы было разработать архитектуру сети модуля ЦОД, отвечающая современным требованиям.

Были поставлены задачи:

- проанализировать архитектуры сетей центров обработки данных на примерах ведущих компаний;

- определить принципы построения архитектуры сети модульных центров обработки данных;

- изучить и сравнить современные сетевые технологии и топологии, используемые для построения центра обработки данных.

Для выполнения поставленных задач были проведены анализ технологий, которые используются в архитектурных решениях компаний Cisco и Huawei, а также изучены подробно данные технологии и выявлены преимущества в сравнении с другими. Была проделана поэтапная работа, разбирающая имеющиеся на данный момент наработки в сфере вычислительных сетей, их построения и эффективности. Поскольку появляются новые технологии и алгоритмы обработки больших неструктурированных данных (Big Data), то потребности ЦОД на сегодняшний день меняются В дипломе анализировались и изучались технологии для решения этих проблем, и были выявлены такие технологии как фабрика Клоз, L3 домены и оверлейная сеть VXLAN, которые удовлетворяют современным требованиям архитектуры сети ЦОД. После были разработаны схемы даты центров и одного дата центра, а также схема одного модуля дата центра. Разработанное архитектурное решение позволяет не зависеть от вендоров и реализует современные функциональные требования. Был описан принцип работы сети на канальном и сетевом уровне модели OSI.

Список использованных источников

1. Дэвид Рейнсель - Джон Ганц - Джон Риднинг The Digitization of the World [Электронный ресурс]: IDC URL: https://www.seagate.com/files/www-content/our-story/trends/files/idc-seagate-dataage-whitepaper.pdf (дата обращения 20.02.2019).

2. Cisco [Электронный ресурс]: Cisco Application Centric Infrastructure Режим доступа: https://www.cisco.com/c/en/us/solutions/data-center-virtualization/application-centric-infrastructure/index.html (Дата обращения: 10.03.2019).

3. Huawei [Электронный ресурс]: Data Режим доступа: https://e.huawei.com/en/services/technology-support/data-center (Дата обращения: 12.03.2019).

4. Multi-Vendor versus Single-Vendor, Data Centers Frank Kobuszewski [Электронный ресурс]: Networkworld Режим доступа: https://www.networkworld.com/article/2221777/multi-vendor-versus-single-vendor-data-centers.html (Дата обращения: 12.03.2019).

5. Конференция по сетям Next Hop в Яндексе [Электронный ресурс]: Эволюция сети Яндекса: соединить больше ста тысяч серверов и выжить. Режим доступа: https://events.yandex.ru/lib/talks/5895/ (Дата обращения 22.02.2019).

6. Wendel Odom CCENT/CCNA ICND1 100-105 Official Cert Guide. - 2016. P - 14-242.

7. Habr [Электронный ресурс]: Дом, который построил Клоз или Leaf-Spine архитектура: меняем L2 на L3. - Режим доступа: https://habr.com/ru/company/etegro/blog/240013/

8. Комагоров В.П. Архитектура сетей и систем телекоммуникаций. - 2011. - Режим доступа: http://window.edu.ru/resource/074/79074/files/NA_Course_Book_ru.pdf

9. Habr [Электронный ресурс]: Что такое EVPN/VXLAN. - Режим доступа: https://habr.com/ru/post/352564/

10. Habr [Электронный ресурс]: Сетевые оверлейные технологии для ЦОД. Часть 2 - Режим доступа: https://habr.com/ru/company/cbs/blog/268247/

Размещено на Allbest.ru