Разработка масштабируемого и отказоустойчивого решения для организации проводной и беспроводной локальной вычислительной сети

Размещено на http://www.allbest.ru/

Дипломная работа

Разработка масштабируемого и отказоустойчивого решения для организации проводной и беспроводной локальной вычислительной сети



Содержание

Введение

1. Обзорно-аналитическая часть

1.1 Цели и задачи

1.2 Выявление требований к проектируемой системе

1.2.1 Вводная

1.2.2 Деятельность компании

1.2.3 Общее описание

1.2.4 Описание существующей инфраструктуры

1.2.5 Требования к разрабатываемой системе

1.2.6 Требования к ядру системы

1.3 Обзор существующих решений построения корпоративных сетей

1.3.1 Вводная

1.3.2 Технологии, используемые при построении защищенных корпоративных сетей

1.3.3 Обзор решений организации связи между структурными подразделениями

1.3.4 Обзор существующих решений построения корпоративной БЛВС

1.3.5 Обеспечение сетевой безопасности БЛВС

1.4 Выбор структурообразующего оборудования

1.4.1 Вводная

1.4.2 Оборудования ядра системы передачи данных

1.4.3 Оборудование граничного блока системы передачи данных

1.4.4 Оборудование системы БЛВС

1.4.5 Оборудование уровня доступа

1.4.6 Оборудование офисного ЦОД

2. Специальная часть

2.1 Вводная

2.2 Описание объекта

2.3 Логическая схема ЛВС

2.3.1 Схема связи между структурными блоками сетевой инфраструктуры

2.3.2 Подключение внешних каналов, граничный блок сети

2.3.3 Уровень доступа ЛВС

2.3.4 Офисный ЦОД

2.3.5 Мультикаст

2.4 Беспроводная локальная вычислительная сеть

2.4.1 Технические решения

2.4.2 БЛВС 1 этаж

2.4.3 БЛВС 2 этаж

2.4.4 БЛВС 3 этаж

2.4.5 БЛВС 4 и 5 этаж

2.4.6 Типовой этаж (с 6 по 26)

2.5 Физическая схема

2.5.1 Технические решения

2.5.2 Состав проектируемой среды

2.5.3 Подсистема рабочего места

2.5.4 Горизонтальная подсистема

2.5.5 Магистральная подсистема

2.6 IP-адресация

3. Экспериментальная часть

3.1 Проверка работоспособности выбранных решений на стенде

3.1.1 Вводная

3.1.2 Тестирование проводного 802.1

3.1.3 Настройка RADIUS-сервера

3.1.4 Настройка коммутатора

3.1.5 Проверка работоспособности

3.2 Оценка соответствия техническому заданию

3.3 Внедрение системы

4. Охрана труда

4.1 Исследование возможных опасных и вредных факторов при эксплуатации ЭВМ и их влияния на пользователей

4.1.1 Вводная

4.1.2 Влияние электрического тока

4.1.3 Влияние статического электричества

4.1.4 Влияние электромагнитных излучений НЧ

4.2 Методы и средства защиты пользователей от воздействия на них опасных и вредных факторов

4.2.1 Методы и средства защиты от поражения электрическим током

4.2.2 Методы и средства защиты от ультрафиолетового излучения

4.2.3 Методы и средства защиты от электромагнитных полей низкой частоты

4.2.4 Методы и средства защиты от статического электричества

Заключение

Список литературы



Введение

Актуальность. Сегодня, качество и себестоимость производимых предприятием услуг и продуктов зависит от используемых предприятием технологий. В части отраслей информация является основополагающим фактором производства, а так же и основным продуктом. В связи с этим постоянно встают вопросы своевременного получения информации и защиты ее от конкурентов и недоброжелателей. Решение этих вопросов в значительной мере ложится на компьютерные сети и инфраструктуру.

Целью данной работы является обеспечение эффективной работы компании после переезда в новое офисное здание, путем создания масштабируемой и защищенной сетевой инфраструктуры.

Задачи, которые были решены в этой работе:

- Формирование требований к создаваемой системе;

- Анализ существующих решений и подходов к организации корпоративной сетевой инфраструктуры и обеспечению безопасности сети предприятия;

- Разработка физический и логической схем локальной вычислительной сети;

- Разработка схемы беспроводной локальной вычислительной сети;

- Разработка подхода к обеспечению сетевой безопасности и авторизации пользователей;

- Внедрение системы в эксплуатацию.

Практическая значимость данной работы подтверждена успешной реализацией и внедрением в работу компании.

Апробация работы. Спроектированная в данной работе сетевая инфраструктура прошла апробацию в ООО «Мэйл.Ру» («Акт о внедрении результатов дипломной работы»).



1. Обзорно-аналитическая часть

1.1 Цели и задачи

Основной целью данной работы является обеспечение работы компании после переезда в новое офисное здание, путем создания сетевой инфраструктуры, имеющей следующие характеристики:

- Безопасность;

- Устойчивость и высокая степень доступности;

- Масштабируемость;

- Высокий уровень функциональности;

- Удобство и простота в обслуживании.

Для достижения данной цели требуется решить следующие задачи:

- Выявить требования к структурным блокам разрабатываемой инфраструктуры;

- Рассмотреть и проанализировать существующие подходы к построению безопасных корпоративных сетей, и выявить наиболее применимые для построения сети компании;

- Рассмотреть возможные варианты и выбрать подходящее для реализации проекта сетевое оборудование;

- Разработать физическую схему для проектируемой корпоративной сети;

- Разработать решение для обеспечения безопасности сети и авторизации пользователей;

- Принять решение об используемой в проектируемой инфраструктуре схеме адресации;

- Собрать тестовый стенд и протестировать выбранные решения построения сети;

- Реализовать разработанную сетевую инфраструктуру в соответствии с выбранными ранее решениями для построения сети;

- Разработать логическую схему проектируемой сети - проводной и беспроводной - с учетом выбранных технологий и физических особенностей нового офисного здания.

1.2 Выявление требований к проектируемой системе

1.2.1 Вводная

В данном разделе будет произведен обзор деятельности компании в аспекте требований с сетевой инфраструктуре, рассмотрены основные условия которым должна удовлетворять информационная система. Кратко рассмотрена существующая корпоративная сетевая инфраструктура. Будут определены требования к каждому из структурных блоков сетевой инфраструктуры.

1.2.2 Деятельность компании

Основные направления деятельности Mail.ru Group - электронная почта, социальные сети, сервисы мгновенных сообщений, e-commerce, он-лайн развлечения, поиск. Посетителями проектов компании являются около 85% аудитории интернет пользователей в России.

Компания неразрывно связана с сетью Интернет, с разработкой сетевых приложений и поддержкой существующих он-лайн сервисов. Разработка он-лайн сервисов невозможно в отсутствии стабильного, и высокоскоростного доступа в интернет.

Так же, большинству подразделений требуется доступ к корпоративной инфраструктуре, расположенной в ЦОД компании.

Офисы компании, как в России так и за ее пределами, требуют стабильной связанности как с инфраструктурой головного офиса, так и с расположенными в Москве ЦОДами.

Видом деятельности компании так же диктуются особые требования к сетевой безопасности, контроле доступа к корпоративным ресурсам как изнутри корпоративной сети, так и снаружи. И если вопросов с контролем доступа к внутренним ресурсам из сети Интернет не возникает - в большинстве случаев они однозначно закрыты, то разделение и определение прав доступа к внутренним ресурсам корпоративным пользователям не столь очевидно. Нередко, при исследовании инцидентов, возникает необходимость идентификации трафика, его однозначной ассоциации с одним из пользователей.

В компании активно пользуется средствами телефонии - каждому сотруднику требуется свой внутренний номер, с выделенной линией.

Значительна нагрузка на беспроводную локальную вычислительную сеть (БЛВС), все больше электронных устройств поддерживают стандарт 802.11, все больше пользователей предпочитают быть отвязанными от проводов и используют беспроводной доступ к сети интернет и корпоративным ресурсам.

Для некоторых сервисов - IPTV, синхронизация контроллеров системы освещения, требуется передача multicast-трафика.

1.2.3 Общее описание

В настоящий момент инфраструктура располагается по следующим адресам:

1. Московский офис (Л47). Адрес: г. Москва, Ленинградский п-т, д. 47, стр. 2;

2. Головной офис (ГО). Адрес: г. Москва, Ленинградский п-т, д. 39А;

3. Датацентр «М100». Адрес: г. Москва, Варшавское шоссе 125. Филиалы. В настоящее время более 15 филиалов в различных регионах РФ и за пределами.

При этом, московский офис компании (1) в ближайшее время закрывается в связи с переводом всех сотрудников и инфраструктуры в новое здание головного офиса (2).



1.2.4 Описание существующей инфраструктуры

Существующая корпоративная сеть компании построена на базе каналов, арендуемых у операторов связи. Региональные филиалы имеют защищенные каналы связи с датацентром «М100» и московским офисом (Л47). Обеспечено резервирование внешних каналов.

Внутренняя сеть московского офиса частично сегментирована, построена по топологии звезда. В силу слабого планирования и быстрого увеличения количества пользователей сеть развивалась не оптимально, и не справляется с нагрузками.

Имеются несколько широковещательных доменов охватывающих десятки устройств - что способствует увеличению количества широковещательного трафика в сети.

БЛВС московского офиса построена на базе оборудования Cisco, с использованием «легковесных точек доступа» и контроллеров беспроводной сети. На границе офисной сети межсетевой экран. Развернута Active Directory, все пользователи компании имеют учетную запись, использующуюся для доступа к корпоративным ресурсам.

Обеспечение политик безопасности в существующей сети обеспечивается за счет правки списков доступа на коммутаторах уровня доступа, а так же за счет правил прохождения трафика на сетевом экране. Такой подход не всегда обеспечивает соблюдение и актуально правил прохождения трафика пользователей. Развернуто несколько систем мониторинга. Существующая система управления оборудованием сети является разрозненной, отсутствует единый центр агрегации и корреляции событий, происходящих в сети. Это усложняет процесс эксплуатации сетевого оборудования и увеличивает время, затрачиваемое на разрешение проблем, что создает репутацию и финансовые риски для компании. Одной из целей данной работы является устранение данных недостатков при построении инфраструктуры нового головного офиса компании.



1.2.5 Требования к разрабатываемой системе

1) Обеспечение защищенной передачи данных по протоколу IP между:

1.1) Головным офисом и датацентром;

1.2) Головным офисом и московским офисом (Л47) на время переезда инфраструктуры и сотрудников;

1.3) Головным офисом и филиалами.

2) Обеспечение безопасного доступа в сеть Интернет для сотрудников.

3) Обеспечение доступа из сети Интернет к выделенным внутренним ресурсам.

4) Обеспечение управления устанавливаемым сетевым оборудованием.

5) Обеспечение возможности идентификации проходящего через систему трафика, привязки его к конкретному пользователю.

6) Обеспечение сбора и обработки событий Информационной безопасности.

7) Обеспечение безопасного и управляемого доступа к интерфейсам управления активного сетевого оборудования.

1.2.6 Требования к ядру системы

Приведено описание деятельности компании, исходя из него выделены основные требования к необходимой сетевой инфраструктуре. Рассмотрена существующая ситуация, обнаружены недостатки, требующие исправления. Приведены требования к каждому структурному блоку проектируемой инфраструктуры, а так же к корпоративной сети в целом в аспекте надежности, производительности, используемого оборудования.

1.3 Обзор существующих решений построения корпоративных сетей

1.3.1 Вводная

Прежде чем приступать к проектированию структуры будущей сети передачи данных.

Для этого требуется выбрать такие технологии, которые будут использоваться.

1.3.2 Технологии, используемые при построении защищенных корпоративных сетей

Определившись с ключевыми для проекта характеристиками, по которым будет происходить выбор стандарта, можно выбрать подходящую технологию для физического, канального и сетевого уровня модели взаимодействия открытых систем (МВОС, ISO OSI).

Не смотря на некоторую условность данной модели в современном мире и неоднозначность трансляции данной модели на наиболее распространенный стек протоколов - TCP/IP, данный подход позволит определится с набором стандартов для реализации проекта, и, в дальнейшем, с используемым оборудованием.

1.3.3 Обзор решений организации связи между структурными подразделениями

Для обеспечения безопасности данных передаваемых по корпоративной проводной сети, использующей кабельную систему, потребует соблюдение пункта 7.2.3 ГОСТ 17799 при прокладке, а так же требуется соблюдение мер безопасности указанных в пункте 7.1 «Охраняемые зоны».

Этого достаточно, чтобы предотвратить доступ неавторизованных пользователей к среде передачи данных.

Для дополнительной защиты, возможно использование механизмов туннелирования и шифрования трафика, проходящего через сеть, например протоколы IPSec, PPTP.

В сетях построенных на базе стандарта IEEE 802.3 возможно так же реализовать авторизацию, защиту и идентификацию трафика пользователей следующими способами:

- Авторизация и идентификация по MAC-адресу (Media Access Control, иначе называемый Hardware Address) сетевого адаптера. Возможно в сочетании с протоколом динамической конфигурации узла (DHCP) и использование на коммутаторах и иных устройствах уровня доступа таких мер как DHCP-snooping и инспекция ARP-запросов. Позволяет ограничить доступ к сети и корпоративным ресурсами определенному списку MAC-адресов. Недостатки данного подхода очевидны - возросшая административная нагрузка - необходимость ведения списка MAC-адресов, которым разрешен доступ, сниженное удобство конечных пользователей, простота подмены MAC-адреса для злоумышленника, что позволит обойти данную меры защиты, не оставив следов;

- IEEE 802.1x - стандарт определяющий протокол аутентификации и контроля доступа, ограничивая права неавторизованных компьютеров подключенных к коммутатору. В общем случае, до аутентификации подключенного сетевого устройства, разрешено прохождение только EAPOL-трафика на порту коммутатора. EAPOL (extensible authentication protocol over LAN) используется для трансляции кадров между клиентом и сервером аутентификации, обычно это RADIUS-сервер. После аутентификации пользователя - получения коммутатором подтверждения от RADIUS-сервера и дополнительных атрибутов, описывающих доступные клиенту сервисы, правила фильтрации трафика, сетевое устройство получает доступ в сеть. Недостатки данного подхода - в необходимости поддержания развернутой инфраструктуры, включающей RADIUS-сервера, каналы к ним, поддержание актуальной базы пользователей, необходимость поддержки 802.1x со стороны конечных устройств и операционных систем, необходимы коммутаторы с поддержкой 802.1x. Преимущества - гибкость данного решения, минимизация ручной конфигурации коммутаторов при подключении пользователей - большую часть необходимых настроек порта коммутатора можно передавать c RADIUS-сервереа в виде атрибутов. Так же, при использовании связки 802.1x, DHCP и сборки Netflow с сетевых устройств, появляется возможность надежной идентификации трафика и привязки его к конкретным пользователям сети;

- Туннелирование трафика, с помощью технологий VPN. Необходима соответствующая инфраструктура для такого трафика, аутентификации пользователей при подключении. Недостатки - дополнительная точка отказа, требующая резервирования (VPN-сервер и сервера авторизации пользователей), пропускная способность такой сети ограничивается возможностями VPN-сервера, сниженное удобство пользователей конечных пользователей, возможны проблемы с некоторыми сетевыми приложениями при таком подключении.

Преимущества - не требуется какой-либо дополнительно поддержки технологий со стороны оборудования уровня доступа, коммутаторов (в отличии, от 802.1x и фильтрации по mac-адресам), единая точка применения политик безопасности, фильтрации и мониторинга трафика пользователей, при необходимости - дополнительная защита всего передаваемого по сети трафика с помощью шифрования.

Исходя из достоинств и недостатков описанных вариантов, для решения задачи идентификации трафика пользователей и ограничения доступа к корпоративной сети неавторизованным пользователям, больше всего подходит решение на основе 802.1x, которое хоть и требует значительной инфраструктуры и конфигурации на начальном этапе, в дальнейшем, помимо решения основных задач, так же позволит централизованное управление настройкой портов коммутаторов за счет передаваемых с RADIUS-сервера атрибутов.

1.3.4 Обзор существующих решений построения корпоративной БЛВС

Определившись с протоколами и стандартами, на основе которых будет строится проводная сеть головного офиса - 802.11, ethernet, TCP/IP, требуется рассмотреть и выбрать подходящее решение по структуре беспроводной сети.

БЛВС на основе стандарта 802.11 может быть организована по одной из трех топологий:

- BSS (Basic Service Sets) - группа работающих по стандарту 802.11 станций, с центральным пунктом связи - точкой доступа. Клиентские станции не связываются друг с другом, отправляя весь трафик точке доступа, которая в свою очередь доставляет кадры адресату;

- IBSS (Independent Basic Service Sets) - децентрализованная, ad-hoc топология. Отсутствует центральный узел связи, беспроводные станции передают трафик, связываясь непосредственно друг с другом. Распределение времени в течении которого вещает каждая станция так же происходит децентрализовано;

- ESS (Extended Service Sets) - объединение нескольких инфраструктур BSS с целью увеличения зоны покрытия и распределения сетевого трафика. Для соединения между BSS используется независимый канал, который может быть как беспроводным, так и проводным.

Для осуществления целей проекта подходит только последняя из перечисленных топологий, так как в случае с BSS одна общая точка доступа является единственной точкой отказа, физически не может обеспечить покрытие во всем здании, а так же подразумевает под собой деление пропускной способности между всеми подключенными абонентами. IBSS так же не подходит из-за динамически меняющейся топологии сети, отсутствия централизованного управления, низкой скорости передачи данных (не более 11Мбит/с согласно стандарту 802.11), и слабой защищенностью - единственный поддерживаемый способ шифрования WEP.

Определившись с топологией, необходимо рассмотреть возможные варианты объединения множества точек доступа в единую систему. Точки доступа могут быть:

- Автономные (децентрализованные, «умные»). Автономные точки доступа полностью самостоятельно отвечают за доставку трафика абонентов, применение политик безопасности, мониторинг эфира и выбор канала;

- Работающие под управлением контроллера беспроводной сети (так называемые lightweight AP, «легковесные»). Возможно как решения в котором весь трафик беспроводных пользователей сначала передается точкой доступа контроллеру, так и подход при котором контроллер осуществляет только контроль за единообразием настроек фактически автономных точек доступа.

Так же, стандарт 802.11 не дает указаний по способу организации и управления радиоканалами, поэтому имеет место быть как использование точками доступа для работы статически заданных диапазонов частот, так и динамическая настройка канала.

Преимущество автономных точек доступа очевидно - отсутствие единой точки отказа (контроллера беспроводной сети), отсутствие в сети избыточного управляющего трафика между контроллером и точками доступа. Данное решение прекрасно подходит для небольших проектов.

Однако, когда появляется необходимость в общей конфигурации и политике безопасности для множества точек доступа, согласовании каналов каждой из точек доступа, автоматической реакции на интерференцию, разворачивании дополнительных сервисов - таких как, например, определение местоположения абонентов - гораздо эффективней использовать решение на основе связки «легковесных» точек доступа и контроллера беспроводной сети.

Главную проблему этого подхода можно устранить используя несколько контроллеров и механизмы резервирования.

Может отличаться в зависимости от задачи и способ соединения точек между собой - это может быть беспроводной канал связи (так же реализованный по стандарту 802.11, но в другом частотном диапазоне) - такое построение БЛВС так же часто называют mesh, либо локальная сеть. Точки доступа поддерживающие mesh-сети, значительно дороже, сложнее в конфигурации - особенно если стоит требование отказоустойчивости. Обычно беспроводной канал связи используется при организации БЛВС за пределами зданий, в местах где использование проводной сети невозможно либо нецелесообразно. Для офисной сети вполне подойдет подключение точек через общую локальную сеть на основе Ethernet.

1.3.5 Обеспечение сетевой безопасности БЛВС

В отличии от ЛВС и кабельной системы, проконтролировать физический доступ к среде распространения сигнала невозможно - Wi-Fi использует радиоэфир. Поэтому, по стандарту 802.11 возможно использование следующих инструментов обеспечения конфиденциальности и защиты передаваемых данных авторизованных пользователей от прослушивания, в первую очередь основанных на различных способах шифрования:

- WEP (Wired Equivalen Privacy) - один из ранних способов защиты передаваемых в сетях 802.11 данных, алгоритм RC4 и статический ключ. Существует две разновидности WEP - WEP-40 и WEP-104, с различной длиной ключа. Больше бит - большее количество возможных комбинаций, и, в теории, большая стойкость ко взлому. В случае с WEP-40 используется 64-битное шифрование, причем 40 бит являются статическими, а оставшаяся часть ключа является динамической (вектор инициализации), и меняется в процессе работы сети. Шифр RC4 имеет две основных проблемы - возможность коллизии (повторения) векторов инициализации в течении определенного промежутка времени и возможность изменения передаваемых кадров. Для взлома требуется перехват кадров и анализ беспроводной сети, однако используя специальные утилиты на современном оборудовании WEP “ломается” за считанные минуты. Для повышения безопасности передаваемых данных в таких сетях можно применять туннелирование с использованием более крипкостойких алгоритмов для шифрования трафика;

- WPA (Wi-Fi Protected Access) - технология пришедшая на смену WEP в качестве меры защиты беспроводных сетей от перехвата передаваемых данных. В отличии от WEP, обладает механизмом аутентификации пользователей. WPA является суммой нескольких технологий - IEEE 802.1x, EAP, TKIP, MIC. Основой механизма аутентификации пользователей является протокол EAP (Extensible Authentication Protocol, Расширяемый Протокол Аутентификации). Каждый подключающийся к беспроводной сети пользователь должен пройти проверку по базе зарегистрированных пользователей, обычно расположенных на внешнем сервере (RADIUS). Существует упрощенный режим, WPA-PSK, для аутентификации пользователя в котором достаточно ввести один общий пароль для узла беспроводной сети. За счет использования MIC и TKIP достигается более высокий уровень шифрования. TKIP (Temporal Key Integrity Protocol) - протокол динамических ключей сети, так же основанный на RC4, но в отличии от WEP длина ключа увеличена до 128 бит, ключи генерируются автоматически, вместо использования статического 40-битного в WEP-64. MIC (Message Integrity Check) - протокол проверки целостности пакетов, защищает данные от перехвата и перенаправления. Не смотря на то что недостатки WEP в данной технологии были устранены, в 2008-2009 году были продемонстрированы возможности достаточно быстрого «взлома» и перехвата трафика в таких сетях, основанные на уязвимостях TKIP;

- WPA2 - усовершенствованная версия WPA, где на замену TKIP пришел AES (Advanced Encryption Standard) и CCMP (Counter Mode with Cipher Block Chaining Message Authentication Code Protocol).

Единственная продемонстрированная в данный момент уязвимость сетей использующих WPA2 позволяет авторизовавшемуся в сети пользователю в определенных случаях перехватить и расшифровать трафик других пользователей этой же сети.

Исходя из вышесказанного, беспроводные сети использующие WPA2 с точки зрения защиты передаваемых данных являются достойной альтернативой проводным сетям.

В случае применения WEP, WPA, или же открытой сети необходимо обеспечить дополнительную защиту трафика с помощью механизмов туннелирования трафика с шифрованием (например, IPSec). Так же, широко используются следующие способы дополнительно увеличить защищенность беспроводных сетей, это:

- Фильтрация подключений по MAC адресу. MAC - уникальный идентификатор сетевого адаптера, назначаемый производителем. Составив список разрешенных адресов, можно создать дополнительную преграду злоумышленнику. Однако, необходимость поддержания списка разрешенных mac-адресов создает дополнительную административную нагрузку и неудобство для пользователей, а злоумышленник при обнаружении такой защиты может подменить адрес своего устройства на один из разрешенных;

- Скрытие SSID (Service Set Identifier), не позволяет обнаружить сеть при сканировании стандартными утилитами. Однако, сеть по прежнему можно обнаружить с помощью анализа трафика подключенных пользователей. Фактически, данное решение не увеличивает защищенность.

Были рассмотрены наиболее актуальные технологии, используемые при организации корпоративных сетей, как проводные так и беспроводные решения. Выбраны наиболее подходящие для реализации проекта корпоративной сети компании. Рассмотрены решения авторизации пользователей и контроля доступа к проводной и беспроводной сети, выявлены преимущества и недостатки различных подходов, выбрано наиболее подходящее решение - семейство протоколов IEEE 802.1x.

1.4 Выбор структурообразующего оборудования

1.4.1 Вводная

Проведя анализ подходов к построению корпоративной сети, а так же средств обеспечения безопасности ЛВС и БЛВС, выбрав подходящее решение для мониторинга проектируемой инфраструктуры, пора определится с оборудованием, которое будет использоваться. Необходимо выбрать подходящее оборудование для каждого из структурных блоков сети:

- Ядро системы передачи данных ГО;

- Граничный блок системы передачи данных ГО;

- Система беспроводной локальной вычислительной сети (БЛВС);

- Уровень доступа ЛВС;

- Офисный ЦОД.

1.4.2 Оборудования ядра системы передачи данных

Одним из критериев выбора оборудования для сети ГО, описанных в начале раздела было использование уже закупленных в компании устройств. Для требований ядра вполне подходят роутеры Cisco 7609, не так давно выведенные из эксплуатации в датацентрах компании. Данные устройства обладают модульной структурой и отвечают всем требованиям к оборудованию ядра. Для проекта можно использоваться два шасси, с идентичным набором модулей:

1. Cisco 7609-S - 2 шт. Модульное шасси, 9 слотов для плат расширения;

2. Cisco WS-X6724-SFP - 2 шт. Представляет из себя модуль с 24 гигабитными портами, для подключения среды передачи данных используется SFP (Small Form-Factor Pluggable);

3. Cisco WS-X6708-10GE - 8 шт. Представляет из себя модуль с 8 портами, 10Гбит/с каждый. Для подключения среды передачи данных используются трансиверы стандарта X2, либо SFP через переходник;

4. Cisco RSP720-3CXL-GE - 2 шт. Супервизор модульного шасси, обеспечивает управление и взаимодействие всех остальных модулей.

1.4.3 Оборудование граничного блока системы передачи данных

Под требования данного блока подходит комплекс из межсетевого экрана и роутера. Учитывая имеющийся функционал роутера Cisco 7609, выбранного в качестве оборудования ядра сети, рационально перенести на него так же часть функционала связанного с поддержкой маршрутизации, необходимых для граничного блока, обеспечив необходимое взаимодействие структурных блоков сети с помощью технологии VRF (Virtual Routing and Forwarding). Тогда для граничного блока остается выбрать подходящий под требования межсетевой экран. Таковым является Cisco ASA 5585-SSP-40, в количестве двух штук для резервирования функционала. Межсетевой экран обеспечивает необходимую производительность (пропускная способность до 20Гбит/с), инспекцию трафика, трансляцию адресов, подключение удаленных офисов, и в сочетании с маршрутизаторов отвечает всем сформулированным выше требованиям к оборудованию граничного блока.

1.4.4 Оборудование системы БЛВС

Рассмотрев существующие подходы организации корпоративной беспроводной сети, стало очевидно что для сети головного офиса компании больше всего подходят решения на основе легковесных точек доступа и контроллера беспроводной сети. Подобное оборудование предлагают несколько производителей - Cisco, Aruba, Juniper. Решение от Aruba Networks, как подходящее для реализации проекта, было взято у поставщика на тестирование, но были выявлены критические недостатки - в первую очередь касающиеся стабильности и защищенности. Так же, в московском офисе компании уже используется подобное оборудование (контроллер Cisco Aironet 4402 и сотня точек доступа), то при построении новой сети рационально использовать так же контроллер и точки доступа производства Cisco Systems - это обеспечит совместимость, и позволит при необходимости задействовать имеющиеся точки доступа. Единственным подходящим под требования к БЛВС решением производства Cisco является контроллер AIR-CT5508-250-K9, в количестве двух штук для резервирования. Контроллер обеспечивает работу 250 точек доступа. Возможно увеличение количества поддерживаемых точек доступа путем приобретения и установки дополнительных лицензий на контроллер беспроводной сети. Разумно так же использовать точки доступа Cisco AIR-CAP3602i-R-K9 - они обеспечивают двух диапазонное покрытие и радиочастотный мониторинг, обладают встроенным спектр анализатором, а так же, за счет наличия четырех антенн (MIMO 4x4) и поддержки 802.11n позволяют передачу данных в беспроводной сети с теоретически достижимой пропускной способностью до 450Мбит/с, удовлетворяя требованиям к пропускной способности и масштабируемости корпоративной БЛВС.

1.4.5 Оборудование уровня доступа

Для использования в качестве оборудования уровня доступа более всего подходят коммутаторы третьего уровня Juniper Networks EX4200-48PX. Коммутаторы этой серии хорошо зарекомендовали себя при эксплуатации в датацентрах компании, накоплен большой опыт их использования и решения возможных проблем. Так же они поддерживают необходимые для решения поставленной задачи стандарты - 802.3af, 802.3ae, 802.3ab, 802.3ad, 802.1q, поддерживают igmp и igmp-snooping, маршрутизацию трафика и протоколы динамической маршрутизации - тем самым давая большую свободу в выборе схемы сегментации сети и управлении трафиком пользователей.

1.4.6 Оборудование офисного ЦОД

Требования к сетевому оборудованию ЦОД, за исключением поддержки технологий связанных с безопасностью передаваемых данных и электропитания подключенных устройств, не сильно отличается от необходимого для оборудования уровня доступа. Рационально будет использовать те же коммутаторы Juniper Networks EX4200-48PX, либо коммутаторы той же серии, но без поддержки 802.3af - Juniper Networks EX4200-48T.

Были сформулированы цели и требования к проектируемой сетевой инфраструктуры. Проведен обзор и анализ технологий, протоколов и стандартов, которые могут быть использованы для выполнения задач проекта. Проведен обзор способов обеспечения сетевой безопасности как в проводных, так и в беспроводных сетях. Проведен анализ и выбраны подходящие для проектируемой сетевой инфраструктуры системы мониторинга. Выбрано оборудование, отвечающее сформулированным требованиям и поддерживающее необходимые стандарты и протоколы, которое и будет использоваться в проекте.



2. Специальная часть

2.1 Вводная

Используя полученные в предыдущих главах данные, можно приступать к разработке проекта сетевой инфраструктуры головного офиса. Данная глава включает в себя:

- Разработку логической и физической схем проектируемой ЛВС - проводной сети, построенной на оптических кабелях и витой паре;

- Разработку схемы БЛВС, выбор расположения точек доступа;

- Разработку решения обеспечения безопасности и аутентификации пользователей проводной и беспроводной сети.

2.2 Описание объекта

Новый офис расположен по адресу: Москва, Ленинградский проспект, 39, БЦ «Skylight», башня А, и представляет собой офисное здание высотой в 26 этажей. Согласно плану, на первом этаже располагаются несколько зон различного назначения общей площадью 2500 м. кв. (50 м. * 50 м.). Туда включаются:

- Конференц-зал на 460 мест (480 м. кв., зона повышенной плотности пользователей);

- Корпоративный ресторан общей площадью ~580 м. кв.;

- Кофейня общей площадью 95 м. кв.;

- Гардероб, вспомогательные площади.

На втором этаже, общей площадью 2500 (50 м. * 50 м.) м. кв. располагаются:

- 2 разнесенных конференц-зала на 147 и 114 человек (оба по 15 м. * 8 м. = 120 м. кв.);

- зона с мягкими посадочными местами (до 50 человек);

- 15 переговорных комнат (расчетная вместимость от 8 до 15 человек);

- балконы;

- служебные зоны.

На 3 этаже, общей площадью 2500 м. кв. (50 м. * 50 м.), располагаются:

- открытая рабочая зона (openspace) на 79 рабочих мест;

- зона отдыха (релакса);

- зона, выделенная под тренажерный зал.

На 4 этаже, общей площадью 2500 м. кв. (50 м. * 50 м.), располагаются:

- открытая рабочая зона (openspace) на 95 рабочих мест;

- рабочие места охраны - 21;

- вспомогательные помещения (АХО, склады);

- аудио-студия, видеостудия;

- серверная.

На 5 этаже, общей площадью 2500 м. кв. (50 м. * 50 м.), располагаются:

- открытые рабочие зоны (openspace) на 98 рабочих мест.

На 13 этаже, общей площадью 2500 м. кв. (50м*50м), располагаются:

- открытая рабочая зона (openspace) на 95 рабочих мест;

- вспомогательные помещения;

- серверная.

Типовые этажи с 6 по 12 и с 14 по 26 представляют из себя прямоугольные площади с не несущими внутренними стенами общей площадью примерно 1000 м. кв. (~ 31 м. * 33 м.).

Лифтовые шахты располагаются посередине (план прилагается).

На типовом этаже планируется разместить по 120 рабочих мест. Для каждого рабочего места предполагается провести по 2 розетки RJ45.

Внешние каналы связи представлены двумя собственными оптическими каналами в датацентры компании - ММТС-9 и М100. Основным поставщиком услуг является собственная магистральная сеть компании, полностью изолированная от офисной инфраструктуры.



2.3 Логическая схема ЛВС

Исходя из задач проекта, каждый работник на рабочем месте должен иметь возможность использования 1 IP-телефона, питающегося по Ethernet либо при помощи собственного блока питания. Также, должна быть обеспечена возможность подключения компьютера параллельно (для обеспечения высокой скорости подключения рабочей станции, либо же в случае использования телефонов без встроенного коммутатора).

На первом этаже не предполагается размещать рабочие места. ЛВС должна предусматривать возможность подключения точек доступа, оборудования ВКС и выступающего в конференц-зале, подключения проводных камер ip-наблюдения, кассового оборудования (6 портов). Всего расчетное количество составляет не менее 34, но не превышает 48 портов. На первом этаже не предусмотренной коммутационной, все устройства должны подключатся в коммутаторы на втором этаже.

На втором этаже также не предполагается размещать рабочих мест. С учетом ЛВС для переговорных комнат (заложено по 4 порта, 15 переговорных комнат), камер наблюдения, конференц-залов и беспроводных точек количество портов не должно превышать 96.

На третьем этаже размещается 79 рабочих мест общего типа. Дополнительно требуется ЛВС для точек доступа, камер и вспомогательного оборудования в спец. зонах. Итого, минимум 90 портов с поддержкой PoE.

На четвертом этаже размещается 95 рабочих мест общего типа, а также 21 рабочее место охраны. По предварительным подсчетам необходимо 126 порта РоЕ.

На пятом этаже размещается 98 рабочих мест. С учетом точек доступа и камер необходимо 108 портов РоЕ.

На типовом этаже предполагается 120 рабочих мест, а также необходимо учитывать запас для расширения и подключения других устройств, питающихся через Ethernet (точки доступа, ip-видеокамеры).

Для создания отказоустойчивого решения решено применять коммутаторы, поддерживающие технологию стекирования (внешняя шина), для объединения нескольких аппаратных устройств в одно логическое. Это позволяет упростить логическую структуру сети, настройку, управление и мониторинг. Требуется наличие расширенного списка функций защиты на канальном уровне.

Для агрегации стеков поэтажных коммутаторов планируется использовать пару связей со скоростью 10 Гбит/сек от разных аппаратных коммутаторов стека. Для уровня ядра планируется использовать два шасси 7609S-RSP720-3XL.

В силу экономических соображений, сложности в прогнозе количества необходимых подключенных портов ЛВС, а так же для обеспечения масштабируемости решения, в обязательном порядке необходимо подвести по одному порту на рабочее место, а второй порт СКС будет запитан по необходимости впоследствии.

Топология сети рассчитывается таким образом, чтобы допускать установку новых аппаратных устройств в стек без изменения логики работы сети. Это максимально упростит последующее масштабирование сети.

Для обеспечения должного уровня безопасности ЛВС запланировано использование пары высокопроизводительных межсетевых экранов cisco ASA5585XSSP40 в отказоустойчивой топологии active/standby failover.

Учитывая требования, планируется на начальном этапе установить по 4 коммутатора с PoE в стеке на 4, 5 и каждый регулярный этаж, 3 таких коммутатора на 3 и 2 этажи.

2.3.1 Схема связи между структурными блоками сетевой инфраструктуры

Все структурные блоки сетевой инфраструктуры должны иметь подключение к зарезервированному ядру сети, которое и будет обеспечивать высокоскоростное соединение между ними.

В дальнейшем будут рассмотрены особенности подключения каждого из структурных блоков.

Рисунок 1. - Схема связей между структурными блоками сети:

2.3.2 Подключение внешних каналов, граничный блок сети

Оборудование граничного блока сети - Cisco ASA-5585-SSP40 - является межсетевым экраном, работающим на сеансовом уровне (stateful firewall), должно обеспечивать фильтрацию и анализ проходящего трафика.

Как и большинство подобного сетевого оборудования, обладает очень ограниченными возможностями маршрутизации и балансировки трафика, в частности, отсутствует поддержка ECMP (equal cost multipath), и необходимого для оборудования граничного блока протокола BGP. Для обеспечения балансировки трафика и поддержания BGP-сессий с операторами связи возможно использовать два решения:

- Установить отдельный высокопроизводительный маршрутизатор для поддержания внешних каналов;

- Воспользовавшись технологией VRF (Virtual Routing and Forwarding), перенести функции балансировки трафика и роуминга на оборудование ядра сети, логически выделив граничный блок в отдельную таблицу маршрутизации.

Рационально использовать второе решение, и выделить внешнюю маршрутизацию и каналы в VRF-OUT, а внутреннюю - в VRF-INT.

Рисунок 2. - Схема прохождения трафика внутрь офисной сети:

Для реализации данной схемы, необходимо перенести внешние каналы в VRF-OUT, а так же подключить один из интерфейсов МСЭ в VRF-OUT, а второй в VRF-INT для прохождения трафика между внешней и внутренней таблицами маршрутизации ядра через межсетевой экран. Эти интерфейсы могут быть логическими интерфейсами. Разумно подключить каждый модуль межсетевого экрана (активный и резервный) к разным маршрутизаторам ядра и разместить их в различных серверных, для обеспечения резервирования.

Рисунок 3. - Схема подключения граничного блока сети к ядру, с учетом VRF:

Так же, для дополнительной отказоустойчивости и пропускной способности, Cisco ASA должны подключаться к устройствам ядра сети используя технологию агрегации каналов на основе протокола LACP (Link Aggregation Control Protocol) для согласования между устройствами.

Для обеспечения отказоустойчивости МСЭ должны быть объединены в failover-пару. В данном режиме весь трафик направляется через активную ноду, и сессии пользователей синхронизируются с резервной по выделенному каналу - по рекомендации производителя пропускная способность этого канала не должна быть меньше пропускной способности внешних каналов межсетевого экрана.

При отказе МСЭ, активной становится резервная нота и пользовательский трафик пропускается через нее, без разрыва существующих соединений.

Таким образом, для обеспечения отказоустойчивости две ASA-5585 должны быть установлены в разных серверных (на 4 и 13 этаже), и соединены между собой агрегированным каналом.

Полученный отказоустойчивый кластер ASA-5585 так же будет использоваться для детерминации IPsec туннелей между головным и удаленными офисам компании.

2.3.3 Уровень доступа ЛВС

В целях масштабируемости и отказоустойчивости необходимо обеспечить подключение каждого стека коммутаторов уровня доступа к обоим устройствам ядра. Отказоустойчивость самого уровня доступа должна обеспечиваться благодаря наличию резервного Routing Engine (коммутатора, берущего на себя функции менеджмента и поддержания маршрутизации всего стека), а так же подключения оптических каналов в сторону ядра сети к разным коммутаторам стека. Такой подход позволяет минимизировать ущерб для работоспособности в случае выхода из строя одного из коммутаторов.

Имея по два канала от коммутаторов уровня доступа в сторону ядра, разумно балансировать трафик между ними. Это можно обеспечить несколькими способами:

- Объединение маршрутизаторов ядра в кластер - virtual switching system, virtual chassis и т. д. Не смотря на близость архитектуры выбранных для ядра сети маршрутизаторов Cisco 7609 с коммутаторами Cisco 6509, подобный функционал производителем не реализован;

- Использование распределенных технологий агрегации каналов - MC-LAG (Multi-chassis link aggregation group), vPC (Virtual Port Channel). Эти технологии так же недоступны в актуальном на данный момент ПО для маршрутизаторов Cisco 7609;

- Применение различных модификации протокола STP (Spanning Tree Protocol). Протоколы STP изначально предназначен для защиты сети от L2-петель и использование их даже для решения задачи обеспечения отказоустойчивости в большинстве случаев неоправданно - значительное время сходимости, слабая защищенность, перерыв связи во время перестроения дерева. При использовании протоколов VSTP, PVST, MSTP так же возможно частично разбалансировать трафик между каналами, блокируя каждый из каналов только для части VLAN. Однако, для достижения оптимальной загрузки нескольких каналов требуется вмешательство со стороны администратора и равномерное распределение трафика по различным VLAN;

- Использование протоколов динамической маршрутизации и балансировки за счет ECMP (equal-cost multi-path routing). В данном случае потребуется поэтажная сегментация сети, а так же поддержка динамической маршрутизации со стороны коммутаторов уровня доступа.

Выбранное ранее оборудования для уровня доступа и ядра сети поддерживает необходимые технологии для осуществления балансировки нагрузки на каналы связи по последнему из перечисленных способов. В силу использования внутри сети адресов из приватного диапазона, и отсутствия требований к связанности всего офиса на канальном уровне, использование маршрутизации между ядром и уровнем доступа так же является наиболее рациональным решением.

Таким образом, устройства уровня доступа должны обладать связанностью с ядром на сетевом уровне и использовать протокол динамической маршрутизации для обмена маршрутной информацией и балансировки нагрузки между каналами.

В качестве протокола маршрутизации так же разумно использовать OSPF.

Рисунок 4. - Схема подключения оборудования уровня доступа к ядру сети:

2.3.4 Офисный ЦОД

В здании головного офиса компании предусмотрено два помещения, оборудованных для установки серверного и сетевого оборудования - на 13 и 4 этажах, по 26 стандартных стоек в каждом. В серверных размещаются по одному маршрутизатору ядра сети.

Для подключения серверного оборудования решено использовать коммутаторы Juniper EX4200-48PX/T - такие же используются для уровня доступа. Коммутаторы предназначенные для подключения серверов и размещенный в пределах одного этажа так же собираются в стек, и подключаются к маршрутизатору ядра сети, размещенному в этой же серверной. Необходимость резервирования и балансировки трафика между каналами в таком случае отсутствует. Серверные сегменты сети должны быть едиными между серверными на 13 и 4 этажах.

При таком построение, VLAN предназначенные для подключения серверов разумно терминировать на устройствах ядра сети. Для обеспечения отказоустойчивости необходимо использовать один из протоколы резервирования первого перехода (First Hop Redundancy Protocol):

- VRRP (Virtual Router Redundancy Protocol);

- HSRP (Hot Standby Router Protocol);

- GLBP (Gateway Load Balancing Protocol).

Последние два протокола из перечисленных являются совместимы, только с оборудованием производства Cisco Systems. У данных протоколов есть преимущества перед стандартной реализацией - быстрая сходимость у HSRP, возможность балансировки трафика у GLBP.

Протокол VRRP так же вполне достаточен для решения задачи резервирования первого перехода, и так же позволяет добиться высокой скорости сходимости при задание нестандартный таймеров, а его совместимость с оборудованием других вендоров расширяет возможности дальнейшей модернизации сети при появлении новых требований. Его использование предпочтительней.

Коммутаторы офисного ЦОДа в отличии от уровня доступа не выполняют никаких функций маршрутизации трафика, но обеспечивают быструю коммутацию, агрегацию и передачу серверного трафика в направлении ядра сети.

Рисунок 5. - Схема подключения коммутаторов офисного ЦОД к ядру сети:

2.3.5 Мультикаст

Для работы компании необходима поддержка мульткаста в сети головного офиса.

Мультикаст - специальная форма сетевого широковещания, при которой сетевой пакет одновременно направляется определенному подмножеству адресатов - не одному, и не всем.

Для поддержки многоадресной передачи данных в офисной сети будет использоваться PIM (Protocol Independent Multicast) - протокол независимый набор технологий многоадресной маршрутизации для IP-сетей, базирующийся на традиционных маршрутных протоколах. PIM может работать в двух режимах:

- Dense Mode, PIM-DM - «уплотненный» режим, вся сеть наводняется мультикастингом, далее строится дерево кратчайшего пути, обрезая ветви не имеющие получателей. Это метод RPF (Reverse Path Forwarding) с усечением;

- Sparse Mode, PIM-SM - «разреженный» режим, изначально строится однонаправленное дерево кратчайшего пути для каждого отправителя, с так называемой точкой рандеву (Rendezvousд Point - RP) для каждой мультикастинг группы. В роли RP может выступать любой маршрутизатор с поддержкой PIM.

Как видно, первый режим практически не требует настройки, и замечательно подходит для компактных групп с высокой плотностью получателей.

Однако для использования в проектируемой офисной сети гораздо больше подходит Sparse Mode - не наводняет сеть мультикастингом, требуется меньшая пропускная способность каналов для функционирования. Точка рандеву рационально разместить в ядре сети.

RP необходимо для функционирования PIM-SM, и значит для обеспечения бесперебойной работы сети требуется ее резервирование. Для резервирования точки рандеву широко используются два механизма - Auto-RP и протокол BootStrap.

Оба протокола выполняют примерно одинаковые функции - резервирование RP.

Они балансировка мультикаст групп между роутерами, основное отличие - Auto-RP является решением Cisco Systems, его применение ограничивает дальнейшие возможности развития и модернизации сети и потому не желательно.

Для поддержки мультикаста внутри офисной сети необходимо:

- Конфигурация протокола Bootstrap, на двух маршрутизаторах ядра с указанием приоритета (в целях предсказуемости, Cisco 7609 на 4 этаже должен иметь более высокий приоритет) для резервирования точки рандеву;

- Включение PIM на ядре и стеках уровня доступа;

- Включение IGMP на маршрутизаторах, IGMP Snooping на коммутаторах (в том числе и серверных).

Рисунок 6. - Схема реализации поддержки мультикаста в офисной сети:

2.4 Беспроводная локальная вычислительная сеть

2.4.1 Технические решения

Беспроводную сеть решено строить на основе контроллера БЛВС Cisco Aironet AIR-CT5508-250-K9, а так же точек доступа Cisco Aironet AIR-CAP3602i-R-K9. Точки должны работать в «легковесном» режиме, туннелируя весь клиентский трафик в направлении контроллера. Топология беспроводной сети - BSS.

Инфраструктура БЛВС строится в частности для обеспечения критических сервисов (например, беспроводная IP-телефония, видеонаблюдение и т. д.) предлагается использовать централизованное решение от ведущих производителей.

Данное решение должно предоставлять централизованное управление и сервисы, динамически управляться (мощность антенн, каналы), позволять настраивать однородное покрытие из одной точки управления и соблюсти централизованные политики безопасности.

Также необходимо предусмотреть поддержку зон высокой плотности беспроводных клиентов (конференц-зал).

Крайне желательно использовать технологии «очистки эфира» - динамического определения источников помех (интерференции), автоматическое принятие решения о смене канала, изменения мощности антенны и т. д.

Необходимо предусмотреть технологии частотного мониторинга (RF), совместно с технологией беспроводной системы предотвращения вторжений. Дополнительными интересными для внедрения сервисами могут быть:

- Сервис определения местоположения при помощи точек Wi-Fi. Для этого может потребоваться отдельный сервер, который в реальном времени может обсчитать динамические данные с точек доступа и вычислить местоположение клиента с точностью до 1.5 метров. Требуется тщательная проработка количества и мест расположения точек для уверенной работы сервиса;

- Сервис подавления вредоносных точек или клиентов Wi-Fi. Сервис предотвращения нежелательных Wi-Fi транзакций (например, AD-Hoc).

Подходящее оборудование:

- Центрально-управляемые точки доступа Cisco Aironet AIR-CAP3602i-R-K9с поддержкой 2-канальной передачи данных (2.4ГГц, 5ГГц) для увеличения скорости приема/передачи данных и поддерживающих высокую плотность клиентов (MIMO 4x4) для зон и конференц-зала;

- Два контроллера беспроводных точек Cisco Aironet AIR-CT5508-250-K9, с возможностью поддержки функции Clean Air (использование динамического перераспределения частот при обнаружении помехи).

Впоследствии возможно расширение функционала решения за счет применения технологии Локации (location service):

- Сервер локации MSE 3355 (с лицензией на беспроводной IPS);

- Сервис центрального управления Cisco Prime.

Каждый из этажей с 1 по 5 будет иметь свою собственную схему расположения и количество применяемых точек доступа. При расчете учитывается:

- Рекомендации производителя: при полной загрузке рассчитывать исходя из 25 пользователей на точку доступа. Ограничение носит рекомендательный характер и базируется на подсчете полосы пропускания на клиента;

...