Проектирование информационно-вычислительной сети для предприятия

Размещено на http://www.allbest.ru/

Введение

Информационные технологии непрерывно развиваются. Год от года растет количество данных, которые необходимо обрабатывать, хранить и передавать между устройствами, как в локальных сетях, так и в глобальных. Как следствие, совершенствуются методы и средства обработки, хранения, передачи и защиты информации. Для отдельных организаций в процессе их развития постоянно стоит вопрос модернизации существующей инфраструктуры информационно-вычислительной сети в направлениях скорости обработки и повышения надежности передачи данных, защиты данных от злоумышленников и от потерь как непосредственно самих данных, так и рабочего времени сотрудников при прерывании к ним доступа в случае технических неисправности аппаратно-программных средств хранения и обработки данных.

Цель данной дипломной работы - спроектировать информационно-вычислительную сеть для предприятия среднего и крупного размера регионального уровня с учетом наиболее современных доступных технических средств с учетом возможного роста организации как в пределах существующих центров обработки данных организации, так и с добавлением новых центров обработки данных, в том числе в других странах при возможном росте до организации международного уровня на длительную перспективу.

В качестве организации будет рассмотрен банк регионального уровня, так как для банка необходим один из самых высоких уровней обслуживания в части скорости обработки и защиты данных и доступности средств обработки и хранения информации, а любые сбои сети, вызывающие недоступность и потерю данных, а также утечку информации к конкурентам, приводят к крупным финансовым издержкам и потере клиентов.

1. Обследование объекта проектирования

1.1 Организационно-штатная структура Омега-банка

Омега-банк представляет собой финансовую организацию регионального уровня с основным офисом - штаб-квартирой в г. Москва, являющейся также основным офисом и филиалами в трех городах европейской части России. Численность персонала банка - 700 человек, из них 400 человек находятся в основном офисе и по 100 человек в каждом из филиалов. Основная финансовая деятельность банка включает выдачу кредитов физическим и юридическим лицам, обслуживание вкладов физических лиц, выдачу и обслуживание кредитных и дебетовых карт физическим лицам. Территориальная структура с предполагаемыми связями отражена на рис. 1.

Рис. 1 Территориальная структура банка

Со временем планируется расширение банка как в виде увеличения численности персонала существующих офисов, так и увеличения числа самих офисов в том числе в других городах страны.

Основные приложения, используемые для операционной деятельности банка его сотрудниками - автоматизированная банковская система (Core Banking, далее - АБС), системы управления предприятием (Enterprise Resource Planning, далее - ERP), система управления взаимоотношениями с клиентами (Customer Relationship Management, далее - CRM), в качестве сервера баз данных используется СУБД MS SQL, в качестве системы обмена сообщениями используется Microsoft Exchange. Для удобства обслуживания клиентов банка существует клиентский портал, включающий личный кабинет клиента для управления финансовыми средствами на личных расчетных счетах клиента. Известно, что прикладные программы будут использоваться в версиях для AMD64 процессорной архитектуры.

1.2 Виды передаваемой информации и ее потоки

Для обмена данными между системами сети и доступа систем обработки данных к хранимым данным, в банке планируется организация двух независимых сетей различного назначения: локальная вычислительная сеть (Local Area Network, далее - LAN) и сеть хранения данных (Storage Area Network, далее - SAN).

Локальная вычислительная сеть LAN будет обслуживать потоки данных между различными серверами в пределах одного центра обработки данных, между центрами обработки данных, между центром обработки данных и филиалами. Локальная вычислительная сеть будет связана с сетью Internet через шлюзы с функциями межсетевых экранов. Наибольшую защиту требуют данные, передаваемые между серверами, так как они содержат наиболее ценную и наиболее полную информацию, представляющую документооборот банка. Эти данные, в том числе, будут передаваться по каналу между центрами обработки данных. Они представляют собой запросы к серверам баз данных, обмен данными между приложениями. Эти данные будут формировать большую часть траффика внутри центров обработки данных. Несанкционированный доступ к таким данным наименее вероятен, так как он требует физического доступа злоумышленников к оборудованию заказчика, в том числе к каналу связи между центрами обработки данных. Данные, передаваемые между центром обработки данных и удаленными филиалами будут содержать информацию, передаваемую между клиентскими и серверными частями приложений, они должны передаваться в зашифрованном виде, должны быть устойчивы к атакам man-in-middle. Данные между терминальными серверами и тонкими клиентами представляют собой видео для вывода на монитор и команды устройств ввода (с клавиатур и мышей). Данные между серверами и сервисами глобальной сети будут включать исходящие запросы к внешним узлам по протоколам HTTP, FTP, SMTP, проприетарным протоколам приложений «банк клиентов» для связи со сторонними банками, а также входящим запросам к внутренним службам HTTP, SMTP, включая запросы к серверной части приложений мобильного банка.

Сеть хранения данных SAN будет обеспечивать доступ серверов к ресурсам дисковых массивов систем хранения данных обеспечивая подключение дисковых ресурсов посредством блочного протокола SCSI, представляющего собой передачу SCSI команд между устройствами, а также подключение устройств для резервного копирования данных, хранящихся на дисковых массивах. Потоки данных в сети SAN будут составлять большую часть общего траффика внутри центров обработки данных и между центрами обработки данных.

Начальное количество пользователей и служб в сети, а также ожидаемые расширения инфраструктуры определяют следующие требования к скоростям передачи данных, исходящие из минимальных задержек доступа к данным:

Каналы передачи продуктивных данных по сети LAN между серверами и коммутаторами в пределах одного центра обработки данных: не менее 1 Гбит/с.

Каналы передачи продуктивных данных по сети LAN между коммутаторами в пределах одного центра обработки данных: не менее 10 Гбит/с.

Каналы передачи служебных данных для управления инфраструктурой сети: не менее 100 Мбит/с.

Каналы передачи данных между центрами обработки данных для сети LAN: не менее 10 Гбит/c.

Каналы передачи данных между устройствами по сети SAN: не менее 8 Гбит/с.

Каналы передачи данных между центрами обработки данных и филиалами банка: не менее 100 Мбит/с.

Предполагаемые потоки информации показаны на рис. 2.

Рис. 2 Ожидаемые потоки информации

1.3 Постановка задачи на проектирование

1. Назначение системы.

Информационно-вычислительная сеть предназначена для обеспечения операционной деятельности Омега-банка, обеспечения работоспособности и доступности программных средств, обработки, хранения, передачи и защиты данных, обеспечения надежного доступа к данным сотрудников и клиентов банка.

2. Требования к информационно-вычислительной сети.

Информационно-вычислительная сеть Омега-банка должна обеспечивать максимально быструю обработку данных, надежное хранение данных, не допускать любые потери и утечку при хранении, обработке и передаче данных, обеспечивать быстрый доступ к данным для сотрудников организации с любого рабочего места независимо от территориального расположения, а также доступ клиентов к личному кабинету из любого устройства, имеющего доступ в сеть Internet. Сеть должна иметь достаточный задел для модернизации на длительную перспективу с учетом расширения банка и обновления программных средств. Проект информационно-вычислительной сети включает в себя выбор всех программно-аппаратных средств для обеспечения работы приложений банка, выбор способов их взаимодействия между собой для их надежного и быстрого функционирования и минимизации потоков данных между филиалами и основным офисом банка.

2.1 Требования к надежности.

Информационно-вычислительная сеть Омега-банка должна обеспечивать надежное хранение и обработку данных с резервированием на случай выхода из строя любого компонента сети, своевременно обнаруживать неисправность и минимизировать задержки при вводе резервных модулей и каналов связи, взамен вышедших из строя. Также должно быть обеспечено минимальное влияние на работу приложений банка в случае выхода из строя полностью любого филиала банка, включая центральный офис, как в случае потери связи, так и в случае потери всего оборудования филиала вследствие локальных аварий и катастроф. Должны быть минимизированы как материальные, так и временные затраты на восстановление работоспособности филиала в случае аварий и катастроф.

Устройства хранения данных должны включать не менее двух независимых мест хранения, должны содержать зеркальные копии данных для оперативного переключения систем обработки данных с одного устройства хранения на другое быть расположены на достаточном расстоянии, чтобы не оказывать влияния друг на друга при авариях и катастрофах в месте расположения одного из них, а также должна быть сохранена как минимум одна копия данных на случай выхода из строя обоих устройств хранения данных, данная копия должна содержать данные за период, достаточный для обеспечения минимальных потерь данных в случае необходимости их восстановления. Каналы связи, обеспечивающие обмен данными между филиалами банка должны быть резервированы на случай потери связи по одному из них. Для обеспечения необходимого уровня надежности требуется создание резервного центра обработки данных с дублированием основных систем основного центра обработки данных и хранением зеркальной копии данных с систем хранения основного центра обработки данных.

2.2 Требования к безопасности.

Средства защиты сети должны предотвращать любые утечки информации как в случае атак извне, так и в случае умышленных и неосторожных действий самих сотрудников банка. Данные, передаваемые по каналам связи между филиалами должны быть надежно зашифрованы современными алгоритмами шифрования, а каналы связи с глобальными сетями должны быть защищены межсетевыми экранами. Связь между клиентами и клиентским порталом банка, а также между АБС и банками-эквайерами при совершении операций с банковскими картами должны обеспечиваться протоколами, гарантирующими безопасную передачу данных.

2.3 Требования к программному и техническому обеспечению.

Программные и технические средства должны отвечать международным стандартам и законам стран, рассматриваемых для расширения банка до международного уровня, пользовательские интерфейсы программных и аппаратных средств должны иметь поддержку международных языков. Программные средства представляют собой операционные системы, системы виртуализации, вспомогательные приложения (СУБД, веб-серверы) для обеспечения работы основных приложений банка, системы резервного копирования данных, межсетевые экраны, маршрутизаторы, системы предотвращения утечек информации (Data Leak Prevention, далее - DLP).

Аппаратные средства должны включать серверы для обработки информации и обеспечения работы программных средств, системы хранения данных, сетевые устройства (коммутаторы, маршрутизаторы, межсетевые экраны, мультиплексоры, шлюзы), источники бесперебойного питания, рабочие станции (клиенты) сотрудников банка. С целью оптимизации утилизации вычислительных мощностей сети, а также для снижения издержек на технические средства и совокупной стоимости владения технических средств, требуется применение систем виртуализации серверов и рабочих станций (клиентов) с применением средств виртуализации рабочих столов (Virtual Desktop Infrastructure далее - VDI)

В данном разделе была выполнена подготовка к проектированию информационно-вычислительной сети, проведено обследование организационно-штатной структуры банка, выяснены основные потоки обмена данными в сети, сформулированы основные требования к информационно-вычислительной сети.

2. Тенденции в развитии сетевых средств и анализ известных решений

Основные тенденции развития на настоящее время - это повышение быстродействия, надежности и защищенности как физических, так и программных средств. Выполняется это в основном усовершенствованием существующих стандартов и протоколов, в очень малой степени разработкой новых. Большое преимущество модернизации существующих протоколов и стандартов в их обратной совместимости со старыми версиями, что позволяет модернизировать существующие средства последовательно обновляя отдельные модули, а не всю систему или комплекс в целом. Примером может служить протокол Ethernet, каждая новая реализация с более высокими скоростями передачи данных в устройствах, поддерживала совместимость с более старыми версиями протокола, таким образом, в одной сети связанные устройства могли работать с разными скоростями передачи данных. Или совместимость операционных систем, созданных для x86 архитектуры с любым процессором архитектуры x86, а также их работоспособность в режиме наследования на процессорах архитектуры amd64. Преимущество разработки новых протоколов и стандартов может быть прослежено в протоколах шифрования информации, новые алгоритмы более устойчивы к атакам злоумышленников. При выборе технических и программных средств для построения информационно-вычислительной сети нужно учитывать возможность к дальнейшей модернизации и расширению инфраструктуры. Особенно тщательно следует подойти к выбору протоколов передачи данных в многоуровневых моделях, например, OSI или FC. Так как выбор устаревшего протокола существенно ограничит возможности модернизации сети. И, к примеру, выбор сервера с процессором RISC не позволит модернизировать его заменой на x86 или переустановить операционную систему для x86 архитектуры.

Также в последнее время прослеживаются тенденции внедрения сред виртуализации для оптимизации использования аппаратных средств и упрощения их обслуживания и снижения издержек на их эксплуатацию. Технологии позволяют виртуализировать не только системы обработки данных, но и системы хранения данных и сети передачи данных на логическом уровне. В некоторых случаях может быть выгодно воспользоваться облачными сервисами, предлагаемыми сторонними организациями, которые предоставляют в пользование виртуальные ресурсы, построенные на основе виртуальных центров обработки данных, при этом их обслуживание они берут на себя. Но данная схема не подходит для банка, так как возникает проблема доверия третьим лицам конфиденциальной информации, что ставит под угрозу ее безопасность.

Основные направления развития серверных систем направлены на обеспечение параллельных вычислений, обеспечения низкого энергопотребления, снижения совокупной стоимости владения, удобства обслуживания и снижения затрат на обслуживание, способности к масштабируемости. Вследствие стремлений к оптимизации данных параметров возник новый форм-фактор серверных систем - «Blade» сервера, представляющие собой единое шасси, в котором соединены несколько серверов, коммутаторов и систем хранения данных, имеющие общие системы питания и охлаждения.

Развитие систем обработки данных связано с увеличением суммарного объема хранимой информации в пределах одной СХД, увеличением скорости доступа к информации посредством применения твердотельных накопителей, повышения скорости операций в случаях большого числа одновременно выполняемых однообразных операции, повышения эффективности методов сжатия хранимых данных.

Развитие сетевого оборудования связано в основном с повышением скоростей передачи данных, на текущий момент максимальная скорость передачи данных в сетях Ethernet по одному кабелю без применения устройств мультиплексирования составляет 100 Гбит/с.

В настоящее время имеется множество решений в каждой составляющей части вычислительных сетей. Для сетей корпоративного уровня основные различия между решениями заключаются, в первую очередь, в надежности и отказоустойчивости. Это ключевые факторы, в наибольшей степени влияющие на стоимость решения. Таким образом, организации, которые пытаются экономить на надежности, рано или поздно сталкиваются с проблемами, связанными с доступностью и целостностью информации, приводящие к серьезным финансовым издержкам из-за времени простоя составляющих сети.

1. Помимо размещения оборудования непосредственно на территории организации и обслуживания сети штатным персоналом, существуют возможности расположения оборудования на территории сторонних организаций с вариантом обслуживания оборудования сети их персоналом, либо предоставлением сторонними организациями оборудования с программными средствами в аренду. Сюда относятся услуги «облачных» сервисов, при этом возможны варианты их использования как полностью арендовать все ресурсы в виде частного «облака» как инфраструктуры (IAAS - Infrastructure As A Service), так и в виде отдельных приложений (SAAS - Software As A Service и PAAS - Platform As A Service), в том числе и для публичного доступа, что характерно для Web приложений. Использование «облачных» сервисов во многих случаях позволяют существенно снизить затраты на обслуживание сети и её программного обеспечения, однако в таком случае конфиденциальная информация может стать доступна сторонним лицам, в том числе и злоумышленникам, а доступ к данным и приложениям для их обработки будет непосредственно зависеть от канала связи с организацией, предоставляющей «облачные» сервисы.

2. При организации локальных вычислительных сетей в настоящее время используется практически только протокол Ethernet для проводной связи и семейство протоколов 802.11 Wi-Fi для беспроводной связи. Все остальные технологии морально устарели в начале 2000-х годов и прекратили свое развитие. Решения, построенные на данных технологиях, различаются в основном скоростями передачи данных и надежностью, связанной с выбором топологии сети. Для сетей корпоративного уровня необходимы высокие скорости передачи, как следствие больших объемов траффика и требования низких задержек, и, высокая надежность, определяющая использования высокой степени резервирования устройств и каналов сети. Для проводных каналов связи могут использоваться технологии STP, стеки коммутаторов, организация нескольких фабрик сети, протоколы динамической маршрутизации, объединение нескольких кабелей в один логический канал (trunking), объединение портов конечных устройств в один логический канал (teaming, bonding). Для беспроводных подключений средствами повышения надежности служат технологии использования нескольких антенн для связи двух устройств (MIMO) и «бесшовного» роуминга с пересечением зон покрытия нескольких точек доступа.

3. Для организации сети хранения данных (SAN) существуют решения, различающиеся типом используемой инфраструктуры, основанные на протоколах SAS, FC, Infiniband, а также протоколах, использующих локальную сеть, построенную на протоколе Ethernet: iSCSI, FCoE, FCIP. Основные отличия между ними заключаются в удобстве использования при определенном количестве конечных устройств в сети.

4. При выборе серверов для обработки данных существуют несколько решающих факторов:

А. Архитектура центрального процессора выбирается исходя их приложений, которые предполагается использовать в каждом конкретном случае. В основном это касается СУБД и специализированных корпоративных приложений (ERP, CRM, Core Banking). Хотя большинство таких приложений создаются для нескольких архитектур, решающее значение имеет стоимость каждого конкретного решения, также в каждом конкретном случае производительность одного приложения может быть лучше на одной архитектуре, чем на другой. На данный момент существуют три основных архитектуры для серверов: x86 (подразумевает AMD64) и RISC процессорные Oracle SPARC и IBM Power.

Б. Форм фактор корпуса сервера выбирается исходя из предполагаемого места размещения сервера, экономии места, экономии электроэнергии, удобства обслуживания. Существуют варианты: настольный (напольный) корпус - Tower, корпус для монтажа в 19" шкаф-стойку - Rack, консолидированное шасси, также для установки в стойку, но содержащее в себе несколько Blade-серверов и сетевые коммутаторы и СХД c едиными системами питания, охлаждения и управления.

5. Системы хранения данных представляют собой дисковые массивы и ленточные библиотеки для централизованного хранения данных организации. Дисковые массивы применяются для оперативного хранения данных к которым имеют доступ серверные приложения. Они представляют собой массив жестких и твердотельных дисков с интерфейсом SAS, либо твердотельных накопителей с интерфейсом PCI Express, объединенных в функциональные отказоустойчивые группы RAID (Redundant Array of Independent Disks) на которых организовываются логические тома LUN (Logical Unit Number), которые логически подключаются к серверам в виде SCSI устройства, с которым серверы работают как с локальным жестким диском. Массив содержит в себе два контроллера, служащие для управления массивом и распределением дискового пространства каждый контроллер имеет независимое физическое подключение к каждому из дисков. Контроллеры через сетевую инфраструктуру SAN подключаются к серверам через несколько физических каналов. По принципу работы контроллеров с логическими каналами, в которые объединяются физические, контроллеры бывают Active - Passive - в каждый момент времени логическое подключение поддерживается только через один контроллер, второй контроллер включается в работу только после выхода из строя первого; Assymetric Acive - Active - логическое подключение создается через оба контроллера, но логическое подключение каждого LUN может поддерживаться только через один контроллер, при этом у тома LUN есть понятие контроллера - владельца, который непосредственно обрабатывает все SCSI запросы к LUN, однако в случае недоступности логического подключения сервера к контроллеру владельцу, логическая связь будет установлена через соседний контроллер с помощью внутренней шины массива (Interconnect) полоса пропускания которой ограничена и таким образом могут вноситься задержки в процессе обработки SCSI команд; Symmetrical Active - Active - логические подключения могут создаваться через любой контроллер в любой комбинации физических подключений, данные массивы являются самыми производительными, отказоустойчивыми и самыми дорогими, относятся к классу устройств Hi-End. Большинство дисковых массивов имеют возможность подключения к ним серверов через протоколы блочного доступа для сетей SAN, при котором дисковые ресурсы системы хранения данных представляются серверам в виде SCSI дисков. Существуют дисковые устройства для представления дисковых ресурсов в виде сетевых каталогов с помощью протоколов файлового доступа CIFS и NFS, при этом работа с файловой системой дисковых устройств происходит на контроллерах самого дискового массива. Важной особенностью некоторых моделей дисковых массивов является возможность организации симметричной репликации данных на дальние расстояния, что имеет очень большое значение при построении отказоустойчивых систем, при этом запись данных производится одновременно на жесткие диски, находящиеся на большом расстоянии друг от друга, что позволяет при выходе из строя массива на одной площадке, без потери данных и времени на их восстановление продолжать работу с хранимыми данными с другой площадки.

Ленточные библиотеки в настоящее время не используются для оперативного хранения данный, а используются только для хранения резервных копий данных. Данный вид систем хранения данных имеет наименьшую стоимость хранения на единицу информации. Они представляют собой массив кассет с магнитными лентами, ленточных приводов, которые осуществляют запись-чтение информации и роботизированных манипуляторов, перемещающих кассеты между слотами хранения и ленточными приводами. Подключения ленточных приводов к серверам с программным обеспечением систем резервного копирования данных производится, как правило, через сети SAN. В настоящее время из всех форматов магнитных носителей, практически, остались только кассеты стандарта LTO с форматом записи данных Ultrium, последний, седьмой релиз которого позволяет хранить до 6 Терабайт данных на одной кассете. Все поколения LTO позволяют применять потоковое шифрование данных c использованием алгоритма AES.

6. В качестве основных средств обеспечения сетевой безопасности применяются межсетевые экраны как программного исполнения, так и аппаратного. Аппаратные решения представляют собой готовый сервер с предустановленной операционной системой и приложением контроля потока траффика. Аппаратные решения являются предпочтительными при выборе межсетевых экранов, так как специальным образом доработанные операционные системы исключают уязвимости программного обеспечения и предоставляют удобный интерфейс управления межсетевым экраном в целом.

7. Магистральные каналы данных на большие расстояния организуются посредством кабельных каналов, волоконно-оптических каналов и радиоканалов. Требованиям по скорости передачи данных, минимальным задержкам, помехоустойчивости отвечают только волоконно-оптические каналы. Особенностью оптических линий связи является удобство мультиплексирования в одном оптическом кабеле нескольких каналов связи посредством спектрального уплотнения оптических волн DWDM (Dense Wave Division Multiplexing), позволяющего организовывать высокоскоростные подключения суммарной пропускной способностью до нескольких Терабит и отсутствием задержек на промежуточном оборудовании.

8. В настоящее время существует множество сред виртуализации физических серверов, которые зависят от процессорной архитектуры и различаются в первую очередь типом виртуализации операционных систем и набором поддерживаемых гостевых операционных систем. По архитектуре процессора существуют системы виртуализации для Oracle SPARC, называемая Ldom и являющаяся виртуализацией уровня ядра операционной системы, и позволяющей виртуализировать только экземпляры ОС Solaris, для IBM Power система виртуализации называется Lpar и также является виртуализацией уровня ядра ОС и позволяет виртуализировать только ОС AIX. Для архитектуры x86 существует множество решений для виртуализации уровня ядра ОС, паравиртуализации и аппаратной виртуализации. Для предоставления возможности запуска любой ОС, созданной для x86 процессоров используется аппаратная виртуализация, при которой каждый экземпляр гостевой ОС оперирует физическими ресурсами сервера, выделенными только для нее. Так как ОС не работает напрямую с физическими ресурсами посредством драйверов, а работает с эмулируемыми гипервизором устройствами, который транслирует команды физическим устройствам, это дает возможность запускать один и тот же экземпляр ОС на сервере с набором комплектующих любых моделей производителей, поддерживаемых гипервизором. В настоящий момент наиболее функциональными системами аппаратной виртуализации являются VMware vSphere, Xen Server, Microsoft Hyper-V.

9. Система виртуализации рабочих столов VDI предоставляет возможность использовать для работы пользователя любой компьютер, имеющий возможность подключения по сети к системе виртуализации, что позволяет работать пользователю на привычном рабочем столе с любого рабочего места, уменьшает уязвимости клиентских компьютеров, снижает время на подготовку и замену рабочего места, исключает хранение критичных данных на ненадежных носителях, уменьшает время восстановления рабочих мест в случае потери всего офиса (например, при пожаре). Существуют системы VDI Citrix Desktop и VMware Horizon, различающиеся используемыми протоколами удаленного доступа.

В данном разделе были сделаны выводы о тенденциях развития сетевых средств и проведен анализ существующих решений в общем виде, без обзора конкретных моделей оборудования.

3. Разработка информационно-вычислительной сети

3.1 Коммуникационная составляющая сети

Практически единственным используемым протоколом физического уровня проводной связи локальных вычислительных сетей является Ethernet с топологией «звезда», последняя на настоящий момент реализация которого называется 100GBASE и обеспечивает скорость передачи данных 100 Гбит/с, реализация описана в стандартах IEEE 802.3ba-2010, 802.3bg-2011, 802.3bj-2014, 802.3bm-2015. В требованиях для организации сред передачи данных для локальной вычислительной сети банка указаны скорости 100 Мбит/с, 1 Гбит/с и 10 Гбит/с.

Реализация Ethernet для передачи данных со скоростью 100 Мбит/с включает наиболее распространенный стандарт, использующий в качестве среды передачи кабель «витая пара» UTP cat.5 100BASE-TX (IEEE 802.3u) на расстояние до 100 метров, поддерживаемый большинством сетевых устройств. Он также включает стандарты передачи через витую пару cat.3 100BASE-T4 и 100BASE-T2, многомодовое оптоволокно 100BASE-FX и 100BASE-SX, а также одномодовое оптоволокно 100BASE-FX WDM.

Реализация Ethernet для передачи данных со скоростью 1 Гбит/с включает наиболее распространенный стандарт, использующий в качестве среды передачи кабель «витая пара» UTP cat.5e 1000BASE-T (IEEE 802.3ab) на расстояние до 100 метров. Он также включает стандарты передачи через витую пару cat.6 1000BASE-TX, многомодовое оптоволокно 1000BASE-SX и 1000BASE-LX, а также одномодовое оптоволокно 1000BASE-LH.

Реализация Ethernet для передачи данных со скоростью 10 Гбит/с включает наиболее распространенный стандарт, использующий в качестве среды передачи кабель «витая пара» UTP cat.6a 10GBASE-T (IEEE 802.3an-2006) на расстояние до 100 метров. Он также включает стандарты передачи через витую пару cat.6 1000BASE-TX, многомодовое оптоволокно 10GBASE-SR  и 10GBASE-LX4, а также одномодовое оптоволокно 10GBASE-LR и 10GBASE-ER. Сетевые устройства для работы с реализацией 10GBASE, как правило имеют порты формата SFP+ для возможности выбора среды передачи и для подключения кабелей необходима покупка трансиверов формата SFP+. Также для соединения устройств с поддержкой 10GBASE применяются кабели «twinax» со встроенными SFP+ трансиверами на концах. Стандарт 10GBASE-SR может применяться для соединения устройств в пределах одного здания в случае значительной удаленности точек соединения: до 300 метров при условии использования многомодового оптоволокна категории OM3 с характеристиками затухания сигнала не ниже 2000 МГц/км для длины волны 1300 нм и до 400 метров при условии использования многомодового оптоволокна категории OM4 с характеристиками затухания сигнала не ниже 4700 МГц/км для длины волны 1300 нм.

Таким образом, для соединения конечных устройств с коммутаторами достаточно использовать кабель «витая пара» cat.5e, а для соединения коммутаторов между собой кабель «витая пара» cat.6a или многомодовое оптоволокно типа OM3 в зависимости от расстояний.

В качестве сетевых коммутаторов для связи конечных устройств при построении отказоустойчивых сетей необходимо использовать либо коммутаторы объединяемые в стек или коммутаторные фабрики Dual-Homed Fex Technology, основанные на виртуальных каналах (virtual Port Channel - vPC) представляющие собой два коммутатора выполняющих роли ядра (Core) и периферийные коммутаторы (Fabric Extender - FEX) к которым подключаются конечные устройства (рис. 3).



Рис. 3 Логическая схема соединений Dual-Homed Fex Technology

Каждый FEX коммутатор соединен с обоими Core коммутаторами виртуальными каналами, позволяющими объединять несколько физических подключений в одно агрегированное логическое. Таким образом, отпадает необходимость использования протокола STP для обеспечения отказоустойчивости сети при выходе из строя одного коммутатора. На хостах два физических подключения объединяются в один логический технологией агрегирования каналов Teaming (Bonding) и EtherChannel на портах коммутаторов. В таком случае при выходе из строя одного из коммутаторов или разрыва одного физического соединения, связь между хостами на логическом уровне не теряется. Агрегирование каналов также позволяет увеличить полосу пропускания логического канала кратно количеству физических каналов. Данную технологию поддерживают коммутаторы Cisco модели Nexus. Физическая схема сети LAN показана на рис. 4.

сеть банк информация



Рис. 4 Физическая схема сети LAN

Сеть хранения данных представляет собой каналы связи между серверными системами и устройствами хранения данных. Они служат для упрощения и ускорения доступа к блочным устройствам, которые операционные системы определяют, как дисковые устройства. Это нужно в первую очередь для общего доступа к одним и тем же дисковым устройствам для нескольких операционных систем, это очень важно для систем виртуализации вычислительных ресурсов и для кластерных систем.

В настоящее время существует несколько базовых протокола для организации сетей SAN, все имеют различные физические среды для построения сетей и различные стеки протоколов: Fibre Channel (далее - FC), Serial Attached SCSI (далее - SAS), Internet Small Computer System Interface (далее - iSCSI), Infiniband, Fibre Channel over Ethernet (далее - FcoE), и Fibre Channel over IP (далее - FCIP).

В основе высокоскоростной связи между серверами и периферийными устройствами хранения информации лежит набор стандартов и протоколов SCSI (Small Computer System Interface), они представляют собой стек с четырьмя основными уровнями. До настоящего времени для доступа к дисковым устройствам на логическом уровне используется протокол блочных дескрипторов SCSI, называемый Command Descriptor Block (далее - CDB), который в свою очередь является частью протокола команд для блочных устройств SBC. Протоколы сетей SAN служат в качестве транспорта для команд SCSI (рис. 5).

Рис. 5 Архитектура стандартов SCSI

Самый распространенный протокол SAN, используемый в серверах для доступа к внутренним дискам - Serial Attached SCSI, который является протоколом физического уровня с последовательным интерфейсом для передачи последовательностей SCSI команд от запрашивающего устройства (Initiator) устройства к устройству хранения данных (Target) без использования промежуточных протоколов и их стеков. Он был разработан на замену интерфейсу Parallel SCSI, который использовал для передачи служебных команд данных параллельную шину, в первой версии стандарта 8-битную, затем увеличенную до 16 бит в расширении SCSI-2 Wide. Последняя версия интерфейса Ultra-640 SCSI имела скорость передачи данных 640 Мбайт/с. Интерфейс SAS на текущий момент обеспечивает скорость передачи данных до 12 Гбит/с по одной линии. Существует большое количество кабелей и разъемов для соединения устройств по с интерфейсом SAS. В одном кабеле может быть объединено до 4-х линий SAS. В случае организации сети SAN на основе протокола SAS, применяются адаптеры SAS HBA, расширители (Expanders) и коммутаторы. Протокол SAS применяется, как правило, в небольших сетях, с малым количеством конечных устройств расположенных на удалении друг от друга не более нескольких метров, так как максимальная длина кабелей составляет: 10 метров для пассивных медных кабелей, 25 метров для активных медных кабелей, 100 метров для оптических кабелей. Также не существует решений, позволяющих реализовывать туннели для SAS протокола внутри других протоколов для передачи данных на большие расстояния. Особенности адресации SAS устройств создают трудности с управлением коммутацией при большом числе SAS конечных устройств, требующих четкого разграничения дисковых ресурсов между инициаторами.

Протокол Infiniband на текущий момент имеет самую большую скорость передачи данных из всех сетей SAN - 300 Гбит/с по шине из 12 каналов. Данный протокол применяется в основном в суперкомпьютерах и системах хранения данных уровня Hi-End. Существующие кабели позволяют соединять устройства, находящиеся на расстоянии до 10 километров друг от друга.

Протокол iSCSI позволяет соединять конечные устройства, используя стек протоколов TCP/IP, что позволяет использовать общую с сетями LAN физическую инфраструктуру. Принцип работы данного протокола состоит в использовании пакета IP для передачи SCSI команд между конечными устройствами. При этом не требуется дополнительных устройств, кроме существующих для сети LAN, для работы протокола iSCSI, так как существуют программные методы выделения и обработки SCSI команд из IP пакета. Однако большое суммарное количество уровней протоколов SCSI и TCP/IP приводят к большим задержкам SCSI команд, которые неприемлемы при большом количестве устройств SAN и больших объемах данных.

Протокол Fibre Channel изначально создавался для передачи SCSI команд и оптимизирован для передачи данных с минимальными задержками. Проектировался он для использования в первую очередь в суперкомпьютерах. Протоколы iSCSI, FcoE и FCIP используют в качестве физической среды передачи данных протокол Ethernet, что позволяет использовать существующую инфраструктуру сети LAN. Однако в данном случае полоса пропускания каналов связи сети LAN может быть перегружена, процесс коммутации пакетов и добавление к полезной нагрузке большого количества служебной информации, возможные переполнения буферов коммутационных устройств, могут вносить существенные задержки при доступе к хранимой информации, а ошибки сетевых администраторов могут приводить к потерям связи серверных систем с дисковыми ресурсами, что может вызвать прерывания операционных систем в виде Kernel Panic или BSOD и, как следствие привести к простоям продуктивных систем. Оптимальным выбором в данном случае будет являться протокол Fibre Channel, использующий в качестве физической среды оптоволоконные кабели, в качестве адресов устройств он использует 8-байтовый WWN адрес, который уникальным образом назначается каждому порту устройства производителем. Архитектура протокола Fibre Channel показана на рис. 6.

Рис. 6 Архитектура протокола Fibre Channel

Особенность работы коммутаторов FC заключается в использовании фабрик коммутаторов, которые содержат таблицы зон адресов, и при добавлении в фабрику нового коммутатора почти не требуется его настройка, таблицы зон реплицируются автоматически между всеми коммутаторами сети. В сети организуется, как правило, две фабрики, что позволяет серверам не терять связь с дисковыми устройствами при сбоях одной из фабрик (рис. 7). Основным производителем оборудования Fibre Channel является Brocade. Физическая схема сети SAN показана на рис. 8.

Рис. 7 Логическая схема организации фабрик SAN

Рис. 8 Физическая схема сети SAN

3.2 Распределение адресного пространства

Исходя из требований безопасности в части организации доступа к узлам IP сети, сеть будет разделена на следующие сегменты:

1. Подсеть связи между серверами продуктивных приложений, общая для обоих центров обработки данных: до 400 адресов, 192.168.0.0/23

2. Подсеть адресов для интерфейсов управления оборудованием: до 200 адресов, 192.168.4.0/24

3. Подсеть для размещения front-end серверов в демилитаризованной зоне: до 20 адресов, 192.168.5.0/24

4. Подсеть для компьютеров клиентов головного офиса: до 700 адресов, 192.168.8.0/22

5. Подсеть для компьютеров клиентов филиала 1: до 200 адресов, 192.168.12.0/24

6. Подсеть для компьютеров клиентов филиала 2: до 200 адресов, 192.168.13.0/24

7. Подсеть для компьютеров клиентов филиала 3: до 200 адресов, 192.168.14.0/24

8. Подсеть для доступа от компьютеров клиентов к серверам приложений.

3.3 Серверные системы для обработки данных

Так как планируется применение систем виртуализации, подразумевающей использование большого количества серверов одинаковой комплектацией и идентичной конфигурацией, оптимальным будет выбор форм-фактора Blade. Blade подразумевает использование единого шасси для блоков питания, системы охлаждения, набора коммутаторов, серверов в компактных корпусах и общего интерфейса управления. Для повышения удобства управления парком серверов в случаях потери всего центра обработки данных, компания Cisco предлагает решение Unified Computing Servers (рис. 9), особенностью которого является автоматическое назначение физических адресов MAC и WWN сетевым интерфейсам серверов c помощью cерверных профилей, что в случаях установки новых серверов или замены вышедших из строя сводит к минимуму время настройки оборудования. Кроме того, сервера и коммутаторы содержат конвергентные сетевые интерфейсы, позволяющие в зависимости от текущих требований на логическом уровне использовать их и как Ethernet и как FC устройства (рис. 10).

Рис. 9 Общий вид Blade серверов Cisco UCS

Рис. 10 Логическая схема подключения Cisco UCS к сетям LAN и SAN

3.4 Организация хранения данных

Так как ключевым требованием сети является отказоустойчивость и исключение времени простоя, то система хранения данных должна состоять из двух дисковых массивов, которые должны находиться в разных центрах обработки данных, и поддерживать синхронную репликацию всех данных между собой. Таким требованиям отвечают все дисковые массивы класса Symmetrical Active-Active. Однако среди дисковых массивов Asymmetric Active-Active существует решение от компании NetApp, массивы модели FAS, с технологией Fabric MetroCluster (рис. 11), позволяющей использовать два контроллера, размещенных попарно в разных центрах обработки данных как один массив, каждая часть которого имеет одинаковое количество жестких дисков, все контроллеры одновременно подключаются к каждому из серверов, но в один момент времени сервер ведет активные операции ввода-вывода с одним контроллером, который является владельцем тома LUN, который подключен к серверу. Сервер может вести активные операции ввода-вывода с любым из контроллеров на любой площадке через магистральный канал между центрами обработки данных, также любой контроллер может производить чтение-запись на любую RAID группу дисков, подключенных по протоколу Fibre Channel и расположенных на любой из площадок. Дисковые массивы модели FAS поддерживают, уровни избыточности RAID 4 и RAID DP, который использует два диска под контрольные суммы, и лишен недостатков RAID 6 в части медленной скорости записи чтения, благодаря использованию для расчета контрольных сумм файловой системы WAFL. Для ускорения операций чтения-записи на RAID группы есть возможность использования твердотельных дисков для кэширования данных.

Рис. 11 Организация Fabric Metrocluster для системы виртуальзации vSphere

Существующие ленточные библиотеки для систем резервного копирования имеют примерно одинаковые возможности и стоимость. Необходимо учитывать возможности расширения ленточной библиотеки, в случае роста объема данных, подлежащих резервному копированию. Резервное копирование данных производится с целью восстановления потерянной информации при преднамеренных и случайных удалениях с системы оперативного хранения данных и может быть использована лишь для восстановления наиболее критичных данных в случаях потери оперативных данных с обоих центров обработки данных. Программная часть системы резервного копирования данных должна поддерживать устройства ленточных библиотек и иметь возможность резервного копирования как данных отдельных приложений, таких как базы данных, почтовые хранилища, файловые хранилища, каталоги контроллеров домена Windows, так и виртуальные диски виртуальных машин и образы физических дисков физических серверов с возможностью восстановления Bare-Metal. Данным требованиям отвечают ленточные библиотеки IBM TS и приложение Veritas NetBackup.

3.5 Система сетевой безопасности

Основа системы безопасности включает по одному межсетевому экрану в каждом центре обработки данных с функциями организации VPN каналов по протоколу L2TP с потоковым шифрованием данных, поддержкой трансляции сетевых адресов NAT, организацией демилитаризованной зоны, фильтрами трафика сетевого, транспортного и прикладного уровней, доменной авторизацией пользователей. Так как банк оперирует персональными данными категории не ниже 2 и устройства обработки и хранения имеют подключение к сети Internet, требуется межсетевой экран класса не ниже 3 данным требованиям соответствует аппаратный межсетевой экран VIPNet Coordinator HW. Логическая схема организации межсетевых экранов показана на рис. 12.

Рис. 12 Логическая схема организации межсетевых экранов.

3.6 Система виртуализации серверов

В соответствии с требованиями к системе виртуализации серверов по поддержке разных типов гостевых операционных систем, созданием высокодоступных кластеров, поддержкой запуска двух виртуальных машин одного и того же экземпляра в режиме Active-Standby, наиболее подходящей системой виртуализации является VMware vSphere. Она является системой аппаратной виртуализации для процессорной архитектуры x86, поддерживает одновременный доступ нескольких гипервизоров к одной файловой системе, автоматически перезапускает виртуальную машину на другом хосте в случае потери связи с хостом, на котором она была запущена, позволяет резервировать ресурсы для наиболее критичных виртуальных машин. Система vSphere состоит из гипервизоров, называемых хостами ESXi, которые служат для запуска и предоставляют ресурсы для виртуальных машин и сервера управления кластерами гипервизоров vCenter, который предоставляет интерфейс для настройки отказоустойчивых кластеров, управления ими и мониторинга за их работой. В vSphere реализовано множество технологий обеспечения высокой доступности виртуальных машин. Среди них можно выделить: High Availability - опция, позволяющая системе vSphere автоматически перезапускать виртуальные машины на других хостах кластера, в случае выхода из строя хоста, на котором была запущена виртуальная машина (рис. 13).

Рис. 13 Принцип работы опции High Availability

Fault Tolerance - опция, позволяющая содержать в рабочем состоянии две виртуальные машины, одна из которых является точной копией другой, но при этом в доступном состоянии содержится только одна из них, с которой происходит синхронная репликация на другую машину. Эти две машины запускаются на разных хостах, находящихся в разных центрах обработки данных, и в случае выхода из строя хоста, на котором запущена активная машина, активной становится резервная виртуальная машина. Этот процесс происходит с минимальными задержками и практически незаметен для пользователя (рис. 14).

Рис. 14 Принцип работы опции Fault Tolerance

3.7 Система виртуализации рабочих столов

В основе виртуализации рабочих столов лежит особенность использования «золотого» образа операционной системы с базовым набором приложений для пользователей. Данный образ используется для загрузки общей операционной системы для всех пользователей. Профили пользователей и индивидуальные настройки программ и индивидуальные приложения создаются для каждого пользователя на отдельном диске, представляющем собой дельту от золотого образа. Данная особенность позволяет экономить объем дискового пространства, посредством хранения только одного общего экземпляра операционной системы, вместо хранения отдельных экземпляров для каждого пользователя. Из двух основных систем виртуализации рабочих столов, Citrix XenDesktop, которая использует проприетарный протокол удаленного доступа ICA, имеет наименьшие требования к полосе пропускания (рис. 15), что позволяет ему прорисовывать удаленный рабочий стол с минимальными задержками при возможных перегрузках канала при одновременной работе множества пользователей одного офиса.

Рис. 15 Требования к полосе пропускания протокола ICA

3.8 Программное обеспечение сети

Программное обеспечение сети включает в себя серверные операционные системы Windows и Linux RHEL для запуска серверных приложений систем ERP, CRM, АБС, СУБД MS SQL, системы обмена сообщениями Microsoft Exchange. Для обеспечения высокой доступности серверов баз данных используется технология кластеризации Windows Clustering services, позволяющая создавать отказоустойчивые кластеры приложений с функциями распределения нагрузки между несколькими экземплярами СУБД, запущенными на разных серверах. При этом в системе виртуализации должны быть указаны правила запуска разных экземпляров СУБД на разных серверах, находящихся в разных центрах обработки данных. В данном случае, при потере одного экземпляра СУБД, его сетевой адрес присвоит себе второй экземпляр и приложение, работающее с базой данных, с небольшой задержкой переключится на работу с вторым экземпляром СУБД без ошибок. Система обмена сообщениями Microsoft Exchange позволяет организовывать непрерывный доступ к своим службам без организации кластера уровня операционной системы, она имеет встроенный механизм распределения ролей и нагрузки между экземплярами с одинаковыми ролями посредством служб DNS и Active Directory.

3.9 Планировка помещения центра обработки данных

Сеть должна содержать два центра обработки данных, находящихся на удалении друг от друга до 50 километров, что продиктовано необходимостью обеспечения работоспособности сети в случае катастроф локального масштаба, таких как пожар, разрушение здания, приводящих к полному выходу из строя оборудования, находящегося в одном здании. Помещение центра обработки данных представляет собой комнату, которой находятся все устройства серверной части соответствующего сегмента сети.

Помещение должно быть достаточного объема для содержания и обслуживания работающего оборудования сети, и достаточный запас для расширения инфраструктуры. Комната должна быть максимально защищена от пыли и влажности. Должна иметь систему кондиционирования воздуха для поддержания оптимальной температуры и влажности воздуха при работающем оборудовании сети. В комнате должна быть в наличии система оповещения о пожаре и система пожаротушения позволяющая тушение оборудования, находящегося под напряжением до 1000В. Комната должна иметь надежные замки с системой контроля уровнем доступа для обслуживающего персонала. Энергоснабжение оборудования, находящегося в комнате должно обеспечиваться от двух независимых электроподстанций, обеспечивающих питание оборудования через две независимые линии электропитания, на каждой из которых должен быть в наличии источник бесперебойного питания с ёмкостью батарей, достаточной для поддержания работоспособности оборудования до момента запуска резервной линии питания. Резервная линия питания должна обеспечиваться дизель-генератором достаточной мощности.

...