Создание центра обработки данных

Примечание: переходная плата ASR26XXFHR (PCI Express 16x) для установки двух полноразмерных PCI Express 8х (соответственно и 4x) плат в комплекте.

Розничная цена одной сетевой платы Intel <EXPI9402PT> PRO/1000 PT Dual Port за наличный расчет по прайсу компании НИКС составляет 5058 руб.

Итого, цена одного сервера для поддержки виртуализации ЦОД, получается равной 173 391 руб., цена двух таких серверов, для организации системы виртуализации равна 346 682 руб.

3.1.2 Выбор сервера для подсистемы доступа к внешним сетям

Согласно техническому заданию подсистема доступа к внешним сетям (интернет-шлюз, межсетевой экран) должна быть реализована на собственном аппаратном обеспечение. Аппаратные требования к серверу для поддержки подсистемы доступа к внешним сетям значительно ниже, чем к платформам поддержки виртуализации.

Для этого подойдет надежная однопроцессорная серверная платформа модели Intel 1U SR1630GPRX. Основные характеристики платформы:

Таблица 5.5

"Основные характеристики"
Производитель	INTEL
Модель	SR1630GP
Описание	Серверный корпус SR1630 с установленной в нем платой S3420GPRX
Цвета, использованные в оформлении	Черный
Чипсет мат. Платы	Intel 3420
"Процессор"
Гнездо процессора	Socket LGA1156
Поддержка типов процессоров	Intel Xeon L34xx, X34xx, Core i3-5x0, Pentium G6950 (Lynnfield).
Частота шины	2500 МГц
"Видео"
Видео	ServerEngines Pilot II, видеопамять 8 Мб.
"Поддержка памяти"
Количество разъемов DDR3	6 (2х канальный контроллер памяти).
Количество разъемов Registered DDR3	6 (2х канальный контроллер памяти).
Тип поддерживаемой памяти	Registered DDR3, DDR3 ECC. Максимальная поддерживаемая пропускная способность памяти указана в описании процессора
"Конфигурация"
Внутренних отсеков 3,5 дюйма	2
Оптический привод	Нет. Возможна установка низкопрофильного оптического SATA привода (для ноутбука) AXXSATADVDROM или AXXSATADVDRWR. В комплект входит переходник для установки стандартного привода любого производителя.
Интегрированный RAID-контроллер	Встроен в чипсет, возможно построение RAID массивов уровней 0, 1 из Serial ATA устройств
"Коммуникации"
Сеть	5 cетевых портов (контроллер Intel 82574L 10/100/1000 Мбит/сек + 2 двухпортовых контроллера Intel 82576EB 10/100/1000 Мбит/сек)
"Интерфейс, разъемы и выходы"
Количество разъемов PCI Express 2.0	1 слот 8x (переходная плата AHJTPCIERISER для установки 1 низкопрофильной платы в комплекте)
Serial ATA-II	6 каналов с возможностью подключения 2х устройств
Разъемы на передней панели	1 USB 1.1 порт
Разъемы на задней панели	4x USB 2.0, 1x RJ-45 COM, 5x RJ-45 LAN, 1x VGA монитор
Клавиатура/мышь	USB
"Питание"
Блок питания	Встроен, нестандартный или без возможности замены FHJ350WPS.
Мощность блока питания	350 Вт
"Прочие характеристики"
Формат платы	Extended ATX
Размеры (ширина х высота х глубина)	430 x 43.3 x 508 мм
Рабочая температура	10 ~ 35°C

Примечание: платформой поддерживаются регистровые модули только с 8-битными чипами памяти.

Розничная цена такой платформы за наличный расчет по прайсу компании НИКС, составляет 20 114руб.

Выбор процессора для такой платформы можно остановить на относительно недорогом Intel Xeon X3470 BOX 2.93 ГГц, который поставляется вместе с системой охлаждения.

Характеристики процессора:

Таблица 5.6

"Основные характеристики"
Производитель	INTEL
Модель	Xeon Processor X3470
Описание	Процессор для однопроцессорных серверов и рабочих станций.
Частота работы процессора	2.93 ГГц или до 3.6 ГГц в режиме Turbo Boost
Уникальные технологии	наборы инструкций: SSE, SSE2, SSE3, SSE4.2, Intel Virtualization Technology (VT-x), EVP (Enhanced Virus Protection или Execute Disable Bit), Enhanced Intel Speedstep Technology, Enhanced Halt State (C1E), Intel Demand Based Switching, Intel Trusted Execution Technology
Частота шины CPU	2500 МГц
Ядро	Lynnfield
Рассеиваемая мощность	95 Вт
Критическая температура	72.7°C
"Процессор"
Гнездо процессора	Socket LGA1156
Кэш L1	64 Кб x4
Кэш L2	256 КБ x4
Кэш L3	8 Мб
Поддержка 64 бит	Да
Количество ядер	4
Тип поддерживаемой памяти	Registered DDR3, DDR3 ECC, DDR3 PC3-6400 (DDR3-800), PC3-8500 (DDR3-1066), PC3-10600 (DDR3-1333), двухканальный контроллер

Розничная цена такого процессора за наличный расчет по прайсу компании НИКС, составляет 11 820 руб.

Контроллер памяти выбранной платформы двухканальный, для поддержки этой технологии надо использовать два модуля памяти. Для этого подойдут модули Kingston ValueRAM <KVR1333D3D4R9S/4G>. Модуль имеет объем 4 ГБ, согласно требованиям платформы компоновка модуля 8-и чиповая, имеется опция Registered ECC. Основные характеристики:

Таблица 5.7

"Основные характеристики"
Производитель	Kingston
Модель	KVR1333D3D4R9S/4G
Объем памяти	4 Гб
Количество модулей в комплекте	1
Частота функционирования	до 1333 МГц
Тип	Registered DDR3
Стандарт памяти	PC3-10600 (DDR3 1333 МГц)
Тайминги	9-9-9
"Поддержка памяти"
Поддержка ECC	Есть
"Конфигурация"
Чип	256M x 8-bit
"Сетевые характеристики"
Пропускная способность	10667 Мб/сек
"Прочие характеристики"
Охлаждение	Радиаторы на чипах памяти

Розничная цена модуля Kingston < KVR1333D3D4R9S/4G > за наличный расчет по прайсу компании НИКС, составляет 2514 руб. Цена двух таких модулей (для одного сервера) будет 5028 руб.

Локальные носители данных должны быть быстрыми и надежными. К объему носителей особых требований нет. Для организации отказоустойчивости на уровне хранения данных можно использовать технологию зеркалирования дисков (RAID-1). Поддержка RAID 0,1 реализована на аппаратном уровне у выбранной платформы. Требования к организации локальной системы данных успешно удовлетворяет пара твердотельных SATA накопителей модели SSD 60 Gb SATA-II OCZ Agility 2. Заявленная производителем MTBF - 2 млн. часов. Переходник для 3.5 отсека идет в комплекте. Характеристики носителя:

Таблица 5.8

"Основные характеристики"
Производитель	OCZ
Модель	60 Гб Agility 2 OCZSSD2-2AGTE60G
Поддержка TRIM	Есть
Контроллер	SandForce SF-1200
Формат HDD	2.5"
Скорость чтения	До 285 Мб/сек
Скорость записи	До 275 Мб/сек

Розничная цена накопителя SSD 60 Gb SATA-II OCZ Agility 2 за наличный расчет по прайсу компании НИКС, составляет 4046 руб. Цена двух таких накопителей (для одного сервера) будет 8092 руб.

Требования к оптическому приводу аналогичны требованиям платформ гипервизоров, поэтому модель привода будет прежней DVD±R/RW & CDRW Pioneer DVR-TD10. Её розничная цена по прайсу компании НИКС, на период - май, 2011 года, составляет 870 р.

Сетевых интерфейсов выбранной платформы (5-ть интерфейсов 82574L) достаточно для выполнения требуемых сетевых функций. Общая стоимость платформы будет 45 924 руб.

Стоимость всех серверных платформ для организации центра обработки данных на период - май, 2011г., равна 392 567 руб.

3.2 Выбор систем хранения данных

Требования к сетевым хранилищам (NAS) данных накладывает система виртуализации и сетевая архитектура:

- Должен предоставляться единовременный доступ к ресурсу основного хранилища для всех мониторов виртуальных машин.

- Высокое быстродействие для оперативного взаимодействия гостевых операционных систем.

- Возможность разделения дискового пространства на хранилище данных предприятия и хранилище виртуальных машин.

- Отказоустойчивость на уровне выхода из строя любого накопителя в каждом томе.

- Возможность работы с логическими томами хранилища, как с блочными устройствами (для ускорения операций ввода-вывода).

Для этого необходимо хранилище с поддержкой технологии 802.3ad и высокоскоростным дисковым интерфейсом SAS (Serial Attached SCSI). На данный момент последняя реализация интерфейса SAS-2 поддерживает скорость передачи 6 GB/s. Аналогичную скорость поддерживает реализация SATA-3. Важно учитывать тот момент, что контроллеры SAS полностью поддерживают SATA диски.

Подобные возможности, за исключением использованием требований к высокому быстродействию накладываются на хранилище для резервного копирования:

- Хранилище резервных копий должно обеспечивать отказоустойчивость на уровне накопителей данных.

- Хранилище должно быть надежным, при необходимости должен обеспечиваться быстрый доступ к резервным копиям.

- Хранилище должно быть территориально удалено от основной информационной системы.

Требования к накопителям основной системы хранения будут различны, поэтому общее пространство основного NAS-массива будет условно поделено на две части, каждая из которых имеет собственные требования к быстродействию. Первая часть используется для хранения файлов виртуальных машин, она должна иметь очень высокое быстродействие, объем хранимой информации умеренный. Вторая часть пространства NAS, используемая для хранения информационных баз предприятия должна иметь умеренно высокое быстродействие, но большой объем файлового пространства.

Требования к накопителям, применяемых в NAS-массиве для хранения резервных копий следующие: невысокая стоимость, большой объем, но умеренное быстродействие.

Для устранения "узких мест" в сетевой среде передачи данных должна использоваться технология объединения каналов. При этом полоса пропускания между коммутатором и основным хранилищем по скорости должна быть приближена к скорости работы интерфейсов накопителей данных, для эффективного использования скоростных дисковых массивов.

Таким образом, первый массив основного хранилища (для хранения виртуальных машин) будет состоять из 4-х быстродействующих SSD SATA накопителей, объединенных в RAID-5. Массив RAID-5 обеспечивает отказоустойчивость на уровне накопителей, при выходе из строя одного любого накопителя в массиве информация не потеряется. Емкость массива RAID-5 определяется как сумма емкостей накопителей минус емкость одного накопителя в массиве. Тесты быстродействия, подтверждающие бОльшую производительность SSD SATA в сравнении с HDD SAS опубликован в авторитетном интернет-портале Tom's Hardware Guide, ссылка на источник: (http://www.thg.ru/storage/ssd_enterprise/index.html).

Второй массив основного хранилища будет использовать быстрые и емкие HDD SAS диски, обеспечивающие высокое быстродействие за счет высокоскоростных дисков и продвинутой очереди команд, унаследованной от параллельного интерфейса SCSI. Массив будет состоять из шести SAS дисков, объединенных в RAID-5.

Так как требований к высокому быстродействию к хранилищу для хранения резервных копий нет, группа накопителей этого NAS копий будет использовать недорогие и надежные SATA SDD диски. Группу дисков надо объединенить в массив RAID-6, который обеспечивает большую надежность данных, нежели RAID-5, но имеет меньшее быстродействие (примерно на 10-15%) из-за необходимости рассчитывать две контрольные суммы. Массив RAID-6 позволяет сохранить данные даже при выходе из строя сразу двух накопителей. Общая емкость массива равна сумме объема носителей в массиве за минусом двухкратного объема одного из носителей.

Схема взаимодействия гипервизоров с дисковыми хранилищами представлена на рисунке 5.1.

Рисунок 5.1 "Организация отказоустойчивости на уровне накопителей"



3.2.1 Комплектация основного хранилища

Требования к основному хранилищу успешно выполняются сетевым хранилищем Thecus N12000. Thecus зарекомендовал себя как надежный поставщик хранилищ данных корпоративного уровня. Характеристики хранилища N12000:

Таблица 5.9

Спецификация устройства
Процессор	Intel Xeon X3470 + чипсет Intel 3450
Дисковые интерфейсы	12 х SAS/SATA 6GB для внутренних дисков, 1 х eSATA для внешнего диска
Контроллер RAID	LSI 2008 HBA
Системная память	4GB DDR3 SDRAM
LAN интерфейс (PCI-e)	3 x RJ-45: 10/100/1000 BASE-TX Auto MDI/MDI-X Поддержка WOL
LED-индикация	Питание (синий) Системное оповещение: резервное питание или сбой вентиляции системы (красный) Активность/сбой дисков 1-12 (зеленый/красный)
Слот PCIe	8х (3), одно гнездо используется для контроллера SAS HBA 4х (1) 1х (1), используется для контроллера CU30N (USB 3.0)
Источник питания	ИП с резервированием 700 Вт или более (80plus)
Контроль температуры/вентиляции	Датчик температуры процессора Регулирование частоты вращения вентилятора ЦП Регулирование частоты вращения вентилятора системы
Вентиляция системы	4 вентилятора с поддержкой горячей замены
Рабочая среда	Температура: 5°C -- 40°C Относительная влажность: 0 ~ 80 % (без образования конденсата)
Габариты	Для установки в стойку, 2U
Спецификация программного обеспечения
Режимы RAID	RAID 0, 1, 5, 6, 10, 50, 60 и JBOD
Автоматическое восстановление	Поддерживается
Горячая замена	Поддерживается
Горячее резервирование	Поддерживается
Информация SMART	Поддерживается
Тестирование SMART	Поддерживается
Онлайновая миграция	Поддерживается
Онлайновое расширение	Поддерживается
Шифрование томов	256-разрядное по стандарту AES
Управление питанием	Остановка вращения дисков при простое
Сканирование плохих блоков	Поддерживается
Перенос дисков	Поддержка переноса томов на другое хранилище N12000
Сеть
Конфигурация	Фиксированный и динамический IP-адреса
Режим общего IP-адреса	Вкл./Выкл.
Транспортные протоколы	TCP/IP/Appletalk
Файловые протоколы	SMB/CIFS, HTTP/HTTPS, FTP, NFS v3, AFP
Агрегация каналов	6 режимов
Резервное копирование данных
Клиентское ПО резервного копирования	Acronis Backup and Recovery Server OEM 5 лицензий
Удаленная репликация NAS	Инкрементная Синхронная
Доступ на уровне блоков
Целевой раздел iSCSI	Поддержка инициаторов Microsoft/Mac/Linux
Инициатор iSCSI	Для стекирования с N5200/1U4500/1U4600/N5500/серия N7700/серия N8800/N12000/N16000
Динамическое выделение емкости по iSCSI	До 16 ТБ виртуальной емкости

Выбранная система хранения данных уровня предприятия может поддерживать суммарную емкость носителей до 36 ТБ. Позволяет использовать 10 жестких дисков с интерфейсами SATA III и SAS 6 Гб. Система имеет два блока питания с резервированием суммарной мощностью 800 Вт.

Высокая производительность N12000 обеспечивается процессором Intel Xeon X3470 и 4 Гб памяти DDR3 RAM. Для обеспечения высокого уровня безопасности хранения модель N12000 поддерживает все режимы работы массивов RAID, необходимые для сервера уровня предприятия, включая RAID 0, 1, 5, 6, 10, 50, 60 и JBOD. Замена вышедших из строя дисков крайне проста благодаря функциям горячей замены, горячего резервирования и расширения массива RAID.

Для дополнительной защиты данных поддерживается 256-разрядное шифрование томов RAID по стандарту AES. Для безотказного доступа к данным сервер N12000 поддерживает технологию, которая позволяет хранение данных на двух отдельных идентичных сетевых хранилищах: если одно хранилище вышло из строя или требует обслуживания, в работу без задержек включается второе. Эта технология особенно актуальна для развивающихся предприятий, она позволяет реализовать концепцию HA (High Availability), высокой доступности ИС.

В состав программного обеспечения системы N12000 входит Acronis Backup and Recovery Server, которое может быть полезным для создания резервных копий. Важным моментом является наличие слотов pci-express, что позволяет установить дополнительный сетевой адаптер.

Цена хранилища Thecus N12000 на официальном сайте компании (http://www.thecus.ru) равна 190 200 руб.

Для обеспечения большей скорости взаимодействия с сетью нужно установить дополнительный сетевой адаптер. Для этого будет использован адаптер Intel <EXPI9402PT> PRO/1000 PT Dual Port. Плата сделан на чипе Intel 82571EB, имеет два порта 10/100/1000 Мбит/сек и подключается к порту PCI Express x4. Розничная цена одной сетевой платы Intel <EXPI9402PT> PRO/1000 PT Dual Port за наличный расчет по прайсу компании НИКС составляет 5058 руб.

Агрегация пяти гигабитных портов хранилища (3-и порта интегрированных + 2-а на плате расширения) в единый канал позволит увеличить скорость внешнего сетевого канала до 5 GB/s (625 MB/s). Для достижения большей скорости можно использовать дополнительную агрегацию каналов, путем добавления еще одного контроллера, (до 8 GB/s согласно 802.3ad), либо оборудование, поддерживающее ethernet 10 GB/s (цена такого оборудования на сегодняшний день довольно высока).

В качестве носителей данных для массива, содержащего файлы виртуальных машин, будут использованы четыре высокоскоростных SSD накопителя SSD 120 Gb SATA 6Gb/s OCZ Vertex 3 <VTX3-25SAT3-120G> . Подобные накопители использованы для серверов сегмента виртуализации. Накопители имеют объем 120 GB, скорость чтения порядка 550 МБ/с, скорость записи 500 МБ/с. На сегодняшний день это одни из самых быстрых SSD накопителей. Доступный для использования объем массива RAID-5 из 4-х таких накопителей будет равен 360 GB. Этого вполне достаточно как для хранения файлов виртуальных машин, так и для значительного расширения сегмента виртуализации.

Стоимость одного накопителя OCZ Vertex 3 <VTX3-25SAT3-120G> , по прайсу компании НИКС равна 9797 руб. Цена четырех подобных накопителей будет 39 188 руб.

Для хранения данных информационных баз компании в RAID-5 массиве будут использованы шесть накопителей SAS HDD модели Seagate ST3600057SS, объемом 600 ГБ. Основные характеристики носителя:

Таблица 5.10

"Основные характеристики"
Производитель	Seagate
Модель	600 Гб Cheetah 15K.7 ST3600057SS
Среднее время ожидания	2.0 мс
Формат HDD	3.5"
"Параметры производительности"
Скорость вращения шпинделя	15000 оборотов/мин.
Буфер HDD	16 Мб
Установившаяся скорость передачи данных	До 204 Мб/сек
"Интерфейс, разъемы и выходы"
Интерфейс HDD	SAS 2.0
Пропускная способность интерфейса	6 Гбит/сек
"Прочие характеристики"
MTBF	1.6 млн. Часов
Рабочая температура	5 ~ 55°C

Полный объем массива из этих накопителей будет равен 3,6 ТБ. Доступный для использования объем массива RAID-5 из 6-и накопителей будет равен 3 TB.

Стоимость одного накопителя Seagate ST3600057SS, по прайсу компании ApitComp.ru (www.apitcomp.ru) равна 12 171 руб. Цена шести подобных накопителей будет 73 026 руб.

Стоимость полностью укомплектованного основного хранилища данных будет 307 472 руб.

3.2.2 Комплектация хранилища резервных копий

Оговоренные выше требования к хранилищу резервных копий успешно выполняются сетевым хранилищем модели Thecus N8800PRO 2U. Характеристики хранилища:

Таблица 5.11

"Основные характеристики"
Производитель	Thecus
Модель	N8800PRO
Описание	Высокопроизводительная система хранения на 16 ТБ данных с поддержкой PCIe 8x, предназначенная для установки в стойку.
Горячая замена (Hot Swap)	Поддерживается
Горячее резервирование (Hot Spare)	Поддерживается
Процессор	Intel Core 2 Duo 1.66 ГГц
"Конфигурация"
Поддерживаемые уровни RAID	0, 1, 5, 6, 10, JBOD
Память	4 Гб DDR2 800 МГц; Dual 128 Мб DOM
"Интерфейс, разъемы и выходы"
Разъемы на передней панели	2 x USB 2.0 Type A
Порты	e-SATA, 2 x USB 2.0 Type A, 2 порта 10/100/1000 Мбит/сек
"Питание"
Блок питания	2 блока питания 350 Вт
"Сетевые характеристики"
Stackable	Возможно подключение к устройству до 5 аналогичных систем хранения и управление ими через мастер-систему.
"Совместимость"
Кол-во отсеков для HDD	8
Интерфейс поддерживаемых HDD	SATA-II, SATA 6Gb/s, SATA/150
Поддержка HDD большого объема	Поддержка дисков объемом более 3 Тб
Формат HDD (NAS)	3.5"
"Прочие характеристики"
Размеры (ширина х высота х глубина)	428 х 90 х 586 мм
Рабочая температура	5 ~ 40°C
Высота	2U

Хранилище работает с недорогими SATA дисками, которых может быть установлено до 8-и штук. Поддерживается общий объем хранилища до 16 ТБ. При возникновении потребности в дополнительном объеме хранения предусмотрено подключение к устройству до 5 аналогичных систем хранения, что гарантирует простые возможности масштабирования системы резервного копирования. Отказоустойчивость на уровне накопителей можно реализовать, объединив диски в единый массив RAID-6. Система отлично подходит для хранилища резервных копий, благодаря высокому качеству исполнения и использованию SATA дисков.

Цена хранилища Thecus N8800PRO 2U по прайсу компании компании НИКС (http://www.nix.ru) равна 72 568 руб.

В качестве носителей данных для массива RAID-6, содержащего резервные копии должны быть использованы восемь SATA HDD, отвечающие требованиям высокой надежности и емкости, для доступности резервных копий, даже в случая сбоев накопителей в системе хранения. Этим требованиям отвечает накопитель модели Seagate Constellation ES <ST32000644NS>, объемом 2 TB. По утверждению компании Seagate, на сегодняшний день это самый надежный накопитель в своем классе. Основные характеристики носителя:



Таблица 5.12

"Основные характеристики"
Производитель	Seagate
Модель	2 Тб Constellation ES ST32000644NS
Формат HDD	3.5"
24x7	Да
"Параметры производительности"
Скорость вращения шпинделя	7200 оборотов/мин.
Буфер HDD	64 Мб
Установившаяся скорость передачи данных	До 140 Мб/сек
"Интерфейс, разъемы и выходы"
Интерфейс HDD	SATA-II
Пропускная способность интерфейса	300 Мб/сек
"Потребительские свойства"
AFR (Annualized failure rate)	0.73%
Максимальные перегрузки	80G длительностью 2 мс при работе, 300G длительностью 2 мс в выключенном состоянии
Защита от ротационной вибрации	Самая высокая в своем классе устойчивость к вращательной вибрации
"Прочие характеристики"
MTBF	1.2 млн. Часов
Потребление энергии	6.39 Вт в режиме Idle
Рабочая температура	5 ~ 60°C

Полный объем массива из этих 8-и накопителей будет равен 16 ТБ. Доступный для использования объем массива RAID-6 будет равен 12 TB.

Цена одного накопителя Seagate Constellation ES <ST32000644NS>, по прайсу компании компании НИКС (http://www.nix.ru) равна 6387 руб. Стоимость восьми подобных накопителей равна 51 096 руб.

Стоимость полностью укомплектованного хранилища резервных копий будет 123 664 руб.

Общая стоимость сетевых хранилищ будет 431 136 руб.



3.3 Выбор сетевого оборудования

Сетевое коммутационное оборудование проектируемого центра обработки данных условно можно разделить на два типа:

а) Первый тип - сетевое оборудование для серверного сегмента. Необходим коммутатор для взаимодействия между гипервизорами и системами хранения данных. В этой подсети взаимодействия гипервизоров и сетевых хранилищ оборудование будет представлено одним управляемым коммутатором второго уровня. В случае роста предприятия надо предусмотреть возможность масштабирования этой подсети. Оборудование в этом сегменте должно поддерживать технологию объединения каналов иметь скорость передачи для каждого порта коммутатора не менее 1Gb/s.

Второй узел коммутации необходим для взаимодействия сетевых сервисов (виртуализированных, через интерфейсы гипервизоров), компьютеров операторов, с учетом возможности увеличения количества сервисов (соответственно гипервизоров и ПК операторов) нужен подобный коммутатор с поддержкой VLAN и 802.3ad.

Оборудование этого типа должно поддерживать стекирование, для реализации отказоустойчивости на уровне сетевых каналов. Стек - это соединение двух или более коммутаторов, предназначенное для увеличения числа портов, при этом полученная группа идентифицируется остальными сетевыми устройствами как один логический коммутатор.

б) Второй тип - сетевое оборудование для взаимодействия сетевых сервисов и пользовательских сегментов сети. Взаимодействие этого оборудования отражено на рисунке 4.5, в разделе "Анализ технического задания и выбор направления решения задачи ".

Таким образом, коммутаторы второго уровня должны быть определены для отделов предприятия (пользовательского сегмента). Их количество зависит от количества самих пользователей. Независимо от физического расположения коммутаторов VLAN позволит гибко распределить порты коммутаторов между хостами в этих сегментах.

Для взаимодействия всех сегментов сети (то есть серверной подсети, пользовательских подсетей и подсети, в которой расположен интернет-шлюз) нужны надежные коммутаторы третьего уровня с поддержкой VLAN и 802.3ad, и STP (Spanning Tree Protocol) в случае роста масштабирования сети. Дополнительным требованием к коммутаторам третьего уровня будет возможность создания коммутационного стека.

Поддержка этих технологий позволит реализовать отказоустойчивость на уровне каналов при использовании следующей схемы подключений (см. рисунок 5.2):

Рисунок 5.2 "Организация отказоустойчивости на уровне узлов коммутации"

Коммутаторы sw1, sw2 составляют единый коммутационный стек. Маршрутизаторы rt1, rt2 составляют стек маршрутизации. sw3,sw4,sw5,sw6 - коммутаторы пользовательского сегмента. NAS1- основное сетевое хранилище. NAS2 - хранилище резервных копий. vlan10,vlan20,vlan30,vlan40 - пользовательские сегменты сети. vlan100 - сегмент подсети взаимодействия гипервизоров и сетевых хранилищ. vlan200 - сегмент взаимодействия сетевых сервисов (прозрачно от гипервизоров). vlan300 - сегмент подсистемы доступа к внешним сетям и сервисов, к которым возможен доступ из внешних сетей.

Подсистема доступа к внешним сетям изолирована отдельной подсетью и может быть скоммутирована как через коммутатор серверного сегмента (для этого нужна поддержка VLAN), так и через центральный маршрутизатор. Для большей изоляции от серверного сегмента следует все же отделить эту подсеть маршрутизатором. Таким образом, дополнительного сетевого оборудования для коммутации к основной сети данной подсистемы не требуется, но, для реализации отказоустойчивости надо поместить эту подсистему в собственный сегмент VLAN.

Общим требованием для оборудования, которое обеспечивает коммутацию сегментов подсети будет поддержка опции "DHCP relay option 82" это необходимо для удовлетворения требования ТЗ, трактующего необходимость автоматического назначения сетевых адресов хостам в сети. Без поддержки этой опции необходимо размещать отдельный DHCP сервер в каждой подсети, либо коммутировать все подсети на один DHCP. Большинство современных управляемых коммутаторов уровня L2+, L3 поддерживает "DHCP relay option 82".

3.3.1 Выбор сетевых коммутаторов для серверного сегмента

Дополнительно, для этого сегмента следует предусмотреть возможность реализации устранения петель на уровне коммутации, что так же будет актуально в случае роста предприятия. Для этого со стороны оборудования нужна поддержка технологии STP (Spanning Tree Protocol) - для приведения этого сегмента с возможными множественными связями к древовидной топологии, исключающей циклы пакетов.

Коммутатор в этой должен быть с большой скорость внутренней передачи. Все эти требования реализованы в сетевом коммутаторе модели D-Link < D-Link DGS-3427>. Характеристики устройства:

Таблица 5.13

"Основные характеристики"
Производитель	D-Link
Модель	D-Link DGS-3427
"Разъемы и выходы"
Гигабитные порты	20 портов 10/100/1000BASE-T Автосогласование скорости Автоматическое определение полярности MDI/MDIX Управление потоком 802.3x 3 дополнительных открытых слота для модулей 10Gigabit
Порты SFP	4 гигабитных порта, разделяемых с портами SFP (для каскадирования устройств)
"Сетевые характеристики"
Зеркалирование портов	Поддерживается
Протоколы	LACP, Spanning Tree Protocol (STP), Rapid Spanning Tree Protocol (RSTP), IEEE 802.1Q Multiple Spanning Tree Protocol (MSTP), 802.3ad Link - максимум 32 группы на устройство / 8 портов на группу.
VLAN	Поддерживается, IEEE 802.1Q
DHCP-option	DHCP Relay Option 82
Производительность	Коммутационная матрица: 108 Гбит/с Скорость продвижения пакетов: 80,36 Mpps Размер буфера: 750 КбайтФизическое стекирование: Скорость стекирования (на порт): 20 Гбит/с (полный дуплекс) Количество устройств, объединенных в стек (топология «звезда»): 8* Количество устройств, объединенных в стек (топология «кольцо»): 12
"Потребительские свойства"
Высота	1U
Рабочая температура	0 ~ 40°C
Потребляемая мощность (макс.)	71,6 Вт
Питание	От 100 до 240В переменного тока, 50/60 Гц Дополнительный резервный источник питания: DPS-500

Коммутатор имеет 24 гигабитных порта, позволяет создавать производительный стек из 6-и подобных устройств. Имеет поддержку STP и агрегации (до 8-и портов в группе). Дополнительную надежность работы коммутатора добавляет резервный источник питания DPS-500.

Цена одного коммутатора D-Link < D-Link DGS-3427>, по прайсу компании компании Ютинет.Ру (http://uti-office.ru) равна 43 670 руб.

Узел коммутации для взаимодействия сетевых сервисов так же будет представлен одним устройством. Для этого вполне подойдет аналогичная модель коммутатора, а именно 24-х портовый D-Link <D-Link DGS-3427>. Поддержка стандарта VLAN позволит изолировать и распределить информационные потоки между коммутаторами, независимо от метода подключения портов, а поддержка технологии STP предотвратит возможность создания петель при дополнительном стекировании.

Наличие двух подобных коммутаторов позволит создать стек коммутации с кольцевой топологией. Создание стека реализуется через соединение коммутаторов через специальный стековый порт каскадирования. Наиболее предпочтительный способ соединения - объединение в логическое кольцо коммутаторов в стеке, что даст возможность работать коммутационному массиву при выходе из строя одного любого коммутатора. Схема этих подключений показана ранее, на рисунке 5.2.

Скорость сообщения выбранных коммутаторов в стеке при выбранной топологии будет максимальной, то есть 40 Гбит/с. Без сомнения, реализация отказоустойчивости на этом коммутаторе с использованием избыточных каналов для увеличения скорости сетевых подключений является важным и положительным моментом.

Цена двух коммутаторов D-Link < D-Link DGS-3427> для реализации стэка по прайсу компании Ютинет.Ру (http://uti-office.ru) равна 87 340руб.



3.3.2 Выбор коммутаторов для пользовательского сегмента

Количество коммутаторов в пользовательском сегменте зависит от количества конечных хостов. Для пользовательского сегмента подойдут коммутаторы со скоростью хост-портов 10/100 Мбит/с. Для каскадирования коммутаторов должно быть несколько портов 1 Гбит/с. Для этого подойдет коммутатор D-Link <DES-3052> Switch 52 port. Основные характеристики:

Таблица 5.14

"Основные характеристики"
Производитель	D-Link
Модель	DES-3052
Буфер	512 Кб - пакетный буфер
"Разъемы и выходы"
Наличие консольного порта	Есть, кабель RS-232 в комплекте
Гигабитные порты	4 порта 10/100/1000 Мбит/сек; 2 из них - разделяемые с портами SFP
Порты Fast Ethernet	48 портов 10/100 Мбит/сек
Порты SFP	2 гигабитных порта, разделяемых с портами SFP
"Безопасность"
Брандмауэр (Firewall)	Защита от DOS атак
Access Control List	Поддерживается; до 256 профилей/правил
"Сетевые характеристики"
Соответствие стандартам	802.1d (Spanning Tree Protocol), 802.1s MSTP, 802.1w RSTP, DHCP relay option 82, 802.3ad,
Производительность	Коммутационная фабрика: 17.6 Гбит/с Скорость передачи 64-байтных пакетов: 13.1 Mpps Таблица МАС-адресов: 8К SDRAM для CPU: 64Мб Размер буфера пакетов: 512 Кб
Stackable	Да. До 32 устройств в виртуальном стеке.
Port Trunking	Поддерживается, IEEE 802.3ad
QoS	Поддерживается, IEEE 802.1p; 4 аппаратные очереди
VLAN	Поддерживается, IEEE 802.1Q; 4K групп
"Потребительские свойства"
Высота	1U
Рабочая температура	0 ~ 40°C



Цена одного коммутатора D-Link <DES-3052>, по прайсу компании НИКС равна 16 415 руб. Цена четырех подобных коммутаторов будет равна 65 560 руб.

3.3.3 Выбор маршрутизатора

Маршрутизатор работает на третьем уровне сетевой модели OSI и является центральным звеном для взаимодействия сегментов проектируемой сети. Основное назначения этого узла - организация маршрутизации сетевых пакетов между подсетями. Обязательным требованием к этому устройству будет поддержка технологий 802.1q, 802.3ad. Для масштабирования сети будет крайне важной технология STP и Switch Stacking.

Крайне важно, чтобы выбранный маршрутизатор был надежным, проверенным и качественным устройством. В соответствии с этими требованиями, для проектируемого ЦОД подойдет следующая модель Cisco WS-C3560G-24TS-E. Основные характеристики устройства:

Таблица 5.15

"Основные характеристики"
Производитель	Cisco
Модель	Cisco WS-C3560G-24TS-E
Буфер	128Mb
"Конфигурация"
Память	16 Мб Flash
"Разъемы и выходы"
Гигабитные порты	4 порта 10/100/1000 Мбит/сек; 2 из них - разделяемые с портами SFP
Порты Ethernet	24 портов 10/100 Мбит/сек
Порты SFP	4 гигабитных порта
"Сетевые характеристики"
Соответствие стандартам	Auto MDI/MDIX, Jumbo Frame, IEEE 802.1p (Priority tags), IEEE 802.1q (VLAN), IEEE 802.1d (Spanning Tree), IEEE 802.1s (Multiple Spanning Tree)
MAC Address Table	8000 адресов
Port Trunking	Поддерживается, IEEE 802.3ad
QoS	Поддерживается, IEEE 802.1p
VLAN	Поддерживается, IEEE 802.1Q
Масштабирование	Поддержка работы в стеке
"Потребительские свойства"
Высота	1U
Рабочая температура	0 ~ 40°C
"Дополнительные характеристики"
Пропускная способность, Гбит/с	32 Гбит/с
Производительность маршрутизации,, млн. пакетов/с	38,7
Рабочая температура, С°	0-45
Высокая доступность	Резервная система питания Cisco Redundant Power System 675 (RPS 675), протоколы 802.1D, 802.1s, 802.1w, функциональность UplinkFast, HSRP, UDLD, Aggressive UDLD, Switch port Auto-recovery:

Оборудование компании Cisco зарекомендовало себя как надежные и долговечные устройства. Выбранный коммутатор отвечает всем предъявленным требованиям, несомненным плюсом коммутатора является возможность работать в стеке с аналогичной моделью. Это позволит легко масштабировать узлы маршрутизации. Для реализации отказоустойчивости на этом участке сети надо объединить два подобных маршрутизатора в коммутационный стек и подключить согласно схеме на рисунке 5.2.

Цена одного маршрутизатора Cisco WS-C3560G-24TS-E, по прайсу компании usedcisco.com (http://www.usedcisco.com) равна 3,294.50 USD. По курсу ЦБ РФ, актуального на момент написания, это будет 93 686 руб.

Цена двух подобных маршрутизаторов будет 187 372 руб.

Таким образом, общая стоимость коммутационного сетевого оборудования для организации сетевого взаимодействия узлов центра обработки данных равна 340 272 руб.



3.4 Выбор технических устройств защиты ЦОД

К дополнительному оборудованию относиться источник бесперебойного питания, серверная стойка и прочее оборудование необходимое для организации ЦОД.

3.4.1 Выбор источника бесперебойного питания

В соответствии с требованием технического задания источник бесперебойного питания должен обеспечивать оборудование ЦОД энергией в течение 15 минут после отключения общего электроснабжения. Все устройства в ЦОД питаются от сети переменного тока 220В, частотой 50Гц.

Максимальная потребляемая мощность всех устройств, на которую теоретически может выйти ЦОД порядка 3.2 кВт +/- 10%. В реальных условиях, с рабочей нагрузкой потребляемая мощность будет значительно меньше. Ориентир при выборе ИПБ будет на максимальную теоретическую мощность. С учетом возможности масштабирования и роста серверного пула надо предусмотреть возможность подключения дополнительных внешних батарей к источнику бесперебойного питания.

Все эти функции успешно реализованы в ИПБ 8000VA Smart On-Line APC <SURT8000XLI>. Характеристики устройства:

Таблица 5.16

"Основные характеристики"
Производитель	APC
Модель	Smart-UPS RT 8000VA 230V SURT8000XLI
Тип	C двойным преобразованием (On-line)
Частота	Входная: 50/60 Гц ± 5 Гц (автоопределение). Выходная: 50/60 Гц ± 3 Гц.
Кол-во выходных розеток	4 компьютерные (IEC-320-C13), 4 розетки IEC-320-C19
Искажения выходного напряжения	Не более 3%
Расположение розеток	На задней панели
Максимальная выходная мощность ИБП(ВА)	8000 ВА
Эффективная мощность ИБП (Ватт)	6400 Ватт
SmartSlot	1 разъем. В Smart-Slot установлена карта AP9619 управления и мониторинга параметров окружающей среды.
Звуковые сигналы	Питание от аккумуляторов, разрядка аккумуляторов, перегрузка
Опции (батарейный картридж RBC)	RBC44 (2 комплекта)
Интерфейс	RS-232, Ethernet
"Питание"
Номинальное входное напряжение	230В, 220В, 240В
Окно пропускания	160 - 280 В
Батареи	Необслуживаемые герметичные свинцово-кислотные аккумуляторы с защитой от протечки электролита.
Опции (внешние дополнительные батареи)	SURT192XLBP
Фильтрация радиочастотных и электромагнитных помех	Постоянно действующий многополюсный шумовой фильтр; амплитуда остаточного напряжения 0.3% по нормативам IEEE; ограничение всплеска напряжения без временной задержки; соответствие требованиям UL 1449
Тип выходного сигнала	Синусоида
КПД	Эффективность при полной нагрузке - 92%
Время зарядки	2.2 часа
"Потребительские свойства"
Высота	6U
Уровень шума	55 дБА на расстоянии 1 метра от поверхности устройства
"Прочие характеристики"
Размеры (ширина х высота х глубина)	263 x 432 x 663 мм
Вес	110.91 кг
Рабочая температура	0 ~ 40°C

Для увеличения емкости к ИПБ можно подключить до четырех внешних батарей модели SURT192XLBP. График времени работы ИПБ с различными эффективными нагрузками приведен на графике 1 (по материалам официального сайта производителя ИПБ - http://www.apc.com):

График 5.1

Кривая A - работа ИПБ в комплекте с встроенными батареями RBC44.

Кривые B,C,D,E - работа ИПБ в комплекте с 1,2,3,4 (соответственно) внешними батареями SURT192XLBP (приобретаются отдельно).

Таким образом, выбранный ИПБ обеспечит около 20 минут работы ЦОД с максимальной нагрузкой после отключения электроснабжения.

Стоимость одного источника бесперебойного питания Smart-UPS RT 8000VA 230V SURT8000XLI по прайсу компании НИКС равна 106 757 руб.

3.4.2 Выбор серверной...