Создание центра обработки данных

6.1 Конфигурирование сетевого оборудования

Сетевое оборудование центра обработки данных можно условно поделить на коммутаторы серверного сегмента, узел маршрутизации и коммутаторы пользовательского сегмента.

6.1.1 Настройка коммутаторов серверном сегменте

Коммутаторы в этом сегменте представлены моделью D-Link <DGS-3427>. Два коммутатора объединены в коммутационный стек, логически образуя один единый коммутатор.

Стек создается через порт стекирования CX4, на каждом коммутаторе два подобных порта. Скорость одного порта 20 Гбит/с, при использовании кольцеобразной топологии подключения (по два соединения с каждого коммутатора) скорость сообщения в стеке будет 40 Гбит/с.

Коммутатор может конфигурироваться с помощью нескольких интерфейсов управления, например Web-интерфейс, интерфейс командной строки (CLI), Telnet. Настройку можно выполнять по сети, либо через последовательный порт RS-232.

Устройства к коммутационному стеку подключены в следующей конфигурации:

- 2-а гипервизора (взаимодействие узлов в подсети ОС гипервизоров), каждый через агрегированный канал 2 Гбит/с (2-е линии связи с одного сервера), каждое из соединений этого канала подключено к отдельному физическому коммутатору.

- 2-а гипервизора (взаимодействие гостевых доменов и остальной сети), каждый через агрегированный канал 2 Гбит/с (2-е линии связи с одного сервера), каждое из соединений этого канала подключено к отдельному физическому коммутатору.

- Основное хранилище через канал 5 Гбит/с, всего 5 линий, 3 из которых подключены к первому, 2-е к второму физическому коммутатору.

- Резервное сетевое хранилище через канал 2 Гбит/с (2-е линии связи). Каждая линия канала подключена к отдельному физическому коммутатору.

- Управляющие компьютеры, в любой конфигурации (возможно через один или два порта, от своего коммутатора).

- Узел маршрутизации, через агрегированный канал 4 Гбит/с (4-е линии связи). Каждая пара линий подключена к отдельному физическому коммутатору.

Подобная схема реализует отказоустойчивость при обрыве любого канала связи, при этом избыточные каналы используются для увеличения пропускной способности сети, при условии поддержки технологии 802.3ad и делении на сегменты vlan.

Идентификатор VLAN должны быть присвоены портам в подсети гипервизоров (каналы гипервизоров (для их взаимодействия), сетевые хранилища, управляющее звено) и подсети серверного сегмента (каналы гипервизоров для взаимодействия гостевых доменов и остальной сети). Для этих подсетей будут назначены, например идентификаторы VLAN100 (для гипервизоров) и VLAN200,VLAN300 (для сетевых сервисов).

Канал агрегированных портов, подключенный к стеку маршрутизации а так же к гипервизорам должен быть тегирован (tagged или trunk-порты) в соответствии с сегментами VLAN, расположенными на портах этих коммутаторов. Стандарт, по которому тегируются порты для всего коммутационного оборудования, должен быть одинаковый: IEEE 802.1q. Так же имеет смысл тегировать канал, через который взаимодействуют гостевые домены (на уровне ОС гипервизоров). Это будет важно в случае масштабирования и разделения на подсети (соответственно на vlan-ы) виртуализированного серверного сегмента.

Сегмент подсети гипервизоров на этом этапе становится изолированым от остальной сети соответствующим vlan.

Для того чтобы коммутаторы пропускали UDP-датаграммы, адресованные DHCP-серверу в другой сегмент сети (и в другой vlan) надо настроить DHCP-relay option 82. В данном случае коммутатор настраивается как DHCP-ретранслятор (relay-agent). Он обрабатывает стандартный широковещательный DHCP-запрос и перенаправляет его на DHCP-сервер в виде целенаправленного (unicast) пакета. Коммутатору должен быть задан собственный IP-адрес (выбранный коммутатор имеет уровень L2+ и позволяет работать этим технологиям).

Для работы DHCP-relay необходимо включить саму опцию, указать маршрут "по умолчанию" к следующему узлу relay-agent (IP-адрес маршрутизатора), а так же добавить IP-адрес DHCP-сервера.

Все опции можно сконфигурировать с помощью CLI интерфейса командной строки коммутатора D-Link.

6.1.2 Настройка стека маршрутизации

Маршрутизаторы для центра обработки данных представлены моделью Cisco WS-C3560G-24TS-E. Два подобных маршрутизатора объединены в единый стек маршрутизации через порты стекирования, логически образуя один единый 48-и портовый маршрутизатор.

Маршрутизатор Cisco имеет собственную операционную систему IOS которая может конфигурироваться с помощью интерфейса командной строки (CLI), Telnet или через web-интерфейс. Настройку можно выполнять по сети либо через специальный консольный интерфейс Cisco (подключается к COM-порту компьютера).

Сетевые узлы подключены к стеку маршрутизации в следующей конфигурации:

- Коммутаторы серверного сегмента подключены через агрегированный канал 4 Гбит/с (4-е линии связи). Первая пара линий связи с одного коммутатора соединена с первым и вторым маршрутизатором, вторая пара линий связи с другого коммутатора так же соединена с первым и вторым маршрутизатором. Канал связи тегирован по идентификаторам VLAN серверного сегмента (VLAN200, VLAN300).

- Подсистема доступа к внешним сетям подключена через агрегированный канал 2 Гбит/с (2-е линии связи). Каждая линия подключена к отдельному маршрутизатору. Канал тегирован по идентификатору vlan подсистемы доступа к внешним сетям (VLAN300).

- Коммутаторы пользовательского сегмента подключены через агрегированный канал 2 Гбит/с (2-е линии связи). Каждая линия любого коммутатора подключена к отдельному маршрутизатору. Каналы тегированы по идентификаторам vlan, исходя из сегментов, которые обслуживают коммутаторы (для коммутаторы, обслуживающего два сегмента vlan канал должен быть тегирован двумя идентификаторами этих сегментов vlan). Для отделов 1,2,3,4 каналы будут тегированы VLAN10, VLAN20, VLAN30 и VLAN40 соответственно.

Подобная конфигурация позволяет реализовать отказоустойчивость на уровне обрыва любого канала связи, либо выходу из строя одного из маршрутизаторов, при этом избыточные линии связи будут использованы для увеличения пропускной способности сети.

Маршрутизация должна быть построена исходя из сегментов VLAN. Это означает, что подсети, имеющие соответствующий идентификатор будут маршрутизироваться, отталкиваясь не от номеров портов, а от VLAN ID. Пример фрагмента подобной конфигурации приведен ниже:

hostname "routing_stack"

ip routing

vlan 10

name "group1"

ip address 10.0.1.1 255.255.255.0

ip helper-address 10.0.0.100

tagged 11

exit

vlan 300

name "gate"

ip address 172.16.1.1 255.255.255.0

tagged 2

exit

Таким образом маршрутизация пакетов будет происходить исходя из принадлежности этих хостов к сегменту vlan (в приведенном примере это подсети 172.16.1.0/24 vlan300 и 10.0.1.0/24 vlan10).

В качестве маршрута по умолчанию, маршрутизаторы должны использовать IP-адрес подсистемы доступа к внешним сетям (шлюза в интернет), например 172.16.1.100.

Для того чтобы маршрутизаторы пропускали UDP-датаграммы, адресованные DHCP-серверу в другой сегмент сети (и в другой vlan) надо настроить DHCP-relay option 82. В данном случае стек маршрутизации настраивается как DHCP-ретранслятор (relay-agent).

Для работы DHCP-relay необходимо включить саму опцию, указать маршрут "по умолчанию" к следующему узлу relay-agent (IP-адрес маршрутизатора), а так же добавить IP-адрес DHCP-сервера.



6.1.3 Настройка коммутаторов пользовательского сегмента

Коммутаторы в этом сегменте представлены моделью D-Link <DES-3052>. Для двух отделов (двух подсетей) выделен один коммутатор, для оставшихся двух отделов выделено по одному коммутатору.

Коммутатор может конфигурироваться с помощью нескольких интерфейсов управления, например Web-интерфейс, интерфейс командной строки (CLI), Telnet. Настройку можно выполнять по сети, либо через последовательный порт RS-232.

Каждый коммутатор подключен к стеку маршрутизации через 2-а гигабитных порта, при этом первый порт подключен к первому маршрутизатору, второй ко второму. Для этого подключения надо использовать протокол агрегации каналов 802.3ad (как на коммутаторах, так и на маршрутизаторе). Такой тип подключения обеспечивает отказоустойчивость при отказе одного из маршрутизаторов (либо при обрыве одного канала связи). Оставшиеся два гигабитных порта можно использовать для подключения дополнительных коммутаторов.

Каждому отделу надо задать свой уникальный идентификатор VLAN, VLAN10, VLAN20, VLAN30, VLAN40 для первого, второго, третьего и четвертого отдела соответственно. Идентификаторы VLAN должны быть присвоены соответствующим портам коммутаторов (к которым подключены пользователи, но при этом есть возможность определять членство в VLAN, основываясь на MAC-адресе рабочей станции).

Канал агрегированных портов, подключенный к стеку маршрутизации должен быть тегирован (tagged или trunk-порты) в соответствии с сегментами VLAN, расположенными на портах этих коммутаторов. Стандарт, по которому тегируются порты для всего коммутационного оборудования, должен быть одинаковый: IEEE 802.1q. При этом важно учитывать, что для коммутатора работающего с двумя сегментами vlan агрегированный канал надо тегировать для обоих vlan. Остальные порты, работающие с пользовательскими хостами остаются нетегированными.

Сегменты пользовательской сети на этом этапе становятся изолированы соответствующими vlan, широковещательный трафик (например DHCP-запрос), будет ограничен этим сегментом.

Для того чтобы коммутаторы пропускали UDP-датаграммы, адресованные DHCP-серверу в другой сегмент сети (и в другой vlan) надо настроить DHCP-relay option 82. В данном случае коммутатор настраивается как DHCP-ретранслятор (relay-agent). Он обрабатывает стандартный широковещательный DHCP-запрос и перенаправляет его на DHCP-сервер в виде целенаправленного (unicast) пакета. Коммутатору должен быть задан собственный IP-адрес (выбранный коммутатор имеет уровень L2+ и позволяет работать этим технологиям).

Для работы DHCP-relay необходимо включить саму опцию, указать маршрут "по умолчанию" к следующему узлу relay-agent (IP-адрес маршрутизатора), а так же добавить IP-адрес DHCP-сервера.

Все опции можно сконфигурировать с помощью CLI интерфейса командной строки коммутатора D-Link.

6.2 Настройка сетевых хранилищ

Сетевые хранилища представлены основным хранилищем модели Thecus N12000 и резервным хранилищем модели Thecus N8800PRO.

6.2.1 Настройка основного сетевого хранилища

Основное сетевое хранилище Thecus N12000 должно быть сконфигурировано на два RAID-5 массива. При отказе любого накопителя в массиве вся информация сохранится, работа хранилища не прервется (сообщение об отказе накопителя будет отображено NAS). В первом массиве расположены накопители SATA SSD OCZ Vertex 3 120 Gb, во втором массиве расположены накопители SAS HDD Seagate Cheetah 15K 600Gb.

Хранилище конфигурируется через web-интерфейс управления (по умолчанию установлен следующий IP-адрес: http://192.168.1.100) . Сетевому хранилищу задается IP-адрес, соответствующий диапазону из подсети гипервизоров.

Массивы создаются собственными средствами конфигурирования сетевых хранилищ. Для организации единого хранилища массив можно предоставить в общий доступ гипервизорам тремя способами:

- Доступ на уровне блочных устройств (iSCSI поддерживает до 5-и томов в одном массиве).

- Доступ, на уровне сетевой файловой системы NFS.

- Доступ на уровне подмонтированного iSCSI тома, отформатированного в распределенную файловую систему (GFS).

GFS (Global File System) через iSCSI имеет высокое быстродействие, такую связку выгодно использовать для хранения файлов виртуальных машин. Такую связку выгодно использовать для единого хранилища файлов виртуальных машин.

Прямой доступ к iSCSI, как блочному устройству имеет максимальное быстродействие. Выбор файловой системы в этом случае ложится на ОС, средствами которой подключен том iSCSI. Подобный тип подключения будет использован для хранилища файловых сервисов.

Первый массив RAID-5 (SSD) будет распределен в единый целевой том (target) iSCSI (iSCSI LUN, сам логический номер (LUN) тома присваивается хранилищем автоматически), который в дальнейшем будет подключен к инициаторам - гипервизорам. Раздел должен быть отформатирован в распределенную файловую систему GFS и подмонтирован в одну директорию на всех гипервизорах (в ней должны располагаться файлы виртуальных машин). Использование иной файловой системы приведет к повреждению данных на целевом томе iSCSI.

Второй массив RAID-5 (SAS) будет распределен на три целевых тома (target) iSCSI (или более, до 5 в соответствии с требованиями файловых сервисов FTP, NFS, SMB), которые в дальнейшем будет подключены к гипервизорам как блочные устройства. Эти блочные устройства в свою очередь будут подключены как разделы к гостевым доменам XEN. Операционные системы гостевых доменов могут сами выбрать ФС, которая наилучшим образом подойдет для работы их сервисов.

Сетевое хранилище Thecus N12000 имеет три собственных гигабитных сетевых интерфейса. При выборе аппаратной составляющей была добавлена сетевая плата с двумя гигабитными сетевыми интерфейсами.

Таким образом, сетевое хранилище имеет 5-ть сетевых интерфейсов, которые объединяются в единый 5-и гигабитный канал (5-ть линий). Три линии этого канала подключены к первому коммутатору в стеке коммутации серверного сегмента, две оставшиеся линии ко второму. Таким образом, при обрыве любой (и даже четырех из пяти) линий связи, либо отказе одного из коммутаторов в стеке связь с хранилищем сохранится.

Клиент Acronis, обращающийся к резервному хранилищу для выполнения планов резервного копирования может быть установлен на любой компьютер, расположенный в подсети гипервизоров (например, на компьютер из управляющего звена).

6.2.2 Настройка хранилища резервных копий

Хранилище резервных копий Thecus N8800PRO должно быть сконфигурировано для использования одного RAID-6 массива. При отказе любых двух накопителей в массиве вся информация сохранится, работа хранилища не прервется. В первом массиве RAID-6 расположены надежные накопители SATA HDD Seagate Constellation ES 2-TB (8 штук).

Хранилище конфигурируется через web-интерфейс управления (по умолчанию установлен следующий IP-адрес: http://192.168.1.100) . Сетевому хранилищу задается IP-адрес, соответствующий диапазону из подсети гипервизоров.

Массивы создаются собственными средствами конфигурирования сетевых хранилищ. Для доступа к массиву будет использоваться протокол FTP, который поддерживается системой резервного копирования.

Все файловое пространство будет разделено на разделы (либо раздел, исходя из предпочтений к сегментации хранения) и отформатировано в файловую систему, поддерживаемую хранилищем (например, EXT3).

Доступ к разделам будет предоставлен по протоколу FTP, сервером которого можно сконфигурировать хранилище.

Сетевое хранилище Thecus N8800PRO имеет два гигабитных сетевых интерфейса, которые объединяются в единый 2-х гигабитный канал (2-е линии). Одна этого канала подключены к первому коммутатору в стеке коммутации серверного сегмента, вторая линия ко второму. Таким образом, при обрыве любой линий связи, либо отказе одного из коммутаторов в стеке связь с хранилищем сохранится.

6.3 Настройка ОС гипервизоров и среды виртуализации XEN

До установки операционной системы накопители SSD OCZ Vortex3 120GB объединяются в отказоустойчивый массив RAID-1, средствами BIOS встроенного SATA контроллера.

Для операционных систем гипервизоров был выбран дистрибутив Linux CentOS. Установка 64-х битного дистрибутива происходит с 2-х DVD дисков интерактивном режиме. При установке надо указать роли, которые будет исполнять установленная ОС. Надо учитывать, что для XEN лучше использовать LVM разделы (Logical Volum Manager). Файл подкачки надо расположить на отдельном разделе.

Важно указать, что сервер будет являться гипервизором XEN. В этом случае загрузчик будет модифицирован: ядро, загружаемое по умолчанию будет ядром XEN, ядро Linux будет подгружаться модулем. Установленный Linux загружается как управляющий домен (Dom0) и имеет полный доступ к управлению оборудованием и функционалом гипервизора. Прочие сервисы, которые не используются непосредственно для работы гипервизора XEN должны быть отключены, для увеличения быстродействия гипервизоров. Это можно сделать на этапе установки, либо с помощью утилиты chkconfig (можно и ручной правкой файлов конфигурации).

После установки CentOS надо подготовить ОС для использования в среде виртуализации а так же саму среду XEN.

6.3.1 Настройка операционных систем гипервизоров

При условии, что ОС нашла драйверы для всех устройств на этапе установки можно продолжать настройку, иначе надо установить необходимые для работы оборудования драйверы.

Каждый сервер, выполняющий роль гипервизора имеет 4-е сетевых интерфейса. Интерфейсы должны быть попарно агрегированы в один канал. Интерфейс агрегации настраивается в файле /etc/modprobe.conf, пример настройки этого файла для первого канала:

alias bond0 bonding

options bond0 miimon=100 mode=1

Интерфейс bond0 будет иметь роль "master", интерфейсы, которые объединяются в канал bond0 будут иметь роль "slave". Они настраиваются в файле /etc/sysconfig/network-scripts/ifcfg-ethN ("ethN" - имя интерфейса, например "eth0", "eth1"). Пример файла для настройки для ifcfg-eth0:

DEVICE=eth0

BOOTPROTO=static

HWADDR=00:11:22:33:44:55

ONBOOT=yes

TYPE=Ethernet

SLAVE=yes

MASTER=bond0

Подобную настройку надо выполнить для всех интерфейсов. В результате будут созданы каналы bond0 (eth0 и eth1) и bond1 (eth2 и eth3). IP адрес, маска подсети и прочие параметры канала настраиваются в файле /etc/sysconfig-network-scripts/ifcfg-bond0 (ifcfg-bond1 для второго канала).

Пример конфигурации для bond0 для подсети гипервизоров 192.168.0.1/24:

DEVICE=bond0

BOOTPROTO=none

IPADDR=192.168.0.1

NETMASK=255.255.255.0

GATEWAY= none

ONBOOT=yes

Далее надо настроить VLAN для канала связи виртуализированного серверного сегмента (bond1), канал надо тегировать.

Для этого используется утилита Linux для работы с VLAN "vconfig". Пример тегирования канала bond1 для vlan 200, vlan 300:

ifconfig bond1 0.0.0.0 up

vconfig add bond1 200

vconfig add bond1 300

ifconfig bond1.200 0.0.0.0 up

ifconfig bond1.300 0.0.0.0 up

Мост "xenbr200" создается для сетевого сегмента, его нужно лишь скоммутировать на соответствующий vlan (vlan200).

brctl addbr xenbr200

brctl addif xenbr200 bond1.200

Соответствующие виртуальные машины должны быть настроены на сетевой мост в собственных файлах конфигурации.

Создание моста для изоляции сегмента серверов, доступ к которым возможен из внешних сетей с подсистемой доступа к внешним сетям:

brctl addbr xenbr300

brctl addif xenbr300 bond1.300

Виртуальные машины, на которых расположены сервисы, доступ к которым возможен из внешних сетей, должны быть скоммутированы именно на этот сетевой мост (xenbr300, настройка в файле конфигурации DomU). Так эти сервисы будут изолированы от остальной сети сегментом vlan300.

Далее, надо создать единое хранилище на всех гипервизорах. Для этого надо подключить блочное устройство iSCSI, создать разделы, отформатировать его и подмонтировать в единую директорию.

Для этого надо использовать программное обеспечение iSCSI-инициатора (полная модель работы с iSCSI описана в RFC 3720). Утилита для подключения целевого раздела "iscsiadm", до использования утилиты надо включить демон iSCSI ("chkconfig iscsi on", "service iscsi start").

Пример использования утилиты iscsiadm для обзора хранилища:

iscsiadm -m discovery -t sendtargets -p 192.168.0.100:3260

Данная команда покажет все возможные тома в данном хранилище и отобразит их логические номера (LUN).

Примечание: для работы используется TCP порт "3260".

Пример команды для подключения целевого тома:

iscsiadm -m node -T iqn.2011-05.nas:disk1 -p 192.168.0.100:3260 -l

После аутентификации том будет подключен как блочное устройство. Посмотреть список блочных устройств можно командой:

fdisk -l

Раздел будет иметь название, например "sdb". Далее надо создать основной раздел на подключенном блочном устройстве утилитой fdisk

fdisk /dev/sdb

Так же есть возможность использования системы LVM для создания и управления пространством разделов. Для создания раздела используются утилиты pvcreate, vgcreate, lvcreate.

Созданный раздел (например, sdb1) надо отформатировать в кластерную файловую систему Red Hat GFS (Global File System).

Примечание: перед использованием надо проверить что на всех узлах файлы /etc/hosts и /etc/cluster/cluster.conf одного содержания.

Для форматирования используется утилита "gfs_mkfs", пример:

gfs_mkfs -p lock_dlm -t gfsc:gfs1 -j 2 /dev/sdb1

Далее, на всех гипервизорах надо создать единое хранилище, например, /xenstorage и смонтировать в эту директорию отформатированнный раздел:

mount -t gfs /dev/sdb1 / xenstorage

Далее следует приступить к настройке среды виртуализации XEN.

6.3.2 Настройка среды виртуализации XEN

Среда виртуализации XEN настраивается через конфигурационные файлы, расположенные в каталоге /etc/xen

В файле xend-config.sxp настраиваются основные параметры работы гипервизора. В xend-debug.sxp находится шаблон полного файла конфигурации, со всеми настройками XEN. Управление PCI устройствами происходит в файле xend-pci-quirks.sxp.

Множество скриптов управления XEN расположены в директории /etc/xen/scripts.

В конфигурации файла xend-config.sxp надо задать интерфейс, на который будет ссылаться мост XEN (xenbr0). Это настраивается в строке:

(network-script 'network-bridge netdev=bond1')

C этого момента пакеты всех гостевых доменов, которые будут использовать мост xenbr0, будут транслироваться в канал bond1.

Согласно задачам организации среды виртуализации гипервизоры XEN должны быть объединены в кластер, для этого надо выполнить следующие условия:

Гипервизоры XEN должны иметь имеющих общую систему управления, единое хранилище данных и общие сетевые ресурсы.

Сетевые ресурсы и общее хранилище определены для этих целей при настройке самой операционной системы. Общая система управления настраивается через ssh туннель.

Для этого необходима аутентификация ssh по ключам. Для этого используются утилиты: ssh-keygen, ssh-add, eval `ssh-agent`

Так же необходима настройка файла "/etc/ssh/sshd_config", в котором разрешается аутентификация по ключам. После этого в утилите управления создается туннель (например, в утилите virt-manager).

Далее необходимо разрешить миграцию в файле файла xend-config.sxp, для этого надо отредактировать и привести к нужному виду следующие строки:

#(xend-unix-server yes)

(xend-relocation-server yes)

(xend-relocation-port 8002)

(xend-relocation-address '')

(xend-relocation-hosts-allow '')

После выполнения настроек надо верифицировать состояния гипервизоров, вывод должен быть единообразный (в примере использован рабочий гостевой домен vm2linux26):

brctl show

grep xend-relocation /etc/xen/xend-config.sxp |grep -v '#'

lsof -i :8002

file /xenstorage/vm2linux26

Проверка корректности запуска и работы машины локально (на vmserver1):

xm create vm2linux26

xm list

Проверка сохранения дампа состояния виртуального домена:

time xm save vm2linux26 vm2linux26.sav

Проверка восстановления дампа состояния виртуального домена:

time xm restore vm2linux26.sav

xm li

Для обеспечения возможности живой миграции в файлах конфиграции гостевых доменов нужно указывать следующие настройки:

#vnc=1

#vncunused=1

sdl=1

Пример живой миграции доменов между гипервизорами (синтаксис "xm migrate --live <domain-id> 192.168.0.2", id можно узнать "xm li"):

xm create vm2linux26

xm migrate --live vm2linux26 192.168.0.2

Далее настраиваются скрипты XEN, обеспечивающие автоматический запуск доменов при сбое аппаратной или программной составляющей. Это могут быть скрипты, основанные на ICMP протоколе. Либо специализированная система XEN-DRBD - скрипты, предназначенные для управления совокупностью узлов как единым целом, и упрощающие развёртывание связки, подготовку файловых систем виртуальных машин, создание виртуальной сети и связанное управление виртуальными доменами XEN. Программное обеспечение DRBD должно быть установлено заранее.

Следует учитывать, с точки зрения внешнего хоста, работавшего с виртуальной машиной, которая исполнялась на внезапно выключившемся узле, это выглядит как перезагрузка виртуальной машины. Данные, находящиеся на жёстких дисках виртуальных систем, полностью синхронизированы, поэтому при исчезновении одного из узлов работа виртуальных машин на втором продолжается безболезненно.

Полная отказоустойчивость, системы (то есть, когда домены даже не будут перезагружаться), будет возможна с помощью программного обеспечения "Kemari". Но в этом случае производительность системы значительно падает (из-за необходимости постоянной синхронизации гипервизоров).



6.4 Настройка гостевых доменов XEN

Гостевые домены могут работать в режиме аппаратной виртуализации (HVM), либо в режиме паравиртуализации (PV). Паравиртуальные домены имеют максимальное быстродействие, поэтому все виртуальные машины Linux лучше запускать в режиме паравиртуализации. Windows 2008 server может работать только в режиме аппаратной виртуализации. Файлы виртуальных машин должны быть расположены в едином для всех гипервизоров хранилище "/xenstorage".

Все настройки гостевых доменов конфигурируются в индивидуальном файле конфигурации. Большинство настроек общие, как для HVM так и для PV режимов. Файл конфигурации описывает множество настроек, позволяющих гибко и эффективно управлять ресурсами и поведением виртуальных машин.

Вот основные настройки гостевого домена:

kernel - VMX firmware loader, для HVM-домена обычно hvmloader.

builder - Тип домена. Для HVM-домена обязательно hvm

maxmem, memory - Обычное и максимальное использование памяти.

vcpus - Количество CPU которые мы выделяем виртуальной машине.

acpi - Поддержка ACPI внутри HVM-домена.

apic - Поддержка APIC внутри HVM-домена.

pae - Поддержка PAE внутри HVM-домена.

disk - Определяет дисковые устройства, к которым гостевой домен должен иметь доступ.

Физический носитель в качестве диска: "phy:UNAME,DEV,MODE,".

Если используется образ диска: "file:FILEPATH,DEV,MODE".

Если используется больше одного диска, то они разделяются запятой.

Если какой-то из образов является образом компакт-диска, устройство обозначается "cdrom".

boot - Загрузка с floppy (a), hard disk (c) или CD-ROM (d).

vnc - Задействует библиотеку VNC для отображения графики. Для подключения можно использовать vncviewer: "vncviewer domine_ip:id"

vnclisten - С каких адресов можно подключатся к консоли виртуальной машины.

vncpasswd - Определяется пароль для доступа к vnc виртуальной машины.

vncdisplay - Задает VNC-порт 5900+заданный.

vncunused - Если опция не определена, порт vnc меняется при каждой смене графического режима(исключая vncdisplay).

usb - Включение поддержки USB без указания специфического устройства.

usbdevice - Включение поддержки конкретных USB устройств.

parallel, serial - Поддержка параллельного и последовательного портов.

vif - Описание сетевых интерфейсов. Представляет собой список строк, каждая из которых описывает один интерфейс.

on_poweroff,on_reboot,on_crash - Реакция гипервизора на события виртуальной машины.

extra - специальные аргументы, добавляемые к параметру ядра, например (для паравиртуальной установки):

extra = "text ks=ftp://192.168.0.1/minimal-ks.cfg"

pci - пробрасывает pci устройство в гостевой домен.

Для виртуальных машин существует большое количество настроек, полный перечень настроек можно найти на страницах сайта проекта XEN в разделе официальной документации (http://xen.org/products/xen_support.html).

Сам файл конфигурации создается стандартными средствами, например: "vi /etc/xen/vm1config".

Для запуска, остановки и манипуляции работой виртуальных машин используется утилита "xm". Например, запуск виртуальной машины происходит так:

xm create /etc/xen/vm1config

Примечание: по умолчанию конфиги виртуальных машин лежат в "/etc/xen".

Подключение к текстовой консоли управления Dom0 происходит так:

xm console vm1config

Подключение к графической консоли происходит с помощью VNC клиента (по IP-адресу гипервизора). Порт обычно создается по схеме TCP 5900+ID DomU. Порт так же можно задать статически, добавив в файл конфигурации гостевого домена строки (пример):

vnclisten = "192.168.0.1"

vncdisplay = 88

В этом случае будет применяться следующая схема VNC-порт 5900+заданный, таким образом будет прослушиваться порт TCP 5988. Пример подключения к графической консоли гостевого домена через заданный порт:

vncviewer 192.168.0.1:5988

6.4.1 Установка паравиртуального гостевого домена

Для создания паравиртуального домена должен быть организован сетевой доступ к хранилищу инсталляционных пакетов (репозиторию) CentOS. Доступ можно организовать либо к официальному репозиторию CentOS в интернет (http://mirror.centos.org/centos/5/os/x86_64/), либо создать собственный репозиторий установки (на любом хосте сети, который может быть сконфигурирован как ftp-сервер). Модифицированное паравиртуальное ядро для ОС гостевого домена можно взять из установочного репозитория, например: (http://mirror.centos.org/centos/5/os/x86_64/images/xen/).

Файлы паравиртуального ядра " vmlinuz " и " initrd.img " надо скопировать в какую-либо директорию, например "/boot".

Далее необходимо подготовить файл конфигурации для установки паравиртуальной ОС, пример файла:

kernel = "/boot/vmlinuz-xen-install"

ramdisk = "/boot/initrd-xen-install"

name = "vmtest"

memory = "256"

disk = [ 'tap:aio:/srv/xen/ vm1config.img,xvda,w', ]

vif = [ ' mac=00:16:3e:aa:00:01,bridge=xenbr200', ]

vcpus=1

on_reboot = 'destroy'

on_crash = 'destroy'

Примечание: для автоматической установки можно использовать файл ответов (minimal-ks.cfg), добавив следующий параметр в файл конфигурации:

extra = "text ks=ftp://192.168.0.1/minimal-ks.cfg"

После установки ОС файл конфигурации надо привести к рабочему виду, например:

name = "vmtest"

memory = "256"

disk = [ 'tap:aio:/xenstorage/vm1config.img,xvda,w', ]

vif = [ ' mac=00:16:3e:aa:00:01', 'bridge=xenbr200', ]

bootloader="/usr/bin/pygrub"

vcpus=1

on_reboot = 'restart'

on_crash = 'restart'

Подобным образом должны быть установлены все гостевые паравиртуальные домены (с операционной системой Linux). В директории /xenstorage/ vm1config.img расположен файл виртуальной машины. MAC-адрес для каждого гостевого домена должен быть уникальным и задается d опцие vif (пример: vif = [ ' mac=00:16:3e:aa:00:01','bridge=xenbr200', ]), рекомендованные октеты для машин XEN (первые три байта): "00:16:3e".

При использовании файла ответов и собственного установочного репозитория установка происходит очень быстро (обычно несколько минут).

6.4.2 Установка гостевого домена в режиме HVM

В режиме работы гостевых доменов HVM (режим аппаратной виртуализации) работает большинство современных ОС. Для ОС windows будет использован именно этот режим виртуализации.

Для установки ОС в HVM режиме не требуется подготовки ядра или других компонентов (ОС не подозревает о том, что работает в виртуальной среде). Установка происходит с стандартного носителя (например с помощью привода CDROM), необходимо лишь указать данное устройство в файле конфигурации и определить последовательность загрузки. Пример файла конфигурации приведен ниже:

name = "msvmtest1"

uuid = "427b5955-6c59-1c5e-7427-f786dcc674f1"

maxmem = 512

memory = 256

vcpus = 2

builder = "hvm"

kernel = "/usr/lib/xen/boot/hvmloader"

boot = "dc"

pae = 1

acpi = 0

apic = 0

on_poweroff = "destroy"

on_reboot = "restart"

on_crash = " restart"

device_model = "/usr/lib/xen/bin/qemu-dm"

usb = 1

usbdevice = "tablet"

sdl = 0

vnc = 1

# vncunused = 1

keymap = "ru"

disk = [ " tap:aio:/xenstorage/ msvmtest1.img ", "phy:/dev/cdrom,hdc:cdrom,r" ]

vif = [ "mac=00:16:3e:aa:aa:02,bridge=xenbr200" ]

serial = "pty"

Работа с гостевым доменом осуществляется аналогично паравиртуальным доменам Linux, невозможно лишь использовать текстовую консоль для настройки домена. Подключение осуществляется с помощью графической VNC консоли, например:

vncviewer 192.168.0.1:5901

Таким образом, оба гостевых домена с операционными системами Windows 2008 r2 будут работать в режиме аппаратной виртуализации.

6.5 Настройка подсистемы доступа к внешним сетям

До установки операционной системы накопители SSD OCZ Agility 2 60GB объединяются в отказоустойчивый массив RAID-1, средствами BIOS встроенного SATA контроллера.

В качестве операционной системы подсистемы доступа к внешним сетям был выбран дистрибутив Linux CentOS. Установка 64-х битного дистрибутива происходит с 2-х DVD дисков в интерактивном режиме.

При условии, что ОС нашла драйверы для всех устройств на этапе установки можно продолжать настройку, иначе надо установить необходимые для работы оборудования драйверы.

Сервер для подсистемы доступа к внешним сетям имеет 5 сетевых интерфейсов, 4-е из которых будут использованы. Одна пара интерфейсов (которая "смотрит" в сеть ЦОД) будет агрегирована в единый канал 2 Гбит/с (2-е линии). Каждая линия этого канала будет подключена к отдельному маршрутизатору (например, от интерфейсов eth2,eth3).

Процесс агрегации аналогичен тому, как это происходило на гипервизорах (описано ранее). В результате будет создан канал bond0.

Далее надо настроить VLAN для канала связи (bond0), канал надо тегировать. Для этого используется утилита Linux для работы с VLAN "vconfig". Пример тегирования канала для bond0:

ifconfig bond0 0.0.0.0 up

vconfig add bond0 300

ifconfig bond0.300 0.0.0.0 up

Далее для внутреннего канала bond0 надо задать адрес и подсеть, в которой будет расположен шлюз (например, 172.16.0.100/24):

ifconfig bond0 up

ifconfig bond0 172.16.0.100 netmask 255.255.255.0

Интерфейсы eth0 и eth1 настраиваются для связи с шлюзами провайдера. Метод связи может быть любым: как маршрутизация на собственный роутер, так и доступ через pppoe (в случае связи через pppoe будут созданы интерфейсы ppp0 и ppp1 для eth0 и eth1 соответственно. Далее для работы надо использовать именно их). Пример настройки интерфейса eth0 для прямого доступа к шлюзу:

ifconfig eth0 up

ifconfig eth0 10.10.10.254 netmask 255.255.255.252

Важным моментом будет включение маршрутизации пакетов через шлюз (форвардинг). Для этого надо добавить в загрузку (например в /etc/rc.d/rc.local) строку:

echo 1 > /proc/sys/net/ipv4/ip_forward

В обычном режиме работы будет использовано соединение с основным провайдером, для этого надо настроить маршрут по умолчанию до его шлюза, например:

route add default gw 94.100.90.2

В случае если доступ к внешним сетям через основной канал невозможен, интерфейс eth0 выключается (down), вместо него активируется резервный канал в интернет, через интерфейс eth1. В этом случае таблица маршрутизации переписывается (маршрут по умолчанию и подсеть eth1). Фрагмент скрипта (поясняющий суть функционала) приведен ниже:

ping -c 2 ntp0.zenon.net

if [ $? -ne 0 ]; then

sh /home/init.sh;

. /etc/rc.d/rc.firewall_backup;

. /etc/rc.d/rc.if_backup;

fi

Полный скрипт запускается как задание, и в некотором интервале времени стандартным ICMP пакетом проверяет доступность некого стабильного узла в интернет. Если узел недоступен, скрипт запускает вложенные скрипты перезапуска межсетевого экрана с правилами для резервного канала, активирует сам резервный канал (последовательность работы важна) и уведомляет оператора о входе в аварийный режим работы.

Дальнейший функционал подсистемы доступа к внешним сетям реализуется с помощью межсетевого экрана netfilter/iptables. Принцип работы этого брэндмауэра был описан ранее. Все порты за исключением оговоренных ТЗ будут закрыты, для сокрытия адресов используется механизм SNAT, для "проброса" портов используется механизм DNAT (уже в другой цепочке iptables).

Дополнительно может быть реализована защита от DDOS атак, сканирования портов, некоторых типах сетевых атак, основанных на свойствах TCP пакетов и соответствующих типов эксплоитов и многих других атак.

Средствами netfilter может быть создан мощный распределенный защитный барьер, в составе которого могут быть несколько сетевых экранов с балансировкой нагрузки.

Упрощенный файл конфигурации iptables приведен ниже:

#!/bin/sh

EXT=eth0

INT=bond0

##===== standart rules =====

iptables -P INPUT DROP

iptables -P OUTPUT ACCEPT

iptables -P FORWARD DROP

##bottom line set: accept all packet for ALL INPUT ESTABLISHED connection

iptables -A INPUT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

##accept all packet for EXTERNAL FORWARD ESTABLISHED connection

iptables -A FORWARD -i $EXT -m conntrack --ctstate ESTABLISHED,RELATED -j ACCEPT

##===== DDOS defence =====

## limit NEW connections 50/sec

iptables -A INPUT -m conntrack --ctstate NEW -m limit --limit 50/sec --limit-burst 50 -j ACCEPT

iptables -A FORWARD -m conntrack --ctstate NEW -m limit --limit 50/sec --limit-burst 50 -j ACCEPT

## limit max connections

iptables -A INPUT -m connlimit --connlimit-above 10 -j DROP

##===== bad tcp packets =====

iptables -I INPUT 1 -p tcp --tcp-flags SYN,ACK SYN,ACK -m state --state NEW -j DROP

iptables -I INPUT 2 -p tcp ! --syn -m state --state NEW -j DROP

iptables -I INPUT 3 -m conntrack --ctstate INVALID -j DROP

iptables -I INPUT 4 -m addrtype --src-type LOCAL ! -i lo -j DROP

##===== self and loopback =====

iptables -A INPUT -i lo -j ACCEPT

iptables -A OUTPUT -o lo -j ACCEPT

##===== internal network forward chain =====

iptables -A FORWARD -i $INT -j ACCEPT

##===== SNAT =====

iptables -t nat -A POSTROUTING -o $EXT -j SNAT --to-source 94.100.87.198

##===== DNAT =====

## FTP services

iptables -t nat -A PREROUTING -d 94.100.87.1 -p tcp --dport 20 -j DNAT --to-destination 172.16.0.5:20

iptables -A FORWARD -m conntrack --ctstate NEW -p tcp -d 172.16.0.5 --dport 20 -j ACCEPT

iptables -t nat -A PREROUTING -d 94.100.87.1 -p tcp --dport 21 -j DNAT --to-destination 172.16.0.5:21

iptables -A FORWARD -m conntrack --ctstate NEW -p tcp -d 172.16.0.5 --dport 21 -j ACCEPT

## VNC terminal services

iptables -t nat -A PREROUTING -d 94.100.87.1 -p tcp --dport 5900 -j DNAT --to-destination 172.16.0.10:5900

iptables -A FORWARD -m conntrack --ctstate NEW -p tcp -d 172.16.0.10 --dport 5900 -j ACCEPT

## SSH terminal services

iptables -t nat -A PREROUTING -d 94.100.87.1 -p tcp --dport 22 -j DNAT --to-destination 172.16.0.10:22

iptables -A FORWARD -m conntrack --ctstate NEW -p tcp -d 172.16.0.10 --dport 22 -j ACCEPT

## HTTP services

iptables -t nat -A PREROUTING -d 94.100.87.1 -p tcp --dport 80 -j DNAT --to-destination 172.16.0.15:80

iptables -A FORWARD -m conntrack --ctstate NEW -p tcp -d 172.16.0.15 --dport 80 -j ACCEPT

В данном примере 94.100.87.1 - внешний IP адрес, 172.16.0.5 - FTP сервер (порты tcp-20,tcp-21) в серверном сегменте ЦОД, 172.16.0.10 - терминальный сервер (SSH tcp-22 порт,VNC порт tcp-5900), 172.16.0.15 - HTTP сервер (apache, порт tcp-80).

Важно учитывать тот факт, что скрипт с цепочками правил iptables индивидуален для основного и резервного канала и должен быть активирован/деактивирован скриптом при использовании соответствующего подключения.

Еще один важный момент при использовании межсетевого экрана - это порядок включения брэндмауэра/сетевых интерфейсов. Межсетевой экран должен быть активирован до включения канала в интернет.



7. Организационно экономическая часть

7.1 Составление организационно-календарного плана

Данный раздел включает в себя организационные вопросы по разработке и внедрению проектируемой информационной системы.

Организационно-календарный план (ОКП) является основным расчетным документом для планирования работ по разработке информационной системы. В ОКП оговариваются стадии разработки по теме с разбиением на этапы, численность и состав коллектива разработчиков, сроки выполнения и трудоемкость соответствующих стадий и этапов.

7.1.1 Определение общей трудоемкости разработки и этапов ОКП

Для определения трудоемкости воспользуемся методом экспертных оценок. В качестве базового варианта для определения трудоемкости была использована трудоемкость одного из разработанных ранее подобных проектов: ТБ=90 чел/дн. Для определения трудоемкости нового варианта необходимо найти коэффициент приведения, для чего была создана экспертная комиссия, в которую вошли:

1) ведущий инженер;

2) инженер I категории;

3) инженер I категории;

Результаты оценки трудоемкости приведены в таблице 9.1.

Таблица 9.1

Должность члена комиссии	Рекомендуемый коэффициент приведения, Кi	Значение веса участия, Вi
Ведущий инженер Инженер I категории Инженер I категории	1,3 1,2 1,2	0,35 0,35 0,30



Результирующий коэффициент приведения

К = К_i*B_i = 1,3*0,35 + 1,2*0,35 + 1,2*0,30 = 1,24

С учетом найденного коэффициента приведения определим трудоемкость новой разработки:

Т = Т_Б * К = 90*1,235 =112 чел/дн.

7.1.2 Распределение трудоемкости по стадиям разработки

ОКП разделяется на следующие этапы:

1) Подготовительный этап;

2) Анализ требований;

3) Технический проект;

4) Ознакомление с руководствами и специальной документацией;

5) Установка и монтирование оборудования;

6) Настройка оборудования, установка и настройка программного обеспечения;

7) Тестирование и корректировка системы;

Основные этапы с параметрами трудоемкости отражены в таблице 9.2:

Таблица 9.2

Этапы	Трудоемкость, чел/дни	Число рабочих, чел	Продолжительность, дни
1. Подготовительный этап	3	3	1
2. Анализ требований	9	3	3
3. Технический проект	15	3	5
4. Ознакомление с руководствами и специальной документацией*	10	3	10
5. Установка и монтирование оборудования	15	3	5
6. Настройка оборудования, установка и настройка программного обеспечения	45	3	15
7. Тестирование и корректировка системы	15	3	5
Итого:	112	3	44

* Ознакомление со специальной документацией необходимо каждому сотруднику.

Должностные оклады сотрудников, участвующих в выполнении работ сведены в таблицу 9.3:

Таблица 9.3

Категория работников	Кол-во работающих, чел.	Должностной оклад, руб./мес.
Ведущий инженер	1	30000
Инженер-программист	1	25000
Инженер-программист	1	25000
Итого:	3	80000

7.1.3 Длительность проектных работ

Проектирование информационной системы происходит в несколько этапов. Содержание проектных работ, представленных в логической последовательности, приведено в таблице 9.4.

Таблица 9.4

Этап	Содержание работ, входящих в этап	Вид отчетности по законченной работе	Кол-во исполнит., чел.	Должность	Продолжит. работы, дни
1. Подготовительный этап	Ознакомление с заданием на проект	Пояснительная записка	1 1 1	Ведущий инженер Инженер-программист Инженер-программист	1 1 1
2.Анализ требований	Написание Технического предложения	Техническое предложение	1 1 1	Ведущий инженер Инженер-программист Инженер-программист	3 3 3
3.Технический проект	1.Оценка и подбор оборудования и комплектующих 2. Написание расчетов по проекту	Отчет по техническому проекту	1 1 1	Ведущий инженер Инженер-программист Инженер-программист	5 5 5
4.Ознакомление с руководствами и специальной документацией	Ознакомление с документацией на оборудование и программное обеспечение	-	1 1 1	Ведущий инженер Инженер-программист Инженер-программист	10 10 10
5.Установка и монтирование оборудования	Установка оборудования и подключение кабельных систем	Отчет о выполненной работе	1 1 1	Ведущий инженер Инженер-программист Инженер-программист	5 5 5
6.Настройка оборудования, установка и настройка программного обеспечения	Настройка оборудования (серверов, коммутационных узлов, сетевых хранилищ)	Отчет о выполненной работе	1 1 1	Ведущий инженер Инженер-программист Инженер-программист	15 15 15
7.Тестирование и корректировка системы	Проверка системы на работоспособность	Акт тестирования	1 1 1	Ведущий инженер Инженер-программист Инженер-программист	5 5 5
Итого:	44

График календарного плана для выполнения проектных работ представлен в таблице 9.5:



Таблица 9.5

э1...э7 - этапы проектных работ с 1-о по 7-й этап соответственно.

7.2 Расчет себестоимости проекта

Определение затрат на внедрение информационной системы производится путём составления калькуляции себестоимости. Калькуляция себестоимости составляется по следующим статьям затрат: затраты на оплату труда и сопутствующие расходы, затраты на оборудование, затраты на программное обеспечение и прочие расходы. Затраты по каждой из статей описаны ниже.

7.2.1 Расчет затрат на оплату труда и сопутствующие расходы

В контексте затрат на оплату труда следует рассматривать следующие расходы:

- Основная заработная плата;

- Отчисления в социальные фонды;

- Расходы на служебные командировки ;

1) Основная заработная плата. Расчет фонда заработной платы разработчиков ведется исходя из сложности человеко-дня, количества работников и трудоемкости. В таблице 9.6 приведена длительность работ проводимых каждым исполнителем на соответствующем этапе разработки, а также вычислена суммарная длительность работ (T_СУМ).

Таблица 9.6

Номер Этапа	Длительность работ, дн
	Ведущий инженер	Инженер-программист	Инженер-программист
1	1	1	1
2	3	3	3
3	5	5	5
4	10	10	10
5	5	5	5
6	15	15	15
7	5	5	5
ТСУМ	44	44	44

Стоимость одного человеко-дня рассчитываем по формуле:

С_чел.дн = Q / 22

где Q - должностной оклад работника. Оклады для исполнителей данной работы приведены в таблице 8.3.

Прямой фонд заработной платы разработчиков вычисляется по формуле:

Так как премия для инженерно-технических разработчиков учитывается в их окладах, то З_ОСН = З_ПР.

2) Единый социальный налог. На эту статью относятся отчисления на социальное страхование, отчисления в пенсионный фонд, затраты на медицинское страхование работников и общее страхование от несчастного случая.

Итоговые отчисления составляют 34% от суммы основной и дополнительной заработной платы.

Sсоц = Зосн*0,34 = 160000*0,34 = 54400 руб.

3) Расходы на служебные командировки. На эту статью относятся расходы на все виды служебных командировок. Они составляют 3% от фонда основной заработной платы.

Sком = 0,03*Зосн = 160000*0,03 = 4800 руб.

Таким образом, общие расходы по графе "Оплата труда и сопутствующие расходы" составляют 219 200 руб.

7.2.2 Затраты на оборудование

Оборудование центра обработки данных представлено следующими комплектующими: серверы, коммутационное оборудование, сетевые хранилища, дополнительное оборудование (стойки, ИПБ). Список комплектующих представлен в таблице 9.7:

Таблица 9.7

Наименование комплектующих	Тип, марка оборудования	Кол-во	Стоимость единицы, руб.	Общая стоимость, руб.
Сервер сегмента виртуализации	Intel SR2600URBRPR/2x Xeon X5660/48GB ОЗУ/2x SSD 120GB	2	173 391	346 682
Сервер подсистемы доступа к внешним сетям	Intel SR1630GPRX/Xeon X3470/8 GB ОЗУ/2x SSD 60GB	1	45 924	45 924
Основное сетевое хранилище	Thecus N12000/4x SSD 120GB/6x SAS HDD 600GB	1	307 472	307 472
Сетевое хранилище резервных копий	Thecus N8800PRO/8x HDD 2TB	1	123 664	123 664
Сетевой коммутатор для серверного сегмента	D-Link DGS-3427	2	43 670	87 340
Сетевой коммутатор для пользовательского сегмента	D-Link DES-3052	4	16 415	65 560
Маршрутизатор	Cisco WS-C3560G-24TS-E	2	93 686	187 372
Источник бесперебойного питания	APC SURT8000XLI	1	106 757	106 757
Серверная стойка	NT R4220B 19	2	6 040	12 080
Прочие комплектующие и расходные материалы	сетевые кабели, коннекторы, устройства ввода-вывода и.т.п.	1	15 000	15 000
Итого:	1 297 852
Транспортные расходы (3% от общей суммы):	38 936
Всего:	1 336 788

Подробные технические характеристики аппаратной составляющей представлены в разделе "Выбор аппаратной составляющей". Общая стоимость оборудования ЦОД с учетом транспортных расходов 1 336 788руб.

7.2.3 Затраты на программное обеспечение

Программное обеспечение центра обработки данных представлено в большинстве своем ПО с открытым исходным кодом, за исключением ОС предназначенных для службы каталогов. Программное обеспечение с открытым исходным кодом распространяется бесплатно по лицензии GNU GPL (стоимость ПО сводится только к оплате трафика и приобретению носителей для хранения установочных дистрибутивов). Стоимость программного обеспечения представлена в таблице 9.8:



Таблица 9.8

Наименование	Название продукта	Кол-во	Стоимость единицы, руб.	Общая стоимость, руб.
Операционная система	Microsoft Windows Server 2008 R2 x64 Standart Edition (RUS)	2	21 468	42 936
Итого:	42 936

Примечание: стоимость лицензий для пользователей/устройств оговаривается отдельной политикой лицензирования. Приобретение пользовательских лицензий не оговаривается ТЗ данного проекта.

Таким образом, стоимость лицензий программного обеспечения для центра обработки данных равна 42 936 руб.

7.2.4 Затраты на электроэнергию, необходимую для разработки системы

Стоимость одного кВт*час для предприятия составляет

Затраты электроэнергии на один вид потребителей можно рассчитать по формуле:

Основные потребители энергии указаны в таблице 9.9

Таблица 9.9

Подобные документы

• Введение в обработку данных. Среда хранения и средства обработки информационных массивов. Эволюция и характеристика концепций обработки данных. Обобщенная схема выборки данных в ОС и СУБД

  Термины "логический" и "физический" как отражение различия аспектов представления данных. Методы доступа к записям в файлах. Структура систем управления базами данных. Отличительные особенности обработки данных, характерные для файловых систем и СУБД.
  
  лекция [169,7 K], добавлен 19.08.2013
  

• Разработка автоматизированной системы обработки данных лаборатории хроматографии

  Создание автоматизированной системы для упрощения работы с данными, расчётами и отчётами, анализа и хранения поступающих в лабораторию хроматографических исследований данных. Функциональные требования к системе. Проектирование программного обеспечения.
  
  курсовая работа [1,9 M], добавлен 23.01.2013
  

• Введение в Автоматизированные информационные системы и Базы данных

  Определение базы данных и банков данных. Компоненты банка данных. Основные требования к технологии интегрированного хранения и обработки данных. Система управления и модели организации доступа к базам данных. Разработка приложений и администрирование.
  
  презентация [17,1 K], добавлен 19.08.2013
  

• Автоматизация процесса оцифровки, обработки графической информации и цифровых данных

  Изучение существующих методов и программного обеспечения для извлечения числовых данных из графической информации. Программное обеспечение "graphtrace", его структура и методы обработки данных. Использование этой системы для данных различного типа.
  
  дипломная работа [3,9 M], добавлен 06.03.2013
  

• Проектирование и создание базы данных в среде MS Access и Web-узел для Молодежного Центра

  Анализ баз данных и систем управления ими. Проектирование и создание реляционной базы данных в среде MS Access для ресторана "Дельфин": построение информационно логической модели, разработка структур таблиц базы данных и схемы данных, создание Web-узла.
  
  курсовая работа [3,7 M], добавлен 15.11.2010
  

• Разработка сервиса агрегации открытых данных и данных из социальных сетей

  Обзор существующих решений на основе открытых данных. Технологии обработки данных и методы их визуализации. Социальные сети для извлечения данных. Ограничение географической локации. Выбор набора и формат хранения открытых данных, архитектура системы.
  
  курсовая работа [129,5 K], добавлен 09.06.2017
  

• Проектирование баз данных MS Access

  Проектирование базы данных Access. Система управления базами данных. Создание и обслуживание базы данных, обеспечение доступа к данным и их обработка. Постановка задач и целей, основных функций, выполняемых базой данных. Основные виды баз данных.
  
  лабораторная работа [14,4 K], добавлен 16.11.2008
  

• Информационная система гостиничного комплекса

  Создание систем автоматизированного сбора и обработки данных. Разработка информационной системы гостиничного комплекса. Выбор требуемой СУБД и программного обеспечения. Концептуальное, логическое проектирование. Организация ввода данных в базу данных.
  
  дипломная работа [790,1 K], добавлен 13.02.2016
  

• Проектирование базы данных "Спорт"

  Инфологическое проектирование базы данных. Создание информационной системы "СПОРТ" для автоматизации обработки данных о проводимых соревнованиях и чемпионатах. Описание размещения в файловой системе. Создание таблиц, запросов и форм просмотра данных.
  
  курсовая работа [4,6 M], добавлен 22.05.2012
  

• Разработка веб-портала видео-проката "Baron"

  Создание базы данных, построение на ее основе информационной системы в виде веб-сайта. Обоснование и выбор системы управления базой данных. Датологическое проектирование, разработка алгоритма решения задачи, создание форм. Результаты обработки данных.
  
  отчет по практике [904,1 K], добавлен 13.04.2015
  

• Особенности обработки и хранения данных в компании

  Особенности обработки информации в компании. Основные модели данных: иерархическая, сетевая, реляционная. Выбор подходящей системы управления базами данных. Microsoft Access как интерактивная, реляционная СУБД для операционной системы MS Windows.
  
  статья [14,7 K], добавлен 22.02.2016
  

• Блочно-симметричные модели и методы проектирования систем обработки данных

  Обзор моделей анализа и синтеза модульных систем обработки данных. Модели и методы решения задач дискретного программирования при проектировании. Декомпозиция прикладных задач и документов систем обработки данных на этапе технического проектирования.
  
  диссертация [423,1 K], добавлен 07.12.2010
  

• Разработка информационной системы для автоматизации деятельности сервисного центра

  Характеристика основных потоков данных, существующих на предприятии. Способы и средства для разработки программного обеспечения. Проектирование пользовательского интерфейса. Разработка слоя взаимодействия с базой данных. Разработка слоя бизнес сервисов.
  
  дипломная работа [750,8 K], добавлен 10.07.2017
  

• Системное программное обеспечение

  Виды системного программного обеспечения. Функции операционных систем. Системы управления базами данных. Классификация СУБД по способу доступа к базе данных. Инструментальные системы программирования, обеспечивающие создание новых программ на компьютере.
  
  реферат [22,1 K], добавлен 27.04.2016
  

• Программное обеспечение ЭВМ

  Системное и прикладное программное обеспечение. Выполнение программ, хранение данных и взаимодействие пользователя с компьютером. Возможности операционных систем. Системы технического обслуживания. Системы обработки электронных таблиц и текста.
  
  презентация [15,9 K], добавлен 06.01.2014
  

• База данных книжного магазина

  Microsoft Access - система управления базой данных, предназначенная для создания и обслуживания баз данных, обеспечения доступа к данным и их обработки. Разработка базы данных для хранения данных о книгах, покупателях, персонале книжного магазина.
  
  курсовая работа [6,2 M], добавлен 14.11.2011
  

• Защита персональных данных при переходе к облачным вычислениям

  Анализ сетевой инфраструктуры, специфика среды исполнения и принципов хранения данных. Обзор частных моделей угроз персональных данных при их обработке с использованием внутрикорпоративных облачных сервисов. Разработка способов защиты их от повреждения.
  
  курсовая работа [41,7 K], добавлен 24.10.2013
  

• Проектирование информационной системы книжного магазина

  Разработка программного обеспечения для автоматизации деятельности работников книжного магазина. Проектирование информационной системы с использованием базы данных Access. Методы хранения данных. Средства защиты данных от несанкционированного доступа.
  
  контрольная работа [664,9 K], добавлен 13.06.2014
  

• Создание интерактивных сервисов доступа к расписанию занятий СевКавГТУ

  Разработка интерактивных сервисов доступа к расписанию занятий СевКавГТУ в среде программирования Eclipse и базы данных для них с использованием фреймворк Django. Информационное и программное обеспечение разработки. Расчет цены программного продукта.
  
  дипломная работа [6,1 M], добавлен 29.06.2011
  

• Система компьютерной обработки данных

  Система компьютерной обработки данных для сбора, систематизации, статистической обработки, анализа результатов учебного процесса за четверть, полугодие, год. Модуль обработки данных о качестве обучения, итогов успеваемости и данных о движении учащихся.
  
  реферат [22,5 K], добавлен 05.02.2011
  

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам