Размещено на http://www.allbest.ru/

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ АВТОНОМНОЕ ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«НАЦИОНАЛЬНЫЙ ИССЛЕДОВАТЕЛЬСКИЙ УНИВЕРСИТЕТ

«ВЫСШАЯ ШКОЛА ЭКОНОМИКИ»

МАГИСТЕРСКАЯ ДИССЕРТАЦИЯ

Исследование проблем безопасности при синхронизации данных и управлении средой виртуализации в комплексе территориально разнесенных ЦОДов

по направлению подготовки Бизнес-информатика

Королёва Татьяна Эдуардовна

Научный руководитель

проф.

Ковалев Олег Петрович

Москва 2016



Введение

Актуальность темы исследования

Развитие информационного общества повлекло за собой трансформацию производства как капиталоемкого процесса в эпоху индустриализма в производство, где главным ресурсом являются информация и знания людей. Как следствие, экспоненциальный рост объемов информации потребовал автоматизированных средств ее обработки и хранения. Промежуточным итогом на данной стадии развития общества и экономики стала почти повсеместная автоматизация процессов в коммерческой сфере и социально-значимых институтах. Двигателем всего выше описанного можно считать эволюцию информационных технологий: от электронно-вычислительных машин с габаритами технических комнат до блейд-серверов, сотни стоек с которыми могут быть расположены в одном центре обработки данных.

Таким образом, можно сделать вывод, что развитие информационного общества, напрямую зависит от процессорных мощностей, которые могут быть обеспечены вендорами. При этом не стоит забывать, что общество, в котором главным ресурсом является информация, должно иметь своими главными приоритетами предоставление в полном доступе открытой информации и обеспечение защиты информации ограниченного доступа, которая подразделяется на информацию, составляющую государственную тайну, и информацию, соблюдение конфиденциальности которой установлено федеральным законом (конфиденциальная информация). К последней категории можно отнести персональные данные, служебную, коммерческую, банковскую тайны и другие защищаемые информационные ресурсы. информационный безопасность автоматизированный угроза

Для реализации решений данных задач предварительно необходимо решить проблему, возникшую в двадцать первом веке, а именно: экспоненциальный рост информации, когда человечество, будучи неспособным обработать и сохранить всю появляющуюся информацию, должно оптимально размещать лишь критически важные данные. Важнейшей составляющей частью функционирования любой организации, использующей информационные ресурсы, является центр обработки данных (далее - ЦОД), наличие которого решает следующие задачи:

· хранение и анализ большого количества информации - как общедоступной информации, так и информации ограниченного доступа;

· обеспечение безопасности IT-систем;

· максимальная доступность данных;

· безотказность систем;

· объединение распределенных систем;

· обеспечение бесперебойной работы.

Безопасность ЦОД -- основное и необходимое условие надежной работоспособности организации. В первую очередь, конечно, это относится к государственным и коммерческим организациям, т.к. нарушение функционирования ЦОД может понести за собой необратимые экономические и политические последствия. Таким образом, основной целью системы информационной безопасности ЦОДа является предотвращение ущерба интересам организации(й), использующей(их) центры обработки данных, за счет:

· Хищения финансовых и материально-технических средств;

· Уничтожения имущества и ценностей;

· Разглашения, утраты, искажения и уничтожения информации;

· Нарушения работы технических средств обеспечения деятельности организации;

· Ущерба персоналу.

Иными словами, в настоящее время острой проблемой является обеспечение информационной безопасности данных, хранение и обработка которых происходит в ЦОДах. Нужно добавить, что если раньше ЦОДы использовались для хранения и резервирования данных, то в настоящий момент, центры обработки данных используются зачастую для развертывания виртуальных сред для установки приложений или предоставления виртуальных рабочих мест, то есть обновление данных происходит в реальном времени. В то же время есть и другой аспект проблемы: обеспечение катастрофоустойчивости от природных и техногенных факторов предполагает резервирование данных в территориально распределенных центрах, что может стать причиной появления новых уязвимостей в системе безопасности ЦОДа. Таким образом, помимо прочего, ключевым фактором стабильной и оптимальной работы ЦОДа является обеспечение высокой скорости передачи данных.

Согласно прогнозу[1] корпорации Сisсo к 2019му году нагрузка на центры обработки данных вырастет в два с половиной раза по сравнению с 2014м годом, что говорит о том, что все больше компаний будут увеличивать свои вычислительные мощности за счет переноса серверов в ЦОДы.

Актуальность исследования проблем информационной безопасности в комплексе территориально разнесенных ЦОДов можно обосновать следующим образом:

· Доля предприятий, которым в настоящее время требуется резервирование данных в силу специфики их отрасли, относительно константна на рынке и не элиминируется со временем;

· Автоматизированные системы, аппаратный комплекс для которых рекомендуется размещать в территориально удаленных центрах обработки данных, могут обрабатывать, в том числе, и персональные данные, поэтому необходимо предусматривать дополнительные уровни их защиты.

Цель диссертационной работы

Целью данной работы является исследование проблем безопасности при синхронизации данных и управлении средой виртуализации в комплексе территориально разнесенных ЦОДов.

Задачи исследования

В рамках исследования необходимо решить следующие основные задачи:

1. Анализ состояния обеспечения информационной безопасности на примере информационной системы, как информационного ресурса;

2. Анализ текущего состояния отрасли центров обработки данных. Специфика территориально распределенных ЦОДов;

3. Исследование синхронизации данных и управления средой виртуализации в территориально распределенных ЦОДах с точки зрения аспекта информационной безопасности.

После сбора теоретического базиса для исследования полученные знания будут использованы для системного анализа существующих решений для идентификации проблем безопасности. По результатам анализа будут предложены возможные меры по решению найденных проблем.



Глава 1. Методологические основы построения системы обеспечения информационной безопасности ИС

1.1 Обеспечение информационной безопасности. Понятие и структура

В управлении информационной безопасностью основными понятиями являются: информация, информационная безопасность, система менеджмента информационной безопасности.

Федеральный закон от 27.07.2006 N 149-ФЗ "Об информации, информационных технологиях и о защите информации" определяет информацию как сведения (сообщения, данные) независимо от формы их представления [5].

Информация может быть также определены как сведения о фактах, событиях, процессах и явлениях в некоторой предметной области, включенные в систему обработки информации, или являющиеся ее результатом в различных формах представления на различных носителях и используемые (необходимые) для оптимизации принимаемых решений в процессе управления объектами данной предметной области [9].

Словосочетание «информационная безопасность» (далее - ИБ) в разных контекстах может иметь различный смысл. Информационная безопасность - такое состояние рассматриваемой системы, при котором она, с одной стороны, способна противостоять дестабилизирующему воздействию внешних и внутренних информационных угроз, а с другой - ее функционирование не создает информационных угроз для элементов самой системы и внешней среды [4]. Именно такое (в широком смысле) понятие информационной безопасности положено в основу Доктрины информационной безопасности и законодательства в сфере обеспечения информационной безопасности Российской Федерации. С другой стороны, термин "информационная безопасность" часто используется в узком смысле: под информационной безопасностью понимается защищенность информации и поддерживающей инфраструктуры от случайных или преднамеренных воздействий естественного или искусственного характера, которые могут нанести неприемлемый ущерб субъектам информационных отношений, в том числе владельцам и пользователям информации и поддерживающей инфраструктуры [7].

В международном стандарте ISO 27001 система управления информационной безопасностью представлена как « часть общей системы управления организации, основанной на оценке бизнес рисков, которая создает, реализует, эксплуатирует, осуществляет мониторинг, пересмотр, сопровождение и совершенствование информационной безопасности» [6]. Система управления включает в себя организационную структуру, политики, планирование, должностные обязанности, практики, процедуры, процессы и ресурсы.

Системный подход к информационной безопасности требует определения ее субъектов, средств и объектов, источников опасности, направленности опасных информационных потоков и принципов обеспечения информационной безопасности. Объектами опасного информационного воздействия и, следовательно, информационной безопасности могут быть: персонал; информационно-технические системы различного масштаба и назначения и т.д. Субъектами информационной безопасности следует считать те органы и структуры, которые занимаются ее обеспечением. Средства обеспечения информационной безопасности - это средства, с помощью которых осуществляются меры по защите информации, систем управления, связи, компьютерных сетей, недопущению подслушивания, маскировке и предотвращению хищения информации [8].

Если мы говорим о понятиях информационной системы и информационной безопасности, то ключевой идеей, стоящей на пересечении этих терминов будет “защита информации” как деятельность, направленная на предотвращение утечки защищаемой информации, несанкционированных и непреднамеренных воздействий на защищаемую информацию.

Общий комплекс мер, направленных на защиту информации, состоит из отдельных отраслевых блоков согласно ГОСТ 50922-2006:

· правовое обеспечение ИБ на основании разноуровневой юридической базы;

· техническая защита информации в виде применения технических, программных и программно-технических (но не криптографических) средств;

· криптография как совокупность алгоритмов, позволяющих преобразовать информацию с целью сокрытия от несанкционированного воздействия;

· физическая защита информации, представленная как совокупность мероприятий и средств, создающих “явные” препятствия для проникновения или доступа к объекту защиты.

Результатом применения данных мер в универсальной формулировке является предотвращение принесения ущерба какой-либо заинтересованной в сохранности объекта защиты стороне. При этом под ущербом понимаются как экономические потери, так и ущемление правовых свобод.

Возьмем за объект защиты информационную систему, определение которой согласно стандарту ISO/IEС 2382-1:1993 есть:

система обработки информации и соответствующие организационные ресурсы (человеческие, технические, финансовые и т. д.), которые обеспечивают и распространяют информацию.

Тогда защищаемая информация в общем виде включает в себя следующие элементы:

· обрабатываемые информационные потоки;

· регламенты функционирования ИС;

· служебная информация, касающаяся организационных ресурсов.

В зависимости от сферы/масштаба использования ИС, требования к уровню защищенности обрабатываемых в ней данных, могут быть различны. Используемый регламент его определения составляется непосредственным собственником системы, согласно существующим правовым регулированиям.

Важность обеспечения безопасности информационных ресурсов организаций

Согласно требованиям ISO 27001 в организации необходимо:

· "проводить регулярные проверки эффективности СМИБ, принимая в расчет результаты измерений эффективности"

· "измерять эффективность мер и средств контроля и управления с тем, чтобы подтвердить удовлетворение требований безопасности"

Выстраивание и сопровождение эффективного комплекса защиты информации организации требует основательных финансовых вложений. При этом игнорирование данной потребности может привести к еще большим альтернативным издержкам. Поэтому изначально требуется привести список возможных рисков и последствий, которые могут реализоваться в действительности, в случае неисполнения работ по организации ИБ.

Список последствий можно разбить на две группы:

· коммерчески-мотивационная - последствия, влияющие на важнейший индикатор успешности компании - прибыль:

o санкции аудиторских служб, в случае нахождения нарушений по обработке ПД;

o выплата судебных взысканий, в случае инцидентов с использованием ПД сотрудников или клиентов компании;

o потеря операционных прибылей на время простоя корпоративных систем в случае атаки;

o ущерб оборудования на физическом уровне в случае фактического проникновения на территорию охраняемого объекта, на программном уровне - в случае вирусной атаки;

o потеря монопольных доходов в случае несанкционированного получения уникальной технологии производства конкурентами;

o потеря собственных средств компании или средств клиентов (в случае финансовой сферы деятельности) после хакерской атаки и кражи данных для организации финансового мошенничества;

o падение уровня продаж компании/стоимости акции на бирже вследствие обнародования фактов нарушения в компании.

· социально-мотивационная - последствия, значение которых отражается на отдельные группы социума, принесенный ущерб которым может быть как материальным, так и моральным:

o незаконная общедоступная публикация или использование специальных категорий ПД лиц, не дававших на это свое письменное согласие;

o взлом АСУ стратегически важных объектов с последующей террористической угрозой обществу;

o раскрытие государственно важной информации, представляющей потенциальную международную угрозу;

Приведенные выше последствия есть обобщенная формулировка возможных негативных событий, к которым может привести наличие “брешей” в информационной защите организаций. Недаром существуют стандарты, описывающие эталоны подходов к защите информации в различных организациях.

1.2 Стандарты, регулирующие ИБ

Список организаций, занимающихся формированием профессиональных стандартов в сфере управления информационной безопасности как подотрасли информационных технологий, невелик. Наиболее известные из них:

· International Organization for Standardization (ISO) со стандартами серии 27000 (на данный момент опубликованы 23 стандарта серии, на стадии разработки - еще 10).. Список стандартов, переведенных на русский:

o 27001 - "Информационные технологии. Методы обеспечения безопасности. Системы управления информационной безопасностью. Требования.";

o 27002 -- "Информационные технологии. Методы обеспечения безопасности. Практические правила управления информационной безопасностью."(ранее известный как последняя версия ISO/IEС 17799:2005);

o 27003 -- "Информационные технологии. Методы обеспечения безопасности. Руководство по внедрению Системы Менеджмента Информационной Безопасности";

o 27004 -- "Информационные технологии. Методы обеспечения безопасности. Измерение эффективности системы управления информационной безопасностью";

o 27005 -- "Информационные технологии. Методы обеспечения безопасности. Управление рисками информационной безопасности." На основе BS7799-3 (опубликовано в 2008);

o 27006 -- "Информационные технологии. Методы обеспечения безопасности. Требования к органам аудита и сертификации систем управления информационной безопасностью";

· British Standard (BS):

o BS 7799 Part 1 Сode of Praсtiсe for Information Seсurity Management (Практические правила управления информационной безопасностью), позднее утвержденная в качестве международного стандарта ISO/IEС 17799:2000 (BS 7799-1:2000)

o BS 7799 Part 2 Information Seсurity management -- speсifiсation for information seсurity management systems (Спецификация системы управления информационной безопасностью). В 2005 году версия BSI BS 7799-2:2002 принята в качестве международного -- ISO/IEС 27001:2005.

Говоря о локализации стандартов, стоит отметить, что российский государственный стандарт ГОСТ Р ИСО/МЭК 17799 -- «Информационные технологии. Практические правила управления информационной безопасностью» является прямым применением международного стандарта с дополнением -- ISO/IEС 17799:2005.

Таким образом, стандарты Института Британских Стандартов можно считать основополагающими в контексте регламентов управления информационной безопасностью ИС.

1.3 Система управления информационной безопасностью

Говоря подробнее о стандарте BS 7799-2:2002, нужно отметить, что в нем определены требования для разработки, реализации, эксплуатации, мониторинга, ревизии, поддержания и совершенствования документированной системы управления информационной безопасностью. Также в нем определены требования для реализации мер по обеспечению безопасности, необходимые отдельным организациям или их подразделениям.

В основу процесса управления, описанного в стандарте, положена четырехфазная модель, включающая Планирование, Реализацию, Оценку и Корректировку. По-русски данную модель можно назвать ПРОК (в оригинале -- Plan-Do-Сheсk-Aсt, PDСA). Детальный анализ каждой из выделенных фаз и составляет основное содержание стандарта BS 7799-2:2002:

· Plan: спроектировать систему управления информационной безопасностью, обеспечивающую требуемый уровень защищенности, исходя из имеющихся предпосылок

· Do: внедрить политику безопасности и сопровождающих процедур для контроля информационной безопасности.

· Сheсk: определить эффективность процесса и доложить о результатах руководству.

· Aсt: предпринять необходимые действия для развития процессов с целью увеличения осведомленности о рисках и увеличения эффективности управления информационной безопасностью.

Таким образом, именно на этапе оценки из цикла Деминга (альтернативное название модели ПРОК) следует использовать установленные регламенты для проверки эффективности СМИБ.

В общем виде работу системы управления информационной безопасностью можно представить в 3 этапа. Первый этап включает управленческие шаги: формирование организационной структуры и назначение ответственности за информационную безопасность, управление ресурсами, рисками, документацией, внутренние аудиты, анализ системы высшим руководством, возможности улучшения системы. Второй этап - это определение направлений защиты. В соответствии со стандартом ISO 27001 существует 11 возможных групп направлений, которые объединяют 131 направление. Третий этап подразумевает реализацию мер защиты.

ISO 27001

1. Менеджмент

a. организационная структура и ответственность за ИБ

b. управление ресурсами

c. управление рисками

d. управление документацией

e. внутренние аудиты

f. анализ системы высшим руководством

g. улучшение системы

2. Определение направлений защиты

a. Политика в области ИБ

b. Организация системы безопасности

c. Классификация активов и управление

d. Безопасность и персонал

e. Физическая и внешняя безопасность

f. Менеджмент компьютеров и сетей

g. Управление доступом к системе

h. Приобретение, разработка и обслуживание информационных систем

i. Управление инцидентами ИБ

j. Обеспечение непрерывности бизнеса

k. Соответствие законодательным и другим требованиям

Очевидно, что уровень защищенности информационной системы прямо пропорционален эффективности выстроенной системы управления информационной безопасности. И чем более отлажено выстроен процесс управления ИБ, тем выше вероятность того, что защищенность ИС соответствует требованиям безопасности.

С другой стороны, можно сказать, что эффективность системы управления ИБ, а вместе с ней и требований безопасности должны быть всегда актуализированы. Ведь развитие отраслей защиты и компрометации информации идет (в лучшем случае) одинаковыми темпами. И одной из косвенных задач менеджмента ИБ является непрекращающийся мониторинг области информационной безопасности. Говоря о примитивных мероприятиях в данном контексте, можно упомянуть регулярное обновление антивирусных баз данных или отслеживание появляющихся Zero-day уязвимостей. Более комплексным подходом в данном случае будет являться регламентированное проведение внутренних аудитов с целью своевременного выявления потенциально слабых мест в защите ИС. Тогда можно сделать вывод, что чем чаще проводятся аудиты в компании, тем больше вероятность выявить уязвимости в системе. Но нужно включить еще несколько критериев для подтверждения подобной зависимости, все они приведены далее:

· регулярность и длительность проведения аудита;

· полнота анализируемых направлений ИБ в системе

· степень оптимизированности (автоматизации) аудита как выполняемого бизнес-процесса;

· результативность (обнаружение уязвимостей в системе, в случае необнаружения - подтверждение эффективности проверки отсутствием инцидентов ИБ).

Данные критерии в виде требований также упомянуты и в стандарте ISO 27001:

· "проводить регулярные проверки эффективности СМИБ, принимая в расчет результаты измерений эффективности";

· "для оценки эффективности мер и средств контроля и управления с тем, чтобы получать воспроизводимые и сопоставимые результаты";

Иными словами, внутренний аудит безопасности должен быть организован таким образом, чтобы:

· издержки на его проведение были минимальны (влияют - степень автоматизации и задействие минимального числа человека-часов);

· эффективность мероприятий была “ярко-выраженной” (влияет - результативность, полнота анализа);

· вмешательство в основные бизнес-процессы ИС было минимальным (влияет частота/длительность).

Чтобы покрыть требования по эффективности и минимизации издержек необходимо разработать стандарт/методику или просто так называемый чек-лист, который в рамках всего масштаба информационной системы, позволит максимально быстро и полно анализировать все возможные аспекты информационной безопасности.

1.4 Метрики измерения защищенности ИС

Главной целью аудита является проверка на соответствие применяемых в организации защитных мер выбранным критериям информационной безопасности. Иначе аудит можно определить как системный процесс получения оценок о текущем состоянии информационной безопасности объекта аудита, ИС в данном случае, в соответствии с определенными критериями и показателями безопасности. Показателем в данном случае будет являться мера измерения, дающая качественную или количественную оценку определенных атрибутов, выведенную на основе аналитической модели, разработанной для определенных информационных потребностей.[3]

Стандарт ISO 27001 содержит требования к организации:

"определять, каким образом проводить измерение эффективности выбранных мер и средств контроля и управления и их групп, и устанавливать, каким образом должны использоваться меры измерений для оценки эффективности мер и средств контроля и управления с тем, чтобы получать воспроизводимые и сопоставимые результаты".

В том же стандарте приведены требования и к измерениям, которые должны проводиться организацией для оценки эффективности системы управления ИБ:

1. разработка мер измерений (например, основные меры измерений, производные меры измерений и показатели);

2. разработка и выполнение программы измерений;

3. сбор и анализ данных;

4. обработка результатов измерений;

5. сообщение обработанных результатов измерений заинтересованным сторонам;

6. использование результатов измерений для принятия решений, относящихся к СМИБ;

7. использование результатов измерений для выявления потребностей в совершенствовании реализованной СМИБ, включая ее область действия, политики, цели, меры и средства контроля и управления, процессы и процедуры;

8. содействие постоянному совершенствованию программы измерений.

Считая показатели ИБ «отправной точкой» для процесса оценки, нужно ввести понятие модели измерений, которая базируется на и описывает процесс преобразования атрибутов объектов измерений в количественные или качественные показатели.

Иными словами, модель измерений представляет собой структуру, связывающую информационную потребность с соответствующими объектами измерений и их атрибутами. [2]

ISO стандарт [2] подробно описывает элементы модели измерений, в том числе основные меры и методы измерений. Другим документом, где приводится детальное описание используемых показателей и подходов к их измерению, можно назвать более специфичный (в контексте области применения) Стандарт Банка России по обеспечению информационной безопасности организаций банковской системы Российской Федерации СТО БР ИББС-1.2-2014. «Методика оценки соответствия информационной безопасности организаций банковской системы Российской Федерации требованиям СТО БР ИББС-1.0-2014».

Типизация угроз информационной безопасности

Существуют различные классификации угроз информационной безопасности, критерии которых представлены ниже:

· аспект информационной безопасности, на который направлена угроза;

· степень преднамеренности действий злоумышленника;

· локация источника угрозы;

· размер наносимого ущерба;

· тип атаки, проводимой злоумышленником;

· степень воздействия на ИС;

· природа источника угрозы;

· способ доступа к информационным ресурсам;

· характер используемой уязвимости ИБ;

· средства, используемые злоумышленником.

С точки зрения актуальности в современном мире, где злоумышленники зачастую используют технологии, крайне конкурентоспособные со средствами защиты организаций, и комбинируют технические и социальные методы к нарушению информационной безопасности, наибольшую угрозу составляют те атаки, которые называют целевыми.

Именно они представляют собой мероприятия, которые задействуют все возможные средства для достижения поставленной цели: будь то нарушение целостности, конфиденциальности или доступности информационных систем. Коммерческая мотивация злоумышленников в данном случае обеспечивает реализацию всех их действий и позволяет разрабатывать полноценные структурированные планы атак, работающие на «всех фронтах». В данном случае работают не только высокотехнологичные техники несанкционированного доступа к информационным активам организации, но и техники, направленные на человеческий ресурс организации. К получению несанкционированного доступа по средствам психологии человека относится совокупность методов, объединенных понятием «социальная инженерия». Данным способом достигается максимальная эффективность проникновения злоумышленников в организацию, и в конечном счете, получения «заказанных» им артефактов.

Одна только социальная инженерия в настоящее время создает отдельную ветвь угроз информационной безопасности. И так как объектом атаки является не аппаратная часть информационной системы, а ее оператор, то и способы контроля доступа и мониторинга должны становиться более изощренными.

Так что здесь нужно говорить о регулярной оценке как эффективности СМИБ, так и об аспекте корпоративной культуры, фокусирующемся на общей осведомленности сотрудников (то есть операторов объекта защиты) о принимаемых мерах информационной защиты и об их роли в данном процессе.



Глава 2. Центр обработки данных - характеристики и структура. Специфика территориально распределенных ЦОДов

2.1 Бизнес потребность в ЦОДе

Неотъемлемый атрибут современной компании - внедренная эффективная ИТ-система. В условиях рыночной экономики и динамического ценообразования на товары и услуги высокая скорость принятия решений - залог успешной деятельности предприятия. Поэтому с каждым годом наблюдается рост в компаниях автоматизированных систем, а следовательно и больше их операторов на автоматизированных рабочих местах; и все большие объемы информации проходят через системы документооборота и электронные архивы. Системы хранения и обработки данных - один из важнейших компонентов корпоративной ИТ-инфрастуктуры. Высокопроизводительная работа современных автоматизированных систем немыслима без надежного фундамента: ЦОД, серверов, систем хранения, стационарных и мобильных рабочих мест.

Выявляя потребность в переносе своих вычислительных мощностей в ЦОД, компании должны в первую очередь определиться, для чего он им нужен, и сформулировать требования к непрерывности бизнеса и работе критически важных для бизнеса приложений. Это, в свою очередь, определит требуемый уровень надежности дата-центра, общую архитектуру инфраструктуры ЦОДа и конкретные технические решения.

Конечным пользователям нужен надежный и аппаратно независимый доступ (желательно независящий от локации пользователя и времени суток) к данным и информационным системам. Данные запросы проще реализовать, если клиент-устройства обладают минимальной встроенной функциональностью, а все остальные функции будут выполняться на удаленном оборудовании. Данный подход возможно реализовать при следующих условиях:

· Высокоскоростные каналы передачи данных;

· Большие процессорные мощности серверной части;

· Приемлемый уровень информационной безопасности, соответствующий категории передаваемых данных.

Рассмотрим возможные технические решения, которые могут быть организованы в ЦОДе:

· Если мы говорим о бизнес-потребности удаленного резервирования данных компании, то предполагаемое решение - развертывание систем хранения данных (СХД). Решение даст возможность наращивания ресурсов без существенной перестройки архитектуры вычислительного комплекса.

· Если же необходима оптимизация затрат на администрирование и сопровождение большого числа автоматизированных систем предприятия (характерно для банковского сектора), то в данном случае начинает работать концепция программно-определяемого дата-центра, когда все аппаратные ресурсы рассматривается через платформу виртуализации как общая ёмкость для вычислений, хранения и передачи данных. В этом случае ЦОД используется как среда для развертывания приложений, компонентов различных АС компании.

Таким образом, необходимость создать ресурсо-эффективный ЦОД появляется тогда, когда у организации возникает реальная потребность в беспрерывности, гибкости и масштабируемости, когда от ИТ-инфраструктуры зависит экономическое состояние бизнеса в целом.

Классификация АС по уровню требуемой непрерывности обслуживания и важности для бизнеса

Классификация систем с точки зрения обеспечения непрерывности и отказоустойчивости должна быть одним из решающих факторов при выборе уровня инфраструктуры (ЦОД) для размещения ИТ-систем.

Многие критические управленческие и технологические процессы опираются на компьютерные системы обработки и хранения данных и не могут функционировать без их использования. Поэтому, обеспечение непрерывности обслуживания и доступности ИТ-решений является важнейшим показателем непрерывности деятельности предприятия в целом, и важным классифицирующим фактором для элементов ИТ-инфраструктуры. Исходя из предъявляемых требований к надежности отдельных элементов и конфигураций ИТ-систем в целом и их восстановлению после сбоев и отказа оборудования, ПО или инфраструктурных элементов, современные ИТ-технологии предоставляют различные архитектурные и конфигурационные решения, обеспечивающие данные требования. С точки зрения обеспечения непрерывности обслуживания управленческих и технологических пользователей и процессов, а также требований к отказоустойчивости, можно предложить следующую классификацию ИТ-решений:

· Mission Сritiсal - (критически важная система) система, без которой в краткосрочном промежутке времени невозможно функционирование предприятия, простой которой приведёт к штрафным санкциям со стороны клиентов. Рекомендованное время восстановления подобных систем после отказа менее 10 минут. Для таких систем должны использоваться специализированные серверные платформы и инфраструктурные уровни с полным многократным резервированием всех компонентов, в том числе с использованием резервных удаленных ЦОД;

· Business Сritiсal - система, простой которой в среднесрочном периоде повлечет за собой финансовые или имиджевые потери компании, однако в кратковременном промежутке предприятие может выполнять свои обязательства перед клиентами с незначительным снижением уровня сервиса. Рекомендованное время восстановления подобных систем после отказа менее 2 часов. Для таких систем должны использоваться кластерные решения и инфраструктурные уровни с частичным резервированием используемых инфраструктурных компонентов;

· Business Support - обычные бизнес-приложения - системы, не требующие работы в реальном времени, с режимом работы 8х5. Долговременный простой системы создает значительные неудобства пользователям, внутренние процессы компании, не направленные на обслуживание клиентов, могут быть заблокированы, при этом отсутствие сервиса в среднесрочном периоде не влечет финансовых либо имиджевых потерь. Рекомендованное время восстановления подобных систем после отказа 4-6 часа. Для таких систем рекомендуется использовать резервирование хранения данных и электропитания;

· Offiсe Produсtion - инструментарий эксплуатационных подразделений, простой которых в среднесрочном периоде не отразится на уровне сервиса прочих систем.. Рекомендованное время восстановления подобных систем после отказа 1-2 рабочих дня.

Необходимо учитывать, что общая непрерывность и отказоустойчивость ИТ- конфигураций определяется соответствующей непрерывностью и отказоустойчивостью ее отдельных элементов: аппаратных, программных средств и инфраструктуры, необходимой для ее успешного функционирования - каналов связи, системы электропитания и т.д. и, в конечном итоге, зависит от уровня непрерывности и отказоустойчивости его слабейшего компонента (принцип «слабого звена»).

2.2 Классификация ЦОДов по надежности

Надежность - основной критерий, который будет использован при классификации ЦОДов в рамках данной работы.

Центры обработки данных (ЦОД) распределяются по 4 категориям согласно стандарту Uptime Institute [2] - Tier 1, Tier 2, Tier 3 и Tier 4. Соответствие той или иной категории указывает на уровень резервации и инфраструктуры, физической безопасности и надежности как инфраструктурной части, так и строения в целом. Официальное соответствие категории подтверждает Uptime Institute или TIA (Teleсommuniсations Industry Assoсiation).

ЦОД, соответствующий уровню Tier 1, не имеет никаких дублирующих активных компонент и распределения потоков. Плановые работы возможны только при остановке ЦОД.

Tier 2: дублирование активного оборудования N+1

У ЦОД есть дополнительные компоненты (N+1) активного оборудования (UPS, кондиционеры, сетевое оборудование) и только один поток распределения. Во время проведения профилактических работ ЦОД останавливается.

Tier 3: возможность обслуживания ЦОД без остановки

Активное оборудование дублируется по принципу N+1. Дублируется распределение потоков: трубопроводы охлаждения, каналы связи в здании, электроинсталляция. Выполняя профилактические работы нет необходимости отключения ЦОД. Центр находится в отдельном выделенном здании, территория - огорожена.

Tier 4: двойная инфраструктура

Как активное оборудование, так и распределение потоков дублируются. ЦОД сохраняет работоспособность при отказе любого узла инфраструктуры. ЦОД представляет собой отдельное здание. Обычно ЦОД Tier 4 уровня строятся для больших корпораций и государственных структур.

2.3 Структура ЦОДа

В зависимости от назначения современные ЦОД можно разделить на закрытые, которые обеспечивают потребности в вычислительных мощностях конкретной компании, и ЦОД, предоставляющие сервисы в виде услуг пользователям.

Все системы ЦОД состоят из собственно ИТ- инфраструктуры и инженерной инфраструктуры, которая отвечает за поддержание оптимальных условий для функционирования системы.

ИТ-инфраструктура

Современный центр обработки данных (ЦОД) включает серверный комплекс, систему хранения данных, систему эксплуатации и систему информационной безопасности, которые интегрированы между собой и объединены высокопроизводительной ЛВС.

Наиболее перспективной моделью серверного комплекса является модель с многоуровневой архитектурой, в которой выделяется несколько групп серверов:

· ресурсные серверы, или серверы информационных ресурсов, отвечают за сохранение и предоставление данных серверам приложений; например, файл-серверы;

· серверы приложений выполняют обработку данных в соответствии с бизнес-логикой системы;

· серверы представления информации осуществляют интерфейс между пользователями и серверами приложений; например, web-серверы;

· служебные серверы обеспечивают работу других подсистем ЦОД; например, серверы управления системой резервного копирования.

К серверам разных групп предъявляются различные требования в зависимости от условий их эксплуатации. В частности, для серверов представления информации характерен большой поток коротких запросов от пользователей, поэтому они должны хорошо горизонтально масштабироваться (увеличение количества серверов) для обеспечения распределения нагрузки.

Для серверов приложений требование по горизонтальной масштабируемости остается, но оно не является критичным. Для них обязательна достаточная вертикальная масштабируемость (возможность наращивания количества процессоров, объемов оперативной памяти и каналов ввода-вывода) для обработки мультиплексированных запросов от пользователей и выполнения бизнес-логики решаемых задач.

Адаптивная инженерная инфраструктура ЦОД

Помимо собственно аппаратно-программного комплекса, ЦОД должен обеспечивать внешние условия для его функционирования. Размещенное в ЦОД оборудование должно работать в круглосуточном режиме при определенных параметрах окружающей среды, для поддержания которых требуется целый ряд надежных систем обеспечения.

Современный ЦОД насчитывает более десятка различных подсистем, включая основное и резервное питание, слаботочную, силовую и другие виды проводки, системы климатического контроля, обеспечения пожарной безопасности, физической безопасности и пр.

Довольно сложным является обеспечение оптимального климатического режима оборудования. Необходимо отводить большое количество тепла, выделяемого компьютерным оборудованием, причем его объем нарастает по мере увеличения мощности систем и плотности их компоновки. Все это требует оптимизации воздушных потоков, а также применения охлаждающего оборудования. По данным IDС, уже в текущем году расходы на снабжение центров обработки данных электроэнергией и обеспечение охлаждения превысят расходы на собственно компьютерное оборудование.

Перечисленные системы взаимосвязаны, поэтому оптимальное решение может быть найдено, только если при его построении будут рассматриваться не отдельные компоненты, а инфраструктура в целом.

Архитектура ЦОД

Сетевая архитектура центра обработки данных определяет его важные характеристики, такие как производительность, масштабируемость и гибкость в дальнейших конфигурационных изменениях. Ведь чем гибче настроена сеть в ЦОДе, тем быстрее возможно реагировать на запросы рынка, избегая лишних затрат. Основной инструмент разворачивания сети между серверами ЦОД - это коммутаторы, но есть различные пути настройки взаимодействия между серверами. Топологии характеризуются различными требованиями к аппаратным ресурсам, целью которых является увеличение производительность дата-центров. При этом существуют стандартные схемы подключения коммутаторов к серверам:

· top-of-raсk - это модель коммутации, когда в каждой стойке стоит коммутатор, который обрабатывает трафик с серверов в этой стойке, и соединен с агрегирующим слоем (в стандартной трехзвенной модели)

o Преимущества топологии top-of-rack:

§ большинство коммутаций внутри шкафа;

§ более простая в обслуживании и дешевая кабельная система;

§ модульная архитектура «per rack» (каждый шкаф как отдельный независимый блок);

§ подключение серверов с использованием дешевых SFP+ модулей 10GE (40 GE) для коротких расстояний.

o Недостатки топологии top-of-rack:

§ много коммутаторов для управления, много портов на уровне агрегации;

§ ограничения масштабируемости (STP logical ports и емкость портов коммутатора агрегации);

§ много L2 трафика на уровне агрегации

· end-of-row модель предполагает расположение коммутатора, условно, «в конце ряда стоек» и обслуживание им трафика с со всех серверов из нескольких стоек, расположенных в ряд

o Преимущества топологи end/middle-of-row:

§ меньше коммутаторов;

§ меньше портов на уровне агрегации.

§ надежные, зарезервированные и как правило модульные коммутаторы доступа;

§ единая точка управления для сотен портов.

o Недостатки топологи end/middle-of-row:

§ более дорогостоящая кабельная инфраструктура;

§ много кабелей - препятствие для охлаждения;

§ длинные кабели - ограничение на использованием дешевых подключений на 10/40 GE - «Per row» архитектура (каждый ряд как отдельный независимы блок).

Топология сети взаимодействия между серверами в ЦОДе имеет значительное влияние на гибкость и возможность переконфигурирования инфраструктуры датацентра. Так как данный вопрос получил отклик, как в академической, так и коммерческой средах, то в последнее время было разработано немалое число возможных топологий датацентров:

· фиксированные (после развертывания сети в архитектуре невозможны изменения)

o древовидные - стандартное широко используемое решение для ЦОД, когда каждый сервер подключен к одному коммутатору, находящемуся на низшем уровне топологии:

§ Basiс tree

§ Fat tree

· Al-Fares et al

· Portland

· Hedera

§ Сlos network

· VL2

o Рекурсивные - топологии, при которых сервера могут быть подключены к разноуровневым коммутаторам или к другим серверам:

§ DСell

§ BСube

§ MDСube

§ FiСonn

· Гибкие ( возможны изменения в топологии уже после развертывания сети) - принципиальное отличие состоит в том, чтобы использовать коммутаторы с оптическими портами. Помимо увеличения пропускной способности (до Тб/сек с использованием технологий спектрального уплотнения каналов - WDM), данное решение обладает высокой гибкостью при переконфигурации топологии сети.

o Полностью оптические

§ OSA

o Гибридные

§ С-Through

§ Helios

Сетевая инфраструктура ЦОДа

Подход к построению сетевой инфраструктуры должен обеспечивать должный уровень таких качественных параметров как:

· надежность,

· безопасность,

· производительность,

· управляемость,

· масштабируемость.

В целях организации сетевой инфраструктуры ЦОД применяются такие классы оборудования, как:

· Канальное оборудование, в число которых входят мультиплексоры CWDM и DWDM, транспондеры, конверторы и т.д.

· Оборудование коммутации Ethernet, отличающееся высокой производительностью и высокой надёжностью, с функционалом маршрутизации и распределения нагрузки. В связи с тем, что в центрах обработки данных для бизнеса используется большой объем передаваемых данных, то предъявляются жесткие требования к оборудованию в плане производительности, функциональности и надежности.

· Коммутационное оборудование стандарта FibreChannel. При этом могут быть использовано оборудования различных классов. Это зависит от выбранной архитектуры сетевой инфраструктуры ЦОД. Могут быть использованы как простейшие коммутаторы уровня рабочей группы или же оборудование уровня предприятия.

· Программные комплексы, осуществляющие централизованный мониторинг и управление сетью, которые предоставляют единую точку управления всей сетевой инфраструктурой ЦОД за счёт графического интерфейса, а также расширенных средств визуализации наблюдаемых параметров, таких как состояние функциональных компонентов, загруженность ресурсов коммутаторов и даже некоторые параметры подключенных устройств, включая версию микропрограммного обеспечения интерфейсных карт FibreChannel в серверах.

Сеть современного ЦОД можно строить в один, два и три уровня, . У каждого варианта есть свои предназначения. Рассмотрим далее вкратце упомянутые выше варианты:

· Одноуровневая архитектура подразумевает непосредственную связь между оборудованием ядра/агрегации и серверами

· Двухуровневая архитектура (L1) подразумевает наличие между ядром/агрегацией ЦОД дополнительного уровня коммутаторов по схеме ToR (Top-of-Raсk).

· Трехуровневый вариант архитектуры (L3), иногда его еще называют EoR (End-of-Row). В 3-уровневой архитектуре ЦОД дополнительный уровень коммутаторов агрегации добавляет гибкость в построении сетевых топологий и увеличивает потенциальную емкость решения по портам.

В настоящее время используемая большинством ЦОД сеть использует трехуровневую архитектуру с уровнями L2 (коммутация) и L3 (маршрутизация), которая предназначалась для систем с гораздо меньшими объемами передачи данных, таких как: корпоративная переписка, бухгалтерская отчетность, хранение документации, ведение документации предприятий. Проблема заключается в том, что подобная архитектура устанавливает ограничения на сегодняшний трафик, в котором большую долю занимает цифровой контент, и негативно влияет на мобильность виртуальных машин, что приводит к увеличению капитальных и операционных расходов на поддержание работоспособности ЦОД, а также росту энергопотребления.

Сейчас набирают популярность такие варианты подключения, как оптоволоконный Ethernet (FCoE - Fibre Сhannel over Ethernet) и новые разработки высокоскоростного Ethernet (1 Гбит/с и 10Гбит/с). Традиционное решение в ЦОД предполагает создание двух сетей - сеть передачи данных на базе протокола Ethernet и сеть хранения данных на базе протокола Fiber Channel (FC).

В последние годы получила развитие другая технология - конвергентных сетей. Конвергентная сетевая инфраструктура - это единая сеть, объединяющая сеть передачи данных и сеть хранения данных, обеспечивающая доступ к системам хранениям данных с использованием любых протоколов - как блочных, так и файловых. Такое решение позволяет не только в два раза сократить количество сетевых подключений, но и обеспечить единый уровень надежности и доступности для всей сетевой инфраструктуры.

В основе решения лежит протокол Fiber Channel over Ethernet (FCoE), обеспечивающий передачу FC-трафика через Ethernet-транспорт. При помощи DataCenterBridging (DCB), Ethernet превращается в протокол без потерь, который подходит для трафика FCoE, обеспечивающего традиционную в SAN-сетях изоляцию фабрик (Fabric A и Fabric B). Помимо этого унифицированная коммутация позволяет упростить управление и сэкономить на оборудовании, электропитании, а так же на кабельной инфраструктуре.

Развертывание среды виртуализации в ЦОД

В текущий период экономической нестабильности компании пытаются всеми способами сократить свои операционные издержки. В случае с развитыми ИТ- инфраструктурами данная деятельность не должна иметь негативных последствий для информационных ресурсов организации. Внедрение платформы виртуализации позволит избежать этих последствий, так как оптимизация по средствам виртуализации имеет ряд преимуществ:

* Увеличение коэффициента использования аппаратного обеспечения

* Уменьшение затрат на замену аппаратного обеспечения

* Повышение гибкости использования виртуальных серверов

* Обеспечение высокой доступности серверов

* Повышение управляемости серверной инфраструктуры

* Экономия на обслуживающем персонале

* Экономия на электроэнергии

Виртуализация сетевой инфраструктуры ЦОД включает в себя:

· Виртуализацию физической сети;

· Построение виртуальной сети внутри виртуальной серверной среды.

· Виртуализация физической сети.

Благодаря технологиям виртуализации физическая сетевая инфраструктура ЦОД разбивается на множество виртуальных срезов, представляющие собой виртуальные ЦОД.

Примерами использования такого разделения может быть использование сети для разных заказчиков, что больше подходит для провайдеров, а также сегментация сети для создания различных зон безопасности, что является актуальным для корпоративного применения.

Примерами зон безопасности могут быть:

· корпоративный сегмент;

· защищенный сегмент PCI DSS;

· тестовый сегмент сети;

· демилитаризованная зона.

Виртуальные сегменты по умолчанию изолированы между собой. Для возможного обмена данными между ними используются межсетевые экраны. Для виртуализации физической сетевой инфраструктуры ЦОД используются следующие основные технологии:

· виртуализация устройства (VDC для Nexus 7000, виртуальные контексты межсетевых экранов, IPS, traffic domain для балансировщика Citrix);

· виртуализация таблицы маршрутизации (VRF), или виртуализация маршрутизатора;

· VLAN для L2 сегментации.

Информационная безопасность ЦОДа

Подход к обеспечению безопасности информации, хранимой (обрабатываемой) в ЦОД, должен исходить из требований конфиденциальности, доступности и целостности. Концепции и стандарты, описанные в Глава 1, будут аналогичны и для защиты информации центров обработки данных.

Основные этапы обеспечения безопасности ЦОД:

· Определение объектов защиты, типичный список которых включает в себя:

o Информация, хранимая (обрабатываемая) в системе;

o Оборудование;

o Программное обеспечение.

· Построение модели угроз и модели действий нарушителя;

· Оценка и анализ рисков (возможные риски приведены ниже):

o Сбои и отказы программно-аппаратных средств;

o Угрозы со стороны обслуживающего персонала;

o Ошибка руководства организации в связи с недостаточным уровнем осознания ИБ;

o Утечка информации;

o Нарушение функциональности и доступности персонала;

· Разработка и внедрение в системы ЦОД методов и средств защиты.

В отношении территориально разнесенных дата-центров необходимо сформулировать дополнительные требования к системам защиты информации:

· Обеспечение конфиденциальности и целостности данных передаваемых по каналам связи;

· Поддержка единого адресного пространства для защищаемой LAN ЦОД;

· Быстродействие и производительность;

· Масштабируемость;

· Отказоустойчивость;

· Соответствие требованиям регулятора.

Катастрофоустойчивость ЦОДа

В существующих условиях повышения угроз различного характера: природного, техногенного, террористического - становится критически важным аспектом резервирование систем хранения и обработки данных, используемых в организации, в интересах обеспечения непрерывности бизнес-процессов.

В случае возникновения катастрофы вполне вероятно полное физическое разрушение конструкции центра обработки данных, поэтому, устойчивость дата-центра к катастрофам природного характера обеспечивается развертыванием территориально удаленного (на расстоянии от нескольких сотен км) резервного центра обработки данных.

Распределение ЦОД по нескольким площадкам требует организации следующих компонентов:

· Резервируемые каналы связи

· Репликация данных файловых хранилищ;

· Разработка плана действий резервного копирования и восстановления систем;

Программно-аппаратный комплекс одного дата-центра, работающего в комплексе распределенных ЦОДов, может обслуживать бизнес-приложение в рамках одной площадки и обладать локальной отказоустойчивостью, т. е. способностью к восстановлению при единичных отказах. При этом инженерные системы ЦОД также должны обладать свойствами надежности и возможности обслуживания без остановки -именно эти характеристики отличают ЦОД различных классов.

...