Методы построения высокопроизводительной отказоустойчивой распределенной базы данных для задачи охраны периметра
Архитектура подсистемы отказоустойчивости и резервного копирования. Подходы к достижению заданных ключевых показателей. Исследование производительности системы и ключевых показателей эффективности, достигаемых подсистемой обеспечения отказоустойчивости.
| Рубрика | Производство и технологии |
| Вид | статья |
| Язык | русский |
| Дата добавления | 08.05.2022 |
| Размер файла | 282,5 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Размещено на http://www.allbest.ru/
Южный федеральный университет
Методы построения высокопроизводительной отказоустойчивой распределенной базы данных для задачи охраны периметра
Андрей Иванович Костюк
Наталия Михайловна Коробейникова
Аннотация
Описаны методы построения высокопроизводительной отказоустойчивой распределенной базы данных для задачи охраны периметра. Представлена архитектура подсистемы отказоустойчивости, архитектура подсистемы резервного копирования, описаны подходы к достижению заданных ключевых показателей. Проведено исследование производительности системы, определены ключевые показатели эффективности, достигаемые подсистемой обеспечения отказоустойчивости.
Ключевые слова: база данных, высокая доступность, отказоустойчивость, масштабируемость, высокопроизводительная система, ресурсное планирование
Abstract
Methods for building a high-performance fault-tolerant distributed database for the task of perimeter security
Andrey I. Kostyuk, Natalya M. Korobeynikova
Southern Federal University
The paper discusses the methods for constructing a high-performance fault-tolerant distributed database for the perimeter security problem. The architecture of the fault tolerance subsystem, the architecture of the backup subsystem, and approaches to achieving the specified key indicators are described. The study of the system performance was carried out, the values of the key performance indicators achieved by the fault tolerance subsystem were determined.
Keywords: database, high availability, fault tolerance, scalability, high performance system, resource planning
Основная часть
Введение. Для целей охраны периметра производственного объекта большой территориальной протяженности с учетом вероятного наличия угроз несанкционированного физического проникновения, на территории которого находятся стационарные или подвижные объекты, требуется использование необитаемых интеллектуальных взаимодействующих мобильных роботизированных платформ [1-10].
Учитывая то, что предварительный анализ исходного проекта системы уже был проведен ранее [1], сформируем следующий подход к разработке:
1. Анализ требований к новой системе.
2. Выбор платформы.
3. Построение архитектуры производственного окружения.
4. Построение полной архитектуры системы:
4.1. Построение архитектуры отказоустойчивости;
4.2. Построение архитектуры резервного копирования;
4.3. Ресурсное планирование для решения резервного копирования.
Внедрение системы представляет собой миграцию между существующим и разработанным решениями.
Ниже приведено описание подхода к внедрению разработанной архитектуры:
1. Определение требований к процедуре миграции.
2. Определение списка задач на миграцию.
3. Выбор способа и инструментов внедрения.
4. Исследование организационной структуры компании-заказчика.
5. Выбор подхода к проектному менеджменту.
6. Разработка плана проекта.
Основными требованиями к разрабатываемой системе являются:
1. Обеспечение горизонтальной и вертикальной масштабируемости;
2. Обеспечение отказоустойчивости.
Архитектура подсистемы отказоустойчивости. Существуют различные опции платформ, на базе которых возможно выполнить реализацию системы. Выбор конкретной платформы реализации разрабатываемой системы зависит от ряда характеристик:
1. Предоставляемые платформой архитектурные преимущества, влияющие на ключевые показатели эффективности;
2. Сложность осуществления миграции, выражающаяся в трудозатратах;
3. Стоимость покупки оборудования.
Использование технологий Oracle Real Application Clusters позволяет увеличить способность системы к масштабированию, ее отказоустойчивость как в случае незапланированных простоев, так и в случае плановых периодов обслуживания.
Благодаря возможности задействовать при реализации решения несколько площадок размещения, находящихся в различных центрах обработки данных, нам представляется возможность внедрить отказоустойчивое решение на основе географического дистанцирования.
Такое решение позволит системам заказчика сохранить работоспособность не только в случае локальных проблем (выход из строя оборудования, отключение электроэнергии, пожары), но даже в случае глобальных катаклизмов, затрагивающих целые регионы (наводнения, ураганы).
Технически подсистему отказоустойчивости предлагается построить на базе:
• второго, дублирующего, программно-аппаратного комплекса Oracle Exadata, находящегося в географически удаленном от продуктивной подсистемы регионе Европы;
• технологии Oracle Active Data Guard для организации репликации данных между центрами обработки данных в режиме «active-passive».
Поскольку, согласно требованиям заказчика, RTO системы в худшем случае должен соответствовать значению в одну минуту, необходимым условием является наличие в резервном центре обработки данных подсистемы, идентичной продуктивной.
Под идентичной в данном случае понимается подсистема, которая:
• состоит из равного количества аналогично сконфигурированных окружений;
• имеет аналогичное количество ресурсов оборудования.
Для построения такой системы, а также для обеспечения RTO в одну минуту было принято решение использовать конфигурацию в виде каскадной репликации данных.
Такая конфигурация позволяет ускорить процесс переключения на резервную площадку с сохранением ролей продуктивного и отчетного окружений.
На рисунке 1 приведена схема архитектуры подсистемы отказоустойчивости.
Рис. 1. Схема архитектуры подсистемы отказоустойчивости
Fig. 1. Fault tolerance subsystem architecture diagram
Архитектура подсистемы резервного копирования. Резервное копирование является неотъемлемой частью решения отказоустойчивости любой информационной системы. В большинстве случаев резервные копии используются далеко не только для собственно полного восстановления системы, но и для:
• дублирования окружений в целях разработки и тестирования;
• архивирования важных данных;
• поиска и исследования исторических данных.
Распространенной практикой является разделение решения резервного копирования на две части:
1. Оперативные резервные копии, характеризующиеся высокой скоростью доступа к ним, в случае необходимости. В качестве оборудования для таких копий зачастую выступают разнообразные NAS-решения: например, на базе серверов Synology или Cohesity.
2. Долговременные резервные копии, характеризующиеся надежностью и экономической эффективностью оборудования, зачастую достигаемые за счет уменьшения скорости доступа. Данную функцию часто выполняют разнообразные хранилища на магнитной ленте, либо облачные хранилища данных.
Подсистему предлагается построить на основе:
1. Программно-аппаратного комплекса Oracle ZFS Appliance, предоставляющего высокопроизводительное хранилище, совместимое с протоколом Network File System. Данное оборудование предлагается использовать в качестве хранилища оперативных резервных копий. Oracle ZFS Appliance представляет собой корпоративное решение хранения данных с усовершенствованной архитектурой, которое включает в себя высокоинтеллектуальную симметричную многопроцессорную (SMP) операционную систему, которая в полной мере использует преимущества современных многоядерных процессоров.
2. Серверов Cohesity Data Platform, используемых для хранения долговременных резервных копий, архивируемых путем копирования и сжатия оперативных резервных копий. Cohesity Data Platform - это масштабируемое решение, основанное на уникальной распределенной файловой системе SpanFS. Data Platform модернизирует и упрощает управление данными и приложениями, предоставляя одну платформу для разнообразных рабочих нагрузок.
3. Технологии Oracle Recovery Manager (RMAN), позволяющей создавать различные типы резервных копий, в том числе полные, кумулятивные и дифференциальные, без необходимости отключения системы на время снятия копии.
На рисунке 2 представлена разработанная архитектура подсистемы резервного копирования.
Разработка решения мониторинга и оповещения. Подсистема мониторинга и оповещения является важнейшей частью системы высокой доступности. Несмотря на то, что данная подсистема не обеспечивает избыточности и не используется на этапах восстановления либо переключения продуктивного окружения, обеспечить многие из связанных с высокой доступностью KPI без внедрения мониторинга и оповещений не представляется возможным.
Правильно настроенная система мониторинга позволяет вовремя отреагировать на произошедшую, а во многих случаях и на предстоящую аварии. Система оповещений, в свою очередь, позволяет персоналу в краткие сроки узнавать об аварийных ситуациях и своевременно производить действия по починке, наладке и предотвращению проблем на критичных для компании окружениях системы.
В рамках данной работы в качестве платформы для создания системы мониторинга и оповещений использовано приложение Oracle Enterprise Manager Cloud Control.
Кроме собственно системы мониторинга данное приложение имеет функции:
• автоматизации административных действий;
• базы знаний об инфраструктуре системы;
• хранилища метрик системы;
• инструмента разработки для СУБД Oracle;
• централизованного планировщика задач.
Данный набор функционала позволяет использовать Oracle Enterprise Manager Cloud Control в качестве корпоративной платформы мониторинга и администрирования баз данных и серверов приложений Oracle.
Рис. 2. Архитектура подсистемы резервного копирования
Fig. 2. Backup subsystem architecture
Итоговая архитектура системы. Для описания архитектуры системы был выбран инструмент Archi на основе графического языка моделирования архитектур корпоративного уровня Archi Mate.
Archi Mate является открытым и независимым языком моделирования для архитектуры предприятия, который поддерживается различными поставщиками инструментов и консалтинговыми фирмами.
Спецификация Archi Mate предоставляет инструменты, которые позволяют архитекторам предприятий однозначно описывать, анализировать и визуализировать отношения между бизнес-доменами.
На рисунке 3 представлена обобщенная архитектура системы, где наглядно демонстрируются конфигурация Oracle Data Guard с осуществлением репликации изменений в продуктивной базе данных между удаленными друг от друга центрами обработки данных, а также каскадная пересылка записей повторов.
отказоустойчивость резервный копирование охрана
Рис. 3. Обобщенная архитектура системы
Fig. 3. Generalized system architecture
Таким образом, основными особенностями разработанной архитектуры являются использование технологии Oracle Real Application Clusters для обеспечения отказоустойчивости и масштабируемости; использование технологии Oracle Data Guard для обеспечения отказоустойчивости и возможности переключения между производственной и резервной площадками; задействование двух географически дистанцированных центров обработки данных и настройка постоянной репликации между ними; использование технологий Oracle Exadata для повышения эффективности работы оборудования; организация мониторинга системы, оповещений об аварийных ситуациях на базе Oracle Enterprise Manager Cloud Control; использование технологии каскадной пересылки записей журнала повторов для уменьшения времени простоя при смене ролей окружений.
Список литературы
1. Костюк А.И., Беспалов Д.А., Романов В.В. Принципы создания системы обработки и хранения GNSS данных для задачи охраны периметра // Вестник Адыгейского государственного университета. Сер.: Естественно-математические и технические науки. 2020. Вып. 2 (261). С. 74-79. URL: http://vestnik.adygnet.ru
2. Костюк А.И., Шаповал Н.Е. Концептуальная модель базы геоданных объектов // Информационные системы и технологии: фундаментальные и прикладные исследования: сб. ст. II Всерос. науч.-практ. конф. молодых ученых, аспирантов, магистрантов и студентов. Таганрог, 2017. С. 448-450.
3. Костюк А.И. Изоморфно-статистическая идентификация изображений // Современные наукоемкие технологии. 2017. №6. С. 58-61. URL: http://www.top - technologies.ru/ru/article/view? id=36698
4. Integration of Models of Adaptive Behavior of Ant and Bee Colony (2019) / B.K. Lebedev, O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // Artificial Intelligence and Algorithms in Intelligent Systems. Advances in Intelligent Systems and Computing / Silhavy R. (eds). Springer, 2018. Vol. 764. URL: https://www.scopus.com/authid/detail.uri? authorId=57196048780
5. Костюк А.И., Мунтян Е.Р., Поленов М.Ю. О подходе к модернизации программной системы поддержки управленческих решений // Известия ЮФУ. Технические науки. 2015. №3. С. 46-54.
6. Исследование возможности внедрения виртуализации в системах управления SmartHouse / А.И. Костюк, М.Ю. Поленов, Е.Р. Мунтян, В.А. Лукьянов, А.Ю. Николава // Информатизация и связь. 2015. №3. С. 72-77.
7. VLSI Planning Based on the Ant Colony Method / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk; ed. by A. Abraham, S. Kovalev, V. Tarassov [et al.] // Intelligent Information Technologies for Industry (IITI'17): Proceedings of the Second International Scientific Conference. IITI 2017. Advances in Intelligent Systems and Computing. Springer, 2017. Vol. 679. P. 388-398. URL: https://link.springer.com/chapter/10.1007/978-3-319-68321-8_40
8. Поленов М.Ю., Костюк А.И., Лукьянов В.А. Анализ существующих угроз для безопасности виртуальной среды // Информационные технологии, системный анализ и управление: сб. тр. XII Всерос. науч. конф. Ростов-на-Дону: Изд-во ЮФУ, 2015. Т. 1. C. 76-78.
9. Мунтян Е.Р., Костюк А.И., Лиотвейзен В.В. Особенности виртуальной карты для расчета марша соединений // Инновационное развитие современной науки: сб. ст. Междунар. науч.-практ. конф., г. Уфа 14 марта 2015 г.: в 2 частях. Уфа: Аэтерна, 2015. Ч. 1. С. 49-52.
10. GAPS (GPS Analysis and Positioning Software). URL:
http://gaps.gge.unb.ca/submitbasic.php (дата обращения: 25.05.2020).
References
1. Kostyuk A.I., Bespalov D.A., Romanov V.V. Principles of creating a system for processing and storing GNSS data for the task of protecting the perimeter // Bulletin of the Adyghe State University. Ser.: Natural-Mathematical and Technical Sciences. 2020. Iss. 2 (261). P. 74-79. URL: http://vestnik. adygnet.ru
2. Kostyuk A.I., Shapoval N.E. A conceptual model of a geodatabase of features // Information systems and technologies: fundamental and applied research: Collection of articles of the 2nd Russian scient. and pract. conference of young scientists, graduate students, undergraduates and students. Taganrog, 2017. P. 448-450.
3. Kostyuk A.I. Isomorphno-probalistic identification of images // Modern high technologies. 2017. No. 6. P. 58-61. URL: http://www.top-technologies.ru/ru/article/view? id=36698
4. Integration of Models of Adaptive Behavior of Ant and Bee Colony (2019) / B.K. Lebedev,
O.B. Lebedev, E.M. Lebedeva, A.I. Kostyuk // Artificial Intelligence and Algorithms in Intelligent Systems. Advances in Intelligent Systems and Computing / Silhavy R. (eds). Springer, 2018. Vol. 764. URL: https://www.scopus.com/authid/detail.uri? authorId=57196048780
5. Kostyuk A.I., Muntyan E.R., Polenov M. Yu. On the approach to modernization of the software system for supporting management decisions // News of SFU. Technical Sciences. 2015. No. 3. P. 46-54.
6. Research of virtualization deployment possibility in Smart House control systems / A.I. Kostyuk, M. Yu. Polenov, E.R. Muntyan, V.A. Lukyanov, A. Yu. Nikolava // Informatization and Communication. 2015. No. 3. P. 72-77.
7. VLSI Planning Based on the Ant Colony Method / B.K. Lebedev, O.B. Lebedev, E.O. Lebedeva, A.I. Kostyuk; ed. by A. Abraham, S. Kovalev, V. Tarassov [et al.] // Intelligent Information Technologies for Industry (IITI'17): Proceedings of the Second International Scientific Conference. IITI 2017. Advances in Intelligent Systems and Computing. Springer, 2017. Vol. 679. P. 388-398. URL: https://link.springer.com/chapter/10.1007/978-3-319-68321-8_40
8. Polenov M. Yu., Kostyuk A.I., Lukyanov V.A. Analysis of existing threats to the security of the virtual environment // Information technologies, system analysis and management: Proceedings of the 12th Russian Scientific Conference. Rostov-on-Don: Publishing House of SFU, 2015. Vol. 1.
P. 76-78.
9. Muntyan E.R., Kostyuk A.I., Liotweisen V.V. Features of a virtual map for calculating the connection march // The innovative development of modern science: a collection of articles of the International scient. and pract. conference, Ufa March 14, 2015: in 2 parts. Ufa: Aeterna, 2015. Pt. 1. P. 49-52.
10. GAPS (GPS Analysis and Positioning Software). URL: http://gaps.gge.unb.ca/submitbasic.php (access date: 25.05.2020).
Размещено на Allbest.ru
...Подобные документы
Общая характеристика исследуемого предприятия, его структура и направления деятельности. Описание разработанных ключевых показателей эффективности, системы для их учета и финансовой таблицы. Подсчет текущей статистики и составление плановых показателей.
дипломная работа [1,6 M], добавлен 19.09.2016Классификация поверхностей деталей по функциональному назначению. Синтез размерного описания и технических условий. Выявление размерных цепей, описывающих формирование заданных показателей точности машины. Номинальные размеры составляющих звеньев.
курсовая работа [1,2 M], добавлен 22.02.2013Разновидности, основные методы измерения и оценки показателей качества, задачи и методы квалиметрии. Качество выполнения показателей работы станции. Определение вероятностного процента приемлемых результатов работы и процента предельных отклонений.
контрольная работа [214,8 K], добавлен 18.12.2013Основные группы и разновидности показателей качества. Понятие единичных, комплексных и интегральных показателей качества. Алгоритм расчета комплексного показателя качества. Описание и характеристика различных методов измерения показателей качества.
презентация [100,6 K], добавлен 04.05.2011Формирование единичных показателей качества. Ранжирование показателей качества экспертным методом. Определение единичных и комплексных показателей качества. Методы измерения качества продуктов и услуг, квалиметрии в машиностроительном производстве.
контрольная работа [206,4 K], добавлен 13.06.2013Исследование основ построения плоского чертежа и построения сопряжений в очертаниях технических форм. Освоение межфайлового копирования чертежей. Простановка размеров, осевых линий и заполнение основной надписи. Сохранение работы в разных форматах.
лабораторная работа [1,5 M], добавлен 16.11.2010Цели и основные задачи государственной системы обеспечения единства измерений. Основные принципы обеспечения единства измерений. Правовая, техническая и организационная подсистемы. Государственная метрологическая служба, ее территориальные органы.
контрольная работа [958,9 K], добавлен 16.04.2011Методика разработки электропривода для механизма передвижения тележки. Порядок и обоснование выбора оптимальной системы управления с учетом технико-экономических показателей. Основные этапы проверки выбранной системы на отработку заданных перемещений.
курсовая работа [1,4 M], добавлен 09.01.2010- Расчет технологических показателей системы инженерной защиты окружающей среды печи обжига известняка
Экспоненциальный закон. Определение показателей надежности комплекса защиты окружающей среды при постоянном резервировании элементов. Исходные данные для определения количественных показателей надежности, системы инженерной защиты атмосферного воздуха.
курсовая работа [434,8 K], добавлен 09.03.2013 Модернизация конструкции хлебопекарной печи для обеспечения заданных параметров производительности. Анализ современного хлебопекарного оборудования. Классификация тестоприготовительных машин. Монтаж, ремонт и эксплуатация тестоприготовительного агрегата.
курсовая работа [334,8 K], добавлен 10.03.2013Сведения об объекте. Электрическая принципиальная схема. Приёмно-контрольный прибор Аккорд-512. Монтаж технических средств сигнализации. Монтаж технических средств для охраны периметра и территории объекта. Типы извещателей и их описания. Расчёты.
дипломная работа [1,2 M], добавлен 20.06.2007Характеристика котельной, описание и конструктивные характеристики котла БКЗ-75-39ФБ. Выбор оптимального варианта системы золошлакоудаления. Расчет основных показателей системы золошлакоулавливания. Компоновка системы газоочистки и выбор дымососов.
курсовая работа [1,0 M], добавлен 25.03.2015Статическая обработка данных исследования кернов и схематизация круговой залежи. Гидродинамические расчеты показателей разработки нефтяных месторождений на жестко-водонапорном режиме. Процесс обводнения по методике БашНИПИнефть при неоднородности пластов.
контрольная работа [140,9 K], добавлен 12.03.2015Обоснование выбора модели внедрения. Разработка функциональных требований к системе, связанных с процессом "Обработка входящего звонка", "Страховой случай", "Идентификация клиента", "Интерес к продукту". Пример системной реализации ключевых сущностей.
курсовая работа [1,1 M], добавлен 22.09.2016Значение уровня технической оснащенности производства для обеспечения охраны труда на примере производственного республиканского унитарного предприятия "Минский завод колесных тягачей". Задачи инновационного развития: механизмы и средства их применения.
реферат [29,8 K], добавлен 19.04.2010Показатели качества продукции. Особенности показателей назначения и надежности. Эргономические и патентно-правовые показатели. Показатели качества услуг. Особенности выбора номенклатуры показателей. Безопасность, транспортабельность и технологичность.
лекция [1,0 M], добавлен 01.05.2014Тепловые сети - один из самых ответственных и технически сложных элементов системы трубопроводов. Методика определения расхода сетевой воды для бесперебойного обеспечения теплоснабжения. Специфические особенности построения пьезометрического графика.
дипломная работа [747,1 K], добавлен 10.07.2017Основные метрологические показатели системы измерений количества и показателей качества нефти нефтегазодобывающего управления. Проведение исследования функциональной схемы автоматизации. Характеристика радиоизотопных измерителей содержания газа в нефти.
дипломная работа [3,6 M], добавлен 05.08.2019Исследование системы автоматического регулирования на устойчивость. Нахождение передаточного коэффициента системы и статизма системы. Построение кривой переходного процесса и определение показателей качества. Синтез системы автоматического регулирования.
курсовая работа [757,3 K], добавлен 26.08.2014Определение кода по общероссийскому классификатору продукции, показателей качества выбранного объекта, коэффициентов весомости единичных и комплексных (интегральных) показателей качеств. Расчет интегральных показателей. Проведение экспертной оценки.
аттестационная работа [634,3 K], добавлен 12.12.2010
