Отказоустойчивое соединение интернета для компьютерного клуба

Размещено на http://www.allbest.ru/

ВВЕДЕНИЕ

Данная курсовая работа посвящена разработке специализированной распределенной операционной системы реального времени для отказоустойчивых ВС с рангом отказоустойчивости N(N-1), что означает способность системы функционировать даже в том случае, если произойдут отказы всех элементов системы за исключением одного.

Как правило, системы реального времени создаются для решения определенного класса задач, чаще - определенной группы задач. Но у всех подобных систем есть ряд общих требований и качеств, которыми они характеризуются. Это позволяет проводить соответствующие исследования и искать новые пути решения проблем, общих для систем реального времени. Одним из самых важных качеств является отказоустойчивость системы.

Цель курсовой работы: обеспечить отказоустойчивое соединение для компьютерного клуба.

Задачи курсовой работы:

Изучить основные характеристики отказоустойчивости;

Рассмотреть принципы конфигурации и обеспечить отказоустойчивое соединения компьютерной сети;

Спроектировать план здания компьютерного клуба;

Произвести выбор аппаратного и программного обеспечения.

Актуальность данной темы заключается в том, что тема исследования обусловлена высоким потенциалом изучения отказоустойчивости и способы её обеспечения.



1. ОТКАЗОУСТОЙЧИВОСТЬ

1.1 Отказоустойчивость и виды избыточности

Отказоустойчивость - свойство технической системы сохранять свою работоспособность после отказа одной или нескольких её составных частей.

Внесение отказоустойчивости в систему или отдельно взятый компонент всегда нуждается в появлении некоторой избыточности. Избыточность - это наличие в структуре устройства возможностей сверх тех, которые могли бы обеспечить его нормальное функционирование. Избыточность вводится для повышения надёжности работы и для исключения влияния на достоверность передаваемой информации помех и сбоев (в телекоммуникационных устройствах). В основном используется четыре вида избыточности.

Аппаратная избыточность (Hardware Redundancy, более известна как резервирование). Существуют методы постоянного резервирования (синтез избыточных устройств, нечувствительных к определенному количеству ошибок) и методы резервирования замещением (использование системы контроля, которая может действовать непрерывно или периодически, в этом случае говорят, о так называемом функциональном диагностировании). Исключая даже кратковременный простой, постоянное резервирование имеет относительное преимущество по сравнению со второй группой методов, системы при отказах.

Программная избыточность (Software Redundancy) используется для контроля и обеспечения достоверности наиболее важных решений по управлению и обработке информации. Она заключается в сопоставлении результатов обработки одинаковых исходных данных разными программами и исключении искажения результатов, обусловленных различными аномалиями.

Информационная избыточность (Information Redundancy) наиболее присуща телекоммуникационным системам, в которых информация передается многократно. Информационная избыточность заключается в дублировании накопленных исходных и промежуточных данных.

Временная избыточность (Time Redundancy) заключается в использовании некоторой части производительности компьютера для контроля за исполнением программ и восстановления (рестарта) вычислительного процесса, запас времени для повторного выполнения операции (например, двойного или тройного просчёта на вычислительной машине).

Чтобы разобраться в том, как реализуется отказоустойчивость ИТ-систем, как она определяется, из чего складывается и на что влияет, лучше подойти к рассмотрению этого понятия сточки зрения обеспечения непрерывности бизнеса. В настоящее время прослеживается явная тенденция ужесточения требований к информационным системам, обеспечивающим непрерывность бизнеса, и тому есть простое объяснение- цена минуты простоя такой информационной системы с каждым годом увеличивается экспоненциально. При этом быстро растет и число ИТ-систем, которые обслуживают непрерывные бизнес-процессы, и, следовательно, тоже должны функционировать в непрерывном режиме.

Перечислим факторы, влияющие на непрерывность функционирования любой ИТ-системы:

инженерные системы ЦОДа;

административно-организационное обеспечение ИТ-систем;

средства безопасности (включая информационную безопасность);

средства контроля и управления ИТ-инфраструктурой и ПО;

реализация механизма создания резервных копий;

отказоустойчивость аппаратной и программной частей ИТ-системы;

наличие катастрофоустойчивого решения.

Согласно общепринятым представлениям, отказоустойчивость ИТ-системы определяется ее способностью сохранять работоспособность при отказе одного или нескольких компонентов. Исходя из типовой архитектуры ИТ-систем, можно выделить несколько компонентных составляющих общей отказоустойчивости:

отказоустойчивость программного обеспечения (как системного, так и прикладного);

отказоустойчивость аппаратного обеспечения ИТ-системы на уровне логических модулей (например, подсистемы хранения данных);

отказоустойчивость аппаратного обеспечения ИТ-системы на уровне отдельного устройства (например, сервера);

отказоустойчивость отдельных модулей внутри устройства (например, отказоустойчивость конфигурации жестких дисков);

отказоустойчивость отдельной площадки (в случае, если ИТ-система имеет географически распределенную архитектуру).

1.2 Недостатки отказоустойчивых систем

Достоинства отказоустойчивых технических решений очевидны, но также у них существуют и недостатки.

Сложности в обнаружении скрытых отказов резервированных элементов. Например, водитель автомобиля может не заметить, что шина проколота, если используется любая отказоустойчивая система. Проблема может быть решена путём добавления специальной системы для обнаружения отказов (в случае шины, система следит за давлением в камерах и предупреждает водителя, если оно падает). Альтернативой может служить назначение осмотров и проверок для выявления и предупреждения скрытых отказов и повреждений, например осмотр водителем шин на каждой остановке автотранспорта.

Сложности-в-контроле-множественных-отказов.

Отказоустойчивость одного элемента может мешать обнаружению отказов в другом. Например, если часть B выполняет некую операцию на основе данных из части A, то работающая часть В может скрыть проблему, возникшую в А. Если в дальнейшем часть В будет заменена на менее надёжную, то система может внезапно отказать, при этом будет казаться, что проблема заключается в новой части В. И только после тщательной проверки системы станет ясно, что проблема была в части А.

Повышение рисков игнорирования известных отказов. Даже если оператор знает о наличии отказа резервированного элемента отказоустойчивой системы, он может медлить с его устранением, так как система работает. Это в итоге приведёт к полному отказу системы, когда откажут все элементы избыточности.

Сложность проверки. Для некоторых крайне важных отказоустойчивых систем, таких как ядерный реактор, нет простого пути, чтобы удостовериться, что резервированные элементы находятся в рабочем состоянии. Печально известным примером служит Чернобыльская авария, когда операторы проверяли аварийную систему охлаждения путём отключения основной и вспомогательной систем. Аварийная система не выдержала, что вылилось в перегрев ядра и большой выброс радиации.

Рост затрат. Меры в области отказоустойчивости увеличивают стоимость жизненного цикла системы вследствие роста затрат на разработку и испытания, роста массы и материалоемкости, цены системы, затрат на дополнительное техническое обслуживание и ремонт и др. Например, пилотируемые космические корабли имеют больше резервированных систем и элементов, что увеличивает их вес по сравнению с беспилотными аппаратами, которые не требуют такого уровня отказобезопасности.

Риск применения элементов низкого качества. Отказоустойчивая архитектура может позволить использование некачественных составных частей, которые в противном случае сделали бы систему неработающей. Хотя эта практика может использоваться для ограничения роста расходов, использование нескольких таких частей может понизить надёжность системы и вызвать рост неплановых затрат на стадии.

1.3 Программное обеспечение

Выбор программного обеспечения и фирм-разработчиков программного обеспечения имеет принципиальное значение.

Большинство предприятий используют второй вариант - приобретение готовой прикладной программы.

К выбору прикладной проблемно-ориентированной системы из множества имеющихся на рынке нужно подходить обдуманно и взвешенно. Необходимо собрать информацию в своем регионе о фирмах, предоставляющих услуги по автоматизации управления, и о программных продуктах, поставляемых ими. Источниками информации могут быть рекламные объявления, публикации в периодической литературе, выставки программного обеспечения, советы знакомых, которым вы доверяете, консультации независимых специалистов.

В принципе невозможно создать управленческую, бухгалтерскую программу, которая была бы пригодна всем пользователям. При выборе нужно учитывать многие аспекты:

Необходимо выбирать лицензионную программу известного производителя, достаточный срок работающего в этой отрасли. Программа должна успешно работать на предприятиях данной отрасли.

Функции программы определяются исходя из целей создания системы, постановки задачи.

Необходимо учитывать отраслевую специфику предприятия и подбирать систему не универсальную, а предназначенную для данной отрасли.

Размеры предприятия. Программы для небольших предприятий не могут учесть все потребности крупных предприятий. Программы для крупного предприятия на малом не будут эффективно использоваться, так как сложны и многофункциональны, имеют высокую цену. Нужно выяснить максимальное количество рабочих мест, которое должно превышать сегодняшнюю потребность.

Необходимый аспект - наличие качественного сопровождения. Оно может осуществляться производителем или его партнерами. В договоре на обслуживание указывают виды предоставляемых услуг - установка, настройка, внедрение, консультации, обучение, предоставление новых версий и релизов, доработка и исправление ошибок. Нужно учесть условия, на которых они оказываются: стоимость, место обслуживания - с выездом или нет, сроки, они могут зависеть от количества работников фирмы.

Немаловажное значение имеет возможность настройки, доработки программы. Но не стоит переоценивать рекламируемые возможности изменения программы. Небольшое изменение может затронуть многие элементы программы. Значительные изменения могут привести к следующим последствиям:

предоставляемые бесплатно фирмой-разработчиком новые версии и релизы будут несовместимы с внесенными изменениями, то есть все изменения в законодательстве придется вносить в программу самостоятельно;

возникает зависимость от специалиста, доработавшего программу, все дальнейшие изменения программы может производить только этот специалист;

значительная доработка программы может оказаться дороже, чем приобретение друг ой, более подходящей программы.

Любая управленческая, бухгалтерская программа является элементом информационной системы и тесно взаимосвязана со многими другими ее элементам, в первую очередь - с техническим, информационным и организационным обеспечением и персоналом.

Каждая программа представляет определенные требования к техническим параметрам компьютера- объему памяти (оперативной, постоянной), процессору, к сети.

При выборе программы нужно учитывать численность персонала предприятия,-объем-и-номенклатуру-товарооборота,-сложностьдокументооборота.

Необходимо выяснить, как осуществляется защита данных - разделение доступа, резервное копирование.

Следует учитывать, можно ли организовать АРМ для каждого пользователя? Какие изменения в организации их работы вызовет внедрение новой системы? Программа должна быть проста и удобна в работе, а персонал - достаточно квалифицированным и обученным.



2. ПРИНЦЫПЫ КОНФИГУРАЦИИ ОТКАЗОУСТОЙЧИВОГО СОЕДИНЕНИЯ

2.1 Территориальная распределенность

отказоустойчивость компьютерный клуб

Если серверы предприятия расположены, например, в одном помещении, то не исключена возможность одновременного выхода их из строя в случае какой-либо аварии и т. п. Если сеть передачи данных построена с дублированием линий связи и частично они проходят по одной трассе, то повреждение этого участка приведет к отказу как основного, так и резервного канала связи. Если резервное копирование проводить на устройство, расположенное в одном шкафу с сервером, то пожар может уничтожить как сам сервер, так и резервную копию.

Иными словами, при проектировании информационной системы следует учитывать особенности размещения ее элементов и предусматривать меры, позволяющие восстановить данные при любых ситуациях.

2.2 Центры обработки данных

Для размещения вычислительных мощностей информационной системы принято использовать специально подготовленные помещения, в которых обеспечивается оптимальный режим работы оборудования. Такие объекты принято называть центрами обработки данных (ЦОД).

Существует несколько уровней оснащенности ЦОД. Если говорить о третьем уровне надежности, то для него предусматривается полное дублирование всех систем жизнеобеспечения. Иными словами, ЦОД должен продолжать нормальное функционирование при выходе из строя или при выключении на обслуживание любого узла. Это очень серьезное требование, реализуемое путем тщательного проектирования. В результате стоимость такого ЦОД (строительные работы, системы кондиционирования, электропитания, контроля доступа, аварийного освещения и т. д.) усредненно составляет 25 000$ за 1 м2.

В Сети можно легко найти подробные рекомендации по оснащению ЦОД. Поэтому мы кратко рассмотрим только основные положения. Естественно, что требования к ЦОД в каждом конкретном случае должны быть разумно откорректированы.

2.3 Резервирование электроснабжения ЦОД

ЦОД обязательно оборудуется системой резервного электроснабжения. Главным параметром является максимальное время автономной работы. Поскольку потребляемая мощность ЦОД часто составляет десятки киловатт, то даже незначительное увеличение времени автономной работы приводит к серьезному удорожанию решения. При необходимости автономной работы свыше 30 минут обычно единственным решением становится установка дизель-генератора с автоматическим запуском.

В результате разработчики применяют различные ухищрения, позволяющие снизить расходы. Например, использование больших буферных резервуаров теплоносителя позволяет отключать сами кондиционеры на время пропадания электричества, в результате снижается существенно мощность системы резервного электропитания (в автономном режиме в этом случае необходимо будет записывать только вентиляторы и насосы теплоносителя).

Кроме того, можно ввести различные категории оборудования ЦОД и не поддерживать функционирование наименее важных подсистем в автономном режиме и т.д.



2.4 Отказоустойчивая топология сети передачи данных

Принцип создания отказоустойчивой сети достаточно прост: линии связи должны быть дублированы (причем трассы не должны проходить по одним и тем же участкам), а активное оборудование - резервировано. Понятно, что это вдвое удорожает инфраструктуру, поэтому данный принцип реализуют на уровнях распределения, ядра и подключения серверной фермы, а оконечные устройства- пользовательские станции-подключают к коммутатору нерезервированной линией связи.

Отказоустойчивые схемы, несмотря на кажущуюся простоту, требуют предварительного проектирования, выбора оборудования и его тщательной настройки. При этом в зависимости от выбранного варианта конфигурации может потребоваться использование протоколов, которые не поддерживаются относительно дешевыми моделями оборудования.

Простое соединение двух коммутаторов двумя кабелями создаст кольцо, которое недопустимо в сети Ethernet. Результатом станет широковещательный шторм и практическая неработоспособность сегмента сети. Поэтому создание отказоустойчивых решений требует проектирования и первоначальной настройки активного оборудования. У коммутаторов, предназначенных для использования на уровне доступа, обычно по умолчанию включены протоколы, которые "разорвут" такое кольцо. Коммутаторы уровня ядра не имеют подобных настроек, поэтому возникновение кольца быстро приведет к падению сегмента сети.

Существует два варианта построения отказоустойчивой сети с дублированными каналами. Первый вариант использует протоколы, работающие на втором уровне модели OSI. Второй основан на протоколах маршрутизации третьего уровня модели OS.



2.5 Время восстановления структуры сети

Добиться малого времени восстановления передачи данных после единичной аварии сети очень сложно. На основе использования открытых стандартов реально достичь восстановления обслуживания за период не более 3-5 секунды.

Использование проприетарных технологий может сократить данный период менее чем до 1 секунды. Однако к подобным прогнозам следует относиться крайне осторожно: часто даже крупные вендоры в маркетинговых целях презентуют крайне низкие значения периода восстановления, не делая акцента на тех специальных условиях, при которых получен такой показатель. Если отказ внутри шассийного коммутатора может быть парирован за данную величину, но на восстановление после другой неисправности требуется несколько секунд, то сеть в целом будет характеризоваться именно наихудшим показателем.

Администраторы советуютв первую очередь, больше проверять, чем доверять маркетинговым предложениям. Изучать базовые документы по используемым технологиям, читать технические описания оборудования, обращая внимания на любые оговариваемые особенности. Во-вторых, стараться быть в курсе тестов, проводимых независимыми лабораториями, такими как Tolly Group обращая при этом внимание на условия проведения теста.

В-третьих, просчитывать необходимые параметры для конфигурации именно вашей сети. Каждая конфигурация индивидуальна, и не факт, что лучшее решение для идеальной лаборатории окажется таковым в реальной ситуации.



2.6 Схема отказоустойчивости коммутаторов

Коммутаторы, расположенные в серверной стойке, для обеспечения отказоустойчивости объединяются в стек StackingSwitch. Это достигается перекрестным соединением портов стекирования таким образом, что при выходе из строя любого коммутатора, оставшиеся будут друг для друга доступны по альтернативному пути. Соединения внешней сети L2 и канала VPN подключаются в разные коммутаторы, для сохранения подключения к сети при выходе из строя коммутатора. Переключение прохождения трафика происходит полностью в автоматическом режиме.

Коммутаторы доступа обслуживают следующие подсистемы: ClientLan, ClientPhone и ClientWiFi. Подключение персональных компьютеров осуществляется на коммутаторы Switch1 (Extreme Summit X440-48t) и Switch2 (Extreme Summit X440-48t). IP-телефоны, используя технологию PoE, коммутируются на Switch3 и Switch4 (Extreme Summit X440-48p). Подсистема ClientWiFi на данных коммутаторах присутствует логически и подключается через контроллер Wi-Fi на порт коммутатора Switch3.

Для каждой подсистемы выделен свой VLAN и своя подсеть. Каждая подсистема имеет свой список доступа к другим подсетям (подсистемам).

При отказе одного из коммутаторов произойдет потеря связи только у ПК, непосредственно подключенных к данному коммутатору, не повлияв на работоспособность остальных. При выходе из строя коммутатора Switch1 (или канала L2) связь с подсистемой ClientCloud останется по каналу VPN. При отказе коммутатора Switch2 будет использоваться основной канал L2. При выходе из строя коммутатора Switch3 часть телефонов отключится, однако, кроссировкой предусмотрено, что в одном кабинете телефоны кроссируются на разные коммутаторы Switch3 и Switch4, и поэтому кабинет без связи не останется, т.е. часть телефонов будут работать.

После замены вышедшего коммутатора и ввода его в стек, к нему применяется единая стековая конфигурация. На случай выхода из строя коммутаторов или портов, к которым подключены магистрали, в стеке предусмотрены порты-партнеры, которые позволят, вручную переключив магистральный кабель, возобновить работу именно через необходимый канал.



3. КОМПЬЮТЕРНЫЙ КЛУБ

Компьютерный клуб - это публичное заведение, предоставляющее доступ к Интернету. Обычно в интернет-кафе можно также перекусить, выпить кофе (или другие напитки), пообщаться и поиграть в видеоигры. В некоторых заведениях доступ к Интернету осуществляется без оплаты и включается в стоимость входа.

Компьютерные клубы очень удобны для тех, кто не имеет дома персонального компьютера с доступом к Интернету, или для тех, кто оказался в чужом городе и хочет, например, написать письмо домой. На рисунке 1 изображен план компьютерного клуба с топологией шина.

Рисунок 1 - План компьютерного клуба

Из техники в клуб потребуется:

Компьютеры

Мониторы

Клавиатуры

Компьютерные мыши

Наушники

Принтер

Игровая приставка

Коммутаторы

Сетевые кабели и разъемы

Сетевые карты

В таблице 1 показана сумма всего необходимого оборудования для компьютерного клуба.

Таблица 1 - Необходимое оборудование для компьютерного клуба

Наименование	Количество	Цена за1шт.	Обшая сумма
Компьютер	33	35000	1155000
Монитор	33	10 000	330000
Клавиатура	33	550	18150
Компьютерная мышь	33	150	4950
Сетевые кабели	15	1000	15000
Коммутаторы	5	5000	25 000
Сетевые карты	33	500	16 500
Телевизор	1	20000	20000
Наушники	30	1000	30000
Принтер	1	8000	8000
Кассовый аппарат	1	8000	8000
Приставка XBOX	1	15000	15000
Сигнализация	1	5000	5000
Итого:			1650 600

3.1 Отказоустойчивость сети

В нашем компьютерном клубе использовались промышленные маршрутизаторы mGuardот Phoenix Contact.Они способны обеспечить отказоустойчивую систему периметральной защиты ПС, при этом резервировать можно не только устройства, но и канал передачи данных.

В условиях многовекторных атак в качестве средств защиты внешнего периметра сети хорошо зарекомендовали себя промышленные маршрутизаторы mGuard. Устройства серии mGuard поддерживают следующие основные функции:

функции межсетевого экранирования с контролемсостояний сетевых соединений;

контроль подключений, на уровне MAC-, IP-адресов;

контроль неавторизованного доступа (UserFirewall);

организацию защищённых каналов связи в стандарте VPN/IPsec;

поддержка NAT, NAT 1:1;

защита от DDoS-атак и сетевого шторма;

Anti-spoofing;

VLAN

Общая схема реализации отказоустойчивого кластера с использование ммаршрутизаторов mGuard, а также схема распределения IP-адресов показана на рисунке 2.



Рисунок 2 - Схема распределения адресов

3.2 Как мы обеспечиваем отказоустойчивость сети

В целях отказоустойчивости связи оборудования с подсистемой облака клиента предусматриваются две линии связи - основная (канал L2) и резервная (VPN через Интернет). Оборудование, расположенное на узле ЛВС в целях обеспечения бесперебойной работы сети подключается к источнику бесперебойного питания. Для создания отказоустойчивой системы коммутаторы объединяются в стек - StackingSwitch. На рисунке 3 показана схема подключения клиента к облаку.



Рисунок 3 - Схема подключения клиента к облаку

Подключение объекта к сети производится при помощи двух независимых каналов связи - L2 (основной канал) и VPN через интернет (резервный). Логическая схема представлена на рисунке. Для обеспечения наибольшей отказоустойчивости операторы L2 и оператор сети интернет различны, либо используется независимое (различное) активное оборудование оператора. Доступ к сети интернет для ПК, принтеров, IP-телефонов, сети устройств Wi-Fi и других устройств происходит посредством данного подключения к сети интернет.

При пропадании основного канала L2 происходит переключение таблицы маршрутизации на коммутаторе третьего уровня, и трафик начинает проходить через резервный канал - VPN-канал. Данное переключение происходит посредством динамического протокола маршрутизации RIP версии.

При потере канала с доступом в интернет, основной канал остается в работе. Пропадает возможность поднятия резервного VPN-канала, а так же доступ в сеть интернет для пользователей ПК и устройств Wi-Fi сети. Организация VPN канала происходит посредством существующего подключения к сети интернет через оператора связи.

Защищенный VPN организуется посредством аппаратной реализации, используя оборудование Cisco ASA5505, задействовав технологии Site-to-site, IPsec.



ЗАКЛЮЧЕНИЕ

Эпоха компьютерных клубов началась в конце 90-х. Они были везде - в подвалах, в наспех оборудованных залах полузаброшенных корпусов больниц и даже в институтских аудиториях, как клуб «Армагеддон», спрятавшийся в 8-м корпусе Политеха. Именно тогда появилось такое понятие, как киберспорт со своими чемпионатами, турнирами и героями. Кто-то из того поколения связал свою жизнь с компьютерными играми, кто-то отправился в армию, вылетев из техникумов или институтов, а кто-то просто пережил этот период, «переболев» и найдя новое увлечение. Но одно можно сказать точно - этот период оставил след в жизни каждого из участников.

В данной курсовой работы было рассмотрено отказоустойчивое соединение, его настройка, изучили отказоустойчивую топологию сети, изучили основные характеристики отказоустойчивости, рассмотрели принципы конфигурации отказоустойчивого соединения, спроектировали план здания компьютерного клуба и произвели выбор аппаратного и программного обеспечения.

Цели, поставленные в данной курсовой работе, были достигнуты, задачи решены.



СПИСОК ИСПОЛЬЗУЕМОЙ ЛИТЕРАТУРЫ

1. BicAT (Biclustering Analysis Toolbox) [Электронный ресурс] / ETH Zurich. Режим доступа: http://people.ee.ethz.ch/~sop/bicat/-дата обращения: 25.02.21.

2. EAST [Электронный ресурс] / Python PackageIndex. Режим доступа:https://pypi.python.org/pypi/EAST/-дата обращения: 10.03.21.

3. FABIA Biclustering Software [Электронный ресурс] / Institute ofBioinformatics, Johannes Kepler University Linz. Режим доступа:http://www.bioinf.jku.at/software/fabia/fabia.html/-дата обращения: 03.03.21.

4. Flask (A Python Microframework) [Электронный ресурс] / Armin Ronacher. Режим доступа: http://flask.pocoo.org/- дата обращения: 10.03.21.

5. HadoopMapReduce [Электронный ресурс] / Apache. Режим доступа:http://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html/-датаобращения: 10.03.21

6. IEEE Xplore Digital Library [Электронный ресурс] / IEEE. Режим доступа:http://ieeexplore.ieee.org/-дата обращения: 10.03.21.

7. The MIT License [Электронный ресурс] - Open Source Initiative. Режим доступа:http://opensource.org/licenses/mit-license.php/-дата обращения: 10.03.21.

8. ThePiPArecommendedtoolforinstallingpythonpackages [Электронный ресурс] - Режим доступа: https://pypi.python.org/pypi/pip/-датаобращения: 10.03.21.

9. Структура программного модуля [Электронный ресурс]-Режим доступа: http://samoychiteli.ru/ - Дата обращения 02.03.2021.

10. Мониторинги-управления-инженерными-системами-зданий-и-сооружений --- [Электронный-ресурс] - Режим-доступа:https://www.kp.ru/guide/monitoring i upravlenieinzhenernymisistemami.ht-ml- Дата обращения 02.03.2021.

11. Архитектура систем, Карта знаний [Электронный ресурс] - Режим доступа: https://kartaslov.ru -Дата обращения 27.02.2021.

12. Foundation-Fieldbus-Site-[Электронный-ресурс]--Режим-доступа: http://fieldbus.narod.ru/- Дата обращения 10.03.2021.

13. «Техносфера»-системы безопасности зданий[Электронный ресурс]-Режим доступа: https://www.ivtechno.ru/- Дата обращения 02.11.2020.

14. Наука и техника [Электронный ресурс]-Режим доступа: https://www.km.ru/- Дата обращения 10.03.2021.

15. Проверка работоспособности макета, студопедия [Электронный ресурс]--Режим-доступа:-https://studopedia.ru/22_111804_struktura-programmnogo-modulya.html---Дата обращения 03.03.2021.

Размещено на Allbest.ru

...