Организация администрирования параллельных процессов

Сущность и особенности высокопроизводительной сетевой системы Beowulf. Характеристики узлов кластера, использование "связывания каналов". Понятие и преимущества ParallelKnoppix, аппаратная платформа кластера. Применение полнодуплексного Fast Ethernet.

Рубрика Программирование, компьютеры и кибернетика
Вид статья
Язык русский
Дата добавления 17.06.2018
Размер файла 144,7 K

Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже

Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.

Размещено на http://www.allbest.ru/

2

Труды университета

Организация администрирования параллельных процессов

Т.Л. Тен

За основу проектирования кластера взята высокопроизводительная сетевая система Beowulf. Beowulf (Beowolf) - кластер, состоящий из широко распространённого аппаратного обеспечения и работающий под управлением операционной системы, распространяемой с исходными кодами (например, GNU/Linux или FreeBSD). beowulf кластер аппаратный

Особенностью такого кластера также является масштабируемость, то есть возможность увеличения количества узлов системы с пропорциональным увеличением производительности. Узлами в кластере могут служить любые серийно выпускаемые автономные компьютеры, количество которых может быть от 2 до 1024 и более. Такой кластер имеет гетерогенную структуру. В него могут входить самые разнообразные по параметрам компьютеры, построенные на различных аппаратных платформах, например Intel Pentium различных версий, Alpha, RISC-процессоры, Transme-ta, 32- и 64-битовые процессоры. Более того, на компьютерах в кластере могут быть установлены самые различные системы: Linux, Windows, OS/2 WARP.

Аппаратная платформа кластера кафедры ВТиПО однообразна. Структура разрабатываемого кластера представлена на рисунке.

Структура кластера кафедры ВТиПО

В данном виде кластеров можно выделить следующие основные особенности:

- кластер состоит из нескольких отдельных узлов, объединенных в общую сеть, общие ресурсы узлами кластера не используются;

- оптимальным считается построение кластеров на базе двухпроцессорных SMP систем;

- для уменьшения накладных расходов на взаимодействие между узлами применяют полнодуплексный 100 MB Fast Ethernet (реже используют SCI), создают несколько сетевых сегментов или соединяют узлы кластера через коммутатор;

- в качестве программного обеспечения применяют ОС Linux и бесплатно распространяемые коммуникационные библиотеки (PVM и MPI).

Это - или однопроцессорные ПК, или SMP-серверы с небольшим числом процессоров (2-4, возможно до 6). По некоторым причинам оптимальным считается построение кластеров на базе двухпроцессорных систем, несмотря на то, что в этом случае настройка кластера будет несколько сложнее (главным образом потому, что доступны относительно недорогие материнские платы для 2 процессоров Pentium II/III). Стоит установить на каждый узел 64-128MB оперативной памяти (для двухпроцессорных систем 64-256MB).

Одну из машин следует выделить в качестве центральной (головной), куда следует установить достаточно большой жесткий диск, возможно более мощный процессор и с большей памятью, чем на остальные (рабочие) узлы. Имеет смысл обеспечить (защищенную) связь этой машины с внешним миром.

При комплектации рабочих узлов вполне возможно отказаться от жестких дисков, эти узлы будут загружать ОС через сеть с центральной машины, что, кроме экономии средств, позволяет сконфигурировать ОС и все необходимое ПО только 1 раз (на центральной машине). Если эти узлы не будут одновременно использоваться в качестве пользовательских рабочих мест, нет необходимости устанавливать на них видеокарты и мониторы. Возможна установка узлов в стойки (rackmounting), что позволит уменьшить место, занимаемое узлами, но будет стоить несколько дороже.

Возможна организация кластеров на базе уже существующих сетей рабочих станций, т.е. рабочие станции пользователей могут использоваться в качестве узлов кластера ночью и в выходные дни. Системы такого типа иногда называют COW (Cluster of Workstations).

Количество узлов следует выбирать исходя из необходимых вычислительных ресурсов и доступных финансовых средств. Следует понимать, что при большом числе узлов придется также устанавливать более сложное и дорогое сетевое оборудование.

Основные типы локальных сетей, задействованные в рамках проекта Beowulf, - это Gigabit Ethernet, Fast Ethernet и 100-VG AnyLAN. В простейшем случае используется один сегмент Ethernet (10Mbit/sec на витой паре). Однако дешевизна такой сети вследствие коллизий оборачивается большими накладными расходами на межпроцессорные обмены, а хорошую производительность такого кластера следует ожидать только на задачах с очень простой параллельной структурой и при очень редких взаимодействиях между процессами (например, перебор вариантов).

Для получения хорошей производительности межпроцессорных обменов используют полнодуплексный Fast Ethernet на 100 Mbit/sec. При этом для уменьшения числа коллизий устанавливают или несколько «параллельных» сегментов Ethernet, или соединяют узлы кластера через коммутатор (switch).

Более дорогостоящим, но также популярным вариантом является использование коммутаторов типа Myrinet (1.28 Gbit/sec, полный дуплекс).

Менее популярными, но также реально используемыми при построении кластеров сетевыми технологиями, являются технологии с LAN, SCI и Gigabit Ethernet.

Иногда для связи между узлами кластера используют параллельно несколько физических каналов связи, так называемое «связывание каналов» (channel bonding), которое применяется обычно для технологии Fast Ethernet. При этом каждый узел подсоединяется к коммутатору Fast Ethernet более чем одним каналом. Чтобы достичь этого, узлы оснащаются либо несколькими сетевыми платами, либо многопортовыми платами Fast Ethernet. Применение связывания каналов в узлах под управлением ОС Linux позволяет организовать равномерное распределение нагрузки приема/передачи между соответствующими каналами.

Построение кластерной системы класса Beowulf реализуется на существующих рабочих станцих при лаборатории Tempus DESAS кафедры ВТиПО. Характеристики этих компьютеров представлены в таблице.

Использование в качестве узла кластера рабочих станций позволяет использовать задействованные аппаратные ресурсы как отдельно, так и в составе кластера.

В качестве центрального компьютера кластера сервера используется 4-ядерный процессор с параметрами, описанными в таблице 2. Для разработки кластера кафедры ВТиПО используются новые драйверы, в первую очередь для сетей Fast Ethernet и Gigabit Ethernet, и обеспечена возможность логического объединения нескольких параллельных сетевых соединений между персональными компьютерами (аналогично аппаратному связыванию каналов), что позволяет из дешевых локальных сетей, обладающих низкой пропускной способностью, соорудить сеть с высокой совокупной пропускной способностью.

После объединения всех машин в сеть и установки операционной системы необходимо произвести установку библиотеки для параллельного программирования и выполнения параллельных программ. Такие библиотеки называются коммуникационными библиотеками. Наиболее распространенным интерфейсом параллельного программирования в модели передачи сообщений является MPI.

Для кластеров на базе коммутатора разработана система PVM, куда также входит реализация MPI. Для эффективной организации параллелизма внутри одной SMP-cистемы возможны два варианта: для каждого процессора в SMP-машине порождается отдельный MPI-процесс, на каждой машине запускается только один MPI-процесс. Внутри каждого MPI-процесса производится распараллеливание в модели «общей памяти», например, с помощью директив OpenMP.

ParallelKnoppix - это модификация хорошо известного Linux-дистрибутива Knoppix live CD, которая позволяет установить кластер компьютеров для выполнения параллельных вычислений с использованием LAM-MPI и/или MPICH реализаций интерфейса MPI или параллельных виртуальных машин PVM. Если сетевые карты имеют возможность осуществлять PXE-загрузку, то запуск и конфигурация кластера занимают около 5 минут. Поддерживаются кластеры, содержащие от 2 до 200 машин. Руководство содержит детальные и пошаговые инструкции по установке и настройке кластера.

Debian Cluster Components (DCC) - это набор инструментов для максимально простого построения, управления и развертывания высокопроизводительного Linux-кластера. Набор состоит из следующих системных компонентов: инсталляционный набор, C3, система очередей TORQUE, OpenLDAP и Ganglia. Набор Debian-пакетов обеспечивает полные функциональные возможности главной консоли кластера.

DCC/Live - основанный на Knoppix загрузочный CD, который обеспечивает виртуальную инфраструктуру Linux-кластера на единственном компьютере. Консоль кластера (front-node) и три виртуальных вычислительных узла (work-nodes), запускаемых с помощью механизма User Mode Linux, доступны пользователю после загрузки системы. Планировщик очередей заданий и другие специфические сервисы кластера предустановлены в системе и не требуют дополнительной настройки. Этот проект главным образом разработан для образовательных целей. Примеры параллельных программ и инструкции включены в состав CD.

Этот набор программ, названный SCE (Scalable Computing Environment), состоит из инструментального набора для построения кластера, комплексной системы управления (SCMS), масштабируемой системы контроля в реальном времени, Web-ориентированной системы мониторинга (KCAP), параллельных версий Unix-команд и планировщика задач.

Характеристики узлов кластера

Тип ЦП

Intel Pentium III, 2666 MHz (9 x 296)

Дисковый накопитель

ST31000340AS (931 Гб, IDE)

Видеокарта

GeForce 9600 GT (512 Мб)

Сетевой адаптер

Atheros AR8121/AR8113/AR8114 PCI-E Ethernet Controller

Таблица 2 - Характеристики узлов кластера

Тип ЦП

Intel Pentium 4E, 2800 Mhz (14x200)

Дисковой накопитель

ST3120811AS (111 Гб, IDE)

Видеокарта

NVIDIA GeForce 7100 GS (512 Мб)

Сетевой адаптер

Realtek RTL8168/8111 PCI-E Gigabit Ethetnet NIC

СПИСОК ЛИТЕРАТУРЫ

1. Воеводин В.В., Воеводин Вл.В. Параллельные вычисления. М.: Изд-во МГУ, 2002. 342 с.

2. Антонова А.С. Параллельное программирование с использованием технологии MPI. М.: Изд-во МГУ, 2004. 351 с.

Размещено на Allbest.ru

...

Подобные документы

  • Характеристики вычислительного кластера для тестирования программы, описание библиотек MPI и MKL. Общий вид системы линейных алгебраических уравнений. Использование метода GMRES для построения параллельного переобуславливателя. Сетевой закон Амдала.

    курсовая работа [434,1 K], добавлен 14.11.2012

  • История развития вычислительной техники. Понятие высокой готовности и отказоустойчивости системы. Разработка функциональной схемы отказоустойчивого кластера и структурной схемы виртуального стенда. Технико-экономическое обоснование объекта проектирования.

    дипломная работа [2,7 M], добавлен 26.02.2013

  • Особенности выбора сетевой операционной системы, виды топологии сети и методов доступа. Характеристика кольцевой, шинной топологии и типа "звезда". Сущность технологии Fast Ethernet. Виды сетевого оборудования. Технология коллективного доступа CSMA/CA.

    дипломная работа [1,2 M], добавлен 07.02.2011

  • Пакетный метод как основной способ выполнения коммуникационных операций, его содержание и предъявляемые требования. Оценка трудоемкости операции передачи данных между двумя узлами кластера. Этапы разработки параллельных алгоритмов (распараллеливания).

    презентация [318,1 K], добавлен 10.02.2014

  • Изучение вопросов конфигурации сетей Fast Ethernet. Порядок подключения стандарта Fast Ehternet. Основное отличие аппаратуры 100BASE-T4 от 100BASE-TX. Подключение компьютеров к концентратору с помощью двух разнонаправленных оптоволоконных кабелей.

    лабораторная работа [30,7 K], добавлен 08.12.2010

  • Описание кластерных систем и характеристика библиотек параллелизма. Аналоги PVM. Организация параллельных вычислений. Описание оборудования и программного обеспечения кластера. Гипотеза Гольдбаха. Процесс компиляции собственной программы для работы с PVM.

    курсовая работа [847,2 K], добавлен 05.12.2014

  • Обоснование выбора оптимальных сетевых решений на базе многозадачных операционных систем для построения компьютерной сети стандартов Fast Ethernet с учетом необходимых требований к сети. Методы расчета спроектированной конфигурации сети на корректность.

    курсовая работа [3,1 M], добавлен 06.12.2012

  • Организационная структура предприятия "ЛЕПСЕ", состав сетевых приложений. Выбор конфигурации сети Fast Ethernet, применение сетевой топологии "звезда". Структура кабельной системы сети организации. Проверка работоспособности проектируемой сети.

    контрольная работа [64,3 K], добавлен 10.05.2011

  • Состав и назначение рабочей и сетевой станции. Основы организации и хранения данных на HDD накопителях, использование системы RAID в файловом сервере. Типичная конфигурация сети Ethernet топологии "звезда". Использование оптоволокна для передачи данных.

    курсовая работа [205,6 K], добавлен 27.12.2014

  • Организация, хранение и именование данных на носителях информации в компьютерах с помощью файловой системы. Логические диски в ОС Windows. Корневой каталог. Характеристики файла. Понятия кластера и дефрагментации. Логическая структура носителя информации.

    презентация [1,2 M], добавлен 04.12.2016

  • Структура современных корпоративных сетей. Применение технологии Intranet в корпоративных сетях передачи данных. Принципы их построения и главные тенденции развития. Особенности стандартов Fast Ethernet и Gigabit Ethernet. Технология 100VG-AnyLAN.

    курсовая работа [1,5 M], добавлен 02.07.2011

  • Понятие локальной вычислительной сети. Активное и пассивное сетевое оборудование. Топологии "Шина", "Кольцо", "Звезда". Структурированная кабельная система. Математическая модель компьютерной сети. Основные стандарты реализации Ethernet и Fast Ethernet.

    курсовая работа [441,2 K], добавлен 21.12.2014

  • Кластерные системы, структура и параметры Beowulf. Анализ целесообразности обучения будущих учителей сетевому администрированию и выбор виртуальной машины для обучения. Инструкции по работе с программным обеспечением. Контрольно-измерительные материалы.

    дипломная работа [875,8 K], добавлен 06.01.2009

  • Сетевые стандарты и документация исследуемой вычислительной системы. Версии IPv4 и IPv6, пакеты и их инкапсуляция. Стандарты формирования фреймов Ethernet. Адресация пакетов, типы используемых портов и классов, их технические характеристики и требования.

    курсовая работа [177,2 K], добавлен 23.12.2015

  • Загальні відомості про обчислювальний кластер. Розробка імітаційної схеми кластера, моделі обчислювальної системи, керуючої системи, обчислювального завантаження потоком задач. Схема роботи алгоритмів планування. Результати експериментального дослідження.

    курсовая работа [2,0 M], добавлен 06.09.2011

  • Современные технологии локальных сетей. Методы доступа в локальную вычислительную сеть (ЛВС). Особенности эталонной модели ЛВС. Расчет сети доступа на базе Fast Ethernet. Расчет максимального времени задержки сигналов в каждой компьютерной группе.

    курсовая работа [1,1 M], добавлен 27.03.2012

  • Многоблочный метод решения сложных задач. Программирование параллельных ЭВМ. Алгоритм сокращения критического пути (CPR). Упаковка в контейнеры. Алгоритмы EVAH. Общая архитектура разработанного средства. Первоначальные предложения по отображению.

    дипломная работа [611,5 K], добавлен 15.10.2010

  • Описание стандарта 10-Gigabit Ethernet, принципы его организации и структура, типы спецификации. Отличительные особенности и характеристики от динамики глобальных и локальных сетей. Тенденции и перспективы развития технологии 10-Gigabit Ethernet.

    реферат [27,2 K], добавлен 11.05.2015

  • Сравнительный анализ различных топологий сетей. Исследование элементов структурированной кабельной системы. Методы доступа и форматы кадров технологии Ethernet. Локальные сети на основе разделяемой среды: технология TokenRing, FDDI, Fast Ethernet.

    курсовая работа [1,2 M], добавлен 19.12.2014

  • Понятие и особенности операционной системы UNIX как одной из самых популярных в мире операционных систем, история разработки и развития. Оценка возможности постоянного наращивания мощности кластера путем присоединения дополнительных компьютеров.

    презентация [6,1 K], добавлен 23.10.2013

Работы в архивах красиво оформлены согласно требованиям ВУЗов и содержат рисунки, диаграммы, формулы и т.д.
PPT, PPTX и PDF-файлы представлены только в архивах.
Рекомендуем скачать работу.