В предыдущем разделе мы обсудили конкретный способ превращения локальной сети Windows - машин в виртуальный суперкомпьютер. Способ это далеко не единственный, и, в некоторых отношениях, не самый эффективный. Почему же предлагается именно он? Какие именно проблемы в применении МВС-1000 (всех моделей и вариантов) можно надеяться решить путем использования именно МВС-900?

Проблемы обучения новых пользователей технологиям параллельных вычислений, с одной стороны, и доступа к централизованно предоставляемым, удаленным вычислительным установкам, с другой - общеизвестны. Состоят эти проблемы в том, что параллельная техника дорога, мало доступна и требует от пользователя знаний и навыков, отличных от тех, которыми он уже овладел на своем настольном компьютере. Общеизвестны и технологии преодоления этих проблем.

Если речь идет об обучении, можно воспользоваться имитатором параллельной машины на настольном компьютере, причем степень внешнего сходства (функционального) такого имитатора с настоящей машиной может быть очень высокой. При этом, конечно, ни о каком скоростном выигрыше от параллельного выполнения программ и речи быть не может, то есть предлагается средство исключительно для обучения и отладки.

Если же речь идет об упрощении и удешевлении доступа к реальной многопроцессорной вычислительной мощности, для небольших, вспомогательных и методических расчетов, то для отбора такой мощности из локальной сети Windows - машин существует масса программных технологий. Прежде всего приходят в голову реализации MPI и PVM, специально предназначенные для таких локальных сетей, то есть простейшие программные инструменты для кластеров невыделенных рабочих станций. Существуют и более современные программные системы, позволяющие использовать локальную сеть как суперкомпьютер исключительно в фоновом режиме, с разной степенью прозрачности для пользователей, работающих непосредственно на компьютерах такой сети.

Все эти технологии характеризуются, во-первых, существенным отличием порядка работы пользователя от «железных», аппаратно реализованных, суперкомпьютеров, и во-вторых - заметной дополнительной нагрузкой на службу администрирования и поддержки используемой таким образом локальной сети.

Таким образом, в зависимости от того, хотим мы учиться, или же проводить вспомогательные и методические расчеты, мы можем воспользоваться либо реалистичным, но не настоящим макетом суперкомпьютера, либо суперкомпьютером почти настоящим, но неудобным, трудоемким в использовании и совсем не таким, в смысле порядка работы, как настоящие машины.

В действительности, опыт показывает, что эти две задачи - обучения параллельным вычислительным технологиям и их вспомогательного использования - разделять нельзя. Существует всего лишь одна задача - освоение всего технологического цикла применения суперкомпьютерной техники, от продумывания особенностей параллельной реализации алгоритма до привыкания к конкретному порядку нажатия на клавиши при запуске счета, включая осознание пользователем, на собственном опыте, того, действительно ли ему нужен для его приложений параллельный суперкомпьютер. Задача эта может быть решена только в комплексе. С этой точки зрения способность виртуального суперкомпьютера «понимать» те же команды, что и настоящая машина, не отделима от его способности так же, как и настоящая машина, давать скоростной выигрыш, зависящий от того, сколько сил и времени программист потратил на разработку параллельной программы.

Легко видеть, что МВС-900 - это техническое решение, ориентированное именно на такую технологическую комплексность. Мы не делим пользователей на тех, кто «еще учится», и тех, кто «уже считает», а программные инструменты - на отдельные учебные и отдельные производственные. Предлагается единый инструмент, и инструмент этот - настоящий суперкомпьютер, архитектурно идентичный МВС-1000, а не тренажер, лишь создающий иллюзию параллельных вычислений (и иллюзию обучения им). Одновременно обеспечивается возможность плавного перехода с МВС-900 на малые, а с них - на средние и большие конфигурации «железных» МВС-1000.

Очень важно, с этой точки зрения, еще и то, что МВС-900 обладает очень высокой степенью замкнутости в смысле администрирования и сопровождения. Она не разделяет с локальной сетью, на которой она реализована, ни сетевых адресов, ни дисциплины и прав доступа. Фактически, МВС-900 администрируется совершенно отдельно, причем очень похоже на то, как администрируется настоящая МВС-1000, например, МВС-1000/16. Это очень важно, поскольку организации, планирующие приобретение малых конфигураций МВС-1000, получают возможность заранее подготовить не только пользователей, но и администратора, и на практике оценить сложность и трудоемкость сопровождения установки.

4. МВС-900 и метакомпьютинг.

Еще одна важная область применения МВС-900, на которой хотелось бы остановиться - это бурно развивающиеся в последнее время технологии метакомпьютинга. В идеале развитие этих технологий само по себе должно привести к решению тех проблем, которые мы рассматривали в предыдущем разделе. В наиболее общей постановке, метакомпьютинг предполагает динамическое и прозрачное для пользователя формирование виртуального параллельного компьютера из всевозможных доступных в Сети вычислительных ресурсов. Практически, на сегодняшний день, системы метакомпьютинга распадаются на несколько классов, решающих эту задачу разными способами. На одном полюсе находятся системы объединения небольшого числа очень мощных машин в единый, еще более мощный, виртуальный компьютер (Globus [3]), на другом - системы прозрачного отбора вычислительной мощности в сравнительно больших наборах маломощных компьютеров (Condor [4] и т. п.).

Системы первого класса ориентированы на выполнение классических параллельных программ, системы второго класса - в основном на массовый вариантный счет, причем на задачи с небольшим объемом обрабатываемых данных, но очень большим объемом самой обработки.

Промежуточное место занимают системы прозрачного отбора вычислительной мощности невыделенных локальных сетей, ориентированные на выполнение параллельных программ [5]. Теоретически такие системы могли бы быть полезны именно для решения поставленной нами задачи удешевления и упрощения доступа пользователей к параллельным вычислительным ресурсам. Однако, технологии этого класса пока не очень широко применяются, и тому есть довольно очевидное объяснение. Метакомпьютер, по определению, весьма сложен и трудоемок в поддержании и администрировании. Реальная совокупная себестоимость поддержания инфраструктуры метакомпьютера на мощностях, интенсивно используемых, в основном, для других целей, зачастую выше, чем себестоимость покупки кластера выделенных рабочих станций.

Однако, при использовании в качестве «материала» для создания метакомпьютера не отдельных рабочих станций, а виртуальных кластеров МВС-900, значительная часть проблем со сложностью и трудоемкостью администрирования и сопровождения решается автоматически.

Как мы уже говорили выше, администрирование МВС-900 практически полностью отделено от администрирования локальной сети, на которой она реализована. Все сложные трудоемкие действия по обеспечению безопасности, авторизации, настройке сетевых маршрутов, правил доступа и т. п. выполняются для физических и виртуальных машин независимо. Как следствие, установка «нижнего этажа» метакомпьютера не создает дополнительной нагрузки на администрирование и сопровождение физической вычислительной мощности. Виртуальный кластер, конечно, нуждается в администрировании, но администрировать кластер выделенных рабочих станций гораздо легче, чем метакомпьютер. И уж, конечно, построение метакомпьютера из небольшого числа централизованно управляемых виртуальных кластеров - гораздо более обозримая задача, чем построение системы отбора вычислительной мощности из сети нескольких десятков независимых Windows - станций.

Немаловажно и то, что как пользователь виртуального кластера, так и разработчик «верхнего этажа» - собственно метакомпьютерного программного обеспечения - получают в свое распоряжение машины, не отличимые при сетевом доступе от «настоящих, железных». Так необходимый сегодня экспериментальный материал для обкатки технологий метакомпьютинга (да и параллельных вычислений вообще) оказывается дешевым в двух смыслах:

- во-первых, не требующим выделенной аппаратуры,

- во-вторых, что гораздо важнее, не требующим, в отличие от классических систем метакомпьютинга, дорогостоящих и трудоемких экспериментов с сетевыми настройками и системами авторизации на «живых», эксплуатируемых вычислительных мощностях.

На задаче комплексной «обкатки» технических решений в области метакомпьютинга хотелось бы остановиться чуть подробнее. Представляется, что проблема имеет, как минимум, два аспекта.

Первый, достаточно очевидный, состоит в том, что сами технологии метакомпьютинга нуждаются в широкомасштабных испытаниях с целью выбора наиболее подходящих. Как уже отмечалось, испытания эти на «живых» системах, как правило, неподъемно трудоемки.

Второй, ничуть не менее важный, аспект состоит в том, что успех в применении технологий метакомпьютинга подразумевает коренной пересмотр подхода к методикам распараллеливания. Для метакомпьютера характерны неоднородность коммуникационной среды и «узкие места» в коммуникациях, от которых современные пользователи, «избалованные» высокоскоростными сетями «железных» суперкомпьютеров, уже успели отвыкнуть. Потребуется вернуться к применявшимся на заре параллельных вычислений методикам «щадящего» использования сети, как минимум - достичь четкого понимания того, насколько и при каких условиях те или иные параллельные алгоритмы являются коммуникационно чувствительными. Виртуальный кластер в этом отношении сам по себе является идеальным полигоном, поскольку при виртуализации основные накладные расходы ложатся именно на сеть, а не на быстродействие процессора.

Литература

1. А. В. Забродин, В. К. Левин. Опыт разработки параллельных вычислительных технологий. Создание и развитие семейства МВС. Труды Всероссийской научной конференции «Высокопроизводительные системы и их приложения», Черноголовка, 2000.

2. Г. И. Савин, Б. М. Шабанов, А. В. Забродин, В. К. Левин, В. В. Каратанов, В. В. Корнеев, Г. С. Елизаров. Структура многопроцессорной вычислительной системы МВС-1000М. Труды Всероссийской научной конференции «Высокопроизводительные системы и их приложения», Черноголовка, 2000.

Аннотация

Описывается способ реализации архитектуры многопроцессорного суперкомпьютера МВС-1000 на базе локальной сети персональных ЭВМ под управлением Microsoft Windows. Рассматриваются области применения описанного программного комплекса как в учебных, так и в производственных целях, а также в рамках технологий метакомпьютинга.