Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

ОРДЕНА ЛЕНИНА

ИНСТИТУТ ПРИКЛАДНОЙ МАТЕМАТИКИ им. М.В.Келдыша

Российской Академии Наук

Использование службы директорий LDAP для представления метаинформации в глобальных вычислительных системах

М.К.Валиев, Е.Л.Китаев

Москва, 1999

Аннотация

В работе обсуждаются вопросы, связанные с представлением и использованием метаинформации, которая играет важную роль при организации высокопроизводительных вычислений в глобальной вычислительной среде. Дается описание основных классов объектов вычислительной среды, информация о состоянии которых должна отображаться в форме метаданных. Вводится понятие информационной службы метакомпьютера (ИСМ) и перечисляются основные операции, которые эта служба должна поддерживать. Описывается схема реализации ИСМ на основе службы директорий LDAP. Рассматриваются вопросы использования ИСМ с целью обеспечения различных схем оптимального запуска приложений и планирования вычислений в метакомпьютерной среде.

The paper discusses a wide range of aspects of representing and using metainformation, which plays a significant role in the high-performance wide-area distributed computing. Main classes of computational grid objects are described which should be represented in the form of metadata. The notion of a metacomputing information service (MIS) is introduced and the basic operations are described which must be supported by such a service. An approach to the implementation of MIS is presented which is based on the LDAP directory service. Several aspects of application of MIS are discussed which are connected with the efficient management of computational tasks and planning of computations in the metacomputing environment.

Содержание

• Введение
• 1. Организация метаданных в глобальной вычислительной системе Globus
• 1.1 Схема директории MDS
• 1.2 Организация сбора и актуализации информации в MDS
• 2. Использование ИСМ для поиска вычислительных ресурсов и планирования выполнения заданий
• Заключение
• Список литературы

Введение

В ближайшее время в мире ожидается резкое увеличение производительности глобальных сетей на основе новых телекоммуникационных технологий и применения гигабитных каналов связи. В связи с этим становится возможной постановка задачи создания метакомпьютера - глобальной, географически распределенной вычислительной системы, в которой можно будет объединить ресурсы многих в настоящее время изолированных вычислительных центров.

В появлении такой системы заинтересованы как владельцы вычислительных центров, которые смогут более эффективно использовать имеющиеся вычислительные мощности и, соответственно, получить реальные экономические выгоды, так и пользователи системы, которые смогут при реализации своих ресурсоемких приложений аккумулировать мощности нескольких вычислительных центров.

В системе такого масштаба существенную роль приобретает служба информационного обеспечения (информационная служба метакомьютера, ИСМ), в задачи которой входит предоставление оперативного доступа к различного рода служебной информации (метаинформации), описывающей конфигурацию метакомпьютера, состав и состояние его объектов (вычислительных и сетевых ресурсов).

Главными потребителями метаинформации в глобальной вычислительной системе являются приложения, которые используют эту информацию для обнаружения необходимых ресурсов (например, поиска вычислительного сервера с определенной моделью процессора), выбора оптимального ресурса (например, географически ближайшего вычислительного сервера), планирования вычислений и т.п. Доступ к метаинформации может потребоваться и для реализации различных компонент из состава штатного и нештатного программного обеспечения метакомпьютера (например, для соединения с хостом необходимо по его имени определить соответствующий протокол доступа и сетевой адрес).

Основные группы объектов глобальной вычислительной системы, информация о которых должна отражаться в форме метаданных - это вычислительные центры (сайты), кластеры вычислителей и отдельные вычислители, сетевое оборудование и каналы связи, пользователи системы, приложения и т.д. Метаданные имеют сложную структуру статической и динамической природы. Например, в стандартное описание вычислителя входят:

количество и модель процессоров, параметры оперативной и дисковой памяти;

инсталлированная операционная система и программное обеспечение (трансляторы, вычислительные пакеты, библиотеки подпрограмм и т.д.);

состояние загруженности вычислителя и история изменения этого состояния (текущая загрузка, свободная дисковая и оперативная память и т.д.) ;

описание правил использования вычислителя, установленных организацией - владельцем компьютера.

Наиболее сложные проблемы при создании ИСМ связаны с высокой степенью распределенности метаинформации в глобальной, географически распределенной вычислительной системе. Поставщиками метаинформации являются вычислительные центры (сайты метакомпьютера), в задачу которых входит предоставление в определенном формате и последующая актуализация информации о тех имеющихся у них вычислительных и сетевых ресурсах, которые выделяются ими в распоряжение пользователей метакомпьютера. Информация может поступать также и из других источников, например, от специализированных узлов, осуществляющих мониторинг сетей. Таким образом, общее число поставщиков метаинформации в подобной системе может исчисляться тысячами и даже десятками тысяч.

Одним из наиболее развитых в настоящее время инструментов, призванных обеспечить создание распределенных информационных систем в глобальной сети Интернет, является служба директорий LDAP (Lightweight Directory Access Protocol) [JBH98]. Систематизированное описание службы директорий LDAP, а также вопросы применения LDAP в качестве инструментального средства были подробно рассмотрены авторами в работе [ВКС2000].

Поскольку информационная служба метакомпьютера принадлежит именно к классу распределенных систем, то кажется естественной идея использования LDAP в качестве инструментального средства для ее реализации. Этот подход впервые был предложен авторами проекта Globus.

Globus [WWWGlo], [FK97], [CFK98] представляет собой реально действующий прототип глобальной метакомпьютерной системы, объединяющий в настоящее время вычислительные ресурсы более 100 организаций из различных стран мира. Globus ориентирован на поддержку высоко-эффективных распределенных вычислений (high-performance distributed computing, HPDC). Одной из ключевых компонент в системе Globus является информационная служба MDS (Metacomputing Directory Service) [FFK97], базирующаяся на службе директорий LDAP.

В настоящей работе дается подробное описание этого подхода и, одновременно, проводится анализ достоинств и недостатков, связанных с применением LDAP для реализации информационной службы метакомпьютера. В процессе исследования основное внимание уделяется следующим вопросам:

системе классов, с помощью которых осуществляется представление данных о состоянии вычислительных ресурсов метакомпьютера;

организации процесса сбора, обновления и поиска метаинформации, описывающей доступные вычеслительные и сетевые ресурсы в глобальной вычислительной системе;

использованию ИСМ при организации распределенных вычислений в метакомпьютерной среде.

Первый раздел настоящей работы посвящен описанию системы MDS. В разделе 1.1подробно рассматривается схема MDS-директории. Эта схема включает набор классов объектов, необходимых для представления вычислительных и сетевых ресурсов метакомпьютерной системы. В разделе 1.2 дается представление об организации процесса сбора и актуализации информации, реализуемого в MDS. Здесь же описывается процедура подключения к MDS нового метакомпьютерного сайта на примере сайта ИПМ.

Во втором разделе работы обсуждаются основные способы использования ИСМ при запуске и выполнении приложений в среде метакомпьютера, начиная с простейшего случая, когда при запуске задания явно указываются вычислительные ресурсы, на которых оно должно быть размещено, и переходя к более сложным вариантам, которые включают поиск ресурсов в метакомпьютере и планирование динамического размещения заданий.

В заключении делается попытка определить круг нерешенных на сегодня проблем, которые требуется решить для создания полноценной ИСМ.

1. Организация метаданных в глобальной вычислительной системе Globus

Система MDS представляет собой реально действующий прототип метакомпьютерной информационной службы, разработанной и эксплуатируемой в рамках проекта Globus. На сегодняшний день в MDS аккумулирована информация о вычислительных ресурсах метакомпьютера, предоставленных более 100 вычислительными центрами из различных стран мира. К достоинствам MDS следует отнести, что помимо данных о вычислительных ресурсах как таковых (серверах, рабочих станциях, кластерах), в системе также представлена информация о сетевых ресурсах (конфигурация сети и параметры, описывающие ее производительность). Наличие этой информации позволяет существенно оптимизировать распределенные вычисления, поскольку дает возможность учитывать пропускную способность сети при предварительном планировании размещения вычислительных заданий.

В основе реализации MDS лежит служба директорий LDAP. Для представления метаинформации в Globus организована автономная директория (MDS-директория), которая отличается от обычной директории собственной схемой, расширяющей стандартную схему LDAP набором классов, необходимых для представления элементов глобальной вычислительной системы. Схема MDS будет подробно рассмотрена нами в первой части настоящего раздела.

С технической точки зрения любой LDAP-сервер, на котором установлена схема MDS, может использоваться как MDS-сервер. Верхние уровни директории MDS построены по тому же принципу, что и соответствующие уровни LDAP-директории. На первом уровне расположен объект c именем c=US, а на втором - объект o=Globus,c=US. Оба этих объекта являются по сути фиктивными, поскольку не хранят никакой полезной информации. Все реальные объекты, представляющие метаинформацию, подчинены вершине o=Globus,c=US информационного дерева. Такая организация обеспечивает возможность в будущем интегрировать MDS-директорию в глобальную директорию LDAP.

Поскольку система MDS является приложением над LDAP, она наследует все программное обеспеспечение, имеющееся в службе директорий. В частности ее разработчикам не пришлось тратить дополнительные усилия на реализацию операций поиска, модификации данных, аутентификацию и авторизацию пользователей и т.п. Для этих целей в MDS применяются страндартные пользовательские утилиты и API, принятые в LDAP.

Принципиальное значение имеет то, что основной объем информации в MDS собирается и актуализируется в автоматическом режиме. Для этого реализована необходимая инфраструктура, которая базируется на взаимодействии MDS-сервера и комплекса резидентных программ (демонов), которые устанавливаются на вычислителях, подключаемых к системе Globus. Этот аспект системы MDS рассматривается в разделе 1.2, где будет также проиллюстрирована технология подключения к метакомпьютерной системе Globus вычислительных ресурсов новых организаций.

Основными потребителями метаинформации в глобальной вычислительной системе являются приложения, которые используют эти данные для обнаружения необходимых ресурсов, выбора оптимальных ресурсов, планирования вычислений и т.п. В метакомпьютерной среде необходимо поддерживать разнообразные схемы запуска и выполнения приложений, отвечающие различиям в структуре приложений и определенному для них регламенту выполнения, например: приложение может состоять из нескольких заданий, которые требуется разместить на конкретном вычислителе; либо на нескольких вычислителях, но в рамках одного сайта; либо допускается вариант размещения на вычислителях из нескольких сайтов.

В настоящем разделе дается представление об основных способах использования ИСМ для различных схем запуска и выполнения приложений, начиная с простейшего случая, когда при запуске задания явно указываются вычислительные ресурсы, на которых оно должно быть размещено, и переходя к более сложными вариантам, которые включают поиск ресурсов в метакомпьютере (с учетом конфигурации и параметров сети или без их учета) и динамическое размещение заданий. Те аспекты выполнения заданий, которые непосредственно не касаются ИСМ (различные политики планирования, устройство очередей, взаимодействие глобальной среды с локальными кластерами и т.д.) в настоящей работе не обсуждаются. Обзор многих методов планирования вычислений для метакомпьютерной среды содержится в [Ber98].

Основное применение ИСМ - это планирование распределенных вычислений. При этом планирование нужно понимать в более широком смысле чем обычное планирование на многопроцессорных компьютерах. А именно, планирование в метакомпьютерной среде включает в себя по крайней мере:

нахождение свободных ресурсов в сети, удовлетворяющих определенным требованиям (производительность, объем памяти, необходимые операционные системы и другое программное обеспечение и т.д.);

выяснение и оценка коммуникационных возможностей между этими ресурсами;

распределение компонент приложений (программ и./или данных) по найденным ресурсам.

Обратим внимание, что каждое из этих действий требует значительной информации о ресурсах и конфигурации сети, которую может предоставить ИСМ.

Хотя наиболее значимый эффект от проименения ИСМ достигается в задачах, связанных с поиском и планированием необходимых ресурсов в сети, однако некоторую пользу из ИСМ можно извлечь и в случае, когда адреса тех ресурсов, которые будут использоваться приложением, заранее известны. В частности, такое применение ИСМ заложено в клиентской программе globusrun системы Globus. Программа globusrun имеет два основных варианта вызова:

globusrun [options] -r resource singleRSLstring

globusrun [options] multipleRSLstring.

Рассмотрим сначала первый вариант. В этом случае формируется одинарный запрос на выполнение некоторого задания, параметры которого (исполняемая программа, размещение данных и т.д.) задаются в строке singleRSLstring (на языке описания заданий RSL), используя менеджер ресурсов, задаваемый в параметре resource. При этом значением параметра resource может быть так называемая контактная строка некоторого менеджера ресурсов (содержащая имя менеджера, номер порта и контактное имя менеджера ) или просто DN-имя менеджера. В первом случае globusrun напрямую передает задание менеджеру ресурса. Во втором случае дополнительная информация о менеджере, которая необходима для передачи ему задания и должна быть включена в его контактную строку, определяется путем обращения к MDS.

Второй вариант формирует кратный запрос на одновременное выполнение нескольких заданий на нескольких компьютерах. В этом случае multipleRSLstring фактически содержит несколько одинарных запросов с указанием для каждого из них того менеджера ресурсов, который должен исполнить этот запрос. При этом, если в запросе используются DN-имена менеджеров, то программа globusrun сначала определяет контактные строки для них (так же как выше, используя MDS) и после этого передает всю информацию модулю DUROC коаллокирования ресурсов, который дальше занимается размещением заданий по вычислителям и их исполнением.

После выполнения исходного размещения заданий и их запуска происходит регулярное обновление информации о текущем состоянии вычислителей и запущенных на них заданиях в MDS. Планировшик или само приложение могут использовать эту динамически актуализируемую информацию для отслеживания состояния заданий и при необходимости принять решение о снятия задания с перегруженного вычислителя и передачи задания другому вычислителю и т.п.

Перейдем к рассмотрению более сложного случая, когда фиксированное заранее выделение необходимых ресурсов невозможно или нежелательно. В этом случае наиболее простым вариантом является ручное планирование вычислений. А именно, пользователь, которому для выполнения своего приложения нужны удаленные ресурсы, запускает команду поиска ldapsearch с указанием параметров нужных ему ресурсов. На основе полученной из MDS-сервера информации пользователь вручную размещает в сети задания с помощью, например, FTP или rcp (или запускает globusrun с соответствующими параметрами RSLstring и/или менеджера ресурсов). Производимая при этом работа, конечно, сильно зависит от типа рассматриваемого приложения. Если приложение не является распределенным, и требуется просто найти для его выполнения свободный компьютер, например, с определенной операционной системой, быстродействием и объемом оперативной памяти, то команда поиска может быть задана в следующем виде:

ldapsearch -h mds.globus.org -b “o=globus, c=us”, -s SUBTREE

“(&(osname=hpux) & (osversion:=hppa1.1 hp hpux 10.20)

&(osrelease:=10.20)&(ostype= hpux)

&(freePhysicalMemory >10Mb)& (mflops>100M.)

&(cpuload1> 0)) “

Назначение атрибутов, по которым производится поиск в представленных здесь примерах, описано в предыдущем разделе работы. Результаты поиска будут представлены пользователю в виде списка DN-имен найденных вычислителей, на которых установлена операционная ситема HP UX (указанной версии), имеющих более 10Mb свободной оперативной памяти, с производительностью процессоров более 100Mflops и находящихся в рабочем состоянии (cpuload1> 0).

Другой пример команды поиска выдает для всех пар взаимосвязанных в сети компьютеров (sourcehostname и destinationhostname) значения пропускной способности и задержки канала между ними, определенные в моменты времени (modifytimestamp), начиная с полуночи 25 октября 1999 г.

ldapsearch -b 'o=Globus, c=US' -h mds.globus.org -p 389

"(& (modifytimestamp>=19991025000000Z)

(& (sourcehostname=*)

(destinationhostname=*)))"

bandwidth latency modifytimestamp

Конечно, в обоих случаях в качестве ответа можно получить очень большой объем информации, в которой трудно будет разобраться. Существенное сокращение объема результатов поиска может быть достигнуто за счет указания в поисковом фильтре дополнительных критериев отбора. Например, учитывая, что пользователя интересуют только те вычислители, на котороых он реально может запустить свои задания, в запросе полезно было бы использовать уточняющий критерий вида allowedUser = < имя-пользователя>. К сожалению, в текущей версии MDS в описании вычислителей не предусмотрен атрибут, перечисляющий пользователей метакомпьютера, которым разрешен доступ. Этот очевидный недостаток видимо будет устранен в последующих версиях системы.

Другая возможность сократить объем результирующей информации связана с сужением базы поиска. Например, указание в предыдущих запросах в качестве базового DN “o=KIAM,o=Globus, c=US” вместо “o=Globus, c=US” сужает область поиска вычислительного ресурса, ограничивая его рамками конкретной организации (в данном случае - ИПМ). Развитием этой идеи является выполнение поиска по заданному пользователем списку организаций, либо поиск по признаку географической близости (например, по организациям России). Поскольку такие операции в общем случае трудоемки для исполнения вручную (требуют нескольких запросов ldapsearch и интегрирования полученных результатов), то для их эффективной реализации создаются соответствующие клиентские программы.

В оставшейся части настоящего раздела будут рассмотрены несколько прототипов клиентских программ, предназначенных для автоматизации процесса запуска и выполнения приложений в среде метакомпьютера, которые включают в себя возможности нетривиального поиска ресурсов, планирования вычислений, мониторинга хода вычислений и т.п.

Одна из таких систем, называемая Graphical Resource Selector (GRS), объявлена авторами проекта Globus [CFK98] (программа установки системы Globus даже содержит параметр включения GRS в установку, однако в распространяемую версию GRS не включена). GRS основана на сопоставлении двух графов G1 и G2, изображающих фрагменты сети. Граф G1 является шаблоном, который определяется пользователем и представляет конфигурацию, требуемую для выполнения приложения. В узлах графа указывается информация о компьютерах: тип, ОС, модуль, который будет исполняться на данном компьютере, и т.д. На ребрах графа указываются требования на необходимые коммуникационные характеристики между данными узлами: тип протокола, пропускная способность, задержка и т.д. Используя информацию из MDS, система GRS строит граф G2, сопоставимый с G1. В графе G2 отображаются конкретные доступные в данный момент физические ресурсы, на которые можно распределить модули приложения. Граф G2 представляет собой фактический план размещения заданий по вычислителям, на основании которого действует подсистема коаллокирования DUROC.

Как видно, система GRS задумана как универсальная программа запуска распределенного приложения, базирующаяся на достаточно распространенном подходе к представлению приложений в форме графа. Следует обратить внимание, что сопоставление графов, лежащее в основе размещения вычислений в GRS, является довольно сложно реализуемой операцией. В процессе выполнения сопоставления может потребоваться многократное обращение к MDS, соединение (JOIN) полученных результатов, агрегирование результатов и т.п.

Другой подход к автоматизации запуска распределенных вычислений в метакомпьютере связан с построением планировщиков для конкретных приложений или типов приложений. На практике во многих случаях разработчики приложения реализуют собственный планировщик (брокер приложения), отвечающий за запуск и выполнение данного приложения. Использование знания об архитектуре приложения и других его специфических особенностей дает возможность создавать достаточно простые и эффективные брокеры. Такая специализация позволяет существенно более эффективно использовать информацию из ИСМ и более глубоко и многосторонне управлять всем процессом выполнения заданий (по сравнению с системами планирования общего назначения).

Более общий подход состоит в создании планировщиков, ориентированных на приложения определенного типа. Один из важных классов приложений, для которых такой подход является полезным, составляют приложения типа “хозяин-слуги”. В таких приложениях “хозяин” распределяет некоторый набор независимо обрабатываемых задач между “слугами”, результаты работы которых передаются обратно “хозяину” (этот процесс может выполняться в цикле). Независимость обрабатываемых “слугами” задач позволяет более свободно обращаться с ними при планировании.

Одной из известных систем обработки приложений типа “хозяин-слуги” является система Nimrod. Эта система разработана для выполнения вычислительных экспериментов следующего типа. Имеется некоторое параметризованное приложение, которое нужно выполнить для большого числа значений параметров (например, решение некоторой системы дифференциальных уравнений с различными граничными условиями) с последующим сравнением результатов вычислений и их визуализацией. Система Nimrod предназначена для распределенного выполнения такого вычислительного эксперимента. Однако Nimrod не содержит средств автоматического планирования: она выбирает компьютеры (или кластерные системы) из фиксированного заранее списка (хранимого в файле) и передает им задания. При этом пользователю не гарантируется завершение работы его приложения за какое-то определенное время. Если ожидание ответа превосходит разумные пределы, то пользователь может принудительно снять задание с выполнения.

В настоящее время на базе системы Nimrod разрабатывается система Nimrod-G [AG97], использующая для обнаружения подходящих ресурсов и планирования запуска вычислений средства системы Globus. Пользователь системы Nimrod-G может задавать ограничения на окончательный срок завершения вычислительного эксперимента или на общую стоимость его выполнения. При этом система должна либо выполнить эксперимент в рамках заданных ограничений, либо сообщить пользователю, что при имеющихся ресурсах это невозможно. Эта функция системы обеспечивается с помощью соответствующей информации из ИСМ. Однако, так как значительная часть информации в ИСМ динамична и отражает действительное положение дел в метакомпьютере только с известной долей приближения, перспектива завершения вычислительного эксперимента в рамках данных ограничений не может быть абсолютно гарантирована. Для повышения степени гарантии можно использовать те или иные эвристические приемы.

С другой стороны, динамичность состояния метакомпьютера вызывает необходимость мониторинга (с помощью регулярного обращения к ИСМ) состояния выполнения отдельных задач эксперимента. В частности, в некоторый момент может выясниться, что обстановка на каком-либо из вычислителей (компьютеров или кластеров) изменилась настолько, что дальнейшее выполнение каких-то заданий вызовет выход за пределы критических ограничений на время или стоимость эксперимента. В этом случае задания забираются из вычислителя с тем, чтобы передать их в дальнейшем на другие подходящие вычислители.

Некоторый подход к построению инструментальной системы для создания планировщиков, ориентированных на приложения, предлагается в [BW97].

Можно заметить, что для более успешного планирования вычислений в метакомпьютерной среде важную роль играет такой механизм как предварительное резервирование ресурсов. При использовании этого механизма планировщик не только формирует план размещения заданий по ресурсам, но и гарантирует получение этих ресурсов в соответствии с заранее составленным расписанием. Однако, резервирование в метакомпьютерной среде представляет собой весьма сложную проблему. По сравнению с обычными системами резервирования оно осложняется, в частности, непредсказумостью времени выполнения многих приложений и, соответственно, трудностью предсказания моментов освобождения тех или иных ресурсов. В настоящее время вопросы резервирования исследуются в рамках проекта системы коаллокирования и резервирования ресурсов GARA. [FKL99], расширяющей возможности системы Globus. В связи с этим также ведутся некоторые исследования по возможности использования сведений об истории выполнения приложений в метакомпьютере для прогнозирования его дальнейшего поведения с целью выработки более оптимальных стратегий выполнения приложений (см., например, [STF99]).

Заключение

Метаинформация играет важную роль при организации высокопроизводительных вычислений в глобальных вычислительных средах. В работе были рассмотрены связанные с этим аспекты представления и использования метаинформации. Были названы основные классы объектов вычислительной среды, информация о состоянии которых должна отображаться в виде метаданных. Введено понятие информационной службы метакомпьютера (ИСМ) и описаны основные операции, которые эта служба должна поддерживать. Рассмотрены вопросы использования ИСМ с целью обеспечения различных схем оптимального запуска приложений и планирования вычислений в метакомпьютерной среде.

Значительная часть работы была посвящена вопросам реализации ИСМ. Показано, что достаточно адекватным инструментом для реализации ИСМ является служба директорий LDAP. Описана система MDS, представляющая собой экспериментальную реализацию ИСМ, выполненную в рамках проекта Globus. Подробно рассмотрена система классов, составляющих схему MDS, а также поддерживаемые в MDS процедуры организации сбора и автоматической актуализации метаинформации.

Рассмотренные в работе вопросы являются частью обширной проблематики, возникающей в рамках задачи создания глобальных распределенных вычислительных систем. В настоящее время эта область активно развивается, привлекая внимание большого числа исследователей. По нашему мнению, к числу наиболее актуальных проблем, связанных с совершенствованием ИСМ, принадлежат следующие.