Состав и функции системы диспетчеризации заданий в гриде с некластеризованными ресурсами

Агрегированная по группам информация служит средством представления сегмента грида в объемлющих грид-инфраструктурах и может публиковаться во внешних информационных системах. Это позволяет остальным участникам грида (пользователям и брокерам ресурсов) видеть информацию о ресурсах сегмента и автоматически обрабатывать её. Если внутри системы диспетчеризации информация может храниться и представляться в произвольном виде, то для публикации информации в объемлющей инфраструктуре необходимо использовать стандартные и общепринятые протоколы. Обновление агрегированной информации происходит в зависимости от интенсивности изменения ситуации, а также по запросу внешних систем на получение информации о ресурсах сегмента.

Служба взаимодействия с агентами поддерживает связь между диспетчером и исполнительными компьютерами. Эта служба выполняет следующие функции:

предоставляет интерфейс автоматической регистрации новых исполнительных компьютеров: при регистрации агент обращается к этой службе и передаёт файл с описанием ресурсов компьютера;

разбирает файл с описанием ресурсов компьютера и заносит полученную информацию в базу данных;

принимает от агента сведения о состоянии задания и количестве потреблённых им ресурсов.

Взаимодействие агента с диспетчером происходит по внутренним протоколам, которые могут отличаться от протоколов грида. Безопасность обеспечивается взаимным предъявлением сертификатов и наличием доверительных соглашений.

Служба передачи и хранения данных осуществляет доставку файлов на шлюзовую машину, а также на исполнительные компьютеры. В соответствии со стандартным протоколом управления заданиями GRAM система диспетчеризации поддерживает доставку стандартных файлов: исполняемого, входных данных и диагностики. Мы предполагаем, что прикладные данные располагаются на серверах хранения и считываются по протоколам грида управления данными (GridFTP [22]).

Рассматриваемая служба осуществляет временное хранение стандартных файлов до завершения выполнения задания. Если задание не может быть завершено на отведенном компьютере (задание получает недостаточно процессорного времени или компьютер выключили), то необходим весь этот набор файлов для перезапуска задания на другом компьютере. Таким образом, службой реализуются следующие функции:

передача стандартных файлов задания на исполнительный компьютер;

доставка результата по адресу, который указан в описании задания;

временное хранение всех необходимых заданию данных до его завершения.

5.2 Агент

Агент устанавливается на исполнительных компьютерах, владельцы которых хотят предоставить свои ресурсы в грид.

Ресурсы исполнительного компьютера делятся между процессами владельца и глобальными заданиями. При регистрации исполнительного компьютера его владелец заполняет конфигурационный файл, в котором указывает, какое количество ресурсов каждого типа (процессорное время, дисковое пространство, оперативная память и т.д.) он отчуждает в грид-инфраструктуру. При этом задание не может потребить больше ресурсов, чем было заявлено в его ресурсном запросе, несмотря на то, что свободные ресурсы на исполнительном компьютере фактически ещё могут оставаться. Как только задание выходит за границы потребления ресурсов, указанных в запросе (например, занимает больше дискового пространства или выполняется дольше, чем было заявлено), его выполнение прекращается.

Агент выполняет запуск задания и управление им на исполнительном компьютере, осуществляя разделение ресурсов между процессами владельца и заданием грида, а также обеспечивая передачу данных и безопасность.

Безопасность рассматривается в трех аспектах:

защита владельца, то есть обеспечение полнофункциональности компьютера путём контроля уровня потребления ресурсов внешним приложением;

защита конфигурации компьютера, находящихся на нём программ и данных;

защита грид-приложения, включая программу, данные и результаты.

Агент состоит из трех блоков.

Блок запуска заданий информирует диспетчер о том, что ресурсы исполнительного компьютера освободились, и запрашивает новое задание. По этому запросу планировщик выбирает из очереди подходящее задание и сообщает его идентификатор агенту. Затем блок запуска заданий осуществляет доставку файлов задания на исполнительный компьютер, формирует исполнительную среду и запускает задание. После того, как задание запущено, управление передаётся блоку разделения ресурсов.

В том случае, если подходящего задания для освободившегося ресурса нет, агент периодически обращается за ним через определённые интервалы времени.

Блок разделения ресурсов обеспечивает изоляцию программы и данных пользователя грида от данных владельца компьютера, а также осуществляет контроль за потреблёнными заданием ресурсами. Периодически данные об использовании ресурсов заносятся в информационную базу. Кроме того, блок разделения ресурсов осуществляет мониторинг активности владельца исполнительного компьютера. В ситуации, когда выполняющееся задание превысило выделенный ему лимит ресурсов, блок разделения ресурсов инициирует принудительное завершение задания. Если задание не завершено, а владелец исполнительного компьютера активизировал свою деятельность, блок управления заданием приостанавливает выполнение задания и информирует об этом диспетчер. После того, как активность владельца снизилась, выполнение задания возобновляется.

Блок управления заданием посредством взаимодействия с операционной системой управляет заданием во время его выполнения. По сигналам от блока управления ресурсами блок управления заданием прекращает выполнение задания, а также осуществляет приостановку и возобновление выполнения задания.

Таким образом, на исполнительном компьютере задание обрабатывается по следующей схеме:

1. Ресурсы на исполнительном компьютере освобождаются, и агент запрашивает у диспетчера новое задание.

Блок запуска заданий информирует службу взаимодействия с агентами о том, что исполнительный компьютер готов принять новое задание. Эта служба обращается к службе планирования (планировщику), которая выдаёт идентификатор подходящего задания с наивысшим приоритетом, а также меняет статус исполнительного компьютера в базе данных.

Затем блок запуска заданий создаёт на исполнительном компьютере структуру директорий и по полученному на шаге 1 идентификатору доставляет файлы задания через службу передачи и хранения данных.

Блок запуска заданий формирует исполнительную среду, запускает задание и передаёт идентификатор системного процесса, соответствующего глобальному заданию, блоку разделения ресурсов. Кроме того, блок запуска заданий через службу взаимодействия с агентами меняет статус задания (выполняется).

2. Агент обеспечивает выполнение задания на исполнительном компьютере с соблюдением неотчуждаемости ресурсов.

Блок разделения ресурсов контролирует количество потреблённых заданием ресурсов. Если задание начинает потреблять больше ресурсов, чем было заявлено в запросе или увеличивается загрузка компьютера за счёт локальных процессов владельца, то посылается запрос блоку управления заданием о снятии задания или приостановлении вычислений. Также блок управления заданием прекращает выполнение задания по запросу пользователя. При этом в информационной базе меняется статус задания.

Во время выполнения задания блок разделения ресурсов отправляет диспетчеру информацию о количестве потреблённых ресурсов, а блок управления заданием посылает информацию о статусе задания, если статус меняется. Эта информация так же заносится в базу данных.

3. После окончания вычислений агент завершает процесс выполнения задания.

После завершения выполнения задания блок запуска отправляет выходные файлы через службу передачи и хранения данных. Затем все данные, связанные с заданием, удаляются с исполнительного компьютера.

Служба передачи и хранения данных информирует службу управления заданиями о завершении задания и сообщает его идентификатор.

По идентификатору задания служба управления заданиями доставляет выходные данные пользователю и меняет статус задания в информационной базе (завершено).

Блок запуска заданий запрашивает статус исполнительного компьютера у блока разделения ресурсов. Если ресурсы свободны, блок запуска заданий информирует диспетчер о том, что исполнительный компьютер готов принять новое задание, и цикл повторяется.

5.3 Пользовательский интерфейс

Пользовательский интерфейс представляет собой набор клиентских приложений, созданных на основе API служб диспетчера. Пользователю предоставляется средства описания задания (например, с помощью языка JDL), а также средства мониторинга и управления заданием. В любой момент выполнения задания пользователь может узнать, в каком состоянии оно находится, количество потреблённых заданием ресурсов, а также прекратить выполнение задания.

Заключение

Основная идея грида - интеграция пространственно распределённых ресурсов может быть полезной в различных условиях и разных сценариях применения. В рамках концепции грида возможна организация ресурсной инфраструктуры, которая не обязательно должна создаваться на базе кластерных и многопроцессорных систем. Использование распределённых вычислений на практике показало наличие прикладных областей, где возникают задачи, для решения которых не требуется создание кластерных конфигураций. Такие задачи могут распараллеливаться и решаться на множестве обычных персональных компьютеров.

Работа посвящена проблеме создания программного обеспечения для распределённых вычислительных инфраструктур, образованных из некластеризованных ресурсов, на основе принципов грида. Как показывает приведённый обзор, существующие подходы к решению этой проблемы имеют недостатки, в том числе и с точки зрения потребительских качеств.

Сформулированы два главных требования к программному обеспечению для управления некластеризованными компьютерами. Во-первых, оно должно быть способным работать с неотчуждаемыми компьютерами в режиме разделения ресурсов с их владельцами. Во-вторых, оно должно быть построено в соответствии с основными положениями грида, обладать свойством интероперабельности с распространенными средствами управления заданиями, иметь стандартизованные внешние интерфейсы и использовать протоколы, принятые в гриде.

Исходя из этих требований, предложена архитектура системы диспетчеризации, определяющая состав компонентов и их функции. Специфицированы способы и последовательность обработки заданий, включая приём, планирование, выделение ресурсов и доставку файлов. Рассмотрены механизмы управления заданием на стадии его выполнения (разделение ресурсов с процессами владельца компьютера, поставка информации о состоянии).

Предложенная архитектура системы диспетчеризации позволяет использовать некластеризованные ресурсы как автономно в виде изолированного сегмента грида, так и в составе объемлющих грид-инфраструктур с иной формой организации ресурсов.

Литература

[1]. В.Н.Коваленко, Д.А.Корягин: Организация ресурсов в грид. Препринт № 63. Москва: ИПМ им. М.В.Келдыша РАН, 2004. 25 с.

[2]. Система пакетной обработки заданий PBS - http://www.openpbs.org/

[3]. Система пакетной обработки заданий Platform LSF - http://www.platform.com/Products/Platform.LSF.Family/Platform.LSF/

[4]. Инструментарий Globus Toolkit - http://www.globus.org

[5]. Проект gLite - http://glite.web.cern.ch/

[6]. D. Anderson, J. Cobb, E. Korpela. SETI@home: An Experiment in Public-Resource Computing. Communications of the ACM, Vol. 45 No. 11, November 2002, pp. 56-61.

[7]. Проект SZTAKI Desktop Grid - http://szdg.lpds.sztaki.hu/szdg/

[8]. Peer-to-Peer - http://www.openp2p.com/

[9]. D. P. Anderson: BOINC: A System for Public-Resource Computing and Storage. 5th IEEE/ACM International Workshop on Grid Computing, November 2004, pp 1-7.

[10]. СУБД MySQL - http://www.mysql.com/

[11]. D. Zhou, V. Lo: Cluster Computing on the Fly: resource discovery in a cycle sharing peer-to-peer system. Fourth IEEE International Symposium on Cluster Computing and the Grid (CCGrid'04), 2004, pp. 66-73.

[12]. W. Cirne, F. Brasileiro, N. Andrade, R. Santos, A. Andrade: Labs of the World, Unite!!! Journal of Grid Computing, Vol.4, No. 3, September 2006, pp. 225-246.

[13]. Монитор виртуальных машин Xen - http://www.xensource.com/

[14]. Система Entropia - http://www.entropia.com

[15]. Система Condor - http://www.cs.wisc.edu/condor

[16]. Служба управления заданиями GRAM - http://www.globus.org/grid_software/computation/gram.php

[17]. Resource Specification Language - http://www.globus.org/toolkit/docs/4.0/execution/wsgram/schemas/gram_job_description.html

[18]. A.Anjomshoaa, F. Brisard, M. Drescher, D. Fellows, A. Ly, A. S. McGough, D. Pulsipher, and A. Savva. Job Submission Description Language (JSDL) specification, version 1.0 http://www.ogf.org/documents/GFD.56.pdf, March 2007.

[19]. Job Description Language - http://www.grid.org.tr/servisler/dokumanlar/DataGrid-JDL-HowTo.pdf

[20]. I. Foster, C. Kesselman, J. Nick, S. Tuecke: The Physiology of the Grid: An Open Grid Services Architecture for Distributed Systems Integration, http://www.globus.org/reseach/papers/ogsa.pdf

[21]. S. Graham, S. Simeonov, T. Boubez, G. Daniels, D. Davis, Y. Nakamura, R. Neyama. Building Web Services with Java: Making Sense of XML, SOAP, WSDL, and UDDI, 2001.

[22]. GridFTP - http://www.globus.org/grid_software/data/gridftp.php

Размещено на Allbest.ru