Grid-технології як форма паралельних обчислень

Размещено на http://www.allbest.ru/

Grid-технології як форма паралельних обчислень

Концепція GRID-технології

В наш час найважливішими інформаційними технологіями є: Інтернет (як - мережа комп'ютерів, об'єднаних каналами з протоколами ТСР\ІР для зв'язку), Веб (як мережа сайтів, що використовують гіперпосилання для переходів) і GRID (Грід). Розглянемо останню технологію детально.

GRID є технологією забезпечення гнучкого, безпечного та скоординованого загального доступу до ресурсів. При цьому слово "ресурс" розуміється в широкому розумінні, тобто ресурсом може бути апаратура, а також системне та прикладне ПО.

У термінології GRID сукупність людей та організацій, які вирішують ту чи іншу загальну задачу та пропонують один одному свої ресурси, має назву - віртуальна організація. Наприклад, віртуальною організацією може бути сукупність усіх людей, які беруть участь у будь-якій науковій діяльності. Віртуальні організації можуть відрізнятися по складу, масштабу, часу існування, роду діяльності, цілям, відношенням між учасниками. Склад віртуальних організацій може динамічно змінюватися.

Якщо перекладати дослівно, GRID означає "решітка". Ближче всього по значенню, мабуть, роwer GRID - мережа електроживлення, розподілений ресурс загального користування, коли кожний може легко підключитися через розетку і вжити електрики, скільки потрібно. Аналогічно користувачі комп'ютерних потужностей дістають можливість прямого підключення до віддаленої обчислювальної мережі, не цікавлячись, звідки саме вони отримують те, що запитують, які для цього використовуються лінії передачі, паролі або протоколи і т. п. При цьому, аналогом інфраструктури електричних мереж (ліній електропередач, підстанцій, трансформаторів і ін.) виступає програмне забезпечення GRID (ПГО), або Middleware.

Розвиток ПГО починався від базових засобів, що підтримують дистанційний доступ до ресурсів, пройшов стадію окремих систем, їх пакетів і привів до створення платформ - взаємоузгоджених наборів засобів, здатних дати комплексне рішення задачі обслуговування GRID-інфраструктури виробничого призначення (рис.9.1).

Створення багатьох сучасних GRID-інфраструктур супроводилося розробкою власного ПГО, так що зараз є платформи, що дещо розрізняються: ARC(NorduGRID), Alien, LCG, DataGRID (www.dataGRID.org), Unicore (www.unicore.org), gLite (www.glite.org). Проте, вони мають багато спільного, оскільки в тому або іншому ступені засновані на одній базі - системі Globus Toolkit (www.globus.org). З перерахованих вище платформ найбільший інтерес представляє gLite як найкрупніше і найбільш поширене в Європі ПГО, що призначено для підтримки:

* Сервісу аутентифікації і авторизації

* Сервісу брокера

* Сервісу моніторингу і діагностики

* Сервісу реплікації даних і програм

* Сервіс пошуку програмного забезпечення

* Сервісу каталогів даних і додатків

* Сервісу менеджменту ресурсів і завдань

* Сервісу збірки і вирішення задачі

* Сервісу обліку і оплати отриманих послуг

GRID припускає колективний режим доступу до ресурсів і до пов'язаних з ними послуг (сервісів) в рамках глобально розподілених віртуальних організацій (ВО), які спільно використовують загальні ресурси. При цьому GRID визначає без допомоги користувача найбільш відповідне джерело даних і виконує їх аналіз, знайшовши якнайкраще місце для запуску відповідної програми на комп'ютерах, які простоюють. Якщо ж необхідно провести такий аналіз в інтерактивному режимі кількома користувачами з різних країн світу, то GRID зв'яже їхні комп'ютери так, що спільна робота не буде відрізнятися від роботи в локальній мережі. При цьому не треба буде хвилюватися про безліч паролів - GRID здатний зрозуміти, хто має право брати участь в спільній роботі. . Для управління ресурсами і задачами GRID має Інформаційну службу, для управління ресурсами і розміщення задач використовується брокер ресурсів і все це підтримується локальним диспетчером задач комп'ютерного кластера.

В числі ключових чинників, сприяючих упровадженню GRID не тільки підвищення ефективності використовування ресурсів і економія витрат, але й економія людських ресурсів, тому що обчислення GRID сприяють спільній роботі фахівців над проектами, дозволяючи їм використовувати одну і ту ж інфраструктуру, хоч стосовно України ще потрібно вирішити цілий ряд проблем щодо пропускної спроможності мережі, управління даними і безпеки. Спочатку GRID-технології призначалися для вирішення складних наукових, виробничих і інженерних задач, які неможливо вирішити в розумні терміни на окремих обчислювальних установках. Проте, тепер область застосування технологій GRID не обмежується тільки цими типами задач. У міру свого розвитку GRID проникає в промисловість і бізнес, крупні підприємства створюють GRID для вирішення власних виробничих задач. Таким чином, GRID претендує на роль універсальної інфраструктури для обробки даних, в якій функціонує множина сервісів (GRID Services), які дозволяють вирішувати не тільки конкретні прикладні задачі, але і пропонують додаткові послуги: пошук необхідних ресурсів, збір інформації про стан ресурсів, зберігання і доставка даних.

Рис.9.1. Cтруктура сервісів ПГО

Застосування GRID може дати нову якість рішення наступних класів задач:

* масова обробка потоків даних великого об'єму;

* багатопараметричний аналіз даних;

* моделювання на віддалених суперкомп'ютерах;

* реалістична візуалізація великих наборів даних;

* складні бізнес-додатки з великими об'ємами обчислень.

GRID-технології вже активно застосовуються у світі як державними організаціями управління, оборони, сфери комунальних послуг, так і приватними компаніями, наприклад, фінансовими і енергетичними. Область застосування GRID зараз охоплює ядерну фізику, захист навколишнього середовища, прогноз погоди і моделювання кліматичних змін, чисельне моделювання в машино- і авіабудуванні, біологічне моделювання, фармацевтику тощо.

GRID-системи

Є два основних критерії, які виділяють GRID-системи серед інших систем, що забезпечують розподілений доступ до ресурсів.

GRID-система координує розрізнені ресурси. Ресурси не мають загального центру управління, а GRID-система займається координацією їх використання, наприклад, балансування навантаження. Тому проста система управління ресурсами кластера не є системою GRID, тому що здійснюється централізоване управління усіма вузлами даного кластера, маючи до них повний доступ. GRID-системи мають лише обмежений доступ до ресурсів, які залежать від політики того адміністративного домену, в якій цей ресурс знаходиться.

GRID-система будується на базі стандартних та відкритих протоколів, сервісів та інтерфейсів. Не маючи стандартних протоколів, неможливо легко та швидко підключати нові ресурси до GRID-системи, розробляти нові види сервісів.

Додамо ще декілька властивостей, якими взагалі володіє GRID-система:

- гнучкість: можливість забезпечення розподіленого доступу до будь-яких ресурсів;

- масштабування: працездатність GRID-системи при значному збільшенні чи зменшенні її складу;

- гнучка й потужна підсистема безпеки: стійкість до атак зловмисників, забезпечення конфіденційності;

- можливість контролю над ресурсами: використання локальних та глобальних політик і квот;

- гарантії якості обслуговування;

- можливість одночасної, скоординованої роботи з декількома ресурсами.

Хоча сама технологія GRID не прив'язана до визначених ресурсів, найбільш часто реалізації GRID-систем забезпечують роботу з наступними типами ресурсів:

- обчислювальні ресурси - окремі комп'ютери та кластери;

- сховища даних - диски та дискові масиви, стрічки, системи масового сховища даних;

- мережні ресурси;

- програмне забезпечення - будь-яке спеціалізоване ПО.

Відмітимо різницю між технологією GRID та реалізаціями GRID-систем. Технологія GRID включає в себе лише найбільш загальні та універсальні аспекти, однакові для будь-якої системи (архітектура, протоколи, інтерфейси, сервіси). Використовуючи цю технологію та заповнюючи її конкретним змістом, можливо реалізувати ту чи іншу GRID-систему, направлену задля рішення того чи іншого класу прикладних задач.

У рамках конкретної GRID-системи, звичайно, можливо організувати паралельні обчислення з використанням існуючих технологій (PVM, MPI), так як GRID-систему можливо розглядати як деякий метакомп'ютер, маючий велику кількість обчислювальних вузлів. Однак технологія GRID не є технологією паралельних обчислень, в її задачі входить лише координація використання ресурсів.

Найбільшою в світі GRID-інфраструктурою є європейська EGEE (Enabling GRIDs for E-sciencE); ціль якої полягає в об'єднанні національних, регіональних і тематичних GRID-розробок, які вже ведуться, в єдину цілісну GRID-інфраструктуру для підтримки наукових досліджень.

EGEE надасть дослідникам як в академічних колах, так і в різних областях економіки цілодобовий доступ до самих високопродуктивних обчислювальних ресурсів незалежно від їх географічного положення. Користуються інфраструктурою географічно розподілені співтовариства дослідників, які потребують загальних для них обчислювальних можливостей GRID-систем, готові об'єднати свою власну обчислювальну інфраструктуру і згодні з принципами загального доступу. Проект, впроваджений ЦЕРН (Європейським центром ядерних досліджень) підтримують, в основному, фінансові установи ЄС, але призначений він для роботи у всьому світі. Значна підтримка надходить від США, Росії й інших учасників проекту, що не входять до ЄС.

Сьогодні в EGEE функціонують 240 вузлів в 45 країнах, в яких задіяні 41,000 процесорів і 5 Пб (PetaBytes) пам'яті. Мережа обслуговує більше 10,000 споживачів і 150 віртуальних організацій з продуктивністю більше 100,000 обчислювальних завдань за день. В мережі експлуатуються додатки з археології, астрономії, астрофізики, захисту навкіл ля, комп'ютерної хімії, науки про Землю, фінансів, фізики плазми, геофізики, фізики високих енергій, науки про життя, мультимедіа, матеріалознавства тощо.

EGEE-II складається з мережних напрямів робіт (Networking Activities, NA), служб (Service Activities, SA) і напрямів сумісних досліджень (Joint Research Activities, JRA).

Відповідно до сучасному, досконалішому стану GRID -технологій в EGEE-II частка фінансування SA і NA підвищиться, а JRA - знизиться. Це дозволить включити в інфраструктуру проекту нові країни, додатки і сайти, а також в більшому масштабі поширювати інформацію, вести навчання і підтримувати додатки. Скорочена розробка програмного забезпечення, оскільки його можна інтегрувати з інших проектів і джерел.

Мережні напрями

Проект включає наступні мережні напрями робіт: NA1 - управління проектом; NA2 - розповсюдження інформації і зв'язок; NA3 - навчання і включення в число користувачів; NA4 - визначення і підтримка грід-додатків; NA5 - політика і міжнародна співпраця.

Служби

Проект включає наступні служби: SA1 - підтримка, експлуатація і

управління європейськими GRID; SA2 - забезпечення мережними ресурсами; SA3 - інтеграція, тестування і сертифікація. SA3 - новий напрям; в його рамках об'єднуватимуться елементи програмного забезпечення з різних джерел з метою отримати інтегровані випуски програмного забезпечення, готові до розміщення в інфраструктурі проекту.

Напрями сумісних досліджень. Проект включає наступні напрями сумісних досліджень: JRA1 - перепроектувало проміжного програмного забезпечення і JRA 2 - забезпечення якості. В рамках JRA1 продовжиться розробка і підтримка gLite. В рамках JRA2 забезпечуватиметься якість робіт протягом всього проекту; зокрема, вестиметься загальна координація заходів безпеки. інформаційний комп'ютер зв'язок

З 2007 року розпочалася розбудова Європейської GRID інфраструктури (EGI), функціонування якої планується на постійній основі у вигляді скоординованої мережі національних GRID систем, або NGI. ЦЕРН залишає за собою загальну координацію і відповідальність за модернізацію ПГО і систему загальної безпеки.

GRID-система стає національною (NGI- National GRID Initiative), якщо вона задовольняє наступним критеріям: має державну підтримку, наприклад, шляхом включення проекту створення GRID інфраструктури в Державну програму з гарантованим фінансуванням; представляє інтереси всіх шарів суспільства (вчених, вузівських працівників, промисловців, комерсантів і ін.); має розгалужену структуру з координуючих, регіональних і ресурсних центрів, що забезпечують функціонування базових GRID сервісів, моніторинг і реагування на надзвичайні ситуації, ведення обліку ресурсів і виконаних робіт (асcounting), управління і підтримку віртуальних організацій (В), сертифікацію GRID ПО; базується на дотриманні міжнародних стандартів і правил (наприклад, використовуванні протоколу SOAP для доступу до ресурсу, мови WSDL для опису Web-сервісів, каталогів UDDI як регістрів описів і т.д.); підтримує безпеку інфраструктури, має право генерувати сертифікати користувачів CA з відома EUGRIDPMA (системи Європейської GRID Аутентифікації); підключена до GEANT, Європейської науково-освітньої комп'ютерної мережі; має керівні органи GRID інфраструктури у вигляді Ради з розвитку національної GRID інфраструктури в напрямках NA, SA і JRA, наведених вище.

GRID проекти і віртуальні організації

GRID дозволяє підвищити творчий потенціал людства, об'єднавши обчислювальні потужності для використання найважливіших додатків і дозволивши географічно розділеним користувачам мережі взаємодіяти і підтримувати спільну роботу. Існує п'ять основних груп GRID-додатків: розподілені суперобчислення, обчислення з високою пропускною спроможністю, обчислення за запитом, обчислення з інтенсивним обміном даними і сумісні додатки.

Треба розрізняти поняття GRID-системи і GRID-проектів, здійснювальних, наприклад, ЦЕРН в галузі фізики високих енергій на Європейській EGEE інфраструктурі, в яких сьогодні приймають участь два фізичні інститути (ХФТІ і ІТФ). При чому кластери ІТФ і Київського Національного Університету підключені до мережі AliEn-GRID для обслуговування експерименту ALICE на прискорювачі LHC ; вузол ХФТІ підключений до мережі ЦЕРН через Російський RDIG, а ряд співробітників згаданих організацій отримали доступ до ресурсів EGEE також через Російський RDIG. GRID проекти виконуються також в Інституті космічних досліджень НАНУ-НКАУ (по обробці космічних знімків) і Головної астрономічної обсерваторії НАНУ (по задачах астрофізики);

Для використання інфраструктури GRID при виконанні конкретного проекту користувачеві необхідно пройти процес реєстрації, після чого всі ресурси GRID стає доступні йому без яких-небудь додаткових угод з окремими ресурсними центрами.

Процес реєстрації нового користувача включає два основні кроки:

* Отримання персонального призначеного для користувача сертифікату.

* Реєстрація у Віртуальній організації.

Персональний призначений для користувача сертифікат (Personal Certificate) - це свого роду електронний документ, підтверджуючий особу користувача при доступі до GRID-ресурсів. Сертифікати видаються Центрами сертифікації (Certification Authority).

Фактично національна GRID-інфраструктура необхідна лише для того, щоб користувач міг запитати і отримати ті або інші ресурси від їх власників. Кожна віртуальна організація має свій власний Центр реєстрації. Також існує можливість почати роботу в GRID скориставшись учбовими - і демо - проектами. В даному проекті передбачається, що майбутні користувачі можуть спробувати попрацювати з невеликою інфраструктурою GRID, не будучи офіційними членами якої-небудь віртуальної організації. Для більшості користувачів це найпростіший, а іноді і єдиний спосіб навчитися працювати в GRID.

GRID-системи України

Сьогодні важко знайти більш-менш розвинену країну, в якій не було б розгорнуто національні GRID-проекти. Настала черга й України, хоч і з великим запізненням.

Національна GRID інфраструктура створюється для обслуговування різних організацій з різноманітними характеристиками і вимогами до ресурсів. Для об'єднання різнорідних ресурсів, єдина обчислювальна інфраструктура повинна мати єдину архітектуру. Можливість впорядковування різнорідного початкового матеріалу забезпечується попереднім визначенням базових функцій GRID-інфраструктури.

GRID сегмент НАНУ (www.acadGRID.org.ua)

За ініціативою Інституту теоретичної фізики ім. М.М. Боголюбова (ІТФ) в квітні 2006 року в НАНУ стартувала корпоративна програма "Впровадження GRID- технологій і створення кластерів в Національній академії наук України" (або Українська Академічна GRID Ініціативи - UAGI), що не враховує повною мірою загальнонаціональні потреби і наукові інтереси вчених і організацій, що не працюють в системі НАНУ. Науковим керівником проекту є Анатолій Глібович Загородній, директор ІТФ НАНУ, академік НАНУ. У квітні 2007 року Національна академія наук підписала Меморандум про взаєморозуміння з WLCG (Worldwide LHC Computing GRID). у ЦЕРН і обробці і аналізу даних з LHC ((Large Hadron Collider, великого адронного коллайдеру), див. рис. 9.2.

Завершується обладнання нових кластерів в Головній Астрономічній Обсерваторії, Інституті молекулярної біології і генетики, Інституті клітинної біології і генної інженерії, модернізація кластерів в Харківському фізико-технічному інституті, в Інституті фізики конденсованих станів у Львові. Загалом комп'ютерні ресурси цієї групи складають 330 процесорів і біля 53 Терабайтів дискового масиву. Всі ці кластери будуть об'єднані в грід-сегмент НАН України. Принципи побудови цього сегменту, його конфігурації, методи керування ним вже практично відпрацьовано на прообразі цього сегменту - об'єднанні кластерів Інституту теоретичної фізики, Київського Національного Університету і Інституту кібернетики НАНУ, в якому зосереджені найпотужніші супер-комп'ютери НАНУ, серед яких є СКІТ-3 з параметрами: 280 - процесорів (70 вузлів), Linpack продуктивність 2,235 Tфлопс, система збереження даних обсягом 10 Т байт.

Передбачена також побудова кластерів в Інституті фізики (Київ), Інституті металофізики (Київ), Інституті математики (Київ), Радіоастрономічному інституті (м. Харків), Інституті сцинтиляційних матеріалів (м. Харків), Інституті геотехнічної механики (Інституті технічної механіки), Інституті транспортних систем і технологій, Інституті чорної металургії, Інституті проблем природокористування та екології (Дніпропетровськ).

Рис.9.2.GRID сегмент НАНУ (слайд А.Г. Загороднього)

Слід зауважити, що реалізоване сьогодні в GRID сегменті НАНУ ПГО NorduGRID не забезпечує централізоване розподілення обчислювальних задач (Centralized workload management), загальну організацію каталогу для всій GRID інфраструктури (Global names in file catalogue for whole GRID), глобальну організацію послуг брокера і віртуалізацію сховищ даних (Different kinds of backend for storage elements), і тому планується перехід до ПГО gLIte.

Проект UGRID МОНУ (www.GRID.ntu-kpi.kiev.ua)

Згідно Наказу Міністерства науки і освіти(МОН) № 758 від 22 серпня 2007 року в Україні розпочата також розробка Національної GRID інфраструктури виробничої якості з високоякісними послугами (проект UGRID) на базі Національної науково-освітньої мережі УРАН для забезпечення загальнонаціональної віртуалізації розподілених обчислювальних ресурсів різних типів (процесорів, сховищ даних, мереж, унікального обладнання), здатних підтримувати життєдіяльність державних структур, наукових і освітніх організацій, промислових корпорацій. Проект виконує команда з 10 різних українських організацій (2-х академічних, 6-ти освітянських і 2-х промислових), яку очолюють Інститут Системного Аналізу (ІПСА) Національного Технічного Університету " Київський політехнічний Інститут". Науковим керівником проекту є Михайло Захарович Згуровський, ректор НТУУ"КПІ", академік НАНУ.

Серед виконавців проекту є Інститут проблем моделювання в енергетиці імені Г.Є. Пухова НАНУ, Харківський національний університет радіоелектроніки (ХНУРЕ), Львівський національний технічний університет "Львівська політехніка"(НУЛП), Запорізький національний технічний університет (ЗНТУ), Донецький національний технічний університет (Доц.. НТУ), Дніпропетровський національний гірничий університет (ДНГУ), державне підприємство "Львівський науково-дослідний радіотехнічний інститут"(ЛНДРІ) і підприємство ЮСТАР.

Проект присвячено побудові високоякісної національної GRID - інфраструктури з відповідними сервісами для надання можливості вітчизняним науковцям плідно співпрацювати в Європейському науковому просторі (European Research Area, ERA) і сприяти створенню економіки інформаційного суспільства, заснованої на знаннях, шляхом впровадження наукових концепцій GRID і найбільш вагомих наукових додатків, які використовуються в GRID середовищі. При реалізації проекту вирішуються наступні задачі:

* Забезпечення обслуговування Української філії Світового Центру Даних (УФ СЦД), надавши його клієнтам віддалений доступ до світових сховищ наукових даних, можливості ефективного сумісного використання комп'ютерів, унікальних експериментальних установок і приладів;

* Добудування і об'єднання в співдружності з НАНУ існуючої наукової і освітньої обчислювальної і комунікаційної інфраструктури в національну GRID - інфраструктуру і підключення її до Європейською GRID - інфраструктури, що складається з множини національних GRID - інфраструктур, використання ПГО gLite;

* Розповсюдження в суспільстві знань про GRID технології і навички з їх використання на рівні, що притаманний європейським країнам, які мають більш тривалий досвід розробки та використання GRID;

* Розгортання згідно домовленості з EUGRIDPMA Сертифікаційного центру відкритих ключів в Україні, враховуючи наявність проекту Національної GRID інфраструктури і визнання мережі УРАН в Європі, і роз починання підготовки користувачів GRID;

* Організація обслуговування національної GRID - інфраструктури шляхом створення регіональних ресурсних-операційних центрів і постійно діючих груп з питань підтримки, експлуатації і управління GRID; розповсюдження інформації про проект і розширення круга користувачів; навчання і підготовки користувачів; визначення областейзастосування і підтримки додатків; забезпечення мережних ресурсів тощо;

* Сприяння створенню спільних проектів в межах міжнародних віртуальних організацій (ВО) українських науковців з іноземними колегами з питань сталого розвитку, геофізики і комп'ютеризації проектування, забезпечивши їх інформаційну підтримку.

Передбачається протягом 2007-2008 років створити GRID-інфраструктуру з 6-ю ресурсно - операційними центрами (в Києві, Харкові, Донецьку, Дніпропетровську, Запоріжжі і Львові) і розпочати відділене обслуговування майбутніх користувачів - науковців з університетів та наукових установ України. Звичайно, що ця початкова GRID-інфраструктура буде добудовуватися, а число її центрів і розробників з організацій МОНУ і академічних інститутів НАНУ буде зростати Цьому сприяє фрактальність GRID-інфраструктури, тобто така її властивість, коли система подібна самої собі на кожній, різній за масштабом ділянці.

За минулий рік на шляху до підключення Українського GRID в якості повноцінної складової до Європейської GRID - інфраструктури зроблено кілька дуже важливих кроків.

В червні 2007 року підписана Угода з європейською організацією DANTE про підключення Національної науково-освітньої мережі УРАН до Європейської мережі GEANT. В вересні місяці очікується остаточне рішення іншої європейської організації

EUGRIDPMA про відкриття в Україні Сертифікаційного центру відкритих ключів для надання українським користувачам доступу до європейських ресурсів і сховищ даних.

Передбачається, що вже в 2008 році будуть створені і зможуть розпочати реальну співпрацю спільні наукові команди у вигляді ВО з українських і зарубіжних вчених.

Згідно з проектом в кожному з 6-ти ресурсно-операційних центрів Національної GRID-інфраструктури створюються центри навчання і підтримки користувачів Для цього передбачена розробка GRID - порталу, який буде задіяний в ресурсно-операційних центрах для навчання користувачів GRID технологіям і його будуть відвідувати чисельні гості з різних регіонів країни і зарубіжжя.

Размещено на Allbest.ru