Кластеризація обчислювального процесу в системах та мережах розгалуженого доступу
Основний вплив кластерного програмного забезпечення на прикладні програмні засоби. Розроблення основних методів підвищення якості проектування та перевірки розрахунків адресного простору обчислювальних мереж для використання в обчислювальному кластері.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | автореферат |
| Язык | украинский |
| Дата добавления | 29.09.2015 |
| Размер файла | 38,7 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Размещено на http://www.allbest.ru/
Національний авіаційний університет
УДК 04.051.2 (043.3)
АВТОРЕФЕРАТ
дисертації на здобуття наукового ступеня кандидата технічних наук
Кластеризація обчислювального процесу в системах та мережах розгалуженого доступу
05.13.13 - обчислювальні машини, системи та мережі
Скрипка Володимир Миколайович
Київ - 2007
Дисертацією є рукопис.
Роботу виконано на кафедрі прикладної інформатики Інституту комп'ютерних технологій Національного авіаційного університету Міністерства освіти і науки України.
Науковий керівник: доктор технічних наук, професор Фабричев В'ячеслав Анатолійович, Національний авіаційний університет МОН України, професор кафедри безпеки інформаційних технологій.
Офіційні опоненти:
доктор технічних наук, старший науковий співробітник Гамаюн Володимир Петрович, Національний авіаційний університет МОН України, професор кафедри комп'ютерних систем та мереж,
кандидат технічних наук Савенко Володимир Андрійович, Український інститут науково-технічної і економічної інформації, завідувач відділу розробки і супроводження програмно-технологічного забезпечення інформаційних систем.
Провідна установа:Інститут проблем моделювання в енергетиці ім. Г.Є. Пухова НАН України, відділ теорії моделювання, м. Київ.
Захист відбудеться “5” липня 2007 р. о 14:00 годинi на засіданні спеціалізованої вченої ради Д 26.062.07 Національного авіаційного університету за адресою: 03680, м.Київ, просп. Космонавта Комарова, 1.
З дисертацією можна ознайомитись у бібліотеці Національного авіаційного університету за адресою: 03680, м.Київ, просп. Космонавта Комарова, 1.
Автореферат розісланий “4” червня 2007 р.
Вчений секретар спеціалізованої вченої ради, кандидат технічних наук, доцент Мартинова О.П.
Загальна характеристика роботи
Актуальність теми. Сучасні системи доступу до розгалужених даних є комплексом апаратно-програмних засобів, що дають змогу швидко, ефективно одержувати доступ до даних та забезпечувати їх зберігання для подальшого використання. Разом зі збільшенням обсягів даних, збільшується й кількість допоміжних апаратно-програмних засобів для їх обробки; навантаження на вузли обробки передачі даних у багатьох випадках є незбалансованими.
Зв'язок роботи з науковими програмами, планами, темами. Робота виконувалась у рамках наукових досліджень на факультеті комп'ютерних наук Інституту комп'ютерних технологій Національного авіаційного університету (НАУ) при реалізації держбюджетної кафедральної НДР “Теоретичне та практичне обґрунтування методології опанування пакетів прикладних програм прикладної інформатики” 21-Ф4/К41 від 01.02.2003 р.
Мета і завдання досліджень. Мета цієї роботи -- розроблення ефективної та збалансованої взаємодії апаратно-програмних засобів обчислювальної мережі з використанням допоміжного програмного забезпечення та програмного забезпечення обчислювального кластера OpenMOSIX. Для досягнення мети були розв'язані такі науково-технічні завдання:
1. Дослідження впливу кластерного програмного забезпечення на прикладні програмні засоби (ППЗ), які були розроблені без урахування кластерного середовища.
2. Розроблення допоміжного програмного забезпечення для тестування кластера, відображення проміжних результатів дослідів в операційних системах Unix, Linux та Microsoft Windows та балансування навантажень на бази даних.
3. Розроблення методів підвищення якості проектування та перевірки розрахунків адресного простору обчислювальних мереж для використання в обчислювальному кластері.
4. Розроблення архітектури апаратно-програмного забезпечення серверів баз даних для використання в обчислювальному кластері OpenMOSIX.
Наукова новизна одержаних результатів.
1. Розроблено основи формування адресного простору та спосіб графічної розмітки обчислювальної мережі кластера на основі протоколу IPv4, що дозволяє забезпечити безперебійний зв'язок складових частин кластера.
2. Уперше розроблено метод та програмне забезпечення балансування навантажень на сервери баз даних та маршрутизатори за програмно керованим критерієм з використанням кластерного програмного забезпечення OpenMOSIX на базі операційної системи Linux, що дозволяє у потрібний момент відокремити окремо взяте завдання, що вже виконується на сервері, від конкретної апаратної платформи й перемістити на іншу без значної затримки й припинення виконання завдання.
3. Розроблено засади щодо методик проектування програмних засобів за методом примусового балансування, що дозволяє зменшити навантаження на окремий сервер обчислювального кластера.
4. Уперше розроблені методики дослідження поведінки кластера типу OpenMOSIX з діючими маршрутизаторами Internet трафіку під керуванням операційної системи Linux та додатковими програмними засобами, які можуть бути використані в кластері.
5. Уперше виконано дослідження із застосуванням фізичної моделі обчислювальної мережі кластера для отримування параметрів балансування у мережах з великою різницею швидкостей передавання даних за методом використання штучно внесених допоміжних індексів, програмно керованими умовами міграції процесів та автоматичного перезавантаження процесів, що припинили своє існування.
Практичне значення одержаних результатів. Спосіб графічної розмітки адресного простору мережі дозволяє ефективно знайти помилки розмітки, може бути відтворений як на комп'ютері, так і “вручну”, що є зручним як для цілей навчання, так і для перевірки окремих частин уже існуючих мереж.
Результати досліджень та результати роботи дозволяють:
1) уникнути типових помилок під час проектування архітектури кластерного середовища та адаптації до нього апаратно-програмних засобів;
2) збільшити потужність обчислень в 1-5 разів порівняно з початковою універсальною конфігурацією програмного забезпечення;
3) створити системи обчислень з прогнозованою поведінкою у разі збоїв, піковою та ефективною обчислювальною потужністю.
Алгоритми та програмні засоби примусового балансування навантажень на обчислювальний кластер та бази даних придатні для використання на діючих системах та є початковою платформою для подальших досліджень інших алгоритмів балансування навантажень за одним чи декількома параметрами обчислювальної системи.
Отримані результати дисертаційної роботи впроваджено в:
- навчальний процес на кафедрі обчислювальної техніки в 2005-2006 рр.-- лекції, лабораторні роботи, практичні заняття, курсове та дипломне проектування, розрахунково-графічні роботи з дисципліни “Комп'ютерні мережі”;
- навчальний процес на кафедрі безпеки інформаційних технологій Інституту інформаційно-діагностичних систем у 2005-2006 рр. -- навчально-методичне забезпечення для проведення лекційних та лабораторних занять, виконання студентами самостійної роботи з дисципліни “Організація баз даних та знань”;
- інтернет-сервіс провайдера “ФАУСТ ІСП” (програмне забезпечення для аналізу кількості та структури трафіку системи доступу користувачів до мережі Інтернет, програмного забезпечення маршрутизації та балансування навантажень);
- підприємстві “NewVision” (система балансування навантажень на бази даних);
- навчальному процесі курсів системного адміністрування “КА ШАГ” в 2003-2005 рр. -- методика розрахунків адресного простору мережі IPv4.
- підприємстві “Weblife” -- балансування навантажень на системи керування базами даних (СКБД) за допомогою допоміжних структур опису даних.
Особистий внесок здобувача. У статтях, що написано у співавторстві, автору належать: спосіб перерахунку координатної прив'язки до адаптивного розміщення графічних елементів програмного інтерфейсу та програми мовами програмування С++ та JAVA, способи портування програмного коду та динамічного облаштування на екрані дисплею [1;6;7], алгоритм, архітектура з'єднання та код програм мовами програмування С++ і Python [2], аналіз методів з'єднання прикладних програмних засобів, рекомендації щодо створення прикладних програмних засобів для використання в середовищі обчислювального кластера [3], алгоритм, програма, метод досліду та аналізу наслідків вторгнення в операційну систему [5], архітектура з'єднань, алгоритм, програма, метод взаємодії програмних модулів у часі [8], реалізація алгоритму швидкого розрахунку векторних перетворень, демонстраційна програма [9].
Апробація результатів дисертації. Основні результати роботи доповідалися та обговорювалися на V Міжнародній науково-технічній конференції “Авіа-2003” (Київ, НАУ, 2003), VI Міжнародній науково-технічній конференції “Авіа-2004” (Київ, НАУ, 2004), VII Міжнародній науково-технічній конференції “Авіа-2006” (Київ, НАУ, 2006), студентській конференції “Політ-2006” (Київ, НАУ, 2006), наукових міжкафедральних та кафедральних семінарах НАУ, науково-практичних семінарах та нарадах планово-технологічних відділів фірм “НЬЮ ВИЖН” та “ВЕБ ЛАЙФ”.
Публікації. Основні положення дисертації опубліковано в 9 статтях і тезах. З них 4 статті в фахових виданнях [1-4] та 5 у матеріалах конференцій [5-9].
Структура та обсяг роботи. Дисертація складається зі вступу, чотирьох розділів, висновків, що містять основні результати роботи, списку використаної літератури з 74 найменувань, 6 актів впровадження, 56 рисунків та 3 додатків. Основний текст дисертації викладено на 125 сторінках.
Основний зміст роботи
У вступі відображено актуальність обраної теми, сформульовано мету роботи та основні завдання дослідження, а також відзначено наукову новизну і практичну цінність одержаних результатів.
У першому розділі розглянуто ряд допоміжних методів спрощення відображення результатів досліджень, розроблено програми внесення керованих, запрограмованих збоїв для дослідження обчислювального кластера, сформульовано основні вимоги до систем керування доступом користувачів до розгалужених інформаційних ресурсів. Проаналізовано алгоритми роботи програмних засобів, що написані різними мовами програмування. Визначено шляхи портування інтерфейсів з мови С++ та створення нових мовою програмування Java.
Взаємодію елементів системи, яка виконує функції контролю використання апаратно-програмних ресурсів, вирішує питання використання підсистеми розрахунків між споживачем та постачальниками. Для одержання інформації про надані послуги потрібна значна кількість даних, які потрібно класифікувати та обраховувати за індивідуальними для кожної системи доступу алгоритмами. Для того щоб зробити систему в цілому більш гнучкою, вона має містити в собі сукупність підсистем створення з'єднань, керування ними, проведення статистичних підрахунків, відображення статистики та фінансової взаємодії.
Для вирішення різних завдань прикладного програмування пропонується використання найбільш потужних серед універсальних мов програмування -- С++ та Python. Цими мовами можна писати як програми керування апаратними ресурсами комп'ютерів, так й програми прикладного характеру. Використовувати універсальну мову програмування, таку як С++, пропонується для створення керівного модуля програми, а мову Python для створення допоміжних модулів. В мові програмування Python можливе використання технології, що дозволяє використовувати класи, методи та змінні, що працюють в модулі, який написано мовою С++, і навпаки. Пропонується використання структури програм з універсальним блоком обміну даними, подібної до архітектури VLIW - коли команда містить у собі всі необхідні дані для всіх вузлів ЕОМ. Головний модуль - програма мовою С++, допоміжні - програми мовою Python. Імена функцій допоміжних модулів генеруються автоматично з даних про код операції. Пропонується:
- під час проектування системи керування доступом до розгалужених кластеризованих ресурсів використовувати модульну систему з мінімальною залежністю модулів між собою, що дає змогу паралельно виконувати їх на різних серверах кластера;
- створити набір тестів для внесення найбільш імовірних збоїв в обчислювальну систему. Правила внесення збою задавати окремо для кожного модуля та допоміжного програмного засобу. Цей спосіб дає змогу складати тестові завдання як до кожного модуля окремо, так і до системи в цілому;
- використовувати симбіоз мов програмування для ефективного використання їх особливостей та прискореного розроблення програмного забезпечення;
- використовувати в допоміжних модулях програмного засобу скриптові мови програмування, зокрема мову Python. Це збільшує швидкість розроблення програмного забезпечення в 2-5 разів.
Розроблено алгоритм та програму внесення запрограмованих збоїв обчислювальної системи, що використовується як один з ймовірних тестів системи.
У другому розділі виконано аналіз та вибір архітектури програмних засобів, що найбільш пристосовані для виконання в кластерному середовищі OpenMOSIX.
Найбільш пристосованими до кластеризації є системи з максимальною кількістю інтерфейсів та рівнів взаємодії. За допомогою цих інтерфейсів можна створювати вузли розгалуження процесів.
Робота з локальною базою даних відбувається, як правило, в однокористувальницькому режимі. У разі потреби можна запустити на комп'ютері інший ППЗ, що одночасно здійснює доступ до цих же даних. Для керування спільним доступом до бази даних (БД) потрібні спеціальні засоби контролю і захисту. Вони можуть знадобитися, наприклад, у випадку, коли ППЗ намагається змінити запис, що редагує інший ППЗ. Кластеризація таких ППЗ є можливою, оскільки кожний ППЗ, драйвер бази даних та сама СКБД є окремими процесами з допоміжними вбудованими засобами розмежування доступу. Але кластеризація доцільна лише при приєднанні клієнтів до кластера в односторонньому напрямку - клієнти не можуть використовувати кластеризованого ресурсу сервера, але сервер може використовувати клієнтські ресурси.
За динамічної публікації Web-сторінки створюються після надходження запиту користувача на Web-сервер. Запит, що надійшов, на генерацію Web-сторінок, Web-сервер передає програмі-розширенню сервера, що формує необхідний документ, а потім Web-сервер відсилає готові Web-сторінки назад оглядачу.
Як "тонкий" клієнт у змішаній архітектурі виступає програма-модуль розширення Web-сервера. Сервер ППЗ може забезпечувати взаємодію з Web-серверами і серверами БД, що функціонують на різних апаратно-програмних платформах (комп'ютерах різних типів і під керуванням різних операційних систем). Така архітектура є основою для мереж, створюваних на основі існуючих локальних мереж.
Уведення додаткового рівня Web-сервера дозволяє публікувати інформацію з БД локальних мереж у мережі Internet, одержувати інформацію від інших intranet-мереж чи Web-вузлів. Крім того, у процесі часткової чи повної реорганізації внутрішньої архітектури локальних мереж появляється змога використовувати переваги мереж intranet, що стосуються спрощення додаткового підключення нових користувачів і адміністрування локальної мережі. Під час функціонування багаторівневих Web-ППЗ зберігається можливість рівномірної роботи Web-оглядачів і клієнтських ППЗ БД. Така взаємодія дає змогу об'єднувати в обчислювальний кластер усіх комп'ютерів обчислювальної мережі, але з обов'язковим примусовим наданням пріоритетів міграції процесів. Клієнтські процеси повинні мати найменший пріоритет міграції, інакше можливе використання всього процесорного ресурсу сервера клієнтськими програмними засобами, а це призведе до погіршення якості основного сервісу сервера.
Пропонується:
- вбудовування максимальної кількості інтерфейсів міжпрограмної взаємодії. Інтерфейси мають бути здатними швидко пристосовуватись до конкретних умов операційної системи для надання можливості пристосування програмного засобу до конкретної архітектури кластера;
- використання змішаної багаторівневої архітектури як базової архітектури програмного забезпечення для використання в обчислювальних кластерах типу OpenMOSIX для можливості розгалуження в потрібний час на 2 чи більше додаткових рівнів;
- використання пріоритетної схеми виконання програмних засобів з двома чи більше рівнями виконання. (Така взаємодія дозволяє об'єднувати в обчислювальний кластер усіх комп'ютерів обчислювальної мережі. Клієнтські процеси завжди повинні мати найменший пріоритет міграції чи повну заборону міграції для уникнення створення додаткового навантаження на сервери.);
- використання симбіозу мов програмування, що потребують компіляції, з скриптовими мовами програмування. Керувальні модулі мають містити універсальний інтерфейс міжмодульної взаємодії та бути написані мовою, що компілюється. Допоміжні модулі мають бути написані з використанням скриптових мов програмування, що дасть змогу швидко реконфігурувати систему в цілому. Програмні осередки мають бути достатніми для виконання завдання на іншому обчислювальному вузлі без додаткового програмного забезпечення. Це забезпечує змогу міграції процесу між серверами обчислювального кластера.
У третьому розділі винайдено спосіб графічного розрахунку комп'ютерних мереж, виконано дослідження поведінки програмних засобів на діючих серверах в умовах обчислювального кластера, сформульовано рекомендації щодо настроювання підсистем серверів, з яких складається кластер. кластерний програмний обчислювальний мережа
Спосіб ґрунтується на графічному зображенні правил розмітки з використанням горизонтальної ієрархічної структури. Комп'ютерні мережі можуть розділяться на підмережі і функціонувати правильно без примусової зміни адрес за технологією NAT лише за відсутності перетину адресних просторів різних сегментів IP-простору мережі. Адреса IPv4 мережі, що розділюється на підмережі, має бути приведена для подальшої роботи до найбільшої мережі класу С (це маска 255.255.255.0 чи /24 в CIDR запису [1;9]). Шаблон ієрархічної структури може бути створений “вручну” або в табличних редакторах типу Open Office Calc, Microsoft Excel або інших. Таблиця має 8, або більше, у разі потреби, стовпців. Їх позначаємо через A,B,C,D,E,F,G,H відповідно. Перший стовпець (стовпець А) має заповнюватись тим адресним простором, що розподіляється. Стовпці B,C,D,E,F,G,H відповідають за маски підмереж - /24, /25, /26, /27, /28, /29 та /30 відповідно. Розмітка ведеться до адреси з маскою /30, оскільки це найменша підмережа, що виділяється для з'єднання двох вузлів IP мережі, що має широкомовну передачу даних. За цими правилами адреса мережі та широкомовна адреса не можуть бути надані вузлам мережі. За особливих умов планування мережі розмітка може бути розширена аж до /32. Оскільки підмережі складаються таким чином, що, наприклад, підмережа з маскою /28 містить 2 підмережі /29, то, коли використано одну підмережу з двох /29, то вже підмережу /28 не можна використовувати надалі в інших сегментах мережі. У розмітці шаблона враховано ці правила. Із шаблона видно, що мережеві адреси можуть бути видані лише після чорної жирної лінії розмітки у відповідному стовпці без перетину з розміткою в усіх стовпцях. Для полегшення розмітки та усунення можливих помилок слід її розпочинати з найменших адресів та підмереж з найбільшою кількістю адрес.
На цій схемі колами з цифрами в середині зображено маршрутизатори, а чорними крапками на перетині ліній - комутатори. Необхідно, щоб підмережі графічно не перетинались, або входили одна в одну в разі агрегації.
За цією схемою, визначено 6 підмереж з урахуванням принципу мінімальної утилізації мережевих адрес: 1-5-4 це м1, 3-5-6-7 це м2, 4-6 це м3, 1-2 це м4, 2-5 це м5 та 3-4 це м6. За рекомендацією розмітки, що зазначалась вище, треба видавати адреси спочатку підмережі м2, а потім м1, але в цьому випадку це не має значення, оскільки можна видавати лише підмережі з кількістю адрес, що кратні 2n (рис.5), то 3 чи 4 маршрутизатори в одній підмережі потребують однакову кількість адрес - 8. Для розмічення використано кольорову, або монохроматичну з різними відтінками, схему, що розділяє межі підмереж. Так, видану підмережу потрібно позначити кольором до того стовпця, що відповідає масці під мережі.
Таким чином, метод дозволяє без математичних розрахунків перевіряти вже існуючі мережі послідовним заповненням шаблону, проектувати нові мережі, зменшує час планування та перевірки розмітки мереж у декілька разів, має зручну наочну схему для подальшого використання.
Розроблено основи та спосіб формування адресного простору обчислювальної мережі кластера на основі протоколу IPv4, що дозволяє забезпечити безперебійний зв'язок складових частин кластера.
Пропонується:
- розділяти великі бази даних на менші складові частини разом з поліпшенням використання існуючих індексів за рахунок додавання індексних файлів чи перепису запиту, використовувати мінімально можливу кількість запитів;
- використовувати клієнтські обчислювальні потужності для потреб сервера за рахунок передавання засобами OpenMOSIX на клієнтські місця розрахунково-складних завдань;
- використовувати схеми сповіщення за подією замість постійного опитування джерела даних, звернення до периферійних пристроїв винести за межі транзакції, паралельні транзакції виконувати над атомарними даними;
- додавання оперативної пам'яті до максимальної ємності для скорочення кількості звертань до диска, помістити журнал на спеціально виділеному для нього диску або дисках, відкладати запис відновлень на диски бази даних. Розрахувати інтервали контрольних точок і дампу бази даних для заданого співвідношення між бажаним часом відновлення й продуктивністю за безвідмовної роботи.
У четвертому розділі вирішується проблема балансування навантажень на бази даних, що динамічно оновлюються, в середовищі обчислювального кластера OpenMOSIX; у вигляді графіків оформлено результати роботи фізичної моделі обчислювального кластера з примусовим балансуванням. Така система дозволить розвантажити основні комп'ютери, які приймають й обслуговують запити, у випадку підвисання або зациклення процесу.
Для виконання умови паралельності завдань, працюючих з базами даних, водночас з можливістю балансування навантаження за допомогою перенаправлення запитів, повинен бути застосований спосіб, що передбачає послідовний розвиток обчислювальної системи. Розвиток системи складається із 6 уніфікованих етапів. У цій схемі взаємодії в разі потреби можна замість комп'ютерів PC1-PC4 використовувати обчислювальну систему, що складається з конфігурації комп'ютерів будь-якого етапу із 6 етапів розвитку. Таким чином, система може бути легко розвинена в місці, де необхідно збільшити обчислювальну потужність.
· Етап 1. Передбачає наявність одного комп'ютера PC1 із серверним програмним забезпеченням і системою керування базою даних, що також розміщена в цьому комп'ютері. Працює до досягнення навантаження, рівній половині, або іншій обчисленій величині, потужності даного комп'ютера. При досягненні цієї межі здійснюється перехід на етап 2.
· Етап 2. Працює короткочасно. Під час цього етапу відбувається реплікація баз даних на інший комп'ютер. Цей етап повинен бути мінімізований за часом і може тривати тільки до критичної величини, коли час реплікації забезпечує актуальність даних на двох комп'ютерах й їх повну синхронізацію.
· Етап 3. Переклад SQL транзакцій повністю на додатковий комп'ютер PC2. На PC1 генерується продовження баз, основна частина яких перебуває на PC2. На цьому етапі відбувається використання згенерованої бази на PC1 у додатковому режимі. Програмне забезпечення сервера має містити в собі механізм відстеження місця або комп'ютера розташування бази даних. Тривалість цього етапу - до завантаження, такого, як на першому етапі. Із досягненням такого навантаження здійснюється перехід на наступний етап.
· Етап 4. Відбувається реплікація баз даних PC1 на новий комп'ютер PC3. Цей етап, як й етап 2, працює короткочасно. Критична оцінка часу життя - час реплікації не порушує актуальності даних на двох серверах.
· Етап 5. Він є стійким і виконується доти, доки щойно створене продовження баз даних комп'ютера PC3 та серверні програмні засоби також не почнуть навантажувати PC1 до критичного значення.
· Етап 6. Збільшення кількості підключень за одиницю часу неминуче веде до збільшення кількості серверних процесів й їх сумарного навантаження на обчислювальну систему. На цьому етапі відбувається поділ основної частини програмного коду на 2 з появою додаткового модуля балансування. Саме він має приймати всі запити клієнтів і перенаправляти їх на один із серверів з основним серверним програмним забезпеченням. Це можна зробити засобами самої операційної системи Linux.
Процеси, що потребують значного процесорного часу, відведені на окремий сервер, де, з часом, припинені. Функції головного сервера не припинялись.
Пропонується використовувати як вмонтовані системи балансування, так і зовнішні, які розроблюються разом з програмним забезпеченням, що використовує систему керування базою даних. Зовнішнє балансування має здійснюватись за ключовими даними, які завжди наявні. За цими даними також доцільно використати розподіл бази даних на менші складові. Цей спосіб балансування навантажень можна оптимізувати для виконання в середовищі обчислювального кластера, що зумовлює збільшення ефективної обчислювальної потужності.
Розроблено зовнішній балансувач з використанням пріоритетної конвеєризації запитів, що обробляє декілька запитів одночасно, та за умов наявності обчислювального кластера OpenMOSIX, дасть приріст швидкості обробки транзакцій в 1..3 рази. Також бажано використовувати транзакції даних, що вже завантажені. Це можливо в разі використання пріоритетної конвеєризації запитів, що також має бути розроблена разом з основними програмними засобами. Цей спосіб дає змогу короткотривалі запити перенаправляти на найменш завантажений сервер баз даних, а тривалі транзакції виконувати в режимі примусової міграції за допомогою кластерного програмного забезпечення OpenMOSIX.
Пропонується:
- процес “постійної реплікації” здійснювати за пріоритетним програмно керованим принципом, оскільки в разі невдалого використання вся процесорна та дискова потужність декількох серверів буде використана на процес реплікації.
- використовувати кластер OpenMOSIX разом з програмним забезпеченням пріоритетної примусової міграції та з відключеним внутрішнім режимом автоматичної міграції, оскільки деякі програмні засоби у такому середовищі нестабільні. Це дозволяє модулям розширення сервера зі значними вимогами до розрахункової потужності мігрувати до інших серверів, які менше завантажені у визначений час та уникати ризику аварійного припинення процесу, що мігрує, через несумісність реалізації внутрішніх алгоритмів з умовами кластероного середовища.
- для серверів, що також є маршрутизаторами, використовувати програмні засоби автоматичного усунення вибраних до припинення процесів та засоби запуску нової версії таких процесів. Необхідно передбачити вирішення проблеми циклічного завантаження та усунення програм. Це уможливлює автономну роботу кластера без втручання оператора.
Висновки
У дисертаційній роботі запропоновано способи, методи, алгоритми та обчислювальні засоби для рішення задач кластеризації обчислювального процесу в системах та мережах з розгалуженим доступом. На основі проведених досліджень отримано такі основні результати:
1. Розроблено основи формування адресного простору та спосіб графічної розмітки обчислювальної мережі кластера на основі протоколу IPv4, що дозволяє забезпечити безперебійний зв'язок складових частин кластера та дозволяє уникнути помилок проектування підмереж мережі.
2. Уперше розроблено метод та програмне забезпечення балансування навантажень на сервери баз даних та маршрутизатори за програмно керованим критерієм з використанням кластерного програмного забезпечення OpenMOSIX на базі операційної системи Linux, що дозволяє у потрібний момент відокремити окремо взяте завдання, що вже виконується на сервері, від конкретної апаратної платформи й перемістити на іншу без значної затримки й припинення виконання завдання.
3. Розроблено засади щодо методик проектування програмних засобів за методом примусового балансування, що дозволяє зменшити навантаження на окремий сервер обчислювального кластера.
4. Уперше розроблені методики дослідження поведінки кластера типу OpenMOSIX з діючими маршрутизаторами Internet трафіку під керуванням операційної системи Linux та додатковими програмними засобами, які можуть бути використані в кластері.
5. Уперше виконано дослідження із застосуванням фізичної моделі обчислювальної мережі кластера для отримування параметрів балансування у мережах з великою різницею швидкостей передавання даних за методом використання штучно внесених допоміжних індексів, програмно керованими умовами міграції процесів та автоматичного перезавантаження процесів, що припинили своє існування.
6. Доведено, що кластер OpenMOSIX доцільно використовувати. Використання обчислювального кластера у найгіршому випадку не заважає внутрішній кластеризації систем керування базами даних та іншого програмного середовища, а в багатьох випадках збільшує потужність обчислень в декілька разів.
7. За наявності модулів розширення сервера зі значними вимогами до розрахункової потужності сервера запропоновано використовувати керовану міграцію процесів до інших серверів, що менше завантажені. Це в багатьох випадках збільшує потужність обчислень у декілька разів. При використанні запропоновоного способу послідовного розвитку обчислювальної системи уможливлює маштабування системи в цілому.
8. Пропонується для серверів, що також є маршрутизаторами, використовувати обчислювальний кластер в односторонньому напрямі. Тобто, маршрутизаторам недоцільно приймати процеси від інших серверів, так як це може порушити взаємодію по мережі, але можна відправляти процеси до інших серверів, де працюють програми усунення вибраних до припинення процесів та їх перезавантаження в правильному режимі. За допомогою цього методу забезпечується правильне функціонування зв'язку між нодами кластера.
9. Використання графічного способу розмітки IPv4 мереж уможливлює балансування навантажень на магістралі передачі даних за допомогою протоколу OSPF.
10. Пропонується використовувати скриптові мови для створення тестових версій програмних засобів з подальшим профілюванням та заміщенням місць, що потребують більшої швидкості, мовою програмування з попередньою компіляцією. Цей спосіб розроблення програмного забезпечення прискорює процес розробки в 2-3 рази і часто зменшує вимоги до кваліфікації персоналу.
Список опублікованих праць за темою дисертації
1. Скрипка В.М., Фабричев В.А. Портування координатно розрахованого графічного інтерфейсу на мову програмування JAVA // Проблеми інформатизації та управління: Зб. наук. пр. - К.: НАУ, 2005. - Вип. 1(12). - С. 147-150.
2. Скрипка В.М., Фабричев В.А. Використання симбіозу мов програмування для швидкого досягнення мети експериментів // Проблеми інформатизації та управління: Зб. наук. пр. - К.: НАУ, 2006. - Вип. 1(16). - С. 152-155.
3. Скрипка В.М., Фабричев В.А. Клієнт-серверна технологія в заходах кластеризації обчислювального процесу // Проблеми інформатизації та управління: Зб. наук. пр. - К.: НАУ, 2006. - Вип. 2(17). - С. 149-152.
4. Скрипка В.М., Забезпечення пріоритетності виконання програмних засобів за рахунок примусової міграції процесів // Проблеми інформатизації та управління: Зб. наук. пр.- К.: НАУ, 2006. - Вип. 3(18). - С. 120-123.
5. Скрипка В.М., Фабричев В.А. Моделювання процесу вторгнення в операційну систему // Матеріали V Міжнар. наук.-техн. конф. “Авіа-2003”. - К.: НАУ, 2003. - С. 14.163-14.166.
6. Скрипка В.М. Створення координатно розрахованого графічного інтерфейсу з використанням мови програмування JAVA // Матеріали IV Міжнар. наук.-техн. конф. студ. та молодих учених “Політ-2004”. - К.: НАУ, 2004. - С. 54.
7. Скрипка В.М. Створення координатно розрахованого графічного інтерфейсу з використанням мови програмування JAVA // Матеріали VІ Міжнародної науково-технічної конференції “Авіа-2004”. - К.: НАУ, 2004 - С. 23.
8. Скрипка В.М., Фабричев В.А. Допоміжні засоби балансування навантажень на бази даних, що динамічно оновлюються // Матеріали VII Міжнародної науково-технічної конференції “Авіа-2006”. - К.: НАУ, 2006. - Т.1. - С.13.21-13.24.
9. Скрипка В.Н., Харченко А.Г. Векторная графика // Матеріали XLVI студ. наук.-техн. конф. - К.: НАУ, 1998. - С. 43-44.
Анотація
Скрипка В.М. Кластеризація обчислювального процесу в системах та мережах розгалуженого доступу. - Рукопис.
Дисертація на здобуття наукового ступеня кандидата технічних наук за спеціальністю 05.13.13 - обчислювальні машини, системи та мережі. - Національний авіаційний університет МОН України, Київ, 2007.
Дисертацію присвячено розробленню способу та програмного забезпечення балансування навантажень на сервери баз даних, маршрутизатори за програмно керованим критерієм з використанням кластерного програмного забезпечення OpenMOSIX на базі операційної системи Linux.
Розроблено основи формування та графічний спосіб розмітки адресного простору обчислювальної мережі кластера на основі протоколу IPv4, що дозволяє забезпечити безперебійний зв'язок складових частин кластера.
Розроблено спосіб та програмне забезпечення балансування навантажень на сервери баз даних та маршрутизатори за програмно керованим критерієм, з використанням кластерного програмного забезпечення OpenMOSIX на базі операційної системи Linux.
Розроблено засади щодо методик проектування програмних засобів за методом примусового балансування та використання симбіозу різних мов програмування.
Ключові слова: умови міграції процесів, обчислювальна мережа кластера OpenMOSIX, балансування навантажень, спосіб розмітки адресного простору IPv4 мережі
Аннотация
Скрипка В.Н. Кластеризация вычислительного процесса в системах и сетях распределенного доступа. - Рукопись.
Диссертация на соискание ученой степени кандидата технических наук по специальности 05.13.13 - вычислительные машины, системы и сети. - Национальный авиационный университет МОН Украины, Киев, 2007.
Диссертация посвящена разработке способа и программного обеспечения балансировки нагрузки на сервера баз данных, маршрутизаторы по программно управляемому критерию с применением кластерного программного обеспечения OpenMOSIX на базе операционной системы Linux.
Разработаны основы формирования и графический способ разметки адресного пространства вычислительной сети кластера на основе протокола IPv4, что позволяет обеспечить бесперебойную связь составных частей кластера.
Разработан способ и программное обеспечение балансировки нагрузки на сервера баз данных и маршрутизаторы по программно управляемому критерию с применением кластерного программного обеспечения OpenMOSIX на базе операционной системы Linux. Это позволяет в определенный момент отделить задачу, которая уже выполняется на сервере, от конкретной аппаратной платформы и переместить ее на другую без значительной задержки и прекращения выполнения задачи.
Разработаны рекомендации по проектированию программных приложений с возможностью принудительной миграции и применением симбиоза разных языков программирования. Это позволяет уменьшить нагрузку на отдельный сервер вычислительного кластера, оперативно изменять программный код без перезагрузки управляющего модуля.
Разработаны методики исследований поведения вычислительного кластера типа OpenMOSIX с действующими маршрутизаторами Internet трафика под управлением операционной системы Linux и дополнительным программным обеспечением, которое может быть использовано в среде вычислительного кластера.
Выполнено исследование на физической модели вычислительной сети кластера по получению параметров балансировки в сетях с высокой разницей скоростей передачи данных по методу использования штучно внесенных вспомогательных индексов, программно управляемых условий миграции процессов и автоматической перезагрузки процессов, прекративших свое существование.
Ключевые слова: условия миграции процессов, вычислительная сеть кластера OpenMOSIX, балансировка нагрузки, способ разметки адресного пространства IPv4 сети.
Abstract
Skrypka V.M. Computation process clustering in distributed systems and networks. - Manuscript.
Dissertation for competition of scientific degree of candidate of science (Technical) on specialty 05.13.13 - computers, computing systems and networks.- National aviation university, Ministry of Education and Science of Ukraine, Kyiv, 2007.
Dissertation work is dedicated to research of methods and software of server and routers load balancing by programmable criterion with OpenMOSIX computing cluster software based on Linux operating system.
Key words: load balancing by programmable criterion, OpenMOSIX cluster computing network, graphic-based method of IPv4 network design.
Размещено на Allbest.ru
...Подобные документы
Принципи побудови розподілених обчислювальних мереж, зокрема GRID-систем. Існуючи способи планування задач в них. Детальний аналіз Moab Workload Manager, недоліки алгоритму. Розроблення програмного забезпечення щодо більш ефективної його роботи.
дипломная работа [1,7 M], добавлен 13.04.2014Оцінювання та засоби підвищення надійності інформаційних технологій протягом усього життєвого циклу програмного забезпечення на основі негомогенного пуасонівського процесу та обчислення її параметрів, з урахуванням сучасних тенденцій тестування.
автореферат [52,0 K], добавлен 10.12.2010Огляд і архітектура обчислювальних мереж, переваги їх використання та обґрунтування вибору. Пошук несправностей в мережах на базі операційної системи Windows, виявлення причин. Особливості методів захисту від несанкціонованого доступу в мережі TCP/IP.
курсовая работа [2,8 M], добавлен 28.01.2011Розробка методів та моделей формування єдиного інформаційного простору (ЄІП) для підтримки процесів розроблення виробів авіаційної техніки. Удосконалення методу оцінювання якості засобів інформаційної підтримки. Аналіз складу програмного забезпечення ЄІП.
автореферат [506,3 K], добавлен 24.02.2015Проектування і реалізація навчального програмного продукту "Побудова геометричних фігур". Використання C++ Builder 6 у якості програмного середовища для реалізації даної навчальної програми. Інструкція з використання розробленого програмного забезпечення.
курсовая работа [2,2 M], добавлен 05.05.2014Основні характеристики мови "С ++". Сучасне системне та прикладне програмне забезпечення. Середовище програмування Borland Builder С++. Перелік та опис програмного забезпечення, яке використовується в обчислювальному центрі. Розробка програми Шифр Цезаря.
отчет по практике [307,5 K], добавлен 28.09.2015Розрахунок адресного простору мережі центрального офісу. Розподіл адресного простору між під мережами віддаленого офісу. Налаштування динамічного присвоєння адрес на маршрутизаторах з використанням протоколу DHCP. Налаштування маршрутизації в мережах.
курсовая работа [245,4 K], добавлен 12.04.2017Методи захисту програмного забезпечення та комп’ютера від несанкціонованого доступу. Метод створення програми перевірки доступу за методом Тюрінга. Розробка структури програми, вибір мови програмування, тестування. Інструкція по роботі з програмою.
курсовая работа [606,7 K], добавлен 06.08.2013Поняття локальних обчислювальних мереж. Опис об’єкту та план будівлі. Побудова функціональної схеми. Вибір обладнання. Моделювання комп’ютерної мережі в Packet Tracer. Вибір програмного забезпечення і забезпечення його роботи; налаштування сервера.
курсовая работа [5,1 M], добавлен 04.10.2014Розробки локальної обчислювальної мережі для підприємства з використанням обладнання Cisco. Її тестування та налагодження в програмі Packet Tracer. Визначення програмного забезпечення та обладнання. Топологічна схема мережі. Розподіл адресного простору.
дипломная работа [2,3 M], добавлен 15.07.2015Технології організації безпечного доступу на об’єкт. Принцип роботи мережевої системи контролю доступу. Технологія сканування відбитків пальців. Опис базових параметрів біометричного обладнання. Елементи ідентифікації в сучасних системах доступу.
дипломная работа [4,9 M], добавлен 27.01.2012Методи аналізу та засоби забезпечення надійності, що використовуються при проектуванні програмного забезпечення. Основні види складності. Якісні та кількісні критерії. Ієрархічна структура. Попередження помилок. Реалізація статичної і динамічної моделей.
реферат [128,2 K], добавлен 20.06.2015Систематизація знань як основна функція бази даних. Логічне та фізичне проектування бази даних. Створення таблиць у базі даних, визначення основних зв'язків. Інструментальні засоби проектування та створення програмного забезпечення для обробки даних.
курсовая работа [1,4 M], добавлен 29.04.2010Загальні відомості та характеристика локальних обчислювальних мереж. Огляд мережевих архітектур: Ethernet, Token Ring, ArcNet. Підключення мережі за технологією Ethernet. Різноманітне активне мережеве обладнання: повторювач, концентратор, комутатор.
дипломная работа [3,2 M], добавлен 03.10.2014Аналіз сучасних методів та технологій проектування програмного забезпечення. Вибір цільової мобільної платформи. Розробка екранних форм, діаграми класів. Вимоги до програмного продукту. Аналіз небезпечних факторів у відділі роботи з фізичними особами.
дипломная работа [508,1 K], добавлен 02.12.2015Кластеризація як альтернатива побудови симетричних мультипроцесорних систем. Вища продуктивність і "живучість" обчислювальних комплексів як переваги кластеризації. Особливості варіантів структури кластерів. Види комплексів з активним вторинним вузлом.
реферат [25,6 K], добавлен 08.09.2011Особливості архітектури комп'ютерних мереж. Апаратні та програмні засоби комп'ютерних мереж, їх класифікація та характеристика. Структура та основні складові комунікаційних технологій мереж. Концепції побудови та типи функціонування комп'ютерних мереж.
отчет по практике [1,2 M], добавлен 12.06.2015Аналіз фізичної організації передачі даних по каналах комп'ютерних мереж, топологія фізичних зв'язків та організація їх сумісного використання. Методи доступу до каналів, настроювання мережевих служб для здійснення авторизації доступу до мережі Інтернет.
дипломная работа [2,6 M], добавлен 12.09.2010Розробка компонентів програмного забезпечення системи збору даних про хід технологічного процесу. Опис програмного забезпечення: сервера, що приймає дані про хід технологічного процесу, КОМ для його імітування, робочої станції для відображення даних.
курсовая работа [1,3 M], добавлен 20.11.2010Оптимізація розташування посилань на інформаційні ресурсах у мережевих пошукових системах за допомогою спеціальних вірно обраних ключових слів. Розробка програмного забезпечення SEO-системи для тестування і читання RSS каналів відвідувачами сайту.
дипломная работа [2,3 M], добавлен 14.06.2013
