Математическое моделирование средств управления ресурсами и данными в распределенных и виртуализованных средах

· интервалы воздействия этого управления, как правило, превышают интервалы, характерные для системы управления нижележащего уровня.

Рассмотрим обобщенную модель наложенного группового управления и исследуем ограничения, которые надо наложить на функцию потребления процесса между воздействиями макроуправления, чтобы обеспечить надлежащую точность управления. Рассмотрим модель наложенного управления единичным потребителем, и после этого обобщим ее на группу потребителей.

Пусть функция потребления - зависимость потребления процессом одного или нескольких ресурсов от времени. Пусть в операционной системе существуют N процессов, и каждому из них соответствует желаемая функция потребления (которая может быть задана в виде вектора) R_i(t^*), где i - порядковый номер процесса в системе, t^* - собственное время процесса. Собственное время процесса совпадает с физическим временем в системе, если нет конкурентных задач (с точностью до операций ввода-вывода). Будем считать, что желаемая функция потребления каждого ресурса принимает в данный момент времени:

1 - процесс потребляет дополнительную единицу ресурса

0 - процесс не потребляет дополнительную единицу

-1 - процесс освобождает занятую единицу ресурса.

То есть , и пусть - та же самая функция, но t - реальное (физическое, системное) время, в котором процесс получал ресурсы. В общем случае . Рассмотрим преобразование t=F_i(t^*), которое фактически «растягивает» временную ось («растяжение» происходит, поскольку рассматриваемому процессу процессорное время может быть не предоставлено в «желаемый» им момент времени). Пусть - та же самая функция R, но t^** - идеальное время при котором идеально выполняется наложенное нами ограничение (например, гарантия доли процессорного времени). Назовем эту функцию функцией идеального потребления с идеальной функцией t^**=S_i(t^*).

Будем считать критерием качества управления отклонение функции идеального потребления от функции фактического потребления. Тогда нашу задачу можно сформулировать следующим образом - при каких предположениях о поведении R_i(t^*) выполняется условие

,

где a - допустимая погрешность управления, а подынтегральная функция имеет смысл меры вектора отклонения от идеального. В работе [15] выводятся интегральные уравнения для оценки компонент погрешности, вводится мера и обосновывается тот факт, что определяющим фактором стабильности нашего управления является функция DR_i(F_i(t^*)), которая, фактически, описывает специфику потребления ОС и связанные с ним эффекты. Доказывается, что можно достичь приемлемой точности наложенного управления путем наложения некоторого набора требований к поведению функции потребления и оценивая некоторые параметры процесса. Для невозобновляемых и частично возобновляемых ресурсов обосновано управление путем:

· ограничения скорости потребления ресурсов - мягкий способ (за скорость потребления, фактически, отвечает коэффициент dF_i(t^*)/dt^*) ,

· запрещая потреблять ресурсы - жесткий способ (в данном случае это означает, что R^*(t)-?-R(t)).

В работe [15] рассмотрено приложение полученной абстрактной модели к ресурсу - «доле CPU», предложен алгоритм наложенного управления и оценена его точность. Результат проведенных измерений, подтверждает сделанные в модели предположения.

В работе [16] предложено обобщение модели для группового наложенного управления, для чего введена функция группового потребления, на примере задачи управления дисковыми обменами. Группа задач - конечное число задач, удовлетворяющих следующим критериям:

· Все задачи в группе потребляют один и тот же ресурс

· Задачи можно объединить по признаку (принадлежности пользователю).

· Ресурс потребляется только одной задачей группы (для любого t).

Группа задач характеризуется функцией желаемого потребления GR, которая равна 1, если хотя бы одна из задач группы потребляет ресурс, равна 0, если никакая из задач группы ресурс не потребляет. Для этой задачи также сформулирован критерием качества управления и алгоритм управления.

Математическая модель потребления вычислительных ресурсов

Автором в [2] предложена новая математическая модель потребления ресурсов операционной системы, использующая систему дифференциальных и алгебраических уравнений (примеры решения таких систем для гиперболических уравнений в частных производных рассмотрены в [7-9,10,11]). Модель может быть использована для исследования как процесса микро-планирования на уровне планировщика ОС, так и на уровне макро планирования общего прохождения потока процессов через компьютерную систему, в том числе распределенной системы разной степени связности, и может быть использована при анализе работы предложенной виртуализованной распределенной среды.

Модельными переменными выбраны время t и расстояние x.

Переменная времени t традиционно описывает переход системы от прошлого к будущему. Переменная х является аналогом «внутреннего времени» процесса или нити исполнения. По сути своей оно изменяется только тогда, когда процесс получил долю процессора и описывает решение задачи, имея размерность «количества команд». Физический смысл x: продвижение решения задачи от начала к концу (доля решения). Максимальная скорость, с которой может выполняться «поток исполнения» («скорость звука») ограничена максимальной производительностью процессора - числом операций в секунду, которые он может исполнять. Планирование «потоков исполнения» ОС можно рассматривать как некую среднюю «скорость» передвижения. Абсолютное значение х соответствует текущей стадии выполненного процесса и меняется для каждой задачи от 0 до X_max.

Введем величины - вектор плотности ресурсов, размерностью [ресурс/операции]. Его компоненты означает удельную плотность какого либо ресурса в точке (x,t), и u(x,t) - скорость «потока исполнения», т.е. скорость выполнения команд, или скорость продвижения по внутреннему времени, размерностью [операции/секунды], - вектор потока ресурсов [ресурс/секунды].в точке х где выполнение не дошло до этой стадии равно 0.

Рассмотрим в качестве примера ресурса долю CPU. Обозначим долю CPU, которую должен получить данный «поток исполнения» на данном процессоре T(x,t) исходя из внутренней потребности и разрешенной доли потребления (если ее поддерживает планировщик ОС), и реально полученную долю CPU D(x,t). Плотность ресурса определим как долю CPU, которая в момент времени t и долю выполненной работы x была получена «потоком исполнения». Пусть P_max - максимальная производительность CPU. Производная потока вдоль х представляет собой изменение полученной доли ресурсов в процессе его исполнения. В наших переменных можно считать D(x,t)ЧP_max=u(x,t).

Запишем «закон сохранения массы» или уравнение неразрывности в форме

Здесь f₁(x,t) описывает поведение «источника» массы. Если вспомнить, что с по сути своей есть удельная доля использованного CPU, то фактически f₁(x,t) представляет собой функцию «желаемого уровня потребления» ресурсов в дифференциальной форме - то, что предоставил задаче планировщик системы по ее запросу, с учетом уровня SLA и отклонений от него.

Производная скорости выполнения процесса по времени управляется внешней по отношению к процессу функцией выделения планировщиком операционной системы ресурса

Существует множество планировщиков ресурсов, работающих по своим законам. Их поведение можно измерить на реальной работающей системе, или получить его оценки из приближенных математических моделей.

Имеет смысл выделить несколько частных случаев, на которых можно рассмотреть поведение «усредненного планировщика», который при прочих равных условиях стремится скомпенсировать разность между желаемой долей ресурсов каждой нити исполнения T(x,t) и полученной долей D(x,t). Это можно считать «давлением», определяющим изменение потока ресурсов. Пример описания планировщика в рамках модели приведен в [2].

В рамках модели естественным образом вводятся две независимые функции f₁(x,t) и f₂(x,t), описывающие внутреннюю потребность в ресурсе алгоритма «потока исполнения» и выделение ресурса планировщиком ОС.

Для другого класса возобновляемых ресурсов, например, для сетевой полосы пропускания, формулировка модели и модельных параметров может выглядеть так же, за исключением того факта что даже если «поток исполнения» не нуждается в этом ресурсе то он тем не менее может продвигаться вдоль оси х. Кроме того, должна быть введена кросс-зависимость P_max от разности между желаемой полосой пропускания и полученной полосой, так как пропорционально недополученной полосы пропускания мы должны увеличить время, за которое достигается какой то этап в первой группе уравнений для доли CPU:

где индекс N относится к сетевой полосе пропускания. Не возобновляемые ресурсы можно описать в основном алгебраическими формулами типа с_i-=-с_i(x,t).

Также, используя подобный подход, можно смоделировать последовательность работы разных «потоков исполнения», когда результат работы одного «потока исполнения» может быть использован как начальное условие для другого «потока исполнения», или обмен данными между параллельными нитями, используемыми в одной расчетной программе.

Общая система уравнений для j-го потока и i-го ресурса выглядит как

S_i(x,t) требуемый уровень потребления ресурса без учета ограничений, T_max(x,t) текущее ограничение планировщиком, , - параметры планировщика.

Решать предложенные уравнения возможно при помощи стандартных методов - например, при помощи монотонных сеточно-характеристических схем [8], которые были использованы автором работы для решения задач моделирования в [7-9,10,11,24]. Модельные расчеты были проведены по одношаговому явному методу типа Рунге-Кутты, где начальные и граничные значения с_i ? 0; u(x,0)=1 для x ? [0,1], для n потоков с весом W* для соответствующего ресурса,

,

и расчет велся, пока . Основные результаты, полученные в ходе исследования, приводятся в заключении диссертации.

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

1. Предложены принципы функционирования качественно нового поколения средств размещения и управления ресурсами и данными как децентрализованной распределенной саморегулирующейся виртуализованной мобильной среды, являющейся совокупностью вычислительных ресурсов и хранилищ данных, объединенных коммуникационной инфраструктурой.

2. Поставлена и решена задача разработки нового подхода к виртуализации, который может быть использован как способ обеспечения мобильности приложений в виртуализованной среде.

3. Разработана система математических и имитационных моделей, а также алгоритмов и методов управления ресурсами, необходимых для функционирования предложенной виртуализованной распределенной среды, в том числе модель группового наложенного управления ресурсами и модель представления вычислительных ресурсов и способа их потребления.

4. Поставлена и решена задача создания математических моделей сред распределенного отказоустойчивого хранения данных с регулируемой степенью избыточности, использующих предложенный принцип хранения с регулируемой избыточностью - (n,k)-схему хранения данных.

5. Разработаны принципы функционирования распределенной среды с открытой коммуникационной инфраструктурой и возможностью переноса защиты с серверов и коммуникаций на клиентские узлы путем использования предложенной математической модели интегрированной системы контроля доступа, базирующейся на понятии «декларируемых» полномочий.

СПИСОК РАБОТ, ОПУБЛИКОВАННЫХ ПО ТЕМЕ ДИССЕРТАЦИИ

1. Тормасов А.Г., Нижник Е.И. Математическое моделирование производительности файловой системы NTFS при нагрузке типа «запись дисковых данных» // Вестник НГУ. Серия: Инф. технологии - 2007. - т. 5, вып. 2 - c. 67-77.

2. Тормасов А.Г. Модель потребления ресурсов вычислительной системой // Вестник НГУ. Серия: Инф. технологии - 2006. т. 4., вып. 1 - с. 63-72.

3. Тормасов А.Г., Обернихин В.А. Схема контроля доступа для распределенной одноранговой файловой системы (TorFS). // Безопасность информационных технологий - 2005. - № 3. -- с. 68-74.

4. Тормасов А.Г., Хасин М.А., Пахомов Ю.И. Обеспечение отказоустойчивости в распределенных средах // Программирование - 2001. - № 5. - с. 26-34.

5. Тормасов А.Г., Иванов В.Д., Петров И.Б., Пашутин Р.А., Холодов А.С. Сеточно - характеристический метод расчета процессов динамического деформирования на нерегулярных расчетных сетках // Мат. моделирование - 1999. т.11, № 7. - с. 118-127.

6. Тормасов А.Г., Петров И.Б. Численное исследование косого соударения жесткого шарика с двухслойной упругопластической плитой // Мат. моделирование - 1992. т.4, № 3.-- с.20-27.

7. Тормасов А.Г., Петров И.Б., Холодов А.С. Об использовании гибридизированных сеточно-характеристических схем для численного решения трехмерных задач динамики деформируемого твердого тела // Журнал вычислительной математики и матем. физ. - 1990. - т. 30, № 8. -- с. 1237-1244.

8. Тормасов А.Г., Петров И.Б. О численном исследовании трехмерных задач обтекания волнами сжатия препятствия или полости в упругопластическом полупространстве // Докл. АН СССР - 1990. - т. 314, № 4. -- с. 817-820.

9. Тормасов А. Г., Петров И.Б. , Холодов А.С. О численном изучении нестационарных процессов в деформируемых средах многослойной структуры // Изв. АН СССР сер. МТТ - 1989. - № 4. -- c. 89-95.

10. Тормасов А.Г., Петров И.Б. О численном решение пространственных задач соударения // Изв. АН СССР; сер. МТТ - 1990. - № 1 -- с. 58-72.

11. Тормасов А.Г., Жуков Д.В. Петров И.Б. Численное и экспериментальное изучение разрушения твердых тел в жидкости // Изв. АН СССР; сер. МТТ - 1991. - № 3 - с. 183-190.

12. Tormasov A. G., Khasin M. A., Pakhomov Yu. I. Ensuring Fault-Tolerance in Distributed Media // Programming and Comp. Software - 2001. - № 27(5) - p. 245-251.

13. Тормасов А.Г. Классификация требований к сервисам по размещению, хранению и управлению ресурсами и данными // Пробл. выч. математики, мат. моделирования и информатики: Сб. науч. тр. / МЗ Пресс - М., 2006. -- с. 282-293.

14. Тормасов А.Г., Петров В.А. Доставка информации пользователю в распределенных системах // Пробл. выч. математики, мат. моделирования и информатики: Сб. науч. тр. / МЗ Пресс - М., 2006. -- с. 156-194.

15. Тормасов А.Г., И.В. Луковников, К.С. Коротаев Наложенное управление ресурсами ОС // Пробл. выч. математики, мат. моделирования и информатики: Сб. науч. тр. /МЗ Пресс - М., 2006. -- с. 195-211.

16. Тормасов А.Г., Кобец А.Л., Луковников В.В, Модель управления группами потоков ввода/вывода с заданной точностью// Модел. процессов обработки информации: Сб. науч. тр./Моск. физ.-тех. ин-т. - М., 2007. - с. 272--275.

17. Тормасов А.Г., Петров В.А. Расчет времени поиска в распределенной системе, использующей N-k схему при хранении // Процессы и методы обработки информации: Сб. науч. тр./Моск. физ.-тех. ин-т. - М., 2005. -- с. 68-76.

18. Тормасов А.Г., Нижник Е.И. Обзор проблем тестирования производительности файловых систем // Проблемы выч. математики, математического моделирования и информатики: Сб. науч. тр. /МЗ Пресс - М., 2006. -- с. 89-113.

19. Тормасов А.Г., Нижник Е.И. Тестирование производительности файловых систем на основе прогнозирующей модели // Пробл. выч. матем., мат. моделирования и информатики: Сб. науч. тр. / МЗ Пресс - М., 2006. -- с. 114-135.

20. Тормасов А.Г., Емельянов П.В., Коротаев К.С., Луковников И.В. Основные проблемы обеспечения точности управления при наложенном управлении ресурсами в современных операционных системах // Процессы и методы обработки информации: Сб. науч. тр. /Моск. физ.-тех. инст. - 2006. -- с. 237-242.

21. Белоусов С. М., Тормасов А. Г. Задачи по распределению ресурсов операционной системы с учетом возможности взаимного перераспределения пулов. // Перспективы систем информатики. Шестая международная конференция памяти акад. А.П. Ершова. Сб. тр. конф. Новосибирск - 2006. - с. 35-38.

22. Тормасов А.Г., Нижник Е.И. Проблемы тестирования производительности Web-сервера на основе прогнозирующей модели // Процессы и методы обработки информации: Сб. науч. тр. /Моск. физ.-тех. инст. -М., 2006. -- с. 249-257.

23. Тормасов А.Г., Хасин М.А., Пахомов Ю.И Модель распределенного хранения данных с регулируемой избыточностью // Электронный журнал Исследовано в России - 2001. - № 035/010315 -- с. 355-364.

24. Тормасов А., Петров И. Численное изучение волновых процессов в слоистых средах // Сб. Методы мат. модел. и обр. инф., МФТИ - М., 1987. - с. 101-105.

25. Tormasov A. G., Ivanov V.D. Pashutin R.A. Petrov I.B. A new object-oriented package for scientific computation // Int. Open Workshop «Actual Problems of Computational Mechanics Parallel Modeling» (IOW95) - 1995.-- p. 23.

26. Tormasov A. G., Ivanov V.D. Korutnic S.A. Petrov I.B. A program package for solving system hyperbolic equations in 2-D domain of complex form with many unconnected boundaries. // Int. Open Workshop «Actual Problems of Computational Mechanics Parallel Modeling» (IOW 95) - 1995.-- p. 24.

27. Тормасов А.Г., Иванов В.Д. Пашутин Р.А. Петров И.Б. Объектно-ориентированный подход в создании сред поддержки сложных вычислений // Тезисы Юб. научной конф. /МФТИ. - Долгопрудный, 1996. -- с. 106.

28. Тормасов А.Г., Иванов B.Д. Пашутин Р.А. Петров И.Б. Использование объектно-ориентированного подхода для решения задачи численного моделирования взаимодействия упругопластических тел // Совр. Пробл. фундаментальной и прикладной физики и математики. Юб. научн. конф. МФТИ - 1997. -- с. 73.

29. Тормасов А.Г., Жуков Д.В., Петров И.Б. Численное и экспериментальное изучение разрушения твердых тел в жидкости // Информатика и медицина. - М.: Наука. 1997. -- с. 156-167.

30. Tormasov A. G., Khasine М. Providing Availability of Internet Resources with Adjustable Redundancy // VE on PC 2001 Virtual Environment on a PC Cluster Workshop 2001 Protvino -2001. -- с. 127-137.

31. Тормасов А.Г., Обернихин В.А. Контроль доступа с протоколированием изменений в распределенной децентрализованной файловой системе (TorFS) // Электронный журнал Исследовано в России - 2004. - № 203 -- с. 2156-2165.

32. Тормасов А.Г., Протасов С. С. , Белоусов С. М. Архитектура и особенности функционирования современных операционных систем // Объединенный научный журнал - 2004 г., 24 (116) -- с. 78-83.

33. Тормасов А.Г., Хасин М.А. Математическая модель хранения данных на слабосвязанных серверах // Междунар. конференция “Математика, компьютер, образование”, сборник научных трудов. Ч. 1. - Москва, Прогресс-традиция, 2001. - с. 168-176.

34. Тормасов А.Г. Виртуализация ОС // Открытые системы - 2002. -№ 1-- с.27-32.

35. Тормасов А.Г., Протасов С. С. , Белоусов С. М., Использование виртуальных сред для предоставления услуг по размещению ресурсов в глобальной сети // Объединенный научный журнал - 2004 г., № 24 (116) -- с. 74-78.

36. Тормасов А. Г. Классификация требований к сервисам по размещению, хранению и управлению ресурсами и данными. // Перспективы систем информатики. Шестая международная конференция памяти академика А.П. Ершова. Сборник трудов конференции - Новосибирск - 2006. - с. 98-101.

37. Тормасов А.Г. Среда для сборки многоплатформных программ // Открытые системы - 2002. -№ 09 -- с. 19-21.

38. Тормасов А.Г. Виртуализационные технологии и их возможности // BYTE/Рос. - 2005. - № 5 - с. 35-45.

39. Тормасов А.Г., Николаев А.Н. Технология виртуализации ОС на предприятиях // BYTE/Рос. - 2006. - № 5 - с. 37-51.

40. Тормасов А.Г., Протасов С. С., Белоусов С. М. Прошлое, настоящее и будущее: развитие архитектуры и принципов создания операционных систем // Объединенный научный журнал - 2004 г.,- № 24 (116) -- с. 83-86.

41. Тормасов А.Г. Виртуализация сервисов по размещению, хранению и управлению ресурсами и данными // Технологии Microsoft в научных исследованиях и высшем образовании. Межд. науч.-практ. конф. по программированию (Академические Дни). - 2003. - http://research.microsoft.com/collaboration/university/europe/Events/AcademicDays/CISRussia/2003/content.aspx?03 - 36 c.

42. Тормасов А.Г., Николаев А.Н. Виртуализация сегодня: задачи, проблемы, технологии, решения // PCWeek/RE, - 2006. - № 27 с. 12-14.

43. Tormasov A. G., Kuznetsov A.N. TCP/IP options for high-performance data transmission // Builder.com - 2002. -http://builder.com.com/5100-6372_14-1050878.html - 4 p.

44. Tormasov A. G., Kuznetsov A.N. Use sendfile() to optimize data transfer // Builder.com - 2002. -http://builder.com.com/5100-6372_14-1044112.html - 4 p.

45. Tormasov A. G., Kuznetsov A.N., Plant A. Take advantage of TCP/IP options to optimize data transmission // Builder.com - 2002. - http://builder.com.com/5100-6372_14-1050771.html -3 p.

46. Tormasov A., Khassine M., Beloussov S., Protassov S. Fault tolerant storage system and method using a network of servers // Патент - 2005. - № 6,961,868 (США) -- 12 p.

47. Tormasov A., Beloussov S., Tsypliaev M., Lyadvinsky M. System and method for using file system snapshots for online data backup // Патент - 2006. - № 7,047,380 (США) - 27 p.

48. Tormasov A., Beloussov S., Protassov S., Lunev D., Pudgorodsky Y. Hosting service providing platform system and method // Патент - 2006. - № 7,076,633 (США) -- 13 p.

49. Tormasov A., Beloussov S., Protassov S., Lunev D., Pudgorodsky Y. Virtual computing environment // Патент - 2006. - № 7,099,948 (США) -- 8 p.

50. Tormasov A., Beloussov S., Protassov S., Pudgorodsky Y. Distributed network data storage system and method // Патент - 2007. - № 7,209,973 (США) -- 17 p.

51. Tormasov A., Beloussov S., Protassov S., Method of implementation of data storage quota // Патент - 2008. - № 7,325,017 (США) -- 16 p.

52. Tormasov A., Beloussov, Protassov, System, method and computer program product for multi-level file-sharing by concurrent users // Патент - 2008. - № 7,328,225 (США) -- 25 p.

53. Tormasov A., Beloussov S., Tsypliaev M., Lyadvinsky M. System and method for online data migration // Патент - 2007. - № 7,281,104 (США) -- 17 p.

54. Tormasov A., Beloussov S., Protassov S., Pudgorodsky Y. Common template file system tree for virtual environments and virtual servers // Патент - 2007. - № 7,222,132 (США) -- 6 p.

Размещено на Allbest.ru