Развитие теоретических основ и методов функционально-структурной организации систем и сетей внешнего хранения и обработки данных

Допустим, что необходимо сформировать пул ресурсов хранения с группой серверов, образующих множество C, с назначаемыми им дисковыми накопителями из множества D c соответствующими интеллектуальными контроллерами из множества U. В подобной системе можно легко переназначать ресурсы подсистемы хранения данных между серверами. Сеть содержит два коммутатора - K1 и K2, на основе первого из которых сформирована абонентская сеть, связывающая серверы с клиентскими станциями, а на основе второго - собственно сеть хранения данных с дисковыми модулями и интеллектуальными контроллерами. В сети ВЗУ на базе коммутатора K2 обеспечиваются переключения дисковых модулей между серверами. Пусть Z - множество клиентских станций (или просто “клиентов”). Пусть также ziZ, i = 1, 2; cj C, j = 1, 2, 3, 4; dkD, k = 1, 2, …, 16. Работа сети хранения данных при выполнении операции записи для двух клиентских станций может быть описана следующими системой из 23 = 6 выражений для модулей СеАМ (по три модуля на каждую клиентскую станцию):

m1(i) =[pClient(zi)]([(c)pServer(c)]([(d)pDisk(d)]({pClient(zi) false,

pCom(zi, c, d) true, pServer(c) false, pDisk(d) false,

pDelay(zi) true} RE) RE) RE);

m2(i) = [pDelay(zi)]({mWork(zi), pDelay(zi) false, pEnd(zi) true} RE);

m3(i) = [pEnd(zi) &]({ pCom(zi, c, d) false,

pServer(c) true, pDisk(d) false, pEnd(zi) true, pClient(zi) true} RE),

где pClient, pServer, pDisk - унарные предикатные символы, характеризующие активности клиента, сервера и дискового модуля (с контроллером) соответственно; pDelay - унарный предикатный символ, используемый для задания связи модуля m1(i) с модулем задержки m2(i); pCom - тернарный предикатный символ, используемый для задания связи клиента, сервера и дискового модуля в процессе выполнении рабочей операции Work; mWork(zi) - модуль, задающий действия, выполняемые при реализации рабочей операции Work для заданного клиентского запроса zi; pEnd - унарный предикатный символ, используемый при описании связи модуля задержки m2(i) с завершающим операцию модулем m3(i); с и d - предметные переменные, пробегающие по элементам соответствующих множеств C и D. Множество устройств U здесь и далее не учитывается, так как каждый дисковый модуль имеет собственный интеллектуальный контроллер, время занятости которого совпадает с временем занятости модуля. В общем случае здесь для описания функционирования системы хранения данных достаточно q3 выражений для модулей СеАМ, где q - число клиентских станций (или типов запросов).

Приведенные выражения для модулей представляют собой замкнутые выражения (без свободных переменных) в алгебре модулей СеАМ. Переходя к выражениям для модулей СеАМ, не содержащим вхождений квантифицированных операторов выбора и тернарного предикатного символа pCom, получим систему из 24163 = 384 выражений (при i = 1, 2; j = 1, 2, 3, 4; k = 1, 2, …, 16):

m1(i) = [pClient(zi) & pServer(cj) & pDisk(dk)]({ pClient(zi) false,

pServer(cj) false, pDisk(dk) false, pDelay(zi) true} RE);

m2(i) = [pDelay(zi)]({mWork(zi), pDelay(zi) false, pEnd(zi) true} RE);

m3(i) = [pEnd(zi)]({pServer(cj) true, pDisk(dk) false, pEnd(zi) true,

pClient(zi) true } RE).

Без предиката pCom здесь для задания каждой связи “клиент - сервер - дисковый модуль” используется пара модулей - один () в начальной фазе операции, а другой () - в конечной. В данных выражениях справа от предикатных символов в скобках приведены обозначения (константы) для конкретных объектов, то есть здесь используются не предикаты, а только высказывания.

При i = 1, 2, …, q; j = 1, 2, …, m; k = 1, 2, …, n, в общем случае для спецификации системы хранения данных без использования квантифицированного оператора и тернарного предикатного символа pCom потребуется qmn3 выражений для соответствующих модулей СеАМ. Например, при q=2, m=8, n=16 потребуется 768 модулей, а при q=2, m=8, n=64 - 3072 модуля. При использовании же связывающего предиката pCom и оператора потребуется всего шесть модулей, однако в этом случае потребуется также дополнительная память для хранения области истинности предиката pcom.

Логико-алгебраические спецификации данной системы, рассматриваемой как одна из базовых, позволяют упростить создание нового аппаратного, микропрограммного и программного обеспечения систем хранения и обработки данных на принципах согласования и координации процессов и объектов.

Четвертая глава посвящена функциональной организации интеллектуальных систем управления внешней памятью ЭВМ и систем, основанной на моделях и методах согласования и координации процессов и объектов. Выбранные модели и методы базируются на сценарных представлениях и сетях абстрактных машин, используемых при проектировании развитых систем управления внешней памятью (СУВП) ЭВМ. Рассматриваются также вопросы проектирования интеллектуальных систем внешней памяти (ИСВП) ЭВМ на основе функционального подхода, учитывающего состав и взаимосвязь функций системы. Используется двойственная трактовка термина “интеллектуализация”: как развитие функциональных возможностей системы и как использование методов искусственного интеллекта при ее реализации. Обосновывается построение концептуальных и имитационных поведенческих моделей в процессе проектирования систем и сетей внешнего хранения и обработки данных и синтеза функционально и топологически централизованных и децентрализованных структур.

Выделены следующие укрупненные этапы синтеза сложных систем управления хранением и обработкой данных:

- на первом этапе осуществляется концептуализация целей управления и выбор функциональных блоков системы, определяется функционально-целевая системная информация о составе компонентов и систем и причинно-следственная информация об их взаимодействиях. На этой основе определяются состав сетевых (в том числе на базе парадигм систем искусственного интеллекта и ситуационного управления) и логико-алгебраических спецификаций, определяются уровни функционально-топологической интеграции или декомпозиции;

- на втором этапе синтеза определяются топология, структура, концептуально-формализованное описание отношений между подсистемами, составляющими понятия предметной области. На этом этапе структурные связи между понятиями предметной области задаются сигнатурой, сорта которой интерпретируются как множества, а логические связи между понятиями задаются предикатными выражениями, записываемыми в этой сигнатуре;

на третьем этапе определяются и специфицируются процедурные знания о функционировании систем управления хранением и обработкой данных, производится анализ построенной поведенческой модели системы управления;

на четвертом этапе производится анализ окончательного варианта реализации системы и осуществляется реализация самой системы управления хранением и обработкой данных.

Проведена функционально-структурная декомпозиция систем управления внешним хранением и обработкой данных, позволившая упростить архитектурное проектирование и сократить сроки разработки. В основу декомпозиции положен анализ пространственно-временных свойств процессов, управляющих передачей и обработкой данных.

Для реализации функциональной структуры на микропроцессорной основе в виде мультимикропроцессорной системы с непосредственными связями необходимо произвести разбиение множества функциональных модулей (ФМ) на так называемые реализационные группы. Функциональные модули одной реализационной группы реализуются на отдельной единице реализации, в качестве которой может выступать микропроцессорная система, а также ее отдельные компоненты: процессор P, память M и интерфейсное оборудование I. Графическое представление данной структуры назовем MPI-диаграммой.

Все ФМ одной реализационной группы объединяются в единый ФМ, для которого и определяется единица реализации - конструктивный модуль. Пусть для некоторой СУВП представлена структура аппаратных средств, полученная в результате трансформации функциональной структуры, причем в данном случае выделены следующие реализационные группы: FM1; FM3; (FM2.2, FM2.3); FM2.4; (FM2.5, FM2.6, FM2.7). Считается, что ФМ низшего уровня иерархии, подчиненные ФМ верхнего уровня, входят в ту же самую реализационную группу.

Отношение развертывания здесь задаётся областью истинности бинарного предиката D вида:

D: KЧF > {true, false},

где K - множество активных элементов (процессорных и интерфейсных элементов конструктивных модулей); F - множество функциональных модулей. Область истинности предиката D формируется модулем СеАМ Mstart, описываемым следующим логико-алгебраическим выражением:

Mstart = [start]({D(I2, FM1) < true, D(P1, FM2.1) < true, D(P2, FM2.2) < true,

D(P2, FM2.3) < true, D(P3, FM2.4) < true, D(P4, FM2.5) < true,

D(P4, FM2.6) < true, D(P4, FM2.7) < true, D(I3, FM3) < true} RE).

По завершении выполнения модуля СеАМ, реализующего данное выражение, функциональные модули размещаются на конструктивных модулях СУВП. Здесь start - признак готовности системы к загрузке. Выполнение данного модуля СеАМ в реальной системе сопровождается загрузкой соответствующего программного обеспечения в основную память процессорных модулей, составляющих СУВП.

Предложено при построении концептуальных моделей функционально-структурной организации многофункциональных многопроцессорных и сетевых систем управления внешним хранением и обработкой данных использовать естественный параллелизм процессов и механизмы логического вывода, что позволяет повысить эффективность последующей аппаратно-программной реализации систем с развитым интеллектом.

Разработаны математические модели функционально-централизованных и функционально-децентрализованных систем и сетей внешнего хранения и обработки данных, основанные на формально определенных сценариях и сетях абстрактных машин. В отличие от известных моделей, данные формальные модели использованы не только для построения формально определенных имитационных поведенческих моделей, но и как непосредственно исполняемые формальные спецификации, что повышает качество и сокращает сроки разработки системы, в том числе ее системного и сетевого программного обеспечения.

Рассмотрим централизованную и децентрализованную схемы управления выполнением сценария F0 для некоторой СУВП:

F0 = F1^((F2¦F3)|(F4^[б]( F5 AE)^F6))^(F7||яF8)^Fk,

где “^”, “¦”, “|” и “||я” - символы темпоральных операций “непосредственного следования”, “неодновременного выполнения”, “возможно одновременного выполнения” и “перекрытия интервалов выполнения” подсценариев соответственно, АЕ - тождественный подсценарий, а - некоторое условие.

Централизованная схема реализуется под управлением выделенного процессора P0. Выполнение каждого функционального модуля, или подсценария, включает три фазы: начальную, рабочую и конечную. Начальная и конечная фазы некоторого подсценария Fi (i = 1, 2,…, 8) при централизованном управлении реализуются начальным и конечным модулями СеАМ mbi и mei соответственно под управлением процессора P0. Начальный модуль mbi инициирует выполнение подсценария F0, передавая управляющее воздействие в соответствующий физический процессор P(Fi) путем выполнения правила обновления предиката dbi(di)true, где dbi - унарный предикат, а di - имя агента-"демона", выполняющего рабочую фазу подсценария Fi. Запись P(Fi) обозначает процессор, на котором реализуется ФМ Fi. Реализуя конечную фазу выполнения сценария Fi, "демон" di завершает работу, выполняя правило обновления предиката dei(di)true. Истинность высказывания dei(di) проверяется в условной части модуля mei, который отмечает завершающую фазу сценария Fi выполнением правила обновления предиката dei(di)false.

Агент a0, интерпретирующий на процессоре P0 управляющую СеАМ по централизованной схеме, выполняет переходы от одного модуля СеАМ к другому, реализуя сценарий в целом. Каждый модуль mbi начинает свою работу, проверяя стартовое условие, а каждый модуль mei, завершая свою работу, передает управление одному или нескольким модулям, обновляя один или несколько каузальных предикатов, с помощью которых реализуется причинное воздействие данного модуля на другие. Система логико-алгебраических выражений для модулей, реализующих сценарий F0 по схеме с централизованным управлением, имеет следующий вид:

для подсценария F1:

mb1 = [pb1(a0)]({pb1(a0)<false, p1(a0)<true, db1(d1)<true} RE);

me1 = [p1(a0)&de1(d1)]({p1(a0)<false, de1(d1)<false,

pb2(a0)<true, pb3(a0)<true, pb4(a0)<true} RE);

для подсценария F2:

mb2 = [pb2(a0)&p2,3(r0)]({pb2(a0)<false, p2,3(r0)<false,

p2(a0)<true, db2(d2)<true} RE);

me2 = [p2(a0)&de2(d2)]({p2(a0)<false, de2(d2)<false, p2,3(a0)<true,

pe2(a0)<true} RE);

для подсценария F3:

mb3 = [pb3(a0)&p2,3(r0)]({pb3(a0)<false, p2,3(r0)<false, p3(a0)<true,

db3(d3)<true} RE);

me3 = [p3(a0)&de3(d3)]({p3(a0)<false, de3(a0)<false, p2,3(r0)<true,

pe3(a0)<true} RE);

для подсценария F4:

mb4 = [pb4(a0)]({pb4(a0)<false, p4(a0)<true, db4(d4)<true} RE);

me4 = [p4(a0)&de4(d4)]({p4(a0)<false, de4(d4)<false, pe4(a0)<true} RE);

для подсценария F5:

mb5 = [&pe4(a0)]({pe4(a0)<false, p5(a0)<true, db5(d5)<true} RE);

me5 = [p5(a0)&de5(d5)]({p5(a0)<false, de5(d5)<false, pb6(a0)<true} RE);

вспомогательный модуль:

m4,6 = [&pe4(a0)]({pe4(a0)<false, pb6(a0)<true} RE);

для подсценария F6:

mb6 = [pb6(a0)]({pb6(a0)<false, p6(a0)<true, db6(d6)<true} RE);

me6 = [p6(a0)&de6(d6)]({p6(a0)<false, de6(d6)<false, p6,7(a0)<true} RE);

для подсценария F7:

mb7 = [pe2(a0)&pe3(a0)&p6,7(a0)]({pe2(a0)<false, pe3(a0)<false,

p6,7(a0)<false, p7(a0)<true, db7(d7)<true, p7,8(a0)<true} RE);

me7 = [p7(a0)&de7(d7)&p8,7(a0)]({p7(a0)<false, de7(d7)<false, p8,7(a0)<false,

pk(a0)<true} RE);

для подсценария F8:

mb8 = [p7,8(a0)]({p7,8(a0)<false, p8(a0)<true, db8(d8)<true} RE);

me8 = [p8(a0)&de8(d8)]({p8(a0)<false, de8(a0)<false,

p8,7(a0)<true} RE).

В приведенных выше выражениях предикаты pi (i = 1, 2, …, 8) связывают начальные и конечные модули СеАМ, соответствующие каждому подсценарию Fi, а символ a0 именует агент-сервер, реализующий на процессоре P0 поиск и запуск готовых к выполнению описанных выше модулей управляющей сети СеАМ. Остальные предикаты используются для управления запуском модулей. Символ r0 обозначает неразделяемый ресурс, используемый подсценариями F2 или F3, поэтому данные подсценарии не могут выполняться одновременно. Программы, реализующие все модули (“методы” агента a0), здесь размещены вместе с кодом самого агента в локальной памяти процессора P0. Предполагается, что процессор P0 имеет доступ к модулям основной памяти всех остальных процессоров для организации и совместного использования FS-пространства, в котором хранятся информационные объекты, представляющие предикаты - объектные (используемые для запуска агентов-демонов) и каузальные (используемые для связывания модулей управляющей сети).

Реализация децентрализованной схемы управления в СУВП не требует наличия специально выделенного процессора; здесь программы, соответствующие модулям управляющей сети (“методы” соответствующих агентов-серверов a1, a2, …, a8), размещаются в локальной или основной памяти процессоров, реализующих подсценарии F1, F2, …, F8 основного сценария F0. Коды агентов-демонов d1, d2, …, d8 для обеих схем управления размещаются в локальной или основной памяти функциональных процессоров. Логико-алгебраические выражения для модулей децентрализованной сети СеАМ отличаются от приведенных выше выражений использованием имен агентов-серверов в качестве значений аргументов для унарных предикатов.

На основании методов, предложенных во второй и третьей главах, определены системная и сетевая, виртуальная и физическая инфраструктуры как платформы для реализации абстрактных вычислительных моделей. Для описания данных платформ использованы не только формальные методы, но и неформальные, основанные на диаграммных макроопределениях и MPI-диаграммах, упрощающие начальные этапы функционально-структурного проектирования.

Расширены возможности сетевой виртуализации и интеграции функций и сервисов хранения данных, позволяющих организовать обработку структурированной информации средствами виртуального сетевого процессора базы данных в произвольной системе или сети внешнего хранения и обработки данных с виртуальной памятью достаточного объема.

Разработаны технологические комплексы программ, составляющие подсистему синтеза структур и программного обеспечения, а также подсистему спецификации и верификации систем управления внешним хранением и обработкой данных. Данные комплексы основаны на использовании формальных и неформальных моделей; использование логико-алгебраических методов в описании систем, алгебры сценариев, алгебры абстрактных машин и алгебры развертывания структур позволяет строить иерархически организованное прикладное и системное программное обеспечение систем и сетей хранения и обработки данных.

В пятой главе рассмотрены вопросы функционально-топологической децентрализации в архитектурном проектировании систем и сетей внешнего хранения и обработки данных на основе использования формальных представлений распределенных процессов и объектов, взаимодействующих через общее структурированное пространство памяти.

Исследовано применение новых формализмов для описания согласованных, или скоординированных взаимодействий процессов и объектов, базирующихся на декларативном и процедурном подходах к представлению знаний о функционировании распределенных систем. Использован также алгебраический подход к определению операционной семантики распределенных систем хранения и обработки данных, таких как сети многофункциональных внешних запоминающих устройств и сетевые процессоры баз данных, основанный на определении данных систем сетями абстрактных машин.

Обоснована необходимость разработки новых методов и средств поддержки функционально-структурной и функционально-топологической декомпозиции архитектурных моделей систем и сетей хранения и обработки данных. Данные модели и методы должны соответствовать современной технологической инфраструктуре параллельных и распределенных баз данных, кластерных и мультипроцессорных систем, сетевых соединений, интеллектуальных контроллеров и накопителей информации.

Предложены принципы построения систем управления применительно к объектам, функционирование которых представимо в классе сетей абстрактных машин. На основе логико-алгебраического подхода, формальных и неформальных моделей и методов искусственного интеллекта, теории иерархически структурированных абстрактных машин и сценарных представлений предложена методология построения виртуализированных систем и сетей внешнего хранения и обработки данных, узлы которых сочетают функции виртуализации с функциями обработки структурированных данных.

Расширены возможности сетевой виртуализации на основе модели сетей абстрактных машин, что позволяет интегрировать функции и сервисы внешнего хранения и обработки данных за счет эффективного использования структурированной виртуальной памяти как для хранения обрабатываемых данных, так и для хранения “каузальной” информации, посредством которой объекты и процессы согласуют свои действия.

Разработаны новые модели управления распределенными ресурсами, включающие концептуальные модели и формально определенные имитационные поведенческие модели, отличающиеся от известных тем, что на начальном и промежуточном этапах они описываются семантическими сетями (в том числе семантическими сетями с событиями сценариями), формализуемыми сетями абстрактных машин, а на завершающих этапах интерпретируются сетями алгоритмических модулей.

Разработаны новые формальные модели организации функционирования распределенного ресурса - многофункциональной системы внешней памяти, подключаемой к вычислительной сети. В отличие от известных, в данных моделях эффективно реализуются взаимодействия компонент, что позволяет разработчику модифицировать сложные модели, получая новые качественные результаты. Рассмотрены подобные трансформации формальных моделей, позволившие перейти от централизованной архитектуры систем хранения и обработки данных к децентрализованной (сетевой).

В сетях ВЗУ совокупность сетевых дисковых модулей может быть представлена некоторым коллективно используемым ресурсом R. Доступ к подобному ресурсу с несколькими единицами может быть осуществлен с помощью запросов следующих видов: e-запрос требует для исполнения все единицы ресурса R, s1-запрос требует одну определенную единицу данного ресурса, а s2-запрос требует одну произвольную единицу ресурса. Подобного рода запросы характерны, например, для распределенных RAID-массивов (RAID - Redundant Array of Independent Disks - избыточный массив независимых дисков) и реплицированных распределенных баз данных, реализуемых на базе сетей ВЗУ.

Выполнение е-запроса заключается в том, что некоторый процесс-агент (далее просто агент), реализуя событие p, запрашивает у агентов-менеджеров специальные “жетоны” на право использования всех единиц ресурса R - узлов сети ВЗУ, по одному жетону t на каждую единицу y. После получения всех жетонов соответствующие единицы ресурса блокируются для данного запроса и он выполняется. После использования агент возвращает жетоны, и освобожденные единицы ресурса могут использоваться другими агентами. Пусть T - множество жетонов tT, Y - множество узлов сети yY, причем , P - множество процедур (фактов) обработки запросов pP, e1 - текущий е-запрос. На концептуальном графе отношение принадлежности индивида абстрактному понятию “тип” представлено именем предиката Конкр. (от слова “конкретизация”), используются также предикатные имена и соответствующие им связывающие узлы Это (для представления отношения между первым типом и более общим вторым типом), Элем. (от слова “элемент”, для представления отношения принадлежности элемента множеству), Подмн. (от слова “подмножество”, для представления отношения между двумя множествами, где первое множество является подмножеством другого), Имеет (для представления отношения принадлежности). В выражениях для модулей СеАМ мы используем соответствующие перечисленным именам бинарные предикатные символы fКонкр., fЭто, fЭлем., fПодмн. и fИмеет. Используются также бинарные предикатные символы fАгент, fРазр., fОбъект, а также унарные предикатные и функциональные символы, описанные ниже.

В связи с тем, что логические формы описания концептуальных графов носят непроцедурный характер, концептуальный граф описывается не логической формой, а СеАМ-выражением следующего вида:

me = [(tT)fT(t)&fE(e1)]([yY)fY(y)]([(pP)fP(p)]

({fАгент(p, e1)true, fРазр.(p, t)true, fОбъект(p, y)true,

fКонкр.(p, Обработка)true, fКонкр.(y, Узел)true,

fКонкр.(t, Жетон)true, fКонкр.(e1, Запрос)true,

fP(p)false, fY(y)false, fT(t)false, fE(e1)false} RE) RE) RE).

В процессе выполнения модуля me происходит выбор нужных объектов и конкретизация отношений (предикаты конкретизации типов объектов на графе не показаны). Порядок вычисления и проверки условий в модуле me задается процедурой выполнения запроса: при наличии всех жетонов и готовности всех узлов сети ВЗУ начинается обслуживание е-запроса.

Здесь и далее S - множество запросов; ES - подмножество запросов, каждый из которых требует все единицы ресурса R; S1S - подмножество запросов, требующих одну предопределенную единицу ресурса R; S2S - подмножество запросов, требующих одну произвольную единицу ресурса R; I={1, 2, …, n} - конечное множество индексов, такое, что .

В выражении для модуля me используются следующие бинарные предикаты:

fКонкр.: (){Обработка, Жетон, Узел}{true, false};

fАгент: P(){true, false};

fРазр.: PT{true, false};

fОбъект: PY{true, false},

где fКонкр. - предикат конкретизации, определяющий принадлежность объектов классам (типам) “Обработка”, “Жетон” и “Узел”; fАгент - предикат, определяющий роль агента для запросов каждого из трех видов; fРазр. - предикат, определяющий “разрешающую” роль жетона; fОбъект - предикат, определяющий роль объекта для каждого узла сети. Определены также функции для нумерации объектов (биекции): fИнд_1: TI, fИнд_2: YI и инъекция fИнд_3: P, где - множество натуральных чисел. Унарные предикаты

fP: P{true, false}, fY: Y{true, false} и fT: T{true, false} определяют незанятость объектов, принадлежащих множествам объектов P, Y и T соответственно. Для аналогичной цели используются и унарные предикаты

fS1: S1{true, false}, fS2: S2{true, false} и fE: E{true, false}.

Следующие выражения для модулей СеАМ описывают выполнение предопределенного (s1) и непредопределенного (s2) запросов соответственно:

ms1 = [fS1(s1)&(fЗапр.(s1)0)]([((tT, yY)fT(t)&fY(y)&

&(fЗапр.(s1)=fИнд_1(t))&(fИнд_1(t)=fИнд_2(y))]([(pP)fP(p)]

({fАгент(p, s1)true, fРазр.(p, t)true, fОбъект(p, y)true,

fP(p)false, fT(t)false, fY(y)false, fS1(s1)false,

fЗапр.(s1)0}RE) RE) RE);

ms2 = [fS2(s2)&(fЗапр.(s1)0)]([((tT, yY)fT(t)& fY(y)&

&(fИнд_1(t)=fИнд_2(y))]([(pP)fP(p)]

({fАгент(p, s2)true, fРазр.(p, t)true, fОбъект(p, y)true,

fP(p)false, fT(t)false, fY(y)false, fS2(s2)false,

fЗапр.(s2)0} RE) RE) RE).

В данных выражениях унарная функция fЗапр. задает номер запрошенной единицы ресурса R (одного из узлов сети ВЗУ); нулевое значение данной функции означает, что запрос выполнен.

Модуль ms1 начинает выполняться, если запрос s1 готов к выполнению (fS1(s1)=true) и установлен его главный параметр - номер требуемой единицы ресурса R. Данный номер представлен ненулевым значением функ-

ции fЗапр.(s1). В выражении, описывающем работу модуля ms2, также используется унарная функция fЗапр., но поскольку запрос s2S2 требует любую свободную единицу ресурса R, учитываются лишь нулевое или ненулевое значения данной функции.

Предложены методы и средства проектирования, основанные на непосредственно исполняемых формальных спецификациях и обеспечивающие построение неограниченно масштабируемых систем с автоматизацией процессов реконфигурации структуры и миграции данных. Данные спецификации адекватно описывают процессы управления путями доступа к ресурсам, поиска и выборки данных, копирования и репликации данных.

Предложена функционально-структурная организация распределенной системы управления сетью хранения данных, являющаяся результатом развития ее концептуальной модели до системы исполняемых логико-алгебраических спецификаций, благодаря чему разработаны эффективные способы пространственно-временного распределения управляющих воздействий при организации приоритетного обслуживания запросов к сети хранения, рассматриваемой в качестве распределенного ресурса с многими единицами. Анализ приоритетных механизмов по построенной имитационной поведенческой модели показал, что от выбора приоритетной дисциплины, реализуемой в сетевой среде, в значительной степени зависит время обработки различных классов запросов к сети хранения и обработки данных.

Представлены исполняемые формальные спецификации для реализации сетевой машины баз данных. В том числе специфицировано выполнение операций над сегментированными отношениями в сетевой среде и выполнение операций реляционной алгебры в сетевой среде. Отличительной особенностью реализации является интерпретация операций сетями абстрактных машин, реализуемых виртуальными машинами в произвольной сетевой FS-среде, адекватной архитектуре большинства современных систем и сетей хранения и обработки данных. Структурные особенности построения интеллектуальных ячеек процессора баз данных описаны в четвертой главе, а дополнительное описание сетевой реализации машины базы данных представлено в приложении 1.

В шестой главе отражены вопросы практического использования методов архитектурного моделирования, виртуализации и реализации многофункциональных систем и сетей внешних запоминающих устройств с параллельной организацией поиска и передачи данных. На конкретных примерах апробирована базирующаяся на данных методах технология для проектирования многофункциональных систем и сетей внешних запоминающих устройств. Отмечено, что положенная в основу данной технологии интерпретация сценарных сетей сетями абстрактных машин удобна при создании таких систем и сетей хранения и обработки данных, в которых стираются грани между сетевой операционной системой, распределенной системой управления базой данных и распределенным приложением.

Разработаны сценарные и логико-алгебраические модели систем ВЗУ с централизованной и децентрализованной сетевой архитектурой, с обычными и RAID-подобными режимами работы. На примере данных моделей продемонстрирована возможность трансформаций сетей абстрактных машин при декомпозиционно-композиционном подходе в архитектурном проектировании систем; при этом в качестве исходных используются сценарные представления.

Рассмотрены логико-алгебраические спецификации для операции барьерной синхронизации процессов, необходимой, например, в виртуальных реплицированных сетевых системах хранения данных и распределенных DRAID-системах (DRAID - distributed RAID). Предложены два варианта реализации барьерной синхронизации процессов. Первый вариант реализации основан на использовании формализма СеАМ. Ниже представлены логико-алгебраические выражения для каузально связанных модулей, участвующие в барьерной синхронизации (для агента-сервера ai):

mai = … fai,1(ai) true … ;

mai,1 = [fai,1(ai)&]({fs(x) false, fai,1(ai) false,

fai,2(ai) true} RE);

mai,2 = [fai,2(ai)&(xX)fs(x)]({fai,2(ai) false, fai,3(ai) true} RE);

mai,3 = [fai,3(ai) … ;

x X, X = {x1, x2, …, xn}, i = 1, 2, …, n.

Каждый из абстрактных агентов a1, a2, …, an выполняет каузально связанные через соответствующие предикаты модули, выражения для которых построены на основе -дизъюнкций и блоков обновления предикатов. Таким образом, каждому агенту ai, i = 1, 2, …, n, соответствуют действия одноименного программного агента-сервера, интерпретирующего СеАМ-выражения для модулей. Так, агент-сервер ai, “перемещаясь” по сети абстрактных машин, точнее, по ее узлам mai, mai,1, mai,2, mai,3, реализует процесс абстрактного агента ai. Предикат fai,1 используется для организации каузальной связи: “по завершении работы модуль mai инициирует работу модуля mai,1”. Таким же образом реализуются каузальные связи между парами модулей mai,1 и mai,2, mai2 и mai3.

Второй пример демонстрирует один из вариантов реализации барьерной синхронизации модулями РСеАМ. В этих реализациях модулей используется операция б-итерация и темпоральная операция “;” последовательного выполнения действий (упрощенное обозначение для операции “^”) Агенты-серверы a1, a2, …, an, реализуя одноименные процессы, интерпретируют соответствующие выражения.

Логико-алгебраические выражения для модулей РСеАМ имеют следующий вид:

ma1 = (… [(xX)(x)]{RE}; fs(x) false; ; [(xX)(x)]{RE};; …);

ma2 = (… [(xX)(x)]{RE}; fs(x) false; ; [(xX)(x)]{RE};; …);

…

mai = (… [(xX)(x)]{RE}; fs(x) false; ; [(xX) (x)]{RE};; …);

…

man = (… [(xX)(x)]{RE}; fs(x) false; ; [(xX) (x)]{RE};; …).

Каждое выражение для операции б-итерации содержит формулу

(в квадратных скобках) для условия, при ложности которого выполняется выражение в фигурных скобках (в данном случае тождественное правило RE обновления). При истинности данного условия и после проверки этого факта агентом-сервером начинается выполнение выражения, следующего за выражением в фигурных скобках.

Выполнение б-итерации в выражениях РСеАМ имеет свою специфику, связанную с блокировками функций и предикатов. В частности, при выполнении первой б-итерации в выражении для модуля mai осуществляется предварительная блокировка предиката fs (этот факт отмечается симво-

лом “+”). Затем агент-сервер ai проверяет возможность выбора одного из значений предметной переменной x. Если такой выбор сделан, то осуществляется выход из цикла и далее выбранное истинное значение предиката fs заменяется на ложное, а затем данный предикат разблокируется (этот факт отмечается символом “?”). Если же выбор не удалось сделать, то предикат fs разблокируется и агент-сервер ai снова становится в очередь на захват данного предиката с последующей проверкой условия в квадратных скобках на истинность. В данной очереди уже могут находиться другие агенты-серверы, которые должны выполнить аналогичные действия над предикатом fs.

Апробирована методология построения сложных имитационных поведенческих моделей на основе FS-технологии. В состав данных моделей включаются подмодели времязадающих устройств, систем синхронизации и прерывания, определенные с помощью одного и того же математического аппарата исполняемых формальных спецификаций. Показано, что имитационные поведенческие модели данного класса также возможно использовать и для моделирования систем или сетей хранения и обработки данных как систем массового обслуживания для вероятностной оценки производительности при выборе того или иного варианта реализации общей логической структуры. В этом случае в имитационной модели используются подмодели сбора статистических данных о загрузке устройств, об очередях и времени ожидания каких-либо событий. Все подмодели определены формально с помощью логико-алгебраических представлений сетей абстрактных машин, что позволило понизить затраты на построение общей модели и последующую реализацию комплекса управляющих программ.

На рисунке 1 представлен пример общей схемы взаимодействий в одной из реализаций сети внешнего хранения и обработки данных. Сеть в целом реализует сервис DRAIDService, а непосредственное взаимодействие клиента с сетевыми дисками реализовано через драйвер взаимодействия DRAIDDriver системы виртуального дискового массива DRAID. Этот драйвер представляет собой интерфейсную часть реализации системы и предназначен для обмена информацией с драйверами сетевых дисков. На стороне дискового массива непосредственными участниками взаимодействий являются драйверы сетевых дисков NetDiskDriver, взаимодействующие по специальному протоколу. Большинство взаимодействий между компонентами осуществляется через FS-пространство с помощью агентов-серверов, реализующих логико-алгебраические спецификации СеАМ. Данная сеть предназначена для организации на ее основе разнообразных систем хранения и обработки данных, например, распределенных хранилищ, использующих фрагментацию данных, и виртуальных RAID-массивов.

Рисунок 1 - Схема взаимодействия компонент в сети внешнего хранения и обработки данных DRAID

FS-технология хорошо интегрируется с известными сетевыми программными платформами, например, с платформой Jini, предложенной фирмой Sun Microsystems. Программная платформа Jini позволяет связывать сетевые устройства в единую систему независимо от особенностей их операционных систем (ОС) и интерфейсов. Например, некоторые услуги и сервисы технологии Jini использованы в одной из сетевых реализаций системы внешнего хранения данных со схемой взаимодействия клиента с устройствами внешней памяти (ВП), приведенной на рисунке 2.

Рисунок 2 - Схема взаимодействия клиента с устройствами сетевой внешней памяти

Основные уровни, на которых происходит взаимодействие компонент в сети внешнего хранения и обработки данных при реализации данной схемы взаимодействия, показаны на рисунке 3. Менеджер системы ВП и услуга поиска Jini представляют серверную сторону. Соответственно, на клиентской машине пользователя реализованы такие же уровни взаимодействия. Между клиентами системы, услугой поиска и менеджером системы ВП взаимодействие ведется на уровне протоколов поиска, обнаружения и присоединения услуг Jini. Использована также RMI-технология построения распределенных приложений, предложенная в спецификации языка Java. Исследованы также вопросы интеграции FS-технологии с другими сетевыми технологиями - CORBA, MPI и технологиями “клиент-сервер”.

Рисунок 3 - Архитектура сети внешнего хранения и обработки данных

Проведены серии имитационных экспериментов, подтвердивших работоспособность разработанных на основе новых технологий имитационных поведенческих моделей; получены основные характеристики производительности сети внешних запоминающих устройств, показавшие, что за счет функционально-структурной реорганизации может быть в полтора-два раза повышена производительность систем, а за счет распараллеливания операций в сети хранения обеспечивается линейный рост производительности, замедляемый вследствие затрат на коммуникации между устройствами и на передачу данных по сети. На основе разработанных моделей отлажены исполняемые формальные спецификации, реализованные в виде комплекса управляющих программ для сети ВЗУ с параллельным выполнением операций и расслоением записей. Проведено экспериментальное исследование сети хранения данных при учете различного расположения точек виртуализации, которое позволило оценить качество предложенных архитектурных решений и пригодность к реализации на их основе сетевых хранилищ с параллельной организацией доступа к данным.

Шесть приложений к основному тексту диссертации содержат описание реализации и функционирования процессора базы данных в сетевой среде (приложение 1); описание функционально-структурной организации многофункционального узла сети внешних запоминающих устройств, включающего кэш-память (приложение 2); описание функционально-структурной организации многофункциональной системы внешних запоминающих устройств, подключаемой к вычислительной сети (приложение 3); описание функционально-структурной организации системы внешних запоминающих устройств на дисках, включающей машину базы данных (приложение 4); описание сетевой реализации структурированной виртуальной памяти, или FS-пространства (приложение 5) документы, подтверждающие внедрение и использование результатов диссертации (приложение 6).

ОСНОВНЫЕ РЕЗУЛЬТАТЫ РАБОТЫ

Основным результатом диссертационной работы является создание теоретических основ, методов и средств архитектурного моделирования и проектирования, функционально-структурной реализации и виртуализации систем и сетей внешнего хранения и обработки данных, обладающих расширенными функциональными возможностями и высокой производительностью. При проведении теоретических и практических исследований по тематике диссертации получены следующие научные и практические результаты.

1. Предложен метод архитектурного моделирования и проектирования проблемно-ориентированных систем и сетей хранения и обработки данных, эффективность которого обеспечивается согласованностью исходной концептуальной модели с формально определенными в процессе иерархического проектирования имитационными поведенческими моделями. В отличие от известных методов указанная согласованность достигается путем использования определенных в работе сценарных представлений и логико-алгебраических описаний, обеспечивающих большую адекватность моделей предметной области.

2. Дано теоретическое обоснование на основе определенных в диссертационной работе эволюционирующих иерархических алгебраических систем, иерархических сетей абстрактных машин основного класса систем согласования и координации процессов и объектов как базовой платформы для построения прототипного и рабочего программного и аппаратного обеспечения систем и сетей внешнего хранения и обработки данных, обеспечивающей более адекватное отображение сети алгоритмических модулей на физическую сеть при реализации структурных способов повышения производительности. Использование данной платформы позволяет уменьшить последствия семантического разрыва между инфраструктурой систем и сетей хранения данных и алгоритмическими структурами, обеспечивающими их многофункциональность.

3. Предложен метод “активной классной доски”, послуживший основой для внешней и внутренней интеллектуализации систем и сетей внешнего хранения и обработки данных, эффективность реализации которого, в отличие от известных, обеспечивается внедрением механизмов, основанных на формальных исполняемых спецификациях и на декларативно-процедурной структуризации представления знаний о предметной области.

4. Дана концепция развития архитектуры, отличной от фон-неймановской на системном уровне реализации систем и сетей хранения и обработки данных и способствующая развитию принципов прозрачности в управлении ресурсами и масштабируемости, организации эффективного множественного доступа к средствам внешнего хранения и обработки структурированных и неструктурированных данных. Такая концепция отличается использованием абстракции общего структурированного пространства информационных объектов, посредством которого устанавливаются каузальные связи между модулями сети абстрактных машин, а функционирование системы и ее внутренние структурно-логические связи отображаются в модификациях предикатов и функций абстрактного пространства.

5. Предложены новые принципы функционально-структурной организации на основе формального описания концепции согласования и координации процессов и объектов. Данные принципы положены в основу пространственно-временной организации управляющих воздействий в системах и сетях внешнего хранения и обработки данных и обеспечивают согласованные взаимодействия компонент. Использование указанных принципов позволяет осуществлять эффективную реализацию основных методов управления в функционально-централизованных, функционально-децентрализованных и топологически-распределенных системах.

6. Разработан метод интерпретации пространственных и временных сценариев функционирования систем и сетей хранения и обработки данных сетями абстрактных машин, который отличается возможностью эволюционного перехода от концептуальных моделей к непосредственно исполняемым формальным логико-алгебраическим спецификациям посредством представления каждого концептуального графа модулем сети абстрактных машин, что снижает трудоемкость реализации комплекса аппаратно-программных средств систем и сетей хранения и обработки данных.

7. Предложен метод расширения функциональных возможностей систем и сетей внешнего хранения и обработки данных за счет включения дополнительных функций обработки данных в узлах (точках) виртуализации. Предлагаемая концепция отличается реализацией на основе произвольной архитектуры вычислительных средств, что в большей степени расширяет функциональные возможности виртуализированной архитектуры и сокращает затраты на ее реализацию.

8. Разработаны концептуальные, имитационные поведенческие модели систем и сетей хранения и обработки данных, сетевая среда для реализации получаемых формальных спецификаций, структура и реализация системы синтеза структур и алгоритмического обеспечения систем и сетей внешнего хранения и обработки данных, позволившие осуществить эффективную архитектурную и функционально-структурную организацию данных систем и сетей с развитыми функциональными возможностями и высокой производительностью.

9. Предложена архитектурная и функционально-структурная организация систем и сетей внешнего хранения и обработки данных с развитыми функциональными возможностями и высокой производительностью, ориентированная на широкий спектр универсальных и специализированных приложений, в том числе:

- многофункционального узла сети внешних запоминающих устройств, включающего кэш-память;

- многофункциональной системы внешних запоминающих устройств, подключаемой к вычислительной сети;

- системы внешних запоминающих устройств, включающей машину баз данных; в основу построения трех данных систем положены новые технические решения, отличающиеся от известных возможностью распараллеливания операций поиска и обмена данными и обеспечивающие повышение производительности, что подтверждается авторским свидетельством;

- процессора базы данных, реализуемого в сетевой среде;

- сетевой среды для реализации виртуализированных архитектур систем и сетей внешнего хранения и обработки данных.

Функционально-структурная организация данных систем и сетей отличается структурной интерпретацией в конкретных программно-аппаратных средах концептуальных и формально определенных имитационных поведенческих моделей, обеспечивающей в конечном итоге эффективность интеграции и консолидации вычислительных ресурсов с ресурсами хранения данных и системой коммуникаций.

ОСНОВНЫЕ ПУБЛИКАЦИИ ПО ТЕМЕ ДИССЕРТАЦИИ

Статьи в изданиях, рекомендованных ВАК РФ

1. Зинкин, С. А. Иерархические сети абстрактных машин и виртуализация интеллектуальных систем внешнего хранения и обработки данных /

2. С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2009. - № 2. - С. 25-38.

3. Зинкин, С. А. Согласование и координация объектов и процессов в агентно-ориентированных системах и сетях хранения данных / С. А. Зинкин // Вопросы радиоэлектроники. - 2009. - № 4. - С. 83-96.

4. Зинкин, С. А. Реализация барьерной синхронизации и управление процессами в виртуальном сетевом дисковом массиве / С. А. Зинкин // Информационные технологии. - 2008. - № 12. - С. 22-29.

5. Зинкин, С. А. Элементы новой объектно-ориентированной технологии для моделирования и реализации систем и сетей хранения и обработки данных / С. А. Зинкин // Информационные технологии. - 2008. - № 10. - С. 20-27.

6. Зинкин, С. А. Элементы технологии иерархического концептуального моделирования и реализации систем и сетей хранения и обработки данных / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2008. - № 4. - С. 3-15.

7. Зинкин, С. А. Управление распределенными ресурсами в сети внешних запоминающих устройств / С. А. Зинкин // Вопросы радиоэлектроники. - 2008. - № 5. - С. 85-97.

8. Зинкин, С. А. Разработка интеллектуальных систем управления внешней памятью ЭВМ и сетей с расширенными функциональными возможностями / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2008. - № 2. - С. 3-15.

9. Зинкин, С. А. Концептуальное моделирование многофункциональных систем и сетей внешних запоминающих устройств / С. А. Зинкин // Вопросы радиоэлектроники. - 2008. - № 5. - С. 76-85.

10. Зинкин, С. А. Функционально-структурная реализация интеллектуальных систем управления внешней памятью ЭВМ и сетей / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2008. - № 1. - С. 14-21.

11. Зинкин, С. А. Сети абстрактных машин высших порядков в проектировании систем и сетей хранения и обработки данных (механизмы интерпретации и варианты использования) / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007. - № 4. - С. 37-51.

12. Зинкин, С. А. Сети абстрактных машин высших порядков в проектировании систем и сетей хранения и обработки данных (базовый формализм и его расширения) / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007. - № 3. - С. 13-22.

13. Зинкин, С. А. Самомодифицируемые сценарные модели функционирования систем и сетей хранения и обработки данных (реализация и свойства сценарных моделей) / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007. - № 2. - С. 13-21.

14. Зинкин, С. А. Самомодифицируемые сценарные модели функционирования систем и сетей хранения и обработки данных (базовый формализм и темпоральные операции / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2007. - № 1. - С. 3-12.

15. Вашкевич, Н. П. Применение методологии и принципов нечеткой логики в информационной системе «Электронная история болезни» /

16. Н. П. Вашкевич, С. А. Зинкин, М. М. Макаров // Вопросы радиоэлектроники. - 2007, - № 2. - С. 5-14.

17. Зинкин, С. А. Алгебра сценариев для спецификации операционной семантики активных сетей хранения и обработки данных / С. А. Зинкин // Известия высших учебных заведений. Поволжский регион. Технические науки. - 2004. - № 2. - С. 96-107.

Публикации в других изданиях

18. Зинкин, С. А. Сетевая FS-архитектура машин баз данных и исполняемые формальные спецификации / С. А. Зинкин // Вестник Пермского государственного университета. Научный журнал. Серия “Математика. Механика. Информатика”. - 2008. - № 4(20). - С. 169-181.

19. Коллективное поведение агентов в сетях хранения и обработки данных / Н. П. Вашкевич, С. А. Зинкин, В. А. Киреев, А. В. Прошкин // Приложение к журналу “Информационные технологии”. - 2003. - № 9. - 24 с.

20. Зинкин, С. А. Мобильные агенты в TCP/IP сетях: особенности технологии и проблемы безопасности / С. А. Зинкин, В. А. Киреев, А. В. Прошкин // Телекоммуникации. - 2002. - № 9. - С. 30-39.

21. Вашкевич, Н. П. Использование методов искусственного интеллекта при проектировании интеллектуальных систем управления внешней и массовой памятью ЭВМ / Н. П. Вашкевич, С. А. Зинкин, В. Н. Дубинин // Известия АН СССР. Техническая кибернетика. - 1991. - № 5. - С. 63-74.

22. Вашкевич, Н. П. Структурный подход к проектированию муль-типроцессорной вычислительной системы управления базой данных /

23. Н. П. Вашкевич, С. А. Зинкин, В. П. Кулагин // Известия высших учебных заведений. Приборостроение. - 1983. - Т. XXVI. - № 9. - С. 15-24.

24. Зинкин, С. А. Сети абстрактных машин и концептуальное моделирование многофункциональных систем и сетей внешних запоминающих устройств / С. А. Зинкин // Перспективные технологии искусственного интеллекта: сб. тр. Междунар. науч.-практ. конф. - Пенза : Информационно-издательский центр ПензГУ. - 2008. - С. 253-260.

25. Зинкин, С. А. Внешняя и внутренняя интеллектуализация систем и сетей хранения и обработки данных / С. А. Зинкин // Новые информационные технологии и системы: тр. VIII Междунар. науч.-техн. конф. Часть 1. - Пенза : Изд-во Пенз. гос. ун-та. - 2008. - С. 29-50.

26. Зинкин, С. А. Методы разработки систем и сетей хранения и обработки данных на основе иерархии концептуальных поведенческих моделей / С. А. Зинкин // Новые информационные технологии и системы: тр. VIII Междунар. науч.-техн. конф. Часть 1. - Пенза : Изд-во Пенз. гос. ун-та. - 2008. - С. 17-29.

27. Зинкин, С. А. Сценарные модели функционирования систем и сетей хранения и обработки данных / С. А. Зинкин // Новые информационные технологии и системы: тр. VII Междунар. науч.-техн. конф. Часть 1. -

28. Пенза : Изд-во Пенз. гос. ун-та. - 2006. - С. 117-123.

29. Зинкин, С. А. Интеграция сетевых и информационных технологий на основе парадигм искусственного интеллекта / С. А. Зинкин // Новые информационные технологии и системы: тр. VII Междунар. науч.-техн. конф. Часть 1. - Пенза : Изд-во Пенз. гос. ун-та. - 2006. - С. 108-117.

30. Зинкин, С. А. Интеграция сетевых, информационных и кластерных технологий в TCP/IP сетях. Метод. указания / С. А. Зинкин, В. В. Швецов,

...