Развитие теоретических основ и методов функционально-структурной организации систем и сетей внешнего хранения и обработки данных

Размещено на http://www.allbest.ru/

РАЗВИТИЕ ТЕОРЕТИЧЕСКИХ ОСНОВ И МЕТОДОВ

ФУНКЦИОНАЛЬНО-СТРУКТУРНОЙ

ОРГАНИЗАЦИИ СИСТЕМ

И СЕТЕЙ ВНЕШНЕГО ХРАНЕНИЯ И ОБРАБОТКИ ДАННЫХ

Специальность 05.13.15 - Вычислительные машины и системы

Специальность 05.13.13 - Телекоммуникационные системы и компьютерные сети

А в т о р е ф е р а т

диссертации на соискание ученой степени

доктора технических наук

ЗИНКИН Сергей Александрович

ПЕНЗА 2009

Работа выполнена в государственном образовательном учреждении высшего профессионального образования «Пензенский государственный университет».

Научный консультант - доктор технических наук, профессор,

заслуженный деятель науки и техники

Российской Федерации

Вашкевич Николай Петрович.

Официальные оппоненты: доктор технических наук, профессор

Огнев Иван Васильевич;

доктор технических наук, профессор

Борисов Вадим Владимирович;

доктор физико-математических наук, профессор

Голованов Олег Александрович.

Ведущее предприятие - ФГУП "Пензенский научно-исследовательский электротехнический институт".

Защита состоится 24 декабря 2009 г., в 14 часов, на заседании диссертационного совета Д 212.186.01 в государственном образовательном учреждении высшего профессионального образования «Пензенский государственный университет» по адресу: 440026, г. Пенза, ул. Красная, 40.

С диссертацией и авторефератом можно ознакомиться в библиотеке государственного образовательного учреждения высшего профессионального образования «Пензенский государственный университет». Автореферат размещен на сайте ВАК.

Автореферат разослан «___» __________ 2009 г.

Ученый секретарь

диссертационного совета

доктор технических наук, профессор Гурин Е. И.

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

Актуальность темы. Cовременные системы хранения и обработки данных содержат многие компоненты, созданные разными производителями, - серверы, коммуникационное оборудование, накопители информации, файловые и операционные системы, системы управления базами данных. В данных системах реализуются сложные взаимодействия между указанными компонентами и с внешней средой. Современные хранилища данных могут насчитывать тысячи процессоров, дисковых накопителей информации и могут хранить и обрабатывать петабайты данных. Под системами или сетями внешнего хранения и обработки данных в диссертационной работе подразумеваются такие системы или сети обработки данных, основой построения и развития которых являются хранилища, подключенные к сети, сети хранения данных или сети интеллектуальных многофункциональных ячеек хранения данных.

Организация вычислений и хранение пользовательских данных в вычислительных сетях являются перспективными и быстроразвивающимися областями как в промышленности, так и в научных исследованиях. В этой связи актуальным является рассмотрение всех основных аспектов архитектурной организации и использования аппаратных и алгоритмических средств сетей и систем хранения и обработки данных. Технология хранения данных рассматривается как развитие технологий открытых систем, способствующее, в свою очередь, развитию файловых вычислений с общим доступом через сеть к хранимой информации. К наиболее актуальным разработкам в области сетевого хранения данных относятся также интеллектуальные процессоры, взаимодействующие с традиционными подсистемами хранения данных и обеспечивающие управление массивами хранения данных, кэшированием команд и данных, а также управление взаимодействиями по каналам связи. В совокупности указанные средства должны обеспечивать множественный доступ к данным, масштабируемость, виртуализацию, внешнюю и внутреннюю интеллектуализацию хранения и обработки данных.

Решению проблем создания систем и сетей хранения и обработки данных посвящены работы многих исследователей в нашей стране и за рубежом. Однако в существующих работах недостаточное внимание уделено описанию реализаций систем и сетей, построение которых основано на интеграции и консолидации ресурсов внешнего хранения с ресурсами удаленной обработки данных, на концепциях структурирования декларативных и процедурных знаний при архитектурном проектировании, что определяет основную проблемную ситуацию. Известные разработки основаны на практическом опыте разработчиков, применении содержательных и неформализованных концептуальных моделей, что затрудняет проектирование и увеличивает сроки реализации проекта.

В подсистемах управления хранением и обработкой данных целесообразно использовать элементы систем баз данных и знаний, интегрированные с подсистемами кэширования. Узлы, или точки виртуализации развитых интеллектуальных систем и сетей хранения данных, помимо функций управления доступом и представления данных, управления метаданными и структурами данных, должны выполнять функции объектно-ориентированного хранения данных, в том числе структурированных. При работе они могут использовать собственную или разделяемую базу данных с информацией для управления. На данной основе целесообразно строить сетевые самоуправляемые интеллектуальные хранилища данных, содержащие в своем составе менеджеры работы с файлами, функции которых дополнены функциями для работы с отношениями реляционной базы данных, а также независимые менеджеры, обладающие доступом к общим данным через сеть, возможностью файловых вычислений, обеспечивая эффективное выполнение сетевых приложений.

С точки зрения конечных пользователей сеть внешнего хранения и обработки данных целесообразно представить в виде внешнего распределенного виртуального сопроцессора с персональными областями хранения и возможным совместным использованием данных. В этой связи особенно важно появление провайдеров сетевых услуг по хранению данных, обеспечивающих пользователей ресурсами хранения. Сеть при этом должна служить инфраструктурой доступа к глобальной системе хранения данных. Целесообразно предоставлять аналогичные услуги и по обеспечению пользователей вычислительными ресурсами через сеть.

Актуальность научных исследований в области внутренней и внешней интеллектуализации, архитектурного моделирования и проектирования систем и сетей внешнего хранения и обработки данных на основе интеграции формальных представлений определяется необходимостью создания новых эффективных методов анализа и синтеза процессов управления информационным обменом, хранением и обработкой информации в системах и сетях следующих поколений. Актуально развитие теоретических основ функционально-структурной организации систем и сетей внешнего хранения обработки данных, задачи повышения функциональных возможностей и производительности в которых решаются за счет декларативно-процедурной структуризации знаний о функционировании систем.

Целью работы является теоретическое обоснование и разработка методов архитектурного моделирования и функционально-структурной организации систем и сетей внешнего хранения и обработки данных, обладающих повышенной производительностью и расширенными функциональными возможностями.

Для достижения поставленной цели научного исследования в диссертационной работе решены следующие основные задачи:

- проведен анализ современного состояния и тенденций развития систем и сетей внешнего хранения и обработки данных применительно к задачам построения проблемно-ориентированных систем, на основании чего даны предложения по уменьшению последствий семантического разрыва между инфраструктурой систем хранения данных и алгоритмическими структурами, обеспечивающими многофункциональность системы;

- разработаны и теоретически обоснованы методы архитектурной и функционально-структурной организации систем и сетей внешнего хранения и обработки данных, позволившие сократить затраты на реализацию систем и сетей внешнего хранения и обработки данных и повысить качество принимаемых решений;

- исследованы и развиты формальные модели, обеспечившие поддержку архитектурного моделирования и функционально-структурной организации систем и сетей внешнего хранения и обработки данных;

- исследованы и реализованы в технологии “активной классной доски” методы внешней и внутренней интеллектуализации систем и сетей внешнего хранения и обработки данных;

- разработан метод решения задачи сквозного архитектурного и функционально-структурного проектирования многофункциональных распределенных систем управления внешней памятью ЭВМ и систем, основанный на развитии концептуальных моделей до определенных формально имитационных поведенческих моделей и формальных непосредственно исполняемых спецификаций;

- обоснован и исследован синтез структур и алгоритмов функционирования систем и сетей хранения и обработки данных на базе виртуализации и интеграции сетевых ресурсов хранения данных с вычислительными ресурсами;

- разработаны, обоснованы и исследованы концептуальные и формально определенные имитационные поведенческие модели, адекватная данным моделям сетевая интерпретирующая среда и реализованы системы синтеза структур и программного обеспечения систем и сетей внешнего хранения и обработки данных;

- предложены архитектурные решения для основных классов систем и сетей хранения и обработки данных, обладающих повышенной производительностью и развитыми функциональными возможностями.

Объектом исследования являются системы и сети внешнего хранения и обработки данных с расширенными функциональными возможностями по обеспечению управления трафиком передаваемых данных, хранения и обработки структурированной и неструктурированной информации.

Предметом исследования являются методы управления использованием ресурсов, информационным обменом, хранением и обработкой данных, функционально-структурная организация систем и сетей внешнего хранения и обработки данных, алгоритмическое и методическое обеспечение технологий архитектурного моделирования и функционально-структурного проектирования.

Методы исследования. В диссертационной работе используются теоретико-множественные и логико-алгебраические представления, модели и методы искусственного интеллекта, методы построения поведенческих имитационных моделей, функционально-структурный подход к анализу и проектированию, концепции интеграции и дифференциации функций и структур систем.

Научная новизна заключается в развитии теоретических основ архитектурной, функционально-структурной организации и виртуализации систем и сетей внешнего хранения и обработки данных, в том числе:

- в теоретическом обосновании методов построения концептуальных и формализованных имитационных поведенческих моделей сложных дискретно-событийных систем, отличающихся тем, что на основе применения концептуальных графов, сценарных представлений и абстракций сетей виртуальных машин обеспечивается эффективное решение задач сквозного архитектурного и функционально-структурного проектирования систем и сетей внешнего хранения и обработки данных;

- в развитии формальных моделей, обеспечивающих поддержку архитектурного моделирования и анализ функционально-структурной организации систем и сетей внешнего хранения и обработки данных, отличающихся более адекватным представлением аппаратных и программных средств;

- в теоретическом обосновании систем согласования и координации процессов и объектов как базовой платформы для построения прототипного и рабочего аппаратно-программного обеспечения систем и сетей внешнего хранения и обработки данных в отличие от известных, основанном на применении предложенных в диссертационной работе эволюционирующих

иерархических алгебраических систем, иерархических сетей абстрактных машин, что обеспечивает высокий уровень адекватности формальных представлений содержательному описанию;

- в развитии известных и в разработке новых методов внешней и внутренней интеллектуализации управления в системах и сетях внешнего хранения данных, позволяющих расширить границы применимости методов и моделей искусственного интеллекта для данной предметной области;

- в развитии принципов архитектуры, отличной от фон-неймановской на системном уровне и способствующей развитию принципов прозрачности в управлении ресурсами и масштабируемости, организации эффективного множественного доступа к средствам внешнего хранения и обработки данных;

- в формализованном описании архитектуры, топологии и функционирования систем и сетей внешнего хранения и обработки данных, отличающихся использованием алгебраического подхода к синтезу иерархических сценарных моделей функционирования, иерархических сетей абстрактных машин и пространственных сценариев развертывания ресурсов хранения и обработки данных; данный подход позволяет сократить затраты на реализацию систем и сетей внешнего хранения и обработки данных и повысить качество принимаемых решений, в том числе за счет инвариантности разрабатываемого алгоритмического обеспечения относительно платформы реализации;

- в выявлении и реализации типичных структурных конфигураций сценариев, в результате чего осуществлена интеграция технологии “классной доски” с мультиагентной технологией, причем “классная доска” становится активным объектом, а решатели-мультиагенты, используя ее содержимое (возможно, по инициативе самой “классной доски”), реализуют распределенное выполнение, взаимодействия и синхронизацию реализуемых процессов.

Практическая ценность работы связана с архитектурными, функционально-структурными решениями и с разработкой средств проектирования и реализации систем и сетей внешнего хранения и обработки данных:

- предложены методы практической реализации уровней параллельности в сложных системах внешних запоминающих устройств (ВЗУ) и разработаны способы распараллеливания передачи данных;

- предложены методы реализации сетевых архитектур хранения данных с блочной и файловой виртуализацией;

- предложены способы реализации архитектуры узлов хранения данных в глобальных сетях хранения на основе концептуальной схемы использования многофункционального сетевого ВЗУ;

- исследованы и реализованы методы и технологии проектирования средств обработки структурированной информации, алгоритмического и программного обеспечения в сетях хранения данных;

- предложена функционально-структурная организация многофункционального узла сети внешних запоминающих устройств, включающего кэш-память;

- предложена функционально-структурная организация многофункциональной системы внешних запоминающих устройств, подключаемой к вычислительной сети;

- предложена функционально-структурная организация системы внешних запоминающих устройств, включающей машину баз данных;

- предложена функционально-структурная организация на основе концепции согласования процессов и объектов и реализация в сетевой среде процессора базы данных;

- разработаны способы пространственно-временной организации управляющих воздействий в подсистемах согласования и координации процессов и объектов систем и сетей внешнего хранения и обработки данных, обеспечивающие эффективные взаимодействия компонент;

- предложена и реализована концепция построения сетей хранения и обработки данных, предназначенных для выполнения сопроцессорных функций хранения и обработки данных клиентских приложений, базирующаяся на технологии активной “классной доски” и обеспечивающая внутреннюю и внешнюю интеллектуализацию данных систем;

- реализованы в реальной сетевой среде основные уровни абстракций сети, используемой для виртуализации и моделирования сложных многофункциональных систем и сетей хранения и обработки данных;

- предложены и реализованы принципы структуризации разнообразных в семантическом и синтаксическом отношениях системных и процедурных знаний о функционально-структурной организации систем и сетей внешнего хранения и обработки данных;

- созданы система синтеза структур и программного обеспечения и система спецификации и верификации систем и сетей внешнего хранения и обработки данных.

Основные результаты, выносимые на защиту:

1. Метод архитектурного моделирования и проектирования проблемно-ориентированных систем и сетей внешнего хранения и обработки данных, обеспечивающий согласованность исходной концептуальной модели с формально определенными в процессе иерархического проектирования имитационными поведенческими моделями.

2. Теоретическое обоснование на основе определенных в работе эволюционирующих иерархических алгебраических систем, иерархических сетей абстрактных машин основного класса систем согласования и координации процессов и объектов как базовой платформы для построения прототипного и рабочего программного и аппаратного обеспечения систем и сетей внешнего хранения и обработки данных, обеспечивающей более адекватное отображение сети алгоритмических модулей на физическую сеть при реализации структурных способов повышения производительности.

3. Метод “активной классной доски” и его использование в качестве основы технологии внешней и внутренней интеллектуализации систем и сетей внешнего хранения и обработки данных. Эффективность реализации данного метода обеспечивается внедрением механизмов, основанных на формальных исполняемых спецификациях и на декларативно-процедурной структуризации представления знаний о предметной области, что сокращает затраты на реализацию систем внешнего хранения и обработки данных в аппаратно-программных средах, обеспечивающих согласование и координацию процессов и объектов.

4. Концепция развития архитектуры, отличной от фон-неймановской на системном уровне реализации систем и сетей хранения и обработки данных и способствующей развитию принципов прозрачности в управлении ресурсами и масштабируемости, организации множественного доступа к средствам внешнего хранения и обработки данных и облегчающей интеграцию ресурсов хранения с вычислительными ресурсами.

5. Принципы функционально-структурной организации на основе формального описания концепции согласования и координации процессов и объектов. Использование указанных принципов позволяет сократить затраты на реализацию основных методов управления в функционально-централизованных, функционально-децентрализованных и топологически-распределенных системах и сетях хранения и обработки данных за счет адекватности формальных спецификаций результирующей сети алгоритмических модулей.

6. Метод интерпретации пространственных и временных сценариев функционирования систем и сетей хранения и обработки данных сетями абстрактных машин, предоставляющий возможность эволюционного перехода от концептуальных моделей к непосредственно исполняемым формальным логико-алгебраическим спецификациям.

7. Метод расширения функциональных возможностей систем и сетей внешнего хранения и обработки данных за счет включения дополнительных функций обработки данных в узлах (точках) виртуализации, позволяющий реализовать логическую архитектуру на основе произвольной архитектуры вычислительных средств.

8. Концептуальные, имитационные поведенческие модели систем и сетей хранения и обработки данных, сетевая среда для реализации получаемых формальных спецификаций, структура и реализация системы синтеза структур и алгоритмического обеспечения систем и сетей внешнего хранения и обработки данных, позволяющие осуществить архитектурную и функционально-структурную организацию данных систем и сетей с развитыми функциональными возможностями и высокой производительностью.

9. Архитектурная и функционально-структурная организация: многофункционального узла сети внешних запоминающих устройств, включающего кэш-память; многофункциональной системы внешних запоминающих устройств, подключаемой к вычислительной сети; системы внешних запоминающих устройств, включающей машину баз данных; процессора базы данных, реализуемого в сетевой среде; сетевой среды для реализации виртуализированных архитектур систем и сетей внешнего хранения и обработки данных. Эффективность функционально-структурной организации данных систем и сетей при ее реализации обусловлена ее унифицированным логико-алгебраическим описанием на всех уровнях моделирования и проектирования, что снижает затраты на структурную интерпретацию данных описаний в программно-аппаратных средах.

Реализация и внедрение результатов диссертационной работы.

Диссертационная работа выполнялась в рамках научно-исследовательских работ, проводимых на кафедре "Вычислительная техника" Пензенского государственного университета в области разработки архитектур, методов и средств проектирования систем и сетей хранения и обработки данных, в том числе в рамках НИР, финансируемых Министерством образования и науки РФ: “Теория и методы организации управления распределенными вычислительными процессами в многопроцессорных вычислительных системах и метакомпьютерных сетях”, № гос. регистр. 01.2.00 315092 (2003-2004 гг.) и “Теория, методы и средства организации систем параллельной обработки информации на основе использования недетерминированных автоматов”, № гос. регистр. 0120.0 502707 (2005-2009 гг.). Разработанные в ходе диссертационной работы системы включены в Государственный фонд алгоритмов и программ, в том числе “Система имитационного моделирования многоуровневых функционально-децентрализованных

вычислительных систем” (Инв. № 50870001130), “Разработка и иссле-дование моделей подсистем дисковой памяти с буферной памятью”

(Инв. № 50870000284) и “Разработка и исследование перспективных систем ВЗУ на магнитных дисках” (Инв. № 50890001105).

Основные положения диссертационной работы внедрены на промышленных предприятиях ОАО «НПП “Рубин”», НИКИРЭТ - филиал ФГУП ФНПЦ и ПО “Старт им. М. В. Проценко”; использование результатов подтверждено соответствующими актами о внедрении.

Научные и практические результаты работы включены в ряд курсов лекций на кафедре “Вычислительная техника” Пензенского государственного университета, использованы в лабораторных практикумах, курсовом и дипломном проектировании, а также в НИР студентов. Результаты работы использованы при подготовке 12 учебных и учебно-методических пособий.

Апробация работы. Основные научные положения и результаты диссертационной работы докладывались и обсуждались на научно-практических конференциях и семинарах; при этом автором сделано 52 доклада на международных конференциях, 22 доклада на всесоюзных и всероссийских и 7 докладов на региональных конференциях и семинарах в Москве, Санкт-Петербурге, Киеве, Новосибирске, Минске, Казани, Воронеже, Саратове, Твери, Рязани, Харькове, Челябинске, Пензе, Тамбове, Курске, Варне (Болгария), Костенеце (Болгария) и в других городах. Результаты работы также регулярно докладывались на кафедре "Вычислительная техника" Пензенского государственного университета.

Публикации. По теме диссертации опубликовано 82 печатные работы, в том числе 40 статей (15 статей опубликовано в изданиях, рекомендованных ВАК РФ), 42 публикации в материалах докладов на международных и региональных конференциях и авторское свидетельство. Все результаты, составляющие содержание диссертации, получены автором самостоятельно.

Структура и объем диссертационной работы. Работа состоит из введения, шести глав основной части, заключения, изложенных на 479 страницах (включая 143 рисунка и 4 таблицы), шести приложений на 48 страницах, (включая 18 рисунков и 3 таблицы) и списка литературы из 248 наименований.

данные обработка моделирование архитектурный

КРАТКОЕ СОДЕРЖАНИЕ РАБОТЫ

Во введении обоснована актуальность темы, сформулированы цель и задачи диссертационной работы, определены направления исследования, научная новизна и практическая значимость работы.

В первой главе проанализировано построение высокопроизводительных многофункциональных систем и сетей хранения и обработки данных, выделены основные особенности системного моделирования и архитектурного проектирования данных систем, даны рекомендации по выбору перспективных сетевых платформ и методов функционально-структурного проектирования; приведены примеры реализации систем и сетей внешнего хранения и обработки данных, базирующиеся на разработках автора.

При создании распределенных вычислительных систем особое значение придается разработке высокопроизводительных, надежных и интеллектуальных систем внешней памяти ЭВМ. Одним из перспективных путей решения данной задачи является использование сетевых архитектур ВЗУ: упрощается организация коллективного доступа к ВЗУ и реконфигурация системы, возможно включение разнообразных сетевых служб и серверов, увеличивающих уровень “интеллектуальности” системы ВЗУ, повышается производительность системы за счет параллельного доступа к ВЗУ в сети. Системы ВЗУ, построенные на основе сетевых архитектур, принято называть сетями ВЗУ. Используемое в диссертационной работе понятие “внешнее хранение и обработка данных” подчеркивает тот факт, что рассматриваются такие системы и сети обработки данных, ядром которых является система или сеть хранения данных.

Современные тенденции развития систем внешней и массовой памяти подтверждают перспективность и целесообразность использования сетевой идеологии при их создании: становится возможным объединение систем ВЗУ, повышается надежность хранения данных, становятся разнообразными услуги хранения данных, эффективнее используются все системы хранения данных, унифицируется доступ к различным устройствам хранения независимо от их размещения, упрощается масштабирование и консолидация ресурсов хранения, снижаются административные расходы при эксплуатации. Однако традиционные системы хранения данных зачастую не в полном объеме удовлетворяют современные потребности пользователей. Современные системы хранения должны обладать возможностью организации взаимодополняющих уровней хранения данных, а также обеспечивать масштабируемую виртуализацию и интеграцию вычислительных ресурсов и ресурсов хранения. Интеллектуальные дисковые массивы и узлы виртуализации при определенных условиях могут быть также основой и для организации пула вычислительных ресурсов, обеспечивая при этом реализацию согласованных распределенных вычислений. Само хранение данных можно рассматривать как приложение, использующее файловую или блочную виртуализацию.

Определение архитектуры систем хранения и обработки данных обычно включает описание признаков и свойств структурной и функциональной организации. Расширенное определение архитектуры дополняется характеризацией логической, семантической и информационной организации систем и перечислением компонент. В процессе функционирования некоторой системы ее структурная, функциональная, логическая и семантическая организации могут модифицироваться в зависимости от внешних условий. Понятия и определения, характеризующие архитектуру системы хранения и обработки данных, в общем случае соответствуют разнообразным абстракциям. Важнейшей среди них является абстрактная модель функциональной организации системы, определяющая взаимодействия всех ее компонент. Особую роль понятие абстракции играет в определении иерархических виртуальных систем, формальное описание спецификаций для которых развито недостаточно. Методы формализации должны охватывать и преобразования виртуальных машин с учетом их иерархической структуризации.

Принятая концепция виртуализации способна обеспечить также консолидированное логическое представление узлов системы внешнего хранения и обработки данных. Особое значение для реализации принятой в диссертационной работе концепции “внешнего” хранения и обработки данных имеет реализация централизованного (с точки зрения одного пользователя) управления вычислениями и данными. Для каждого пользователя в данном случае может быть задан виртуальный менеджер, выполняющий заданный сценарий работы.

Определенные в диссертационной работе принципы проектирования систем и сетей внешнего хранения и обработки данных позволяют построить модели, адекватные проектируемым системам, и последовательно использовать их на этапах проектирования, сопровождаемых содержательным, концептуальным и имитационным поведенческим моделированием. Основные проблемы системного и функционально-структурного проектирования сетей и систем ВЗУ связаны также с использованием “интеллектуальных” контроллеров и коммутаторов. Ключевое слово здесь взято в кавычки, поскольку обычно в литературе под ним не подразумевается использование принципов систем искусственного интеллекта. В отличие от указанной трактовки при рассмотрении функционально-структурной организации системы или сети хранения и обработки данных с позиций искусственного интеллекта, предложено считать, что в некоторой базе знаний хранятся формализованные декларативные и процедурные знания об архитектуре и функционировании системы. Декларативные знания связаны с пространственными, количественными и, возможно, классификационными отношениями объектов. Процедурные знания указывают на последовательность действий, которая должна быть выполнена в системе с учетом сложившейся ситуации при обработке данных. Подобные действия приводят также к пополнению представления текущей ситуации новыми фактами. Для представления декларативных знаний о предметной области в диссертационной работе предложено использовать семантические сети. Декларативные и процедурные знания о структуре и функционировании систем и сетей хранения и обработки данных предложено задавать с помощью сценарных сетей - разновидностей семантических сетей с событиями и темпоральными отношениями между ними.

Построение новых архитектур, концептуальных, математических и алгоритмических моделей, изложенных в последующих главах, проведено с учетом опыта авторских разработок, описанных в первой главе: организация параллельной работы накопителей на магнитных дисках на нижнем уровне иерархии системы ВЗУ, реализация сети ВЗУ с виртуализацией на уровне блоков данных, реализация узла сетевой внешней памяти с виртуализацией на уровне файлов и блоков.

Вторая глава посвящена разработке, развитию и интеграции формализмов, предназначенных для поддержки новых архитектурных направлений, в том числе виртуализации, внутренней и внешней интеллектуализации систем и сетей внешнего хранения данных.

Для унификации описаний систем рассматриваемого класса на различных уровнях абстракций здесь используются логико-алгебраические представления, в связи с чем решаются задачи совершенствования логико-алгебраического аппарата описания дискретных систем с событийно-временной координацией взаимодействующих процессов и в дальнейшем разработки на этой основе формальных средств спецификации имитационных моделей.

Предлагаемые средства спецификации допускают простую програм-мную реализацию имитационных моделей и, после несложных преобразований, обеспечивают реализацию системы алгоритмических модулей в виде совокупности управляющих программ вычислительной системы или сети. Данные преобразования обеспечивают переход от временной координации модулей имитационных моделей к причинно обусловленной координации модулей управляющих программ. Подобные спецификации, используемые на различных этапах архитектурного и функционально-структурного проектирования систем и сетей хранения и обработки данных, названы непосредственно интерпретируемыми формальными спецификациями. Особенностью используемых в этих целях логико-алгебраических описаний является возможность их применения на ранних этапах иерархического проектирования при переходе от содержательных описаний к концептуальным моделям и далее к определяемым формально имитационным поведенческим моделям. На конечном этапе проектирования формируется и реализуется в сетевой среде система алгоритмических модулей, полностью адекватная исходной модели.

Для концептуального представления принципов организации распределенных систем с целью выработки единых в концептуальном плане подходов предлагается использовать формализм сетей абстрактных машин, берущих свое начало от машин Колмогорова-Успенского-Шёнхаге и Гуревича. При определении декларативной составляющей формализма используется понятие алгебраических систем, а для представления процедурной составляющей в сетях абстрактных машин и в сценарных сетях, определенных в дальнейшем, используются некоторые элементы алгебры алгоритмов Глушкова, в частности, операции б-дизъюнкции и б-итерации для всюду определенных условий и понятие суперпозиции операций.

Сеть абстрактных машин (СеАМ) определяется следующим набором:

(1)

где - непустые непересекающиеся множества (основы), на которых определены множества функций и предикатов, имена которых составляют “текущую” (с изменяющейся, или эволюционирующей в процессе функционирования сети интерпретацией I(t) функциональных и предикатных символов) и “статическую” (с неизменяющейся интерпретацией) сигнатуры;

- множество основ;

- каузально-объектная сигнатура

();

- множество “каузальных” функций;

- множество “объектных” функций;

- множество “каузальных” предикатов;

- множество “объектных” предикатов;

I(t), t t0, - текущая интерпретация функциональных и предикатных символов, составляющих сигнатуру ;

I(t0), t0 0, - начальная интерпретация функциональных и предикатных символов, составляющих сигнатуру ;

- статическая сигнатура (с не изменющейся в процессе функционирования СеАМ интерпретацией функциональных символов из множества и предикатных символов из множества );

J - интерпретация функциональных символов из множества и предикатных символов из множества ;

- отображение арности, где na = const; в процессе функционирования СеАМ арности функций и предикатов остаются неизменными;

UF - множество элементарных обновлений функций, сопоставленных функциональным символам из ;

UP - множество элементарных обновлений предикатов, сопоставленных предикатным символам из ;

- система образующих алгебры модулей;

M - множество модулей СеАМ, реализующих локальные преобразования (обновления) текущей интерпретации I(t) сигнатуры ; под модулем для простоты подразумевается СеАМ-выражение, не содержащее свободных вхождений предметных переменных;

- система темпоральных операций вида , принимающих значения в множестве модулей М;

- система дополнительных операций вида и (“управляющих конструкций” СеАМ), принимающих значения в множестве модулей М;

L - множество логических условий;

- система логических операций вида и , принимающих значения в множестве логических условий L;

- множество атомарных формул (атомов) - система образующих алгебры логических условий;

B - множество блоков СеАМ;

- множество операций, выполняемых в блоках модулей СеАМ;

\ - отображение, сопоставляющее каждому модулю подмножество функций и предикатов, которые им модифицируются ( - символ булеана):

\ - отображение, сопоставляющее каждому модулю подмножество функций и предикатов, которые им проверяются;

\ - отображение, сопоставляющее каждому модулю подмножество функций и предикатов, с которыми оперирует данный модуль, причем

(в общем случае для корректной работы сети функции и предикаты, с которыми оперирует конкретный модуль, должны быть временно заблокированы в целях недопущения нежелательных взаимоблокировок конкурирующих модулей);

\ - отображение, ставящее в соответствие каждому блоку подмножество совместимых элементарных обновлений интерпретации сигнатуры ;

\ - отображение, сопоставляющее каждому модулю СеАМ подмножество реализуемых им блоков;

\ - отображение, сопоставляющее каждому модулю подмножество проверяемых им логических условий;

С - предикат каузации, определяемый следующим образом:

(mM)(nM)(C(m, n) = pinter(µupdate(m), µtest(n))) ,

то есть некоторый модуль mi может причинно (каузально) воздействовать на модуль nj, в случае, когда некоторые элементы из множества предикатов и функций, модифицируемых модулем miM, проверяются модулем njM (допускается также случай minj):

Для сети N дополнительно задается следующая пара множеств:

Q - множество предикатов вида q: M {true, false}, характеризующих рабочее или нерабочее состояние модулей из множества M; данные предикаты не могут модифицироваться никакими модулями и используются только в формулах логических условий из множества L для проверки фактов исполнения некоторых модулей в текущий момент времени;

W - множество предикатов вида w: M {true, false}, используемых для “внешнего” или “внутреннего” управления текущей конфигурацией сети N: в процессе функционирования сети из нее могут исключаться некоторые модули, либо они снова могут подключаться к сети; такие манипуляции с сетью могут осуществляться модулями с помощью включаемых в блоки правил обновления предикатов из множества W.

При описании операционной семантики сетей используется понятие

FS-пространства, объединяющего в одно множество множества функций и предикатов. Предлагаемые абстрактные машины отличаются от других наличием причинно-следственных связей и тем, что их память состоит не из элементарных ячеек, а из некоторых структур.

При использовании алгебраических систем становится возможным сочетать как алгебраические, так и логические понятия и методы. При этом обычно рассматривается некоторый язык, алфавит которого содержит счетное число переменных функциональные и предикатные символы, символ равенства, логические связки, кванторы всеобщности и существования. Формулы и термы составляются по известным в многосортном исчислении предикатов первого и высших порядков правилам. В некоторых случаях в работе используется логика второго порядка, допускающая переинтерпретацию в первопорядковую логику.

Отличительной особенностью предлагаемого формализма является использование термов вида

(2)

в блоках и в б-выражениях модулей СеАМ (то есть в записи формул для логических условий в операциях б-дизъюнкции и б-итерации). Данные операторы названы квантифицированными операторами выбора кортежей из областей истинности n-арных предикатов. Например, в случае применения введенных операторов к бинарным предикатам соответствующие термы будем записывать в следующем виде:

(3)

Рассмотрим группу термов (2). Результатом выполнения оператора является единственное значение предметной переменной x, выбранное произвольным образом из области истинности унарного предиката р. Опера-тор выбирает значение x при условии, что оно является единственным в области истинности унарного предиката р. Оператор позволяет выбрать все значения переменной x из области истинности предиката р. Опера-

тор выбирает все значения переменной x из области истинности предиката p при условии, что эта область совпадает с областью определения данного предиката. Выбранные значения для обоих последних операторов составляют результирующие унарные отношения. Аналогично определяются и n-арные квантифицированные операторы выбора.

В термах вида (2), если это специально оговорено, переменная x, или переменный кортеж, аналогично реляционному исчислению кортежей может пробегать по кортежам некоторого n-арного отношения, представленного областью истинности соответствующего предиката. Для выбора

i-го элемента кортежа x в этом случае необходимо использовать операцию проекции pri(x), i = 1, 2, …, n.

Выражения с квантифицированными операторами выбора в -условиях модулей (то есть в выражениях, заключенных в квадратные скобки) трактуются как логические условия, истинные при успешном завершении выбора и ложные - в противном случае. Вычисленные значения термов, построенных на основе квантифицированных операторов, используются в блоках, следующих за -условиями одного и того же модуля.

В отличие от обычных термов значения термов с квантифицированными операторами выбора , , , не всегда могут быть вычислены, то есть, возможно, не удается осуществить выбор ни одного кортежа из области истинности некоторого предиката. В этом случае считается, что данный оператор выполняет “тождественное” обновление , то есть он не вносит ни одного изменения в интерпретацию сигнатуры , а значения соответствующих предметных переменных не определены.

В выражениях для модулей сетей абстрактных машин используются элементарные правила обновления функций или предикатов вида

, (4)

где - термы различных сортов; s - функциональный или предикатный символ. В случае, если s - функциональный символ, то суть терм любого сорта, а если s - предикатный символ, то - булево выражение. Отметим, что вне рамок определения формализма машин абстрактных состояний данные правила вывода могут быть реализованы также и операциями модификации отношений в реляционных базах данных.

Определены порядок выполнения правил вида (4) при использовании в выражениях для термов квантифицированных операторов выбора, механизмы интерпретации, правила декомпозиции и модификации СеАМ, определена статическая сигнатура для представления арифметических и логических операций. Показано, что от выбора типа СеАМ и способа структуризации FS-пространства зависит сложность разрабатываемого аппаратно-программного обеспечения. Даны примеры построения исполняемых формальных спецификаций на основе выражений для модулей сети СеАМ. Подкласс сетей СеАМ, при определении которого используются межмодульные темпоральные связи, а также обе управляющие операции -

б-дизъюнкция и б-итерация - используется также под названием РСеАМ (расширенные сети абстрактных машин).

Введено понятие “активной” семантической сети (АСеС) как варианта сценарной сети (или просто сценария), построение которой, в отличие от известных в области искусственного интеллекта сценарных моделей, основано на алгебре активных семантических сетей, в которой исходные (“элементарные”) концептуальные графы и логические условия составляют систему образующих. Решена задача определения самомодифицируемых сценариев функционирования систем и сетей хранения и обработки данных сетями абстрактных машин.

Модифицируя бинарные темпоральные предикаты, можно в существенной степени манипулировать свойствами сценариев. Например, можно изменять степень параллелизма при выполнении тех или иных действий, предусмотренных сценарием. Рассмотрены временные сценарии и определены правила формирования запросов к сценариям. На примере сети хранения и обработки данных определены правила эволюции семантических сетей и концептуальных графов. Даны рекомендации по интерпретации сценарных сетей сетями абстрактных машин, включающие правила определения темпоральных операций, правила синхронизации сценариев. Определены основные алгебраические свойства темпоральных операций. Приведены примеры иерархического и одноуровневого представления сценариев, а также их формульные и графические интерпритации.

На основе сценарных представлений и интерпретирующих СеАМ формализованы процессы централизованного и децентрализованного управления размещением ресурсов в сетях хранения и обработки данных. Приведены примеры логико-алгебраических спецификаций пространственных операций. Проанализированы особенности определения и применения содержательных и формальных методов в проектировании систем и сетей хранения и обработки данных. Даны предварительные предложения по реализации формальных моделей на основе современных инструментальных средств и технологий.

Достоинством предлагаемых методов формализации является возможность их использования при теоретическом обосновании методов построения концептуальных, математических и алгоритмических моделей систем и сетей хранения и обработки данных, обеспечивающих сокращение затрат на создание моделей, их настройку и обеспечение адекватности проектируемой системы. Предлагаемый подход к формализации, моделированию и проектированию систем и сетей хранения и обработки данных базируется на унифицированном описании взаимодействия аппаратного и программного обеспечения. При этом структурные связи между аппаратными и программными модулями в логико-алгебраических моделях задаются предикатами и функциями, а логические связи - замкнутыми выражениями в исчислении предикатов.

Процесс конструирования имитационных программ для работы с моделями систем аналогичен процессу конструирования системных программ, управляющих реальными процессами и ресурсами в данных системах при реализации функций информационного обмена, хранения и обработки информации.

В качестве основной математической модели иерархического проектирования предложено использовать иерархические алгебраические системы. Иерархическое проектирование на каждом уровне сопровождается сильным обогащением многоосновной алгебраической системы соответствующего уровня. Определена иерархия (направленное множество) эволюционирующих многоосновных алгебраических систем

= < A1, A2, …, An >

с соответствующими вектором сигнатур

= < 1, 2, …, n >,

вектором множеств основ

A = < A1, A2, …, An >

и вектором интерпретаций сигнатур

От известного направленного множества алгебраических систем данное множество отличается тем, что здесь все системы могут иметь различную сигнатуру, причем мощность каждой последующей системы больше или равна предыдущей. Иерархическая система функционирует, переходя от одного вектора интерпретаций сигнатур к другому вектору , ti+1 > ti, t0 0, при этом текущий вектор интерпретаций сигнатур соответствует текущему абстрактному состоянию иерархии алгебраических систем; на каждом уровне элементы вектора интерпретации сигнатур изменяются согласованно друг с другом. Все уровни модели при этом остаются различимыми (видимыми) для пользователя, что позволяет в дальнейшем построить иерархию сети абстрактных машин и затем перейти к ее реализации иерархической сетью виртуальных машин. В зависимости от интерпретации иерархическая система может использоваться как основа для формализации процессов иерархического проектирования, так и для проектирования иерархических систем.

Определенные во второй главе языки сетей абстрактных машин, временных и пространственных сценариев обладают в совокупности свойствами, позволяющими поддерживать концепцию объектно-ориентированной архитектуры, являющейся дальнейшим развитием виртуальной архитектуры путем ее дальнейшей функциональной ориентации. Данные языки используют единое представление для всех объектов и содержат формализованные команды высокого уровня для управления объектами. Реализация данных языков программно-аппаратными средствами основана на интеграции средств управления процессами, виртуальной памятью и данными.

В третьей главе предлагается методология концептуального и имитационного поведенческого моделирования систем и сетей внешнего хранения и обработки данных, обеспечивающая иерархическое проектирование формально определенных моделей, отличающихся адекватным представлением процессов управления информационным обменом, хранением и обработкой информации.

Разрабатываются методы и средства поддержки функционально-структурной и функционально-топологической декомпозиции архитектурных моделей систем и сетей хранения и обработки данных. Данные модели и методы соответствуют современной технологической инфраструктуре параллельных и распределенных баз данных, кластерных и мультипроцессорных систем, сетевых соединений, интеллектуальных контроллеров и накопителей информации.

Предложена методология формализованного иерархического синтеза сценарных моделей, базирующаяся на алгебре концептуальных графов. Здесь одним множеством концептов является множество событий, а другое множество концептов представляет объекты предметной области сообщения, блоки данных, файлы, узлы хранения или обработки данных, линии связи, причем события связаны с объектами ролевыми отношениями, а между собой темпоральными и управляющими отношениями, что позволяет определить основы схематологии концептуальных сценарных моделей и расширить границы их применимости в процессе многоуровневого проектирования систем и сетей внешнего хранения и обработки данных.

Предложено указанные подходы распространить и на представление операционной семантики проектируемой системы. Общие черты проектирования подобных систем предлагается использовать при формировании унифицированного архитектурного стиля и языков описания архитектуры систем и сетей хранения и обработки данных.

Для конструирования сценариев и выполнения над ними разнообразных процедур модификации используются сети абстрактных машин. Данное предложение обусловлено начальной неинтерпретированностью формализма сетей абстрактных машин. Для формализации данных понятий над

иерархическим сценарием A определена суперсеть абстрактных машин SN. Суперсеть включает в свой состав модули, выполняющие некоторые модификации сценария A. Определяется также сценарий, представленный в реляционной форме, или просто реляционный сценарий. Реляционный сценарий CR определен как набор:

CR = (S, R, Op, UR, UOp, SN),

где S - множество подсценариев, возможно, составных; в этом множестве выделяются подмножества S0 и SF - начальных и конечных подсценариев;

R - множество предикатов структуризации (формирования) сценария, в которое могут быть включены бинарные темпоральные предикаты, тернарный предикат Op и бинарный предикат Op{};

Op - множество операций, одноименных предикатам из множества R;

UR - множество правил обновления предикатов из множества R;

UOp - множество правил обновления операций из множества Op;

SN - управляющая суперсеть.

Предложен метод интерпретации концептуальных графов и самомодифицируемых сценариев сетями абстрактных машин, основанный на реализации базовых сценарных операций модулями-продукциями и модулями-процедурами сетей абстрактных машин.

На основе описанных представлений предложена технология согласования процессов и объектов, или технология активной классной доски, предназначенная для моделирования и реализации в сетевой среде систем и сетей хранения и обработки данных. Данная технология основана на агентно-ориентированных моделях и реализуемого на базе сетей абстрактных машин объектно-ориентированного проектирования. Основным отличием предлагаемой технологии является унифицированное представление декларативных и процедурных знаний, хранимых в разделяемом пространстве памяти, что сокращает затраты на создание модели и проекта системы, в том числе за счет их адекватности. Идентичность модели и проекта достигается за счет того, что по мере развития формализуемых концептуальных моделей в результате, после проведения экспериментов с результирующей имитационной поведенческой моделью, ее логико-алгебраические спецификации становится возможным использовать в качестве спецификаций для рабочего проекта. С другой стороны, положительной особенностью данной технологии является возможность использования других известных технологий, связанных с проектированием систем искусственного интеллекта, а также технологии объектно-ориентированного проектирования систем.

Предложены и реализованы практически в сетевой среде архитектурные концептуальные схемы реализации технологии активной "классной доски": “мобильные агенты - стационарные функции” и “стационарные агенты - перемещаемые функции”. Данные схемы реализуют архитектуру сетей хранения и обработки данных с виртуальной памятью, ядром которых является система хранения данных. Даны примеры представления и синтеза сценариев, интерпретируемых сетями абстрактных машин, а также механизмы их реализации.

...