Обработка и визуализация данных в виртуальных лабораториях удаленного доступа на основе модельно-ориентированного подхода

Размещено на http://www.allbest.ru/

Обработка и визуализация данных в виртуальных лабораториях удаленного доступа на основе модельно-ориентированного подхода

ОБЩАЯ ХАРАКТЕРИСТИКА РАБОТЫ

интернет математический моделирование

Актуальность темы. В настоящее время одной из перспективных форм организации и проведения совместных научных исследований и реализации дистанционного обучения является создание информационно-вычислительных веб-ресурсов и виртуальных лабораторий (ВЛ) удаленного доступа, т.к. Интернет занял прочные позиции в современном научном сообществе и является важным средством коммуникации, обмена научной информацией и публикации научных результатов.

Проблема разработки и использования удаленных ВЛ заключается в том, что техническая реализация ВЛ не позволяет одновременно предоставить пользователю мощь вычислительных систем и интерактивную высококачественную визуализацию с гибкими возможностями настройки и взаимодействия. Связано это с тем, что большинство из ВЛ создаются либо с использованием технологий на стороне сервера (специализированные математические пакеты), либо с использованием технологии клиента (Java-апплеты).

1. Специализированные математические пакеты имеют проблему интерпретации и визуализации результатов математического моделирования. Обрабатывая большие массивы данных при численном моделировании, генерация анимации в виде серии статичных растровых изображений становится бессмысленной вследствие существенного увеличения нагрузки на сеть и загрузки процессора конечного пользователя.

2. Java-технология, напротив, обладает мощными средствами разработки интерактивной графики и анимации, но, одновременно, не позволяет производить сложные математические расчеты, вследствие «бедного» встроенного математического аппарата.

В связи с этим необходимо решение, позволяющее отображать данные, являющееся результатом математического моделирования со стороны специализированных пакетов, в векторном формате, в том числе и анимацию, с возможностями интерактивного взаимодействия пользователя с изображением.

В Астраханском государственном университете ведется разработка информационно-компьютерных технологий нового поколения, которые обеспечивают эффективную разработку информационно-вычислительных систем, решают широкий комплекс проблем компьютерного анализа и моделирования сложных, в том числе, живых, систем и покрывают указанные выше недостатки.

Разработка технологий получила финансовую поддержку Российского фонда фундаментальных исследований (проект РФФИ № 07-07-00128-а), Фонда содействия развития малых форм предприятий в научно-технической сфере (проект У.М.Н.И.К. «Интернет-ориентированная кроссплатформенная система визуализации данных для сопряжения со специализированными пакетами научного программного обеспечения и базами данных»).

Целью диссертационной работы является разработка и программная реализация комплекса моделей обработки и визуализации данных в среде Интернет при проведении компьютерного моделирования сложных динамических систем.

Для достижения поставленной цели были сформулированы и решены следующие задачи:

1. Провести анализ представленных в сети Интернет виртуальных лабораторий математического моделирования, выявить недостатки.

2. Разработать концепцию разделения вычислительных и визуализационных процессов в системе «клиент-сервер».

3. Разработать модель обмена и визуализации данных и модель представления результатов математического моделирования.

4. Разработать модель обработки и представления структурированных данных, хранящихся в системах управления базами данных (СУБД).

5. Создать программное обеспечение (ПО), реализующее предлагаемую концепцию, для проведения фундаментальных исследований в области математического моделирования.

6. Провести апробацию концепции на примере распределенной системы для математического моделирования сложных систем.

Методологической и теоретической основой диссертационной работы явились исследования российских и зарубежных ученых в области интернет-технологий, математического и компьютерного моделирования, теории машинной графики, аналитической геометрии.

Методы исследования. В работе применялись общенаучные методы и приемы исследования: системный подход, сравнительный анализ, синтез, классификация и структуризация. Проведенные в работе исследования базируются на объектной модели данных и используют методы математического моделирования. Для решения поставленных задач применялись методы системного, модульного и объектно-ориентированного программирования, а также средства UML-моделирования.

Научная новизна работы. Соискателем получены и вынесены на защиту следующие основные положения:

1. Разработан комплекс моделей для обработки и визуализации данных, включающий: модель вариантов использования, модель обмена и визуализации, модель обработки и представления структурированных данных, хранящихся в СУБД, модель представления результатов математического моделирования, модель классов, интерфейсов, сценариев.

2. Разработан файловый формат для хранения и распространения в сети Интернет результатов математического моделирования, основанный на предложенной модели.

3. Разработан алгоритм автоматической генерации визуализации на основе модели представления результатов математического моделирования.

4. Разработан алгоритм автоматической генерации веб-интерфейса, содержащего параметры математической модели (ММ).

5. Разработан алгоритм автоматической генерации веб-интерфейса и SQL-запросов на основе модели представления данных, хранящихся в СУБД.

Практическая значимость исследования

1. Предложенная модель визуализации расчетов, выполненных специализированными математическим пакетами, более эффективна по сравнению со стандартными подходами и существенно сокращает временные задержки при моделировании в режиме «клиент-сервер», так как объем пересылаемой информации сократился на порядок, что позволило существенно снизить нагрузку на сеть.

2. Автоматизированная интеграция вычислительных систем с виртуальными лабораториями является трудно реализуемой задачей с использованием стандартных средств разработки. В работе предложено более эффективное решение, имеющее практическую реализацию.

3. Использованные в исследовании технологии и методы визуализации способствуют повышению эффективности применения математических моделей, созданных средствами стандартных математических пакетов, в среде Интернет при ограничениях, обусловленных её особенностями.

4. Разработанные модели и ПО на их основе предоставляют возможности по ускорению информационных потоков путем значительного уменьшения количества необходимой для передачи информации. При этом уменьшается время ожидания загрузки веб-страниц без увеличения пропускной способности каналов связи.

5. Разработан программный комплекс в виде Интернет-ориентированной кроссплатформенной системы визуализации данных для сопряжения со специализированными математическими пакетами VS-Sci. Программный комплекс внедрен и активно используется в Астраханском государственном университете.

6. Разработан программный комплекс в виде автоматизированной системы управления содержимым Интернет-ресурсов CMSLaps. Программный комплекс применяется при решении научно-образовательных и промышленных задач.

Публикации. Основные теоретические положения и результаты диссертационной работы опубликованы в 15 печатных работах, в том числе в 3 журналах, рекомендованных ВАК.

Разработанное программное обеспечение зарегистрировано в Отраслевом фонде алгоритмов и программ (ОФАП), получены свидетельства о государственной регистрации в Роспатенте.

Апробация диссертации. Основные теоретические положения и результаты диссертационной работы опубликованы в материалах V Международной научно-технической конференции «Компьютерное моделирование 2004» (Санкт-Петербург), итоговой научной конференции АГУ «Физика. Математика. Информатика» (Астрахань, 2004), XIII международной конференции «Математика. Экономика. Образование» (Ростов н/Д, 2005), Международной научно-практической конференции (студентов и молодых ученых) «Электронный университет как условие устойчивого развития региона» (Астрахань, 2005), Международной научно-практической конференции «Информатизация образования - 2005» (Елец), Всероссийской научно-практической конференции «Информационные технологии в образовании и науке» (Москва, 2006), Международной научной конференции, посвященной памяти профессора А.М. Богомолова «Компьютерные науки и информационные технологии» (Саратов, 2007), IX Международной научно-технической конференции «Компьютерное моделирование 2008» (Санкт-Петербург), «Телематика - 2008» (Санкт-Петербург), а также представлены на выставке «Московский салон инноваций и инвестиций» (Москва, ВВЦ, 2006-2007 гг.).

Разработанные модели, технологии, алгоритмы и инструменты внедрены в производство программных продуктов в 2006-2008 гг.:

1. Сайт совместной лаборатории Института математических проблем биологии Российской академии наук и Астраханского государственного университета «Математическое моделирование и информационные технологии в науке и образовании» (http://mathmod.aspu.ru).

2. Портал русского языка «ЯРУС» (http://yarus.aspu.ru).

3. Интернет-мониторинг мероприятий, проводимых к празднованию 450-летия г. Астрахани (http://450.aspu.ru).

4. Агропромышленный портал Астраханской области (http://agro-portal.aspu.ru).

5. Официальный сайт Астраханского государственного университета (http://aspu.ru).

Личный вклад автора. Все исследования, изложенные в диссертационной работе, проведены лично соискателем в процессе научной деятельности. Все результаты, выносимые на защиту, получены автором лично.

Из совместных публикаций включен лишь тот материал, который непосредственно принадлежит соискателю, заимствованный материал обозначен в работе ссылками.

Структура диссертации обусловлена целью исследования, определена логикой рассмотрения взаимосвязанных вопросов и совокупностью решаемых задач. Диссертация изложена на 166 страницах и состоит из введения, четырех глав, заключения, списка литературы и приложений.

Список литературы содержит 63 наименования. Работа иллюстрирована 38 рисунками и содержит 3 таблицы.

СОДЕРЖАНИЕ РАБОТЫ

Во введении дано обоснование актуальности темы диссертации, сформулированы цели работы, задачи и методы исследования, научная новизна, практическая значимость.

В главе 1 проведен анализ существующих ВЛ удаленного доступа и средств их разработки. Определены требования к ВЛ. Описана предлагаемая концепция сопряжения вычислений со стороны математических пакетов с визуализацией на стороне клиента.

Существующим ВЛ в той или иной мере присущи следующие недостатки: длительная загрузка, отсутствие возможности пользовательского взаимодействия с визуализацией, использование неэффективных численных методов для решения задач, ВЛ спроектированы на уровне абстракций конкретного языка программирования, а не на уровне объектов конкретной предметной области.

Прослеживаются две взаимодополняемые тенденции создания ВЛ для среды Интернет: с использованием веб-сервисов популярных математических пакетов и с использованием Java-технологии.

Таблица 1 Сравнение функциональных возможностей веб-сервисов специализированных математических пакетов и Java-технологии при решении научных задач

В главе 2 приводится описание разработанных моделей представления, обмена, визуализации и обработки данных. Описан алгоритм автоматической генерации веб-интерфейса и SQL-запросов для обработки данных, хранящихся в СУБД.

Требования 1 и 5 из главы 1 определили выбор модельно-ориентированного подхода к обработке и визуализации данных в ВЛ. Предлагаемый подход основан на замене процедурного кода декларативным описанием архитектурных компонентов и объектов визуализации.

Интересующие параметры ММ пользователь указывает посредством веб-интерфейса, который автоматически создается по соответствующей модели представления (Рис. 2).

Рис. 2. Модель представления параметров математической модели

Система визуализации и удаленный источник данных работают автономно, независимо друг от друга, находятся в режиме ожидания до поступления команды на визуализацию и расчет, соответственно.

Генерация визуализации происходит путем разбора модели представления результатов математического моделирования, реализованной на языке XML.

Рис. 3. Модель представления результатов математического моделирования

Рис. 4. Модель обмена и визуализации

Обработка большого объема структурированных данных, хранящихся в СУБД, с применением традиционных средств является крайне трудоемкой задачей, так как любые изменения в структуре данных требуют модификации ПО. Наличие чётко определенных операций с данными позволяет типизировать веб-интерфейс и SQL-запросы и использовать модельно-ориентированный подход к разработке данного класса ПО.

Предлагаемый метод заключается разработке модели представления данных, достаточной для автоматической генерации такого пользовательского интерфейса, после передачи html-формы которого на сервер программа сможет автоматически сгенерировать и выполнить SQL-запрос к БД.

Для работы пользователя с данными программа импортирует XML-представление модели данных, анализирует их и генерирует веб-интерфейс с управляющими элементами.

Рис. 5. Модель обработки данных, хранящихся в СУБД

Рис. 6. Модель представления данных, хранящихся в СУБД

Рис. 7. Блок-схема алгоритма генерации веб-интерфейса для обработки данных, хранящихся в СУБД

Для обработки сгенерированной html-формы на сервер передаётся ассоциированный массив с именами элементов, соответствующих именам переменных формы и со значениями, соответствующими значениям элементов той же формы. Анализируя данный массив, можно автоматически создать SQL-запрос к БД, используя только переданную клиентом информацию.

Рис. 8. Блок-схема алгоритма автоматической генерации SQL-запросов

В главе 3 приводится описание разработанной системы визуализации, модели ее классов и возможностей.

Соискателем разработан программный комплекс VS-Sci, в котором представление характеристик исследуемых процессов основано на применении интерактивной векторной графики и анимации с возможностью пользовательского взаимодействия.

Рис. 9. Структурно-функциональная модель VS-Sci

Основными задачами вычислительного модуля являются: проверка переданных пользователем параметров задачи, решение задачи, запись результатов вычислений на сервер в формате представления результатов математического моделирования, вывод URL-пути к XML-конфигурации модели. После завершения процесса вычислений визуализационный модуль импортирует данные, разбирает их и строит визуализацию.

Рис. 10. Блок-схема алгоритма работы визуализационного модуля

Веб-интерфейс, содержащий параметры ММ и JavaScript-обработчики, автоматически генерируется по модели представления параметров ММ.

Рис. 11. Блок-схема алгоритма генерации веб-интерфейса

Для реализации возможности чтения удаленных данных Java-апплетом соискателем предлагается использование электронной подписи апплета и использование серверного посредника.

Рис. 12. Визуализация в случае использования серверного посредника

В главе 4 рассмотрены примеры использования системы VS-Sci для визуализации моделей нелинейной динамики.

Разработанный программный комплекс для визуализации данных, полученных с удаленных веб-серверов специализированных математических пакетов, был апробирован на виртуальной лаборатории нелинейной динамики. Расчеты моделей выполнялись с использованием средств пакета MATLAB. Использование разработанной системы существенно эффективнее по сравнению со стандартными методами (см. Таблица 2).

Таблица 2 Сравнительная характеристика реализации ВЛ на основе MATLAB Web Server и реализации на основе MATLAB Web Server+VS-Sci

Рис. 13. Интерфейс модели «Механическая система» с параметрами =0.2, =0.4, =5, x₀=0, v₀=2.

Рис. 14. Интерфейс модели «Параметрические колебания маятника» с параметрами x = 0.5, y = 2, = 0.2, = 2, = 3.

Рис. 15. Интерфейс модели «Колебания двух связанных осцилляторов» с параметрами x₁ = -10, x₂ = 10, m₁ = 10, m₂ = 10.

ОСНОВНЫЕ ВЫВОДЫ

Основные выводы, конкретные научные и практические результаты работы заключаются в следующем.

1. Разработана концепция разделения вычислительных и визуализационных задач в системе «клиент-сервер».

2. Предпринята попытка разработки интернет-ориентированного программного обеспечения на основе модельно-ориентированного подхода.

3. Разработаны модели визуализации и представления результатов математического моделирования.

4. Разработаны модели обработки и представления структурированных данных, хранящихся в СУБД.

5. На основе предложенных моделей спроектирована структурно-функциональная модель системы визуализации данных для сопряжения со специализированными математическими пакетами.

6. Предложена технология передачи результатов вычислений, выполненных на удаленных серверах, в систему визуализации путем создания серверного посредника.

7. Разработан алгоритм автоматической обработки структурированных данных, хранящихся в СУБД, на основе модели представления этих данных.

8. Разработан алгоритм автоматической генерации визуализации результатов математического моделирования.

9. Разработан программный продукт в виде системы визуализации данных для сопряжения со специализированными пакетами научного программного обеспечения VS-Sci.

10. Разработан программный продукт для создания и управления содержимым Интернет-ресурсов CMSLaps на основе выбранного подхода и предложенной модели обработки и представления данных.

11. Апробация разработанного ПО на примере распределенной системы математического моделирования сложных систем показала эффективность предлагаемых моделей для визуализации и обработки данных.

Преимущества использования VS-Sci в качестве базового средства визуализации результатов вычислений:

1. Независимость визуализации от источника данных.

2. Кроссплатформенность за счет использования Java-технологии в качестве базового средства.

3. Веб-страница не перегружается заново при каждом запросе пользователя на выполнение расчета.

4. Пользователю передается не анимация процесса в виде файлов в форматах gif или avi, а генерируется соответствующий интерфейс с векторной анимацией и возможностью пользовательского взаимодействия.

5. Повторное использование результатов вычислений без дополнительных обращений к серверу.

6. Возможность построения многослойных изображений и отображения в нескольких окнах.

ПУБЛИКАЦИИ АВТОРА

Статьи, опубликованные в периодических изданиях, рекомендованных ВАК

1. Пономарева, И.С. Некоторые аспекты создания web-приложения на базе MATLAB Web Server / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич // Информационные технологии, № 9, 2006. - С. 68-72.

2. Пономарева, И.С. Применение веб-технологий в физическом практикуме // Физическое образование в вузах / И.С. Пономарева, Ю.Ю. Тарасевич, В.А. Зелепухина, Е.Н. Манжосова, Т.В. Панченко // Физическое образование в ВУЗах. - 2006. - Т. 12 - № 1 - С. 103-114.

3. Зелепухина, В.А. Разработка систем управления содержимым интернет-ресурсов на основе автоматической генерации WEB-интерфейса и SQL-запросов / В.А. Зелепухина // Информационные технологии, № 8, 2008. - С. 20-22.

Другие публикации автора

4. Пономарева, И.С. Разработка приложений для MATLAB Web Server / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич // Компьютерные инструменты в образовании. - 2005. - № 4 - С. 48-56.

5. Зелепухина, В.А. Автоматизированная система интерактивной визуализации данных для сопряжения со специализированными математическими пакетами и базами данных / В.А. Зелепухина // Свидетельство об официальной регистрации программы для ЭВМ № 2008610002. Зарегистрировано в реестре программ для ЭВМ 9 января 2008 г.

6. Зелепухина, В.А. Автоматизированная система для создания и управления Интернет-ресурсами на основе автоматической генерации HTML-форм и SQL-запросов / В.А. Зелепухина // Свидетельство об официальной регистрации программы для ЭВМ № 2008610001. Зарегистрировано в реестре программ для ЭВМ 9 января 2008 г.

7. Пономарева, И.С. Виртуальная лаборатория математического моделирования в естественных науках / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич //Свидетельство об официальной регистрации программы для ЭВМ № 2006611977. Зарегистрировано в реестре программ для ЭВМ 7 июня 2006 г.

8. Винокурова, В.А. Компьютерное моделирование средствами Java динамического хаоса в простой механической системе / В.А. Винокурова // Труды Международной научно-технической конференции Компьютерное моделирование 2004. Часть 1. -- СПб.: «Нестор», 2004. - 356 с. - С. 260-261.

9. Винокурова, В.А. Динамический хаос в простой механической системе / В.А. Винокурова // Свидетельство об отраслевой регистрации разработки № 3534. Зарегистрировано в Отраслевом фонде алгоритмов и программ 12 мая 2004 г.

10. Пономарева, И.С. Образовательный сайт по математическому моделированию в естественнонаучных дисциплинах как способ реализации концепции открытого образования / И.С. Пономарева, В.А. Винокурова // Электронный университет как условие устойчивого развития региона: сб. матер. Международной научно-практической конференции студентов и молодых ученых. - Астрахань: 2005. - С. 254-257.

11. Пономарева, И.С. Образовательный сайт по математическому моделированию в естественнонаучных дисциплинах / И.С. Пономарева, В.А. Винокурова // Информатизация образования - 2005: Материалы Международной научно-практической конференции. - Елец: Елецкий государственный университет им. И. А. Бунина, 2005 - ISBN 5-94809-120-1 - С.556.

12. Зелепухина, В.А. Интернет-ориентированная система для визуализации данных для сопряжения с пакетами научного программного обеспечения / В.А. Зелепухина // Труды XV Всероссийской научно-методической конференции Телематика 2008, Том 1. 23-26 июня 2008 г. - Санкт-Петербург - ISBN 5-7577-0314-8.

13. Зелепухина, В.А. Интернет-ориентированная система для визуализации данных для сопряжения с пакетами научного программного обеспечения /В.А. Зелепухина // Труды международной научно-технической конференции Компьютерное моделирование 2008 - Санкт-Петербург, Изд-во Политехнического университета, 2008. - 280 с.

14. Зелепухина, В.А. Сопряжение интернет-ориентированных технологий визуализации научных расчетов со специализированными пакетами научного программного обеспечения / В.А. Зелепухина // Математическое моделирование, вычислительная механика и геофизика: Труды V Школы-семинара -- Ростов-на-Дону: Изд-во «ЦВРР», 2007.

15. Пономарева, И.С. Виртуальная лаборатория как форма организации научных исследований / И.С. Пономарева, В.А. Зелепухина, Ю.Ю. Тарасевич, Е.Н. Манжосова, И.А. Бубенщикова, А.Р. Ибрагимова, А.З. Абдугалиев, И.Т. Максудов // Материалы Всероссийской научно-практической конференции «Информационные технологии в образовании и науке». - М.: МФА, 2006. Ч. 1. - С. 174-179.

Размещено на Allbest.ru