Система сбора информации для оценки перспектив социально-экономического скоординированного развития России и Украины в общеевропейском контексте, разработка программного обеспечения и создание базы данных ГИС

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Геофизический центр Российской академии наук (ГЦ РАН).

Система сбора информации для оценки перспектив социально-экономического скоординированного развития России и Украины в общеевропейском контексте, разработка программного обеспечения и создание базы данных ГИС

Рыбкина А.И.

Сергеева Н.А.

Пятыгина О.О.

Введение

Сбор информации по программе РАН «Перспективы социально-экономического развития России и Украины в общеевропейском контексте» является важнейшей задачей, которая отражает результаты по всем направлениям выполняемых работ. Создание единого информационного пространства отвечает основной цели программы, а именно развитию дисциплинарных и междисциплинарных исследований и стимулированию международной научной интеграции. Единая база данных также является основой для дальнейших научных фундаментальных исследований, обработки и корреляции данных различной природы. В связи с этим основными задачами проекта были: разработка системы сбора данных (ССД) с обеспечением визуализации данных в режиме онлайн; создание программного обеспечения для ССД и ГИС; создание базы данных для многоцелевой ГИС «Россия-Украина». Назначение ССД - это сбор информации для многоцелевой ГИС «Россия-Украина», разработанной в рамках проекта по созданию многоцелевой ГИС для оценки перспектив скоординированного социально-экономического развития России и Украины в общеевропейском контексте.

В соответствии со сформулированными задачами мы выделяем два аспекта их решения - использование внутренних ресурсов и действующих механизмов по сбору данных в Геофизическом центре РАН, с одной стороны, и создание внешней системы сбора, систематизации и хранения данных среди институтов - участников программы.

Мировая система данных

Геофизический центр в течение многих лет является центром сбора геофизических данных по различным дисциплинам и видам наблюдений. В Геофизическом центре находятся два Мировых центра данных (МЦД): по Солнечно-Земной физике и по физике твёрдой Земли (Sergeyeva et al., 2012), которые являются регулярными членами Мировой Системы данных, разделяют и поддерживают основные положения политики Мировой системы данных:

- Обеспечивается полный и открытый обмен данных, метаданных и продуктов, совместно используемых в рамках МСД, основываясь на международных правилах и национальных политиках и законодательствах;

- Все совместно используемые данные, метаданные и продукты предоставляются для исследований и образования с минимальной задержкой бесплатно или по стоимости не большей, чем стоимость воспроизведения.

В Мировых Центрах Данных Геофизического центра РАН накоплены данные планетарной геофизики от наблюдательных сетей, экспериментов и научных программ за длительный период времени. Часть этих данных в виде одномерных и многомерных временных рядов, в виде массивов данных с географической привязкой служат основой для создания базы данных в рамках рассматриваемой Программы.

За 55 лет существования МЦД приобретен значительный опыт по анализу и пониманию данных, по организации международного обмена, долгосрочного хранения данных, опыт в области обработки данных и управления данными, а также изучены потребности в данных для основных и перспективных научных направлений.

Мировые центры данных входят в Мировую систему данных, что обеспечивает ГЦ доступ к регулярным членам мировой системы данных:

МЦД по геоинформатике и устойчивому развитию (Украина)

МЦД по возобновляемым ресурсам и окружающей среде (Китай)

МЦД ISRIC почвенного покрова (Голландия)

CIESIN Социально-экономические данные, Колумбийский университет (США) и др.

Выше перечислены лишь некоторые из возможных источников данных. В общей Мировой системе данных в настоящее время представлено 39 центров, служб и организаций, каждый из которых обладает большими массивами данных по различным направлениям научных исследований таким как данные по окружающей среде, социально-экономические данные, культурные и этнические данные, экономические данные, географические данные, социологические данные, данные по наукам о Земле, статистические данные, экологические данные, данные по природным ресурсам и др.

В рамках данного проекта была налажена связь и получены данные из МЦД Украины (Shaimardanov et al., 2012) общей заболеваемости взрослых болезнями системы кровообращения, общая заболеваемость взрослых ишемической болезнью сердца, контингенты больных злокачественными новообразованиями, контингенты больных хроническим алкоголизмом, болезни органов дыхания. Эти данные были добавлены в разработанный картографический веб-сервис и доступны онлайн на сайте www.gis.gcras.ru.

Схема сбора, анализа и подготовки данных

Помимо использования Мировой системы данных для реализации проекта по сбору информации необходимым условием является также организация системы сбора данных (ССД) среди институтов РАН участников программы. ССД представляет собой комплексную задачу и подразделяется на несколько этапов (Рис.1):

Сбор данных от участников программы

Анализ и подготовка данных.

Подготовка слоев ГИС. Организация базы данных.

Реализация геоинформационных слоев в web-среде.

Рис. 1. Схема сбора, анализа и подготовки данных

Для решения этой задачи в первую очередь были определены категории данных, которые представляют интерес в аспекте социально-экономического развития России и Украины. Единым условием для всех используемых по проекту данных должно быть территориальное покрытие как России, так и Украины. В качестве основных мы принимаем четыре направления, которые в свою очередь включают широкий спектр данных:

Экономика

Социология

Энергетика

Политические науки

Следующим этапом явилось определение типа передаваемых данных. В Геофизическом центре РАН сформирована тематическая ГИС (Rybkina et al., 2012), которая содержит тематические карты, построенные на основе имеющегося блока данных, а также данных, полученных в рамках реализации программы. Для эффективного построения базы данных Программы участники должны предоставлять данные определенных типов. Основное требование -- представляемые данные должны иметь географическую привязку и территориальное покрытие России и Украины. Это могут быть готовые цифровые карты, сеточные или растровые данные. Если участники представят данные в табличном виде, то должна быть возможность соотнести данные с географическими объектами (населенными пунктами, районами, областями, странами и т.п.). Все данные, которые будут храниться в ГИС и базе данных Программы, будут сопровождаться метаданными, описывающие тематические слои с их подробным описанием.

Основное назначение составляемых метаданных -- дать общую информацию о слое, его назначении и содержании. Для решения этой задачи была разработана единая унифицированная форма, в соответствии с которой выполняется описание всех слоев и дополнительных данных. В соответствии с этой формой для каждого слоя вне зависимости от данных, содержащихся в нем, создается один файл метаданных.

Файлы метаданных представляют собой простые текстовые файлы в формате XML (eXtensible Markup Language). Они редактируются с помощью любых XML-редакторов. Общая структура XML-файлов с описанием слоев представлена на Рис. 2.

база данные информация геофизический

Рис. 2. Структура XML-файлов с метаданными по слою данных.

Каждый XML-файл содержит название слоя, имя самого файла слоя с указанием его расширения и типа данных. Слой может представлять собой shape-файл, растровый файл, файл с векторными или grid-данными. В файле метаданных указывается дата включения слоя в базу данных ГИС. Важным элементом описания является информация о картографической проекции, в которой представлены данные, и значение масштаба представления данных или их разрешения. Кроме того, указывается регион, к которому относятся данные, содержащиеся в слое. Обязательным элементом описания являются полные выходные данные слоя с указанием авторов, года создания и источника. В метаданных также указывается период времени, за который были собраны данные, содержащиеся в слое, или год опубликования источника, на основе которого был составлен слой. Каждый файл метаданных содержит краткое текстовое описание слоя. В нем могут быть указаны дополнительные характеристики слоя, информация о способе его составления, могут быть даны рекомендации по использованию и визуализации данных. Это наиболее значимый и информативный элемент описания слоя. В отдельном разделе файла метаданных перечисляются, расшифровываются и кратко описываются поля атрибутивной таблицы слоя, отражающие его определенные параметры (атрибуты). В некоторых случаях отдельные параметры слоя, могут принимать определенные кодированные значения. Тогда при описании полей атрибутивной таблицы перечисляются и расшифровываются все возможные значения, которые принимает описываемый параметр слоя.

В ряде случаев информационный слой сопровождается ассоциативной таблицей, содержащей дополнительную информацию. Это могут быть различные статистические данные, результаты многолетних наблюдений, различные каталоги, дополнительные базы данных и т.п. В этом случае в файле метаданных слоя дается ссылка на эту таблицу и отдельно составляется XML-файл метаданных, описывающий саму таблицу. Указывается имя файла с ассоциативной таблицей, название файла метаданных, в котором содержится ее описание, дается название поля атрибутивной таблицы слоя, по которому он ссылается на ассоциативную таблицу. Также дается описание данных в ассоциативной таблице. Если к слою относится несколько ассоциативных таблиц, то метаданные составляются на каждую из них. Общая структура файлов с метаданными по ассоциативной таблице приведена на Рис. 3.

Рис. 3. Структура XML-файлов с метаданными по ассоциативной таблице.

Каждый файл метаданных по ассоциативной таблице содержит название таблицы, имя файла, содержащего данную таблицу с указанием его расширения. Также указывается имя файла и название слоя, к которому относится таблица, и название поля ассоциативной таблицы, по которому она ссылается на сам слой. В отдельном поле дается текстовое описание данной таблицы. Описание атрибутов ассоциативной таблицы выполняется по такому же принципу, как и в случае атрибутивной таблицы слоя.

Все метаданные хранятся в отдельной файловой базе данных. Они распределены по каталогам в соответствии с тематическими категориями. Метаданные по ассоциативным таблицам хранятся в тех же каталогах, что и файлы метаданных по слоям, к которым относятся эти таблицы. Для организации интерактивного доступа к базе метаданных через Интернет, были использованы технологии JavaServer Pages (JSP) и JavaScript. Чтобы конечному пользователю получить описание интересующего слоя, необходимо выполнить следующие действия. Зайдя на веб-портал, пользователь переходит в раздел «Метаданные». Далее необходимо выбрать интересующую тематическую категорию. Из появившегося раскрывающегося списка пользователь выбирает интересующий его тематический слой. Метаданные по выбранному слою отображаются автоматически. В случае если поля атрибутивной таблицы имеют кодированные значения, пользователь может перейти к окну с расшифровкой значений по ссылке «Возможные значения...» в соответствующем поле атрибутивной таблице. На Рис. 4 приведен пример интерфейса пользовательского доступа к метаданным на веб-портале ГИС «Россия».

Рис. 4. Интерфейс раздела «Метаданные» на веб-портале ГИС «Россия». Метаданные слоя «Кварталы» из категории «Топографическая карта». Раскрыто дополнительное окно с расшифровкой значений одного из полей.

Таким образом, пользователь, имея доступ только к базе метаданных, может получить подробное представление о наполнении ГИС, качестве и детализации предоставляемых данных. Изучив метаданные, пользователь делает вывод о целесообразности получения доступа к тем или иным информационным слоям. Доступ к метаданным является свободным и неограниченным.

В рамках данного проекта был разработан документ, который включал подробное руководство по подготовке метаданных, а также список основных элементов описания передаваемых данных:

Название

Картографическая проекция (в случае предоставления карт)

Масштаб/разрешение (в случае предоставления карт)

Источник данных

Подробная ссылка на источник данных (статьи, книги, сборники, веб-сайты)

Период сбора данных

Аннотация (краткое описания самих данных; как, кем и когда они были получены; а также любая другая пояснительная информация).

Полученные данные могут представлять собой как ГИС слои формата shape, так и табличные значения с точечной либо региональной географической привязкой. В целях систематизации информации полученные слои были оформлены в соответствии с требованиями и подведены под единый формат Arc GIS.

По итогам успешной реализации данного этапа, полученные данные и метаданные были размещены на серверах Геофизического центра РАН. В рамках проекта по созданию многоцелевой ГИС для оценки перспектив скоординированного социально-экономического развития России и Украины в общеевропейском контексте были разработаны онлайн сервисы, которые включают в себя все полученные данные и доступны на сайте www.gis.gcras.ru .

Конечной задачей данного проекта было создание динамического инструмента по работе с полученными данными на сайте программы http://ukros.ru в разделе «Модели и методы». Основная наша цель - создать на сайте программы реально действующий механизм работы с данными и их оперативного пополнения. Раздел предполагает иметь следующие подразделы:

* Участники Программы (с описанием характера участия института и выполняемыми задачами);

* Данные (список полученных данных по всем направлениям с основными элементами описания метаданных и принадлежностью к институту - см. выше);

* Визуализация.

Подраздел Участники программы несет ознакомительную информацию об институтах участниках программы и их задачах в рамках Программы. Подраздел «Данные» необходим для удобной ориентации в имеющихся данных, а также отслеживании хода пополнения имеющейся базы данных. Он будет включать в себя название слоя, описание данных, институт, передавший те или иные данные и дату добавления в систему. Подраздел «Визуализация» представляет собой подробное описание по работе с настольным ГИС приложением, что позволяет всем участникам программы ориентироваться в массивах данных, сосредоточенных в ГИС сервисе Россия-Украина. Подробная инструкция сопровождается внешней ссылкой на сайт www.gis.gcras.ru.

Заключение

Таким образом, была разработана эффективная система сбора, анализа и подготовки данных как на базе Мировых центров данных, так и на базе институтов РАН участников программы. Разработанная система описания данных позволяет проводить качественный анализ полученной информации в рамках социально-экономического развития России и Украины. Нашим конечным результатом стал эффективный инструмент по работе с геопространственными базами данных и их реализации в среде web, что отвечает основной цели программы, а именно созданию механизма скоординированной работы внутри программы и развитию российско-украинской научной интеграции.

Список литературы

Rybkina A., R. Krasnoperov, O. Pyatygina and A. Shibaeva. Geoinformation system with algorithmic shell as a new tool for Earth sciences // Proceedings of 1st Czech-Russian Forum of Young Scientists, 19-22 April 2012, Plzen, Czech Republic. - P. 17-18.

Sergeyeva N., Kharin E., Zabarinskaya L., Rodnikov A., Shestopalov I., Krylova T., Nisilevich M. Information about the World Data Centers for Solar-Terrestrial Physics and Solid Earth Physics. Regional multidisciplinary initiatives of Russian-Ukrainian World Data Centers Segment for occurrence in the World Data System // The proceedings of the 1st ICSU WDS Conference, Special issue of the CODATA Data Science Journal, 2012. (Accepted to the publication).

Shaimardanov M., Gvishiani A., Zgurovsky M., Sterin A., Kuznetsov A., Sergeeva N., Kharin E., Efremov K. Development of WDS Russian-Ukrainian Segment // The proceedings of the 1st ICSU WDS Conference, Special issue of the CODATA Data Science Journal, 2012. (Accepted to the publication).

Размещено на Allbest.ru