Организация оперативной обработки данных дистанционного зондирования Земли

Красноярский научный центр Сибирского отделения Российской академии наук

Организация оперативной обработки данных дистанционного зондирования Земли

Якубайлик О.Э., Павличенко Е.А., Ромасько В.Ю.

Аннотация

космический спутник прием мониторинг

В настоящей работе анализируется опыт построения систем космического мониторинга в Красноярском крае, в основе которых - станции приема спутниковой информации, опыт эксплуатации которых превышает уже 20 лет. В частности, рассматривается запущенный в эксплуатацию в 2017 г. новый спутниковый приемный комплекс ФИЦ КНЦ СО РАН на базе станции УниСкан-36 компании СКАНЭКС, который обеспечивает возможность приема данных ДЗЗ со всех актуальных низкоорбитальных метеорологических спутников среднего пространственного разрешения (TERRA/AQUA, Suomi NPP/NOAA-20, FengYun-3).

Ключевые слова: дистанционное зондирование, ДЗЗ, спутниковый мониторинг, геопортал, обработка пространственных данных

Abstract

Organization of operational treatment of data of the earth remote sensing

Yakubailik O.E., Pavlichenko E.A., Romasko V.Yu. Krasnoyarsk Scientific Center of the Siberian Branch of the Russian Academy of Sciences, Krasnoyarsk, Russia

This paper analyzes the experience of building space monitoring systems in the Krasnoyarsk Krai based on satellite information receiving stations the operating experience of which exceeds 20 years. In particular, the article considers a new satellite receiving complex of the FRC KSC SB RAS based on the UniScan-36 station of SCANEX, which can receive remote sensing data from all current low-orbit meteorological satellites of medium spatial resolution (TERRA/AQUA, Suomi NPP (NOAA-20, FengYun-3).

Keywords: remote sensing, Earth remote sensing, satellite monitoring, geo-portal, spatial data processing

География Красноярского края, его значительная по размерам территория с разнообразным рельефом и климатом, высокая доля труднодоступных и слабо освоенных зон, являются очевидными причинами целесообразности широкого использования систем дистанционного зондирования Земли (ДЗЗ), различных информационных продуктов на основе спутниковой информации. Совместное использование, интеграция получаемых данных ДЗЗ с реальными процессами обеспечения жизнедеятельности органов государственной власти и населения приобретает значение стратегического фактора для дальнейшего ускорения социально-экономического развития региона.

Можно считать, что общая схема организации процессов обработки данных ДЗЗ уже достаточно устоялась; основные блоки включают прием и архивацию, первичную и тематическую обработку [1], [2]. Если на первых этапах развития систем мониторинга при построении конкретной системы в ней приходилось реализовывать все этапы обработки данных ДЗЗ и полностью создавать для этого специальную инфраструктуру, то в настоящее время более эффективным и целесообразным с разных точек зрения считается использования специализированных центров хранения, обработки и анализа данных [3], [4]. В исследованиях и разработках, проводимых в настоящее время, рассматриваются различные аспекты реализации соответствующего программного обеспечения [5], [6], [7].

Схема аппаратно-программного обеспечения обработки данных ДЗЗ в случае наличия собственной станции приема спутниковых данных состоит как правило из 3 логических групп серверов - приемных, предварительной обработки и тематической обработки, а также - автоматизированных рабочих мест для интерактивной тематической обработки (Рис. 1). Системы хранения данных ДЗЗ, характеризуемых большими суточными и сеансовыми объёмами, может быть интегрировано в сервера этих логических групп или располагаться отдельно, может быть, как часть большей инфраструктуры. Разделение серверов и процессов на эти три группы логически вытекает из особенностей каждой группы процессов приема и обработки.

Рис. 1 - Схема аппаратно-программного обеспечения приемного спутникового комплекса ФИЦ КНЦ СО РАН

Группа серверов приема данных выделена по причине работы в режиме реального времени в моменты приема данных по радиоканалу и поэтому не нагружается никакими дополнительными нагрузками по обработке. Задача серверов этой группы: принять и записать без потерь на дисковую память весь поток данных со всех сеансов.

Группа серверов предварительной обработки включает процессы географической привязки и радиометрической калибровки принятых данных. Она логически обособлена, т.к. процессы предварительной обработки обязательны для всех космических систем ДЗЗ и выполняются в первую очередь, а также в связи с тем, что они реализуются на программном обеспечении, специфичном для каждой системы ДЗЗ, которое предоставляется разработчиками этой системы.

Третья группа серверов тематической обработки, собственно, и производит целевую обработку данных с получением конечной полезной информации для потребителей. В эту группу попадает, в том числе, тематическое программное обеспечение собственной разработки ФИЦ КНЦ СО РАН. Процессы обработки здесь более однородны и согласованы, а также наиболее часто меняются в следствие разработки новых версий или приложений. В состав этой группы включен в том числе веб-интерфейс, построенный на основе геопортальных технологий, как главная точка доступа потребителей к информации ДЗЗ [8], [9], [10].

В состав спутникового приемного комплекса входит следующее оборудование:

1. Станция приема УниСкан-36 производства компании СКАНЭКС, включает в себя параболическую антенну диаметром 3,1 м, трехосевое опорно-поворотное устройство, два канала приема и регистрации данных на основе персональных компьютеров в стоечном исполнении и стационарный приемник сигналов GPS. Антенна установлена на крыше здания, на специально построенной из металлоконструкций площадке, там же на ограждении закреплен приемник GPS. В помещении, находящемся на верхнем этаже, непосредственно под антенной расположена стойка с приемным оборудованием, так как максимальная длина высокочастотного кабеля от антенны составляет 50 м.

2. Сервера обработки данных (2 шт.) компании HP, один из которые отвечает за оперативную первичную обработку данных (Уровень 1), второй предназначен для углубленной тематической обработки, решения прикладных задач.

3. Кластерные системы хранения данных (2 шт.) на основе дисковых массивов Network Appliance FAS2554 (в каждой - по 20 HDD на 4 Тбайт каждый + 4 твердотельных диска SDD для кэширования данных; доступная емкость отказоустойчивого хранилища составляет 36 Тбайт).

4. Высокопроизводительные рабочие станции (4 шт.).

5. Локальная вычислительная сеть стандарта 10G с передачей данных на скорости до 10 Гбит/с по медной витой паре, построенная на основе 16-портового коммутатора Extreme X620-16T [11], который обеспечивает полную совместимость с менее быстрыми стандартами. Кабельные линии в стандарте 10G ограничены длиной 50 м и требуют кабель и разъемы «витой пары» 6-й категории или выше. Практически, на линии длиной 48м наблюдалась скорость обмена по протоколу CIFS2 между рабочей станцией и сервером при копировании файла объемом 10 Гб в начале - 1100 Мб/с, и в конце - 190 Мб/с, что соответствует реальной скорости записи на дисковый массив. Уже на линии длиной в 53 м адаптеры автоматически переходили на стандарт 1G. Таким образом, современная, компактная по размерам локальная вычислительная сеть многократно превосходит по своей пропускной способности любой дисковый массив, даже на базе твердотельных устройств, и более не является «узким горлом» системы.

Как уже было отмечено выше, используемое и разрабатываемое программное обеспечение спутникового приемного комплекса ФИЦ КНЦ СО РАН состоит из трех частей: 1) приема, 2) предварительной и 3) тематической обработки. Рассмотрим его структуру и характеристики:

6. Используемое программное обеспечение приема данных разработано компанией СКАНЭКС - поставщиком спутниковой приемной станции. Оно обеспечивает полную автоматизацию всех процессов: скачивание орбитальных элементов, прием сигналов точного времени от GPS, составление расписания на основе заданных приоритетов приема данных с различных космических аппаратов, управление несколькими приемными серверами, и проч. При необходимости оператору предоставляется вся текущая информация о процессе работы станции в реальном времени, в том числе, и картосхема пролёта КА, и реальный видеопоток с него (если возможно декодирование его на лету).

7. Программное обеспечение предварительной обработки включает в себя пакеты для данных разных спутниковых систем: TERRA/AQUA - для радиометра MODIS, Suomi NPP/NOAA-20 -- для радиометров VIIRS, CrIS, ATMS, Fengyun-3A/B/C - для радиометра MERSI. Все пакеты работают в среде Linux/CentOS на одном сервере. Скрипты обработки запускаются через задаваемый интервал времени (15 минут).

8. Тематическая обработка данных выполняется в соответствии с решаемыми задачами, параллельно на двух серверах. В частности, для каждого принятого спутникового снимка TERRA/AQUA, Suomi NPP/NOAA-20 генерируется набор мультимасштабных многоканальных обзорных изображений/«квик-луков» («популярные» комбинации спектральных каналов, температура поверхности, NDVI) для практически мгновенного отображения информации на веб-странице. Картографический веб-интерфейс предоставляет пользователю большой набор возможностей по визуализации данных ДЗЗ.

Спектр задач, решаемых на основе получаемых данных дистанционного зондирования Земли, постоянно расширяется. Исследования в области создания систем оперативного спутникового мониторинга, выполняемые в ФИЦ КНЦ СО РАН, предполагают создание новых и, на первом этапе, использование существующих публично доступных программ обработки ДЗЗ [12], в том числе алгоритмов для радиометров MODIS и VIIRS: поиска активных пожаров, оценки содержания аэрозолей, оценки площади гарей, маскирования облачности, определения оптических свойств облачности (температура, высота, фракция и агрегатное состояние верхней границы), атмосферной коррекции ИК каналов, восстановления вертикальных профилей атмосферы, вычисления NDVI и EVI.

Наблюдаемый в настоящее время значительный рост объема спутниковых данных приводит к необходимости развития методов и технологий построения систем приема, хранения и обработки спутниковой информации. Анализ существующих решений и собственный опыт исследований и разработок показывает, что одним из наиболее перспективных подходов в создании систем указанного типа является реализация комплекса взаимосвязанных автономных функционально-ограниченных компонент, взаимодействующих между собой в сервис-ориентированной архитектуре, с интерфейсом пользователя, построенном на основе технологий геоинформационных веб-систем.

Список литературы

1. W. Land observing satellite data center: Big data challenges and a potential solution / W.Xu, J. Shao, W. Yu, P. Feng // Geomatics and Information Science of Wuhan University. - 2017. - V. 42. - № 1. - P. 7-13.

2. Casu, F. Big Remotely Sensed Data: tools, applications and experiences / F. Casu, M. Manunta, P. S. Agram, R. E. Crippen // Remote Sensing of Environment. - 2017. - V. 202. - P. 1-2.

3. Kashnitskii A. V. Technology for designing tools for the process and analysis of data from very large scale distributed satellite archives / A. V. Kashnitskii, E. A. Lupyan, I. V. Balashov, A. M. Konstantinova // Atmospheric and Oceanic Optics. - 2017. - V. 30. - № 1. - P. 84-88.

4. Craglia M. Towards the vision for the next decade / M. Craglia de Bie, K. Jackson, D.Pesaresi, M., et al. Digital Earth 2020: // Int. Journal of Digital Earth - 2012. - V. 5. - № 1. - P. 4-21.

5. Lewis A. The Australian Geoscience Data Cube - Foundations and lessons learned / A. Lewis S. Oliver, L. Lymburner, B. Evans, Lan-Wei Wang. // Remote Sensing of Environmentю - 2017. - V. 202. - P. 276-292.

6. Ahamed A. A MODIS-based automated flood monitoring system for SouthEast Asia / A. Ahamed, J. D. Bolten. // International Journal of Applied Earth Observation and Geoinformation. - 2017. - V. 61. - P. 104-117.

7. Liu Y. Software to facilitate remote sensing data access for disease early warning systems, J. Hu, I. Snell-Feikema, S. Michael, VanBemmel, C. Michael, Wimberly. // Environmental Modelling & Software. - 2015. - V. 74. - P. 247-257.

8. Yakubailik O.E. Applied software tools and services for rapid web GIS development / O E. Yakubailik, A. A. Kadochnikov, A. V. Tokarev // International Multidisciplinary Scientific GeoConference SGEM2015 Conference Proceedings. Book 2. - 2015. - V. 1. - P. 487-494.

9. Yakubailik O.E. The formation of regional spatial data infrastructure // Journal of Siberian Federal University. Engineering & Technologies. - 2016. - V. 9. - № 7. - P. 979-986.

10. Yakubailik O.E. Geospatial services & Web GIS software for environmental monitoring problems / O E. Yakubailik // International Multidisciplinary Scientific GeoConference SGEM2016 Conference Proceedings. - 2016. - V. 1. - P. 657-664.

11. Extreme Networks // https://www.extremenetworks.com/product/x620/

12. Coronado P. NASA Direct Readout for Its Polar Orbiting Satellites. In Earth Science Satellite Remote Sensing / P. Coronado, K. Brentzel // Vol. 2: Data, Computational Processing, and Tools, edited by J. Qu, W. Gao, M. Kafatos, R. Murphy, and V. Salomonson. - 2006. - Beijing: Tsinghua University Press.

Размещено на Allbest.ru