Размещено на http://www.allbest.ru/

Казахский национальный исследовательский технический университет им. К.И. Сатпаева

Эффективные методы сжатия телеметрической информации для наземных комплексов управления

Email: Tulekbayev634@scientifictext.ru

УДК 621.396.967

Тулекбаев Ерлан Таштаевич - кандидат технических наук, доцент, кафедра эксплуатации космических средств

Алматы, Республика Казахстан

Аннотация

В работе представлены результаты анализа методов обратимого сжатия телеметрической информации. Рассмотрены наиболее актуальные алгоритмы декорреляции для космических технологий обработки данных, основанных на применении линейного предсказания. При формировании потока телеметрической информации использованы требования стандартов IRIG-106 и ИСО 15887-2010, широко использующийся в аэрокосмической промышленности. Проанализированы алгоритмы сжатия данных и рекомендации по повышению эффективности сжатия телеметрической информации. Рекомендованы принципы формирования эффективных методов сжатия данных и кодирования, включая методы Хаффмана и Deflate при обработке космических снимков.

Ключевые слова: обратимое сжатие, сжатие без потерь, декорреляция, энтропийная телеметрическая информация, коды Хаффмана, алгоритм Deflate, IRIG-106.

Abstract

EFFECTIVE METHODS OF COMPRESSION OF TELEMETRIC INFORMATION FOR LAND COMPLEXES OF MANAGEMENT

Tulekbayev Yerlan Tashtayevich - Candidate of Engineering Sciences, Associate Professor

DEPARTMENT OF OPERATION OF SPACE SYSTEMS, KAZAKH NATIONAL RESEARCH TECHNICAL UNIVERSITY K.I. SATPAYEV, ALMATY, REPUBLIC OF KAZAKHSTAN

In this paper presented the results of analysis of methods of convertible compression of telemetric information. The actual algorithms of de-correlation considered for space to technology of processing of the data based on application of linear prediction. For forming of stream of telemetric information were used the requirements of standards of IRIG -106 and ISO 15887-2010, which widely used in aerospace industry. The algorithms of compression of data and recommendation on the increase of efficiency of compression of telemetric information analyzed. Principles of forming of effective methods of compression of data and encoding recommended, including methods of Huffman and Deflate at treatment of space pictures.

Keywords: convertible compression, compression without losses, de-correlation, entropy telemetric information, codes of Huffman, algorithm of Deflate, IRIG - 106.

Введение

Постоянный рост объемов телеметрической информации (ТМИ) в системах дистанционного зондирования земли [1] приводит к сложности оперативной обработки данных. Появляется необходимость увеличения требований к процессу сжатия данных. Для сжатия телеметрической информации, как правило, применяют алгоритмы, обеспечивающие точное восстановление исходных данных в целях их обработки и анализа информации, содержащейся в них [25]. Телеметрические данные, передаваемые с датчиков и устройств на наземную станцию, могут быть в форме текста, изображений, аудио и различных других форматов. Сжатие этих данных позволяет эффективно использовать пропускную способность во время передачи потока информации и уменьшает ресурсы хранения наземного комплекса управления [6]. Однако множество неоднородных типов данных, существующих в телеметрии, делает процесс сжатия довольно трудным. Наибольшую сложность, а, следовательно, и наибольший интерес представляет собой разработка способов сжатия измерительной информации от датчиков (давления, температуры, деформации, аудио-видеосигналов и т.п.). К особенностям такой информации можно отнести её схожесть с шумовым сигналом, что существенно затрудняет задачу её сжатия традиционными методами, в основе которых лежит поиск и устранение корреляционных связей в анализируемом потоке данных.

Несмотря на то, что эти существующие алгоритмы сжатия не приводят к самым большим коэффициентам сжатия, они являются практическими инструментами кодирования потоков данных телеметрической информации непосредственно к файлу PDF и намного облегчают потребность в традиционных системах хранения потока данных. Это также позволило разработать общие требования в международных стандартах по сжатию базы данных, таких как IRIG-106 [7] и ИСО 15887-2010 [8] для применения в аэрокосмической промышленности. Однако стандарт IRIG-106 в настоящее время используется и в телеметрических системах различного назначения. Целесообразность использования стандарта обоснована его широким применением в промышленности. В стандарте определяется двухступенчатая схема коммутации. Структура кадра достаточно удобна для того, чтобы можно было создавать компактные и эффективные алгоритмы обработки потока данных. А международный стандарт ИСО 15887-2010 устанавливает требования к обеспечению алгоритма сжатия данных без потерь, применяемых к широкому диапазону данных. Стандарт рассматривает формат данных и пакет идентификации сжатия как передающих изображение, так и не передающих изображение, где требование заключается в умеренном сокращении скорости данных, ограниченных для того, чтобы не допустить искажений в процессе сжатия/распаковки данных.

Возможности алгоритмов сжатия телеметрической информации

В связи с развитием рынка услуг дистанционного зондирования земли наблюдается экспоненциальный рост [9] потребности в телеметрической информации во всех отраслях экономики космических держав. Что предъявляет особые требования к скорости, качеству и объему передаваемой информации от искусственных спутников земли [10] к наземным комплексам управления (НКУ). Выполнение поставленных требований привело к активному применению ряда алгоритмов сжатия потоков информации без потерь таких как Дискретное Преобразование Фурье (Discrete Fourier Transform-DFT), метод Лемпеля-Зива-Велча (Lempel-Ziv-Welch-LZW), алгоритм квантования, метод Хаффмана и алгоритм Flate (который комбинирует LZW с методом кодирования Хаффмана) и др. Схема сжатия данных телеметрической информации (рис. 1) имеет циклический характер и по мере накопления погрешности производится коррекция алгоритмов сжатия и дешифровки информации.

Рис. 1. Схема сжатия телеметрической базы данных (БД) для бортовых комплексов управления 1. БКУ - Бортовой комплекс управления; 2. Дискретное преобразование Фурье; 3. НКУ - Наземный комплекс управления)

В соответствии с нормативными документами Международного Консультативного Комитета по космическим системам передачи данных CCSDS (Consultative Committee for Space Data Systems) [11] рекомендуется использовать для каналов связи Земля - Космический аппарат стандарты сжатия телеметрической информации на основе вейвлет-преобразования [12]. Одним из преимуществ вейвлетпреобразования является то, что оно не вносит дополнительной избыточности в исходные данные, и сигнал может быть полностью восстановлен с использованием тех же самых фильтров. Кроме того, отделение в результате преобразования деталей от основного сигнала позволяет очень просто реализовать сжатие с потерями - достаточно просто отбросить детали на тех масштабах, где они несущественны. Изображение, обработанное вейвлетами, можно сжать в 3-10 раз без существенных потерь информации (а с допустимыми потерями - до 300 раз!). В качестве примера можно отметить, что вейвлет-преобразование положено в основу стандарта сжатия данных MPEG4 [13].

Одним из популярных инструментариев сжатия данных является алгоритм DFT, сжатие с потерями, где передаваемый сигнал представляется как набор гармоник с наибольшим вкладом и хранятся только они. Так как размер этого набора зачастую значительно меньше размера исходного сигнала - получается сжатие. Но так как между этим набором и исходным сигналом нет взаимно-однозначного соответствия, то теряется часть исходной информации. Широко используется при обработке цифровых изображений и звука. Одним из главных отличии DFT от вейвлет-преобразовании является то, что в преобразовании Фурье данные будут локализованы только в Фурье-пространстве в виде синусоид и косинусоид, а Вейвлет-анализ локализует данные не только в Фурье-пространстве, но и в реальном времени. телеметрический декорреляция космический

Достаточно распространенным методом сжатия данных также является алгоритм Хаффмана, идея которого состоит в следующем: зная вероятности символов в сообщении, можно описать процедуру построения кодов переменной длины, состоящих из целого количества битов. Символам с большей вероятностью ставятся в соответствие более короткие коды. Коды Хаффмана обладают свойством префиксности (то есть ни одно кодовое слово не является префиксом другого), что позволяет однозначно их декодировать. Среди недостатков алгоритма Хаффмана [14] значительную часть составляют проблемы, связанные со сложностью реализации. Использование для хранения частот символов вещественных переменных сопряжено с потерей точности, поэтому на практике часто используют целочисленные переменные. Кодирование Хаффмана широко применяется при сжатии данных, в том числе при сжатии фото- и видеоизображений (JPEG, MPEG), в популярных архиваторах (PKZIP, LZH и др.), в протоколах передачи данных HTTP (Deflate), MNP5 и MNP7 и других.

В последнее время появился ряд модификаций [2, 3] алгоритма Лемпеля-Зива-Велча, основанный на принципе динамических словарей. Следует отметить, что по алгоритму LZW эффективно кодируются повторяющиеся символы и часто появляющиеся цепочки символов. В качестве преимуществ можно отметить, что для очень длинного текста избыточность исчезает, то есть среднее число бит, необходимых для кодирования текста, стремится к энтропии текста. Практическая степень сжатия для длинных текстов может достичь до 5-60%. Однако, применительно к графическим форматам GIF и PCX, для аэрокосимческих снимков требует изучения, т.к. сжатия различных фрагментов изоборажения не превышает 10% [15].

Универсальный и неориентированный на конкретный тип данных алгоритм Deflate используется архиватором PKZIP. Одним из достоинств настоящего алгоритма можно отметить, что метод работает со всеми процедурами обновления словаря и может использовать форматы типа кодов Хаффмана, и дефакто является одним из промышленных стандартов сжатия данных. В частности, алгоритм на 3 типа закодированных данных: несжатые данные, фиксированные и динамические коды Хаффмана. Метод Deflate при получении растрового формата хранения PNG для графической информации может обеспечить до 70% сжатия.

Основным принципом применения алгоритмов сжатия для различных типов данных является сохранение баланса между степенью сжатие данных и точностью воспроизведение данных. Наиболее ярким примеров подобного подхода сжатие документированных данных является сжатие в PDF формате [16], где различные потоки данных сжаты в едином формате.

Методы повышения эффективности сжатия ТМИ

В связи с тем, что к информативности ТМИ с борта космического аппарата (КА) предъявляются все более жесткие требования. растет сложность процессов управления и жизнеобеспечения на борту КА. Объем передаваемых и получаемых данных по телеметрическому каналу измеряется гигабайтами и в ТМИ должна отсутствовать избыточность. Одним из эффективных путей решения этой задачи является рациональное использование алгоритмов сжатия телеметрической информации. Переход на пакетный механизм передачи ТМИ в соответствии с рекомендациями ССSDS не решает прооблему избыточности [17]. Использование алгоитма сжатия LZW применительно к графическим форматам GIF эффективно только в сочетании с другими методами сжатия. Один из эффективных инструментариев сжатия ТМИ предложен в работе [15], в которой предлагается процедура обратимого сжатия, состоящая из двух этапов: декорреляции и энтропийного кодирования. Декорреляция ТМИ реализуется с помощью нескольких вариантов линейного предсказания, а энтропийное сжатие - на основе классических методов Хаффмана, арифметического кодирования и алгоритма Deflate. В ряде работ [18 - 21] приводятся более сложные и узконаправленые методы повышения эффективности сжатия, такие как использование нейронных сетей, методод нечеткой логики, методы рассмотрения ТМИ в виде одномерной битовой последовательности и динамических методов сжатия.

Таким образом, можно утверждать, что повышение эффективности сжатия ТМИ связано с инегральным рассмотрением кадров изображения с учетом сжимаемости как один объект. Размерность формируемой структуры ТМИ будет определяться от числа источников информации, размещенных в кадре и от степени их взаимосвязи.

Для повышения эффективности сжатия ТМИ, следует придерживаться определенных принципов, таких как:

1. Принцип унификации сжатия. С целью снижения сопутствующих затрат и возможности использовения для широкого круга задач.

2. Принцип гибкости. Рассмотрение ТМИ в кадровом формате, в том числе на битовом уровне.

3. Принцип целостности. Учет возможности перехода от одномерной битовой последовательности к более выским размерностям с учетом источноков и их степени корреляции.

4. Принцип снижения избыточности.

Вышеуказанные принципы, могут обеспечить упорядоченность многоуровневой системы сжатия ТМИ. В частности, комитет CCSDS рекомендует 7-уровневую [12] иерархическую модель телеметрических служб - физический уровень (соединение БКУ с НКУ), уровень кодирования (кодирование фреймов), уровень передачи (сжатие в пакеты), уровень сегментации (разбивка сегментов на фреймы), уровень пакетирования (пакетирование ТМИ), системный уровень (преобразование физических величин в ТМИ), уровень приема ТМИ (сбор и анализ данных). Для реализации принципа избыточности ТМИ предлагается дополнить пакетную телеметрию запросным механизмом ее формирования и передачи, что позволяет снизить затраты и скорость приема-передачи ТМИ.

На каждом уровне сжатия информации для БКУ (рисунок 2) эффективно комбинировать те целевые алгоритмы сжатия данных, которые дают наибольший коэффициент сжатия в зависимости от типа информации.

Рис. 2. Целевые алгоритмы сжатия

Заключение

В мировой практике наблюдается интенсивный поиск эффективных алгоритмов сжатия данных, основанных на критериях передачи сверхбольших объемов изображений без потери качества. Только интегрированные алгоритмы сжатия могут обеспечить необходимый уровень сжатия. Основой поиска инновационных методов сжатия могут платформы, построенные на принципах унификации, гибкости, целостности и избыточности.

Список литературы / References

1. Чернявский Г.М. Перспективы развития систем ДЗЗ в рамках российской Федеральной космической программы 2006 - 2015 г.г. Третья всероссийская открытая конференция «Современные проблемы дистанционного зондирования Земли из космоса». Москва, 15-17 ноября 2005 г., 14 стр.

2. Вернер М. Основы кодирования М.: Техносфера, 2004. 288 с.

3. Сэломон Д. Сжатие данных, изображение и звука М.: Техносфера, 2006. 368 с.

4. Верба В.С., Меркулов В.И., Попов Е.В., Чернов В.С. Интеграция данных в многодатчиковых бортовых информационно-управляющих системах // Информационно-измерительные и управляющие системы, 2014. Т. 12. № 2. С. 32-43.

5. Navqi S., Naqvi R., Riaz R.A., Siddiqui F. Optimized RTL design and implementation of LZW algorithm for high bandwidth applications // Electrical Review, 2011. № 4. P. 279-285.

6. Сергеев В.В. Анализ и обработка изображений, получаемых при наблюдений земли из космоса // Компьютерная оптика, 2006. № 29. С. 41-57.

7. IRIG Standard 106-13. Part I. Secretariat, Range Commanders Council, ATTN: TEDT-WS-RCC. P. 30-35 8. ISО 15887-2000 Space data and information transfer systems. Data systems. Lossless data compression // CP 401 - 1214 Vernier, Geneva, Switzerland. ISO/TC 20/SC 13. 2013-06. P. 30-41.

8. Remote Sensing Technologies and Global Markets, BCC Research, 2016.

9. Некрасов М.В., Ковалев И.В. Построение современных программных комплексов обработки телеметрической информации // Вестник Сибирского государственного аэрокосмического университета имени академика М.Ф. Решетнева. Решетневские чтения, 2009. Т. 2. № 13. С. 519-520.

10. Ватутин В.М., Лебедев Ю.Е., Хромов О.Е., Виноградов А.Н., Заднепровский В.Ф., Куршев Е.П., Хачумов В.М. Международные стандарты и проблемные вопросы формирования, передачи и обработки информационно-управляющих потоков в космических системах // Авиакосмическое приборостроение, 1997. № 4. С. 48-64.

11. Addison P.S. The Illustrated Wavelet Transform Handbook. -- IOP, 2002.13. Уэлстид С. Фракталы и вейвлеты для сжатия изображений в действии: Учеб. пособие. М.: Техносфера, 2003. 320 с.

12. Proof of Optimality of Huffman Codes. -- University of Toronto : CSC373, 2009.

13. Эльшафеи М.А., Сидякин И.М., Харитонов С.В., Ворнычев Д.С. Исследование методов обратимого сжатия телеметрической информации // Вестник МГТУ им. Н.Э. Баумана. Сер. «Приборостроение», 2014. № 3. С. 92-104.

14. Ссылка PDF: версия 1.7 переносимого формата документа Adobe, шестой выпуск, Adobe Systems Incorporated, 2006.

15. Лукин Ф.А., Шахматов А.В., Мушовец К.В., Зеленков П.В. Вестник Сибирского государственного аэрокосмического университета им. академика М.Ф. Решетнева, 2012. № 5 (45). С. 140-144.

16. Чье Ен Ун, Левенец А.В., Нильга В.В. Представление телемеханических данных однородными nмерными структурами как предварительная обработка в задачах сжатия // Информационно-управляющие системы, 2011. № 6. С. 7-10.

17. Васильев А.М. Распределенные информационно-измерительные и управляющие системы с многоуровневым представлением сложных технических объектов c изменяющимися свойствами // Вестник Московского государственного университета приборостроения и информатики. Серия: Приборостроение и информационные технологии, 2014. № 50. С. 5-16.

18. Талалаев А.А., Тищенко И.П., Фраленко В.П., Хачумов В.М. Анализ эффективности применения искусственных нейронных сетей для решения задач распознавания, сжатия и прогнозирования // Искусственный интеллект и принятие решений, 2008. № 2. С. 24-33.

19. Anis Ibrahim Wael R., Morcos Medhat M. Novel data compression technique for power waveforms using adaptive fuzzy logic // IEEE Trans. Power. Deliv, 2005. Vol. 20. № 3. P. 2136-2143.

Размещено на Allbest.ru