Оценка влияния процедуры изменения разрядности измерительных данных на эффективность их сжатия

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Оценка влияния процедуры изменения разрядности измерительных данных на эффективность их сжатия

Н.В. Безденежных,

В.Э. Иванов, канд. техн. наук,

А.В. Левенец, д-р техн. наук,

ЧьеЕнУн, д-р техн. наук

(Тихоокеанский государственный университет, Хабаровск)

В статье рассматривается процедура предварительной обработки данных перед проведением сжатия, состоящая в принудительном изменении исходной разрядности данных. Оценивается влияние такой процедуры на эффективность сжатия, приведены результаты исследования, показывающие перспективность предложенного подхода.

Ключевые слова: измерительные данные, предварительная обработка, сжатие данных, разрядность, информационно-измерительная система.

Введение

Применение алгоритмов сжатия данных в настоящее время является традиционной практикой в случае необходимости экономии пропускной способности канала связи, при ограниченных объемах запоминающих устройств и т.д. Необходимо отметить, что современные методы сжатия цифровых данных практически вплотную приблизились к предельной границе теоретически возможного сжатия в условиях существующего общего подхода к задаче сжатия [1].

Эффективность сжатия обеспечивается, кроме особенностей собственно алгоритмов сжатия, процедурами предварительной обработки, приводящими свойства исходных данных к наиболее оптимальному варианту. Следует отметить, что процедуры предварительной обработки часто ориентированы на конкретный тип данных, обладающих некоторыми специфическими особенностями, в силу чего не применяются к данным других типов, так как в лучшем случае не повышают эффективность процедур сжатия, либо их применение имеет ограниченный характер в силу недостаточно высокой эффективности.

Наиболее распространенной предварительной обработкой можно считать преобразование Барроуза - Уиллера [2], которое применяется в различных архиваторах и предназначено в основном для обработки текстовых данных и в меньшей степени - данных мультимедиа. При этом преобразование неэффективно с практической точки зрения при работе с измерительными данными, для которых повторение одного и того же значения возможно только в том случае, когда динамический диапазон данных существенно меньше объема анализируемой выборки.

Фактически в настоящее время в качестве относительно универсальной предварительной обработки измерительных данных можно предложить только методы выделения постоянной составляющей и линейного или периодического тренда. Наиболее простой обработкой такого вида является построение разностного ряда, что позволяет избавиться от постоянной составляющей и, как правило, существенно снизить динамический диапазон, обеспечивая тем самым более высокую эффективность сжатия. К сожалению, такая обработка практически неприменима к нестационарным измерительным данным, обладающим наиболее высокой информационной ценностью - по крайней мере, для задач исследовательского типа.

Основные положения

В основу широко распространенных современных алгоритмов предварительной обработки и сжатия данных положен принцип нерушимости границ слов исходных (сжимаемых) данных. Другими словами, если исходные данные представляют собой набор «-разрядных слов, то дальнейшая работа алгоритмов предварительной обработки и сжатия будет связана с обработкой именно таких слов, однако при этом выходные данные могут быть и другой разрядности. С одной стороны, подобный подход вполне оправдан, поскольку предполагается, что источник информации выдает последовательность отсчетов, коррелирующих друг с другом, и задачей соответствующих алгоритмов является определение степени взаимосвязи отсчетов, а также удаление избыточной информации в каждом отсчете. предварительная обработка сжатие разрядность

Однако можно предположить, что корреляционные связи могут возникать не только между самими отсчетами, но и между частями отсчетов. Наиболее наглядным примером этого может служить тот факт, что если поток данных от источника будет представлен, например, восьмиразрядными числами, причем изменение значений соседних отсчетов незначительно (например, в пределах ±2), то старшие биты отсчетов в значительном числе случаев не будут изменяться, т.е. будут сильно коррелированы. Можно предположить, что на такую коррелированность битовых ансамблей будут влиять как параметры измерительного сигнала, так и способ кодирования отсчетов этого сигнала, который может обеспечить требуемое в рамках предлагаемого подхода поведение соответствующих битов каждого отсчета.

Таким образом, в качестве некоторой обобщенной предварительной обработки данных перед сжатием можно предложить разбиение исходного их набора, подвергающегося сжатию, на слова, разрядность которых позволит алгоритму сжатия работать более эффективно. Соответствующая процедура состоит из следующих основных шагов:

исходный набор данных представляются в виде битового массива, без явного выделения границ слов;

оценивается корреляционная взаимосвязь внутри полученного битового массива, например, с помощью битовой корреляционной функции [3];

по полученной оценке определяется оптимальная (субоптимальная) разрядность слов;

битовый массив, полученный на первом шаге, разбивается на слова соответствующей разрядности;

производится операция упорядочивания, - например, с помощью преобразования Барроуза - Уиллера;

полученный массив передается соответствующему алгоритму сжатия.

Очевидно, что на первом этапе следует оценить принципиальную возможность применения предложенной процедуры к реальным измерительным данным и оценить ее эффективность. Следует учесть, что любое преобразование обеспечивает максимальную эффективность сжатия при использовании специализированных алгоритмов сжатия, наиболее полно реализующих предоставляемые таким преобразованиям возможности. В данном случае подобная оценка может быть произведена только относительно некоторой идеальной процедуры сжатия, в качестве которой далее используется алгоритм RLEи предполагается, что данные на его входе упорядочены оптимальным способом.

В качестве оценки эффективности применялся коэффициент сжатия к_сж, равный отношению числа битов на выходе процедуры сжатия п_сж к числу битов исходных данных и_исх. Алгоритм RLEпредполагает, что сжатая последовательность, состоящая из mодинаковых символов (чисел), представляется двумя битовыми полями, первое из которых описывает длину последовательности, а второе - сам символ. Таким образом, если сжимаемая последовательность состоит из Nслов, а словарь слов - из Kсимволов, причем некоторый к-й символ встречается в сжимаемом наборе т_к раз, то общую длину закодированной последовательности можно рассчитать следующим образом:

Число битов исходных данных определяется как произведение объема сжимаемого набора данных Nи исходной разрядности слов n_N. Здесь не учитываются накладные расходы на упорядочивание данных перед сжатием и передачу необходимой информации приемной стороне, так как производится оценка общего подхода, а не конкретного алгоритма.

Исходные данные

Исследование было проведено на телеметрических данных, полученных от пяти различных энергетических объектов Дальневосточного региона (электростанции, подстанции) и представляющих собой наборы показаний датчиков (кадры), объединенные единым временем получения. Такие наборы данных далее будут обозначаться символом Sс соответствующим номером. Объемы наборов данных различны и находятся в диапазоне от 550 килобайт до 1,1 мегабайта, что связано с различающейся структурой кадров, которые для разных объектов состоят из разного числа датчиков. Разрядность слов для всех наборов равна восьми.

Еще одной группой наборов, по которым проводилось исследование, были последовательности отсчетов, получаемых от одного датчика. В этом случае тестовые последовательности обозначались символом D. Число таких наборов данных было равно семи. Датчики отличались размером словаря символов (динамическим диапазоном). Так, для набора D1 размер словаря был равен шести, а для остальных - 10, 16, 21, 23, 48 и 57 соответственно.

Таким образом, полученные наборы данных позволяют оценить эффективность предложенной процедуры как при работе с кадрами данных, когда в битовую последовательность с последующей разбивкой на выбранную разрядность преобразуются наборы отсчетов от разных источников (датчиков), так и при работе с последовательностью отсчетов от одного датчика.

Важно подчеркнуть, что в первом случае фактически оценивалась возможность выявления битовых корреляционных связей между различными источниками информации.

Результаты исследования

В процессе исследования оценивался коэффициент сжатия при разбиении исходных данных на слова следующей разрядности: 2, 4, 8, 16, 24, 32. Выбор набора разрядностей был произвольным. Полученные в ходе исследования результаты усреднялись по 20 реализациям. Следует подчеркнуть, что здесь меньшие значения означали более высокую эффективность. Объем анализируемых данных составил 768 отсчетов соответствующей разрядности.

Результаты проведенного исследования, полученные для наборов данных типа S, представляющих собой наборы кадров данных, представлены в табл. 1.

Таблица 1