Методы компрессии цифрового телевизионного сигнала

На вход декодера поступает сигнал , прошедший канал связи. В деквантователе Q^-1 восстанавливается исходное число двоичных разрядов. В сумматоре происходит формирование выходного сигнала y(n) в соответствии с соотношением

,

где - предсказанное по предыдущим значениям выходного сигнала его текущее значение.

Рассмотрим формирование в кодере предсказанных значений сигнала . Важно отметить, что предсказатели в кодере и декодере работают по идентичным алгоритмам. Квантованный сигнал ошибки предсказания поступает во входящий в состав кодера деквантователь Q^-1, в котором восстанавливается исходное число двоичных разрядов. Выходной сигнал деквантователя в сумматоре складывается с предсказанным значением , в результате чего формируется сигнал , получающийся в результате выполнения таких же операций, что и выходной сигнал декодера y(n).

В общем случае предсказанные значения вычисляются по формуле

,(2.21)

где a_k, k=1…K - коэффициенты, характеризующие метод предсказания. Такой метод называется линейным предсказанием (Linear Prediction), так как предсказываемые значения сигнала формируются в виде линейных комбинаций нескольких предыдущих значений.

Простейший вариант ДИКМ реализуется в случае, когда a₁ = 1, а все остальные коэффициенты равны нулю. В таком варианте в качестве предсказанного значения берется предыдущее значение сигнала. При передаче телевизионного изображения для предсказания значения отсчета можно использовать корреляционные связи между отсчетами одной строки, соседних строк и следующих друг за другом кадров. При этом в предсказателях в кодере и декодере должны быть запоминающие устройства на несколько элементов, на несколько строк или на несколько кадров, соответственно.

При наличии ошибок в канале связи применяется способ повышения помехоустойчивости систем с ДИКМ - передача с определенной периодичностью опорных отсчетов с использованием обычной ИКМ. После приема каждого такого отсчета в декодере формирование выходного сигнала по принимаемым разностным значениям начинается заново. Все накопившиеся к этому моменту ошибки аннулируются. В телевидении этот метод согласуется с необходимостью периодически передавать опорный кадр без межкадрового предсказания, чтобы можно было начинать прием передачи в любой момент. Конкретная реализация такого подхода в системах цифрового телевидения будет рассмотрена позже.

Векторное квантование. Фрактальное кодирование

Квантование можно определить как замену реального значения сигнала на ближайшее к нему по некоторому критерию эталонное значение сигнала. Более общей операцией является векторное квантование, при котором одновременно квантуется (кодируется) группа из N отсчетов цифрового сигнала, называемая N-мерным вектором [2]. В случае одномерного сигнала векторами могут быть группы по N последовательных отсчетов. В случае изображения векторами могут быть блоки из нескольких смежных по горизонтали и по вертикали элементов изображения. На рис. 2.13 представлена структурная схема системы передачи информации, в которой используется векторное квантование.

Рис. 2.13. Структурная схема СПИ с использованием векторного квантования.

Множество всех встречающихся в сигнале N-мерных векторов разбивается на L подмножеств так, что входящие в каждое подмножества векторы мало отличаются друг от друга. В каждом подмножестве выбирается один эталонный вектор, представляющий все векторы этого подмножества. Все эталонные векторы записываются в кодовую книгу (Code Book), и каждому из них присваивается определенное кодовое слово.

Входной цифровой сигнал x(n) поступает на вход кодера. Процедура кодирования заключается в том, что для каждого N-мерного вектора в кодовой книге находится наиболее близкий к нему эталонный вектор, код которого поступает на выход кодеpa. Таким образом, для каждой группы из N отсчетов входного сигнала x(n) передается одно кодовое слово u(k).

В декодере в соответствии с принятым кодовым словом (где штрих показывает, что информация прошла канал связи) из кодовой книги считывается эталонный вектор, преобразуемый в группу из N отсчетов выходного сигнала y(n).

Кодовая книга может изменяться в зависимости от свойств кодируемого сигнала. Построение кодовой книги является составной частью процесса кодирования, а ее содержание должно пересылаться в приемную часть системы вместе с кодовыми словами u(k). Наиболее известным алгоритмом построения кодовой книги для кодирования изображений является алгоритм LGB (по первым буквам фамилий его авторов Linde, Buzo, Gray). Задачей, решаемой с помощью этого и подобных ему алгоритмов, является построение кодовой книги минимального объема, позволяющей закодировать некоторое изображение, не превышая при этом установленный предел вносимых при кодировании искажений.

Векторное квантование относится к методам сжатия с потерями, так как реальные группы из N отсчетов входного сигнала x(n) в выходном сигнале заменяются эталонными N-мерными векторами. Одним из достоинств векторного квантования является простота декодера, в котором выполняется только операция считывания эталонного вектора из кодовой книги.

В то же время, осуществляемый в кодере поиск эталонного вектора, наиболее близкого к кодируемому вектору, требует выполнения большого объема вычислений. Обычно понятие "наиболее близкий эталонный вектор" означает, что для этого эталонного вектора достигается минимальное значение квадратичной ошибки квантования, определяемой как

,(2.22)

где a_j - элементы входного вектора; b_j - элементы эталонного вектора. Поиск минимума ошибки для каждого входного вектора осуществляется путем вычисления значений ошибки его квантования для всех эталонных векторов.

Близким по сущности к векторному квантованию является фрактальное кодирование изображений, при котором в качестве элементов кодовой книги используются блоки, вырезанные из самого исходного изображения. Как известно, фракталами называются рисунки, обладающие свойством самоподобия. При этом часть рисунка подобна всему рисунку в целом, но в меньшем масштабе. В этой части есть подобная ей часть еще меньших размеров и т.д. Пример фрактала показан на рис. 2.14.

Рис. 2.14. Пример фрактала.

При фрактальном кодировании используется свойство подобия деталей разного масштаба, встречающееся в реальных изображениях. Допускаются преобразования блоков кодируемого изображения, позволяющие добиться подобия этих блоков эталонным блокам (повороты, масштабирование, зеркальные отражения). Как и при векторном квантовании, кодирование занимает намного больше времени и вычислительных ресурсов, чем декодирование. Фрактальные методы с успехом применяются для кодирования геометрических изображений, но пока не реализованы для произвольных изображений. Более подробно с фрактальными методами кодирования изображений можно познакомиться в [6].

Векторное квантование и фрактальное кодирование могут использоваться для кодирования звуковых сигналов и изображений, обеспечивая значительное сжатие информации. Однако большой объем вычислений, выполняемых при кодировании, пока что препятствует практическому применению этих методов в системах цифрового телевидения.

2.2 Стандарты сжатия телевизионных изображений и сигналов звукового сопровождения

Задача разработки стандартов сжатия телевизионного изображения интенсивно решалась в течение 80-90-х годов 20 века. В настоящее время все основные стандарты приняты и интенсивно используются на практике. Наибольшее распространение получили методы компрессии MPEG-1 и MPEG-2. Новый толчок развитию стандартов сжатия изображений и звука дало бурное развитие средств и технологий мультимедиа. Принятые в компьютерных системах языки описания документов, обеспечивающие быстрый поиск нужной информации по ключевым параметрам, потребовали разработки соответствующих стандартов и для описания изображений и звука. Для этих целей были разработаны сначала стандарт MPEG-4, а вскоре и MPEG-7. Стандарт MPEG-7 предназначен для применения в перспективных мультисервисных сетях передачи данных. В практике цифрового телевещания первым был внедрен стандарт MPEG-2, а в последние годы и MPEG-4. Именно эти два стандарта и будут рассмотрены в данном пособии. Подробное и детальное описание этих и других стандартов сжатия видеоинформации можно найти в учебном пособии [6].

2.2.1 Сжатие неподвижных изображений

Один из наиболее эффективных и употребительных методов сжатия неподвижных изображений изложен в принятом Международной организацией стандартизации ISO стандарте JPEG (Joint Photographic Experts Group) [6]. Данный стандарт определяет последовательность и параметры операций при кодировании и декодировании неподвижных изображений.

JPEG относится к методам сжатия изображений с потерями и используется в основном при записи неподвижных изображений с целью экономии объема ЗУ. Однако принципы сжатия изображения, реализованные в этом стандарте, используются и для внутрикадрового кодирования телевизионного изображения. Поэтому рассмотрение стандартов сжатия ТВ изображений целесообразно начать именно со стандарта JPEG.

Для большинства реальных полутоновых и цветных изображений этот метод позволяет уменьшить объем информации в 5-10 раз без заметного ухудшения визуально воспринимаемого качества. JPEG не предназначен для сжатия рисунков, чертежей и других изображений, имеющих два уровня яркости.

Последовательность операций при кодировании, поясняемая структурной схемой на рис. 2.15, включает:

1. разбиение изображения на блоки 8x8 пикселей;

2. выполнение быстрого ДКП (БДКП) в каждом блоке;

3. квантование полученных коэффициентов ДКП с использованием таблицы коэффициентов квантования (таблица Q);

4. энтропийное кодирование квантованных коэффициентов ДКП каждого блока изображения.

Последняя операция выполняется кодером Хаффмена с использованием таблицы кодирования (таблица кодов). Вместо кода Хаффмена может использоваться арифметический код.

Рис. 2.15. Структурная схема кодирования по стандарту JPEG.

В результате кодирования исходное изображение преобразуется в сжатые видеоданные, записываемые в файл.

Последовательность операций при декодировании, поясняемая структурной схемой на рис. 2.16 включает:

1. декодирование энтропийного кода (декодер Хаффмена);

2. деквантование коэффициентов ДКП для каждого блока 8x8 пикселей;

3. обратное БДКП для каждого блока;

4. объединение блоков в декодированное изображение.

Рис. 2.16. Структурная схема декодирования по стандарту JPEG.

При декодировании энтропийного кода и при деквантовании используются таблицы кодирования и таблицы коэффициентов квантования, которые могут содержаться в одном файле со сжатым изображением.

Рассмотрим более подробно операции, выполняемые при кодировании, и соответствующие им обратные операции, выполняемые при декодировании.

Полутоновое монохромное (черно-белое) изображение разбивается на блоки 8x8 пикселей. Эти блоки далее кодируются один за другим. Порядок кодирования блоков слева направо, один горизонтальный ряд блоков за другим.

Цветное изображение может быть представлено в формате RGB, когда для каждого пикселя задаются значения трех основных цветов. В этом случае каждый блок 8x8 пикселей представляется тремя блоками 8x8 чисел. Кодирование данных каждого из трех цветов выполняется так же, как и для полутонового монохромного изображения.

Предпочтительнее представление цветного изображения в формате YC_BC_R, где для каждого пикселя задаются значения яркости и цветоразностных сигналов. В этом случае возможно уменьшение число блоков для информации о цвете. Например, если уменьшить число отсчетов цветоразностных сигналов по вертикали и по горизонтали в два раза, что соответствует формату 4:2:0, то на каждые четыре блока элементов сигнала яркости Y будет приходиться один блок элементов сигнала С_в и один блок элементов сигнала C_R. По сравнению с форматом RGB полное число кодируемых блоков уменьшится в два раза, но заметного ухудшения качества изображения при этом не произойдет, так как зрительный аппарат человека не воспринимает искажения цвета мелких деталей изображения.

Возможны два варианта последовательности кодирования блоков цветного изображения. Согласно первому варианту, называемому последовательным (sequential), сначала кодируются все блоки элементов сигнала Y, затем - все блоки элементов сигнала С_в, затем - все блоки сигнала C_R. Второй вариант предусматривает перемежение (interleaved) блоков разных составляющих. Например, в случае формата дискретизации 4:2:0, сначала кодируются четыре блока Y, образующие матрицу 2x2, затем соответствующий им один блок С_в, затем - один блок C_r, затем следующие четыре блока Y и т. д.

При объединении блоков в декодированное изображение количество элементов С_в и C_R восстанавливается с помощью интерполяции.

Дискретное косинусное преобразование.

Исходные данные для ДКП имеют вид блоков или матриц 8x8 элементов сигналов Y, С_в или C_R, выражаемых 8-разрядными целыми положительными двоичными числами. Перед выполнением ДКП значение каждого элемента блока сдвигается путем вычитания числа 128, в результате чего элементы блоков выражаются целыми числами со знаком.

После этого в кодере JPEG выполняется ДКП в соответствии с формулами (2.12) при N=М=8. Обратное ДКП в декодере JPEG выполняется в соответствии с формулой (2.13). После него выполняется обратный сдвиг уровня каждого элемента путем прибавления числа 128. Как правило, при вычислениях используются алгоритмы быстрого ДКП. В результате выполнении ДКП квадратной матрицы из 8x8 чисел получается квадратная матрица из 8x8 коэффициентов ДКП, которые могут быть как положительными, так и отрицательными целыми числами из диапазона (-2047...2047). Эта операция сама по себе не изменяет количества передаваемой информации и является обратимой, так как после выполнения обратного ДКП в каждом блоке и объединения блоков получается изображение, идентичное исходному. Единственным источником необратимых потерь информации могут быть ошибки округления при вычислениях, однако эти ошибки могут быть сделаны достаточно малыми за счет выбора разрядности вычислительных средств.

Тем не менее, именно ДКП создает основу для последующего значительного уменьшения объема передаваемой информации. Рассмотрим, как это получается.

В первую очередь необходимо отметить, что каждый коэффициент ДКП содержит информацию не об одном каком-то элементе из матрицы элементов изображения, а обо всех 64 элементах. Пусть х(m,n), m,n = 0...7 - квадратная матрица элементов изображения, представляющая собой один из его блоков, C(k,l), k,l = 0 ...7 - квадратная матрица коэффициентов двумерного ДКП. Коэффициент С(0,0), как следует из (2.12), пропорционален постоянной составляющей, т. е. среднему значению величин х(m,n) блока изображения. Коэффициент С(0,1) показывает величину пространственно-частотной составляющей, имеющей нулевую пространственную частоту по горизонтальной координате и пространственную частоту, равную 1/N, по вертикальной координате и т. д.

При выполнении обратного ДКП, в соответствии с (2.13), изображение формируется в виде суперпозиции составляющих, каждая из которых имеет определенную пространственную частоту. Как известно, наибольший вклад при формировании большинства реальных изображений вносят низкочастотные составляющие, определяющие формы и яркости основных объектов и фона. Высокочастотные составляющие создают резкие границы и контуры, а также мелкую структуру (текстуру) изображения.

Возможность уменьшения скорости передачи двоичных символов при помощи ДКП (как и при помощи ДПФ) основана на указанных свойствах пространственно-частотного спектра реальных изображений и на ограниченной способности человеческого зрения воспринимать изменения и искажения мелкой структуры изображения. Количество передаваемой информации уменьшается путем более грубого квантования части или всех передаваемых коэффициентов C(k,l), в результате которого уменьшается число двоичных разрядов, используемых для представления этих коэффициентов, а многие из коэффициентов становятся равными 0.

Как видно, уменьшение скорости передачи двоичных символов достигается за счет отбрасывания части информации. Поэтому изображение, получаемое с помощью обратного ДКП в приемной части системы, не будет идентично исходному передаваемому изображению. Следовательно, данный метод кодирования относится к методам кодирования с частичной потерей информации. Однако отбрасываемая информация оказывается несущественной для зрительного восприятия, а возникающие изменения и искажения изображения не снижают или почти не снижают его субъективно воспринимаемого качества. Поэтому рассмотренный метод кодирования является методом сокращения психофизиологической избыточности телевизионного сигнала.

Остановимся на последнем утверждении. Как уже указывалось, для реальных изображений наибольшую величину имеет низкочастотные составляющие, которые, естественно, должны передаваться с достаточно высокой точностью. Высокочастотные составляющие, имеющие относительно большой уровень, создают резкие границы и контуры, а также высококонтрастные малоразмерные детали. Эта информация также должна передаваться, хотя, может быть, и с меньшей точностью, чем низкочастотные составляющие. Остальные высокочастотные составляющие, величины которых малы и в результате квантования оказываются равными 0, создают слабо различимую мелкую структуру, текстуру отдельных участков изображения и незначительные особенности контуров объектов.

Потеря этой информации изменяет изображение, но во многих случаях эти изменения не существенны для получателя информации - зрителя. В случае же, когда получателем информации является система автоматического распознавания образов (например, в медицинской диагностике или при обнаружении целей), описанный подход может оказаться неприемлемым, так как именно теряемая информация может быть принципиально важной для распознавания.

Для сравнения можно отметить, что переход к более грубому квантованию исходного изображения приводит к возникновению заметных искажений в виде ложных контуров. В то же время ошибка квантования, возникающая при грубом квантовании коэффициентов ДКП, "размазывается" по всем элементам блока, и возникающие при этом искажения оказываются менее заметными. Таким образом, использование ДКП в сочетании с последующим квантованием коэффициентов ДКП обеспечивает уменьшение количества передаваемой информации и, следовательно, требуемой ширины полосы частот канала связи.

Квантование коэффициентов ДКП С(k,l) выполняется в соответствии с формулой

,(2.23)

где Q(k,l) - коэффициенты квантования, задаваемые в виде таблицы из 8x8 целых чисел (таблица Q на рис. 2.15); f - параметр, определяющий степень сжатия изображения, Round() - операция округления до ближайшего целого значения; С_q(k,l) - полученные в результате данной операции квантованные коэффициенты ДКП, которые могут быть как положительными, так и отрицательными. Важно отметить, что для квантования сигнала яркости и цветоразностных сигналов используются разные таблицы. Примеры таблиц квантования для сигнала яркости и для цветоразностных сигналов приведены в табл. 2.1 и в табл. 2.2, соответственно. В результате выполнения операций деления и округления многие коэффициенты ДКП становятся равными нулю. Именно квантование создает возможность уменьшения числа двоичных символов, необходимых для представления информации о коэффициентах ДКП, т. е. сжатия изображения. В то же время именно квантование является источником необратимых потерь информации при сжатии.

Выбор конкретной таблицы квантования в стандарте JPEG оставлен на усмотрение пользователей, но таблицы квантования сигналов яркости и цветности должны быть одни и те же для всех блоков данного изображения.

Таблица 2.1

16	11	10	16	24	40	51	61
12	12	14	19	26	58	60	55
14	13	16	24	40	57	69	56
14	17	22	29	51	87	80	62
18	22	37	56	68	109	103	77
24	35	55	64	81	104	113	92
49	64	78	87	103	121	120	101
72	92	95	98	112	100	103	99

Таблица 4.2

17	18	24	47	99	99	99	99
18	21	26	66	99	99	99	99
24	26	56	99	99	99	99	99
47	66	99	99	99	99	99	99
99	99	99	99	99	99	99	99
99	99	99	99	99	99	99	99
99	99	99	99	99	99	99	99
99	99	99	99	99	99	99	99

Операция деквантования, выполняемая в декодере JPEG, заключается в умножении коэффициентов C_q(k,l) на соответствующие коэффициенты Q(k,l) из таблиц квантования. Если таблицы, использованные при кодировании, не помещены в файл со сжатыми видеоданными, то при декодировании используются стандартные таблицы квантования "по умолчанию".

В первую очередь необходимо отметить, что для кодирования постоянных составляющих Сq(0,0) используется особый метод. Если остальные 63 коэффициента ДКП в каждом блоке кодируются независимо от соответствующих коэффициентов в других блоках, то коэффициенты Сq(0,0) всех блоков каждой составляющей изображения предварительно кодируются с предсказанием. При этом коэффициент Сq(0,0) в каждом блоке заменяется на величину DIFF = Сq(0,0) - PRED, где PRED - значение коэффициента Сq(0,0) в предыдущем по порядку кодирования блоке этой же составляющей. Для первого кодируемого блока берется PRED = 0. Для дальнейшего кодирования значения DIFF в каждом блоке преобразуются в двоичные числа с переменным числом бит, так что значения с малыми абсолютными величинами представляются более короткими последовательностями двоичных символов, а значения с большими абсолютными величинами - более длинными. Подробно правила выполнения этой операции здесь не рассматриваются.

В результате этих операций сокращается число двоичных символов, требуемых для представления информации о коэффициентах Сq(0,0) всех блоков.

Перед выполнением энтропийного кодирования остальных 63 квантованных коэффициентов ДКП в каждом блоке выполняется следующая подготовительная операция. Двумерная матрица коэффициентов преобразуется в одномерную последовательность путем считывания ее элементов в зигзагообразном порядке, как показано в табл. 2.3. По вертикали и по горизонтали показаны значения индексов k, l коэффициентов C_q(k,l). В клетках таблицы показаны номера, которые получают эти коэффициенты в одномерной последовательности. Номер "0" в клетке, соответствующей C_q(0,0), показывает, что этот коэффициент в данной операции не участвует.

Таблица 2.3

k\l	0	1	2	3	4	5	6	7
0	0	1	5	6	14	15	27	28
1	2	4	7	13	16	26	29	42
2	3	8	12	17	25	30	41	43
3	9	1	18	24	31	40	44	53
4	10	19	23	32	39	45	52	54
5	20	22	33	38	46	51	55	60
6	21	34	37	47	50	56	59	61
7	35	36	48	49	57	58	62	63

Как видно из табл. 2.3, первым следует коэффициент C_q(0,l), соответствующий самой низкочастотной составляющей по горизонтали, затем - C_q(l,0), а затем все более и более высокочастотные составляющие. Последовательность завершается специальным символом ЕОВ (end of block - конец блока).

Как отмечалось выше, в результате квантования многие из коэффициентов ДКП становятся равными 0, поэтому в получаемой одномерной последовательности этих коэффициентов оказывается большое число нулевых элементов. Каждый отличный от нуля коэффициент ДКП представляется в виде пары чисел. Первое из этих чисел показывает, сколько нулевых значений подряд прошло в последовательности перед данным ненулевым коэффициентом. Второе число в паре показывает значение самого квантованного коэффициента, преобразованное в число с переменным количеством бит. Правила этого преобразования аналогичны используемым при кодировании постоянных составляющих, т. е. коэффициенты с малыми абсолютными величинами представляются более короткими последовательностями двоичных символов, а коэффициенты с большими абсолютными величинами - более длинными.

Если в результате квантования получилось много нулевых и малых по абсолютной величине коэффициентов, кодирование по такому методу, называемому runlength coding ("кодирование с бегущей длиной"), дает значительный выигрыш, так как, во-первых, уменьшается общее количество чисел, представляющих кодируемый блок, а во-вторых, уменьшается число двоичных символов для представления большинства чисел. Таким образом, для каждого блока 8x8 пикселей матрица квантованных коэффициентов ДКП оказалась преобразованной в последовательность двоичных чисел (называемых в соответствии с терминологией теории кодирования символами), которые затем подвергаются энтропийному кодированию.

Чаще всего применяется кодирование по методу Хаффмена, который заключается в построении такого кода с переменной длиной кодового слова, что чаще встречающимся (т. е. более вероятным) символам ставятся в соответствие более короткие кодовые слова, а реже встречающимся (менее вероятным) символам - более длинные кодовые слова. Это дает дополнительный выигрыш в сжатии информации.

Кодирование по Хаффмену выполняется с помощью таблицы кодов, в которой каждому символу кодируемой последовательности ставится в соответствие кодовое слово. Стандарт JPEG предусматривает возможность использования стандартной таблицы кодов "по умолчанию". Возможно и построение таблицы кодов, наиболее эффективной для данного изображения. В этом случае таблица кодов должна быть записана в файл, чтобы ее можно было использовать при декодировании.

В процессе декодирования кода Хаффмена кодовые слова, считываемые из файла сжатых видеоданных, преобразуются обратно в последовательность чисел, по которым восстанавливаются значения квантованных коэффициентов ДКП. Все операции, выполняемые при подготовке к энтропийному кодированию, и само это кодирование являются полностью обратимыми и не создают потерь информации, а достигаемое при них сжатие является следствием ранее выполненного квантования.

Вместо кодирования по Хаффмену может использоваться другой вид энтропийного кодирования, называемый арифметическим кодированием.

Рассмотрим прежде всего формат файла JPEG. Сжатые видеоданные записываются в файл определенной структуры с расширением .jpg, о которой здесь даются только самые общие сведения.

Файл начинается с заголовка, содержащего различные сведения о файле. Затем следует область данных об изображении, начинающаяся с маркера SOI (Start of Image). За этим маркером могут быть записаны таблицы квантования и таблица кодов для кодирования по Хаффмену. Затем следует заголовок изображения, в котором содержатся сведения о размерах изображения (в количестве пикселей), о характере изображения (черно-белое или цветное), о формате дискретизации и др. После этого следуют сами сжатые видеоданные. Область данных завершается маркером EOI (End of Image).

Метод JPEG реализуется, как правило, программными средствами на компьютерах. Основные области его применения: архивирование изображений на магнитных и оптических дисках, передача неподвижных изображений по каналам связи, запись отснятых, кадров в электронных фотокамерах и др.

Многие графические программы, например популярная программа Adobe Photoshop, могут сжимать изображения методом JPEG, создавая файлы *.jpg, и декодировать такие изображения. Однако следует иметь в виду, что не все программы дают совместимые между собой форматы файлов.

JPEG может использоваться и для сжатия движущихся изображений. При этом каждый кадр кодируется независимо от других кадров. Такой метод, называемый Motion JPEG (MJPEG), может быть полезен для видеозаписи и в студийной аппаратуре, но он не дает достаточной степени сжатия видеоинформации для телевизионного вещания. Существует также стандарт JPEG без потерь информации (Loseless JPEG), основанный на использовании кодирования с предсказанием по соседним элементам изображения. С описанным в настоящем разделе "обычным" стандартом JPEG его связывает лишь то, что он разработан той же организацией.

Стандарт JPEG развивается. Среди новых его возможностей следует отметить вариант с иерархическим кодированием, которое позволяет получить сначала изображение с низким разрешением, используя небольшой объем сжатых видеоданных, а потом постепенно улучшать разрешение, добавляя дополнительные данные.

Операции, содержащиеся в стандарте JPEG, используются и в стандартах сжатия движущихся изображений MPEG, о которых пойдет речь ниже.

2.2.2 Стандарты сжатия движущихся изображений MPEG-1 и MPEG-2

Стандарты сжатия движущихся изображений MPEG (Motion Picture Experts Group) вырабатываются и принимаются имеющей такое же название группой экспертов при Международной организации стандартизации ISO. Стандарт MPEG-1, используемый в основном при записи видеопрограмм на компакт-диски, был окончательно утвержден в 1993 г., а стандарт MPEG-2, предназначенный в первую очередь для телевизионного вещания, был принят в ноябре 1994 г. [4].

Стандарты MPEG-1 и MPEG-2 имеют много общего, но между ними есть и различия. В данном разделе в основном излагается содержание стандарта MPEG-2, и указываются его отличия от MPEG-1.

Метод кодирования движущихся изображений, используемый в стандартах MPEG-1 и MPEG-2, называется гибридным, так как в нем сочетаются внутрикадровое (intraframe) кодирование, направленное на уменьшение в основном психофизиологической избыточности в отдельных кадрах, и межкадровое (interframe) кодирование, с помощью которого уменьшается избыточность, обусловленная межкадровой корреляцией. Использование межкадрового кодирования позволяет получить существенно большую степень сжатия движущегося изображения, чем при раздельном сжатии отдельных кадров по методу JPEG.

Внутрикадровое кодирование содержит операции, аналогичные используемым в методе JPEG, т. е. поблочное дискретное косинусное преобразование, квантование и кодирование с переменной длиной кодовых слов. Межкадровое кодирование содержит операции оценки и компенсации движения и кодирования с предсказанием. Сущность этих операций, взятых по отдельности, была изложена в п.2.1.5.

Целые кадры и фрагменты кадров могут кодироваться с применением совместно межкадрового и внутрикадрового кодирования (для краткости этот случай далее называется просто межкадровым кодированием) или только с применением внутрикадрового кодирования.

Изображением (picture) в стандартах MPEG-1, MPEG-2 может быть как целый кадр, так и одно из полей кадра. Далее для упрощения изложения термин "кадр" используется вместо термина "изображение" везде за исключением подраздела, в котором специально говорится о кадровом и полевом режимах кодирования.

Последовательность кадров делится на группы, называемые GOP (group of pictire). В группе есть кадры трех типов:

I-кадры (Intraframe - внутрикадровые), которые передаются только с внутрикадровым кодированием и являются опорными для декодирования остальных кадров группы, обеспечивая возможность начала декодирования и воспроизведения принятого ТВ-сигнала практически в любой момент времени;

Р-кадры (Predictive - предсказанные), при передаче которых используется межкадровое кодирование путем предсказания с компенсацией движения по ближайшему предшествующему I-кадру или Р-кадру (как будет пояснено далее, некоторые фрагменты Р-кадра могут кодироваться без предсказания с помощью внутрикадрового кодирования);

В-кадры (Bidirectional - двунаправленные), которые передаются с межкадровым кодированием путем предсказания с компенсацией движения по ближайшим к ним как спереди, так и сзади I-кадрам и Р-кадрам, а сами не могут использоваться для предсказания других кадров (некоторые фрагменты В-кадра могут кодироваться внутрикадровым методом).

Рассмотрим пример последовательности кадров.

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20

I B B P B B P B B P B B P B B I В В P B

Здесь кадры с 1 по 15 образуют группу кадров. Число кадров в группе может быть и другим, но она всегда начинается с 1-кадра. Р-кадр 4 предсказывается по I-кадру 1, Р-кадр 7 - по Р-кадру 4, Р-кадр 10 - по Р-кадру 7 и т.д. I-кадр 16 передается с внутрикадровым кодированием независимо от всех предшествующих ему кадров. В-кадры 2 и 3 предсказываются по I-кадру 1 и по Р-кадру 4, В-кадры 5 и 6 - по Р-кадрам 4 и 7 и т.д. В-кадры 14 и 15 предсказываются по I-кадру 16 и по Р-кадру 13. Перед кодированием порядок следования кадров изменяется, так как каждый В-кадр должен идти после обоих кадров, по которым он предсказывается.

1 4 2 3 7 5 6 10 8 9 13 11 12 16 14 15 19 17 18 22

I P B B P B B P B B P B B 1 В В Р В В Р

В таком порядке кадры кодируются и передаются, а в процессе декодирования восстанавливается исходный порядок кадров.

Макроблоком называется квадратный фрагмент изображения размером 16x16 элементов (пикселей). Макроблок содержит информацию как о яркости (Y), так и о цветности (С_B, C_R). В случае использования формата дискретизации 4:2:0 каждый макроблок содержит четыре блока 8x8 элементов сигнала яркости Y и по одному блоку 8x8 элементов цветоразностных сигналов C_R и С_B. При использовании формата 4:2:2 каждый макроблок содержит при том же количестве блоков Y по два блока C_R и С_B, а при использовании формата 4:4:4 - по четыре блока C_R и С_B.

Группа следующих друг за другом макроблоков называется слайсом (slice - доля, часть, квант). Число макроблоков в слайсе может быть произвольным. Слайсы в изображении не должны перекрываться, но их положение может изменяться от одного изображения к другому.

При кодировании изображения учитывается тип развертки изображения. При кодировании телевизионного изображения, передаваемого с прогрессивной разверткой, каждый кадр состоит из одного поля и разбивается на макроблоки.

В случае чересстрочной развертки каждый кадр состоит из двух полей. Первое поле содержит нечетные строки кадра, а второе поле - четные строки. При этом возможны два варианта кодирования кадра, выбор одного из которых для данного кадра осуществляется на основе оценки движения в нем.

В случае кадрового кодирования (frame) кодируемым изображением является полный кадр, который целиком хранится в ЗУ кодера, вследствие чего для кодирования одновременно доступны как четные, так и нечетные строки. Блоки элементов сигнала яркости и блоки элементов цветоразностных сигналов для форматов 4:2:2 и 4:4:4 выделяются из макроблока, как это показано на рис. 2.17,а, где заштрихованными показаны нечетные строки, а не заштрихованными - четные. В случае формата 4:2:0 в блоки цветоразностных сигналов берутся элементы из каждой второй строки. Кадровое кодирование выбирается в случаях, когда изменения во втором поле кадра относительно первого поля того же кадра незначительные.

Рис. 2.17. Формирование блоков при чересстрочной развертки в случаях кадрового (а) и полевого (б) режимов

В случае полевого кодирования (field) кодируемым изображением является каждое поле. Первое поле кадра может использоваться для предсказания макроблоков второго поля того же кадра. При этом в каждый блок элементов сигнала яркости или элементов цветоразностных сигналов для форматов 4:2:2 и 4:4:4 входят элементы из одного поля, как это показано на рис. 2.17,б. Блоки элементов цветоразностных сигналов для формата 4:2:0 образуются также, как при кадровом кодировании.

Как уже указывалось, при описании работы кодера и декодера говорится о кадровом кодировании, но следует помнить, что существует и полевое кодирование.

Кодер и декодер видеоинформации.

В стандартах MPEG не описано построение кодера, а лишь определен синтаксис потока данных на его выходе. Структурная схема кодера видеоинформации (рис. 2.18) отображает основные операции, выполняемые при кодировании и обеспечивающие получение выходного потока данных с требуемыми параметрами.

Рис. 2.18. Структурная схема видеокодера MPEG-2.

телевизионный цифровой сигнал компрессия

На схеме обозначены ДКП - блок прямого дискретного косинусного преобразования; ДКП^-1 - блок обратного дискретного косинусного преобразования; Кв - квантователь; Кв^-1 - деквантователь т. е. блок, выполняющий обратную квантованию операцию; ЗУ - запоминающее устройство; Пред - блок, выполняющий формирование предсказанного кадра; ОД - блок оценки движения и формирования векторов движения; КПДС - блок, в котором выполняется кодирование с переменной длиной кодового слова; Мп -мультиплексор; БЗУ - буферное запоминающее устройство; УКС -блок управления коэффициентом сжатия изображения. Кроме того, на схеме показаны сумматор, вычитающее устройство и переключатель. Работа всех блоков синхронизируется общей тактовой частотой 27 МГц.

В кодере реализуются два режима кодирования: внутрикадровое кодирование (переключатель в положении 1) и межкадровое кодирование с предсказанием и компенсацией движения (переключатель в положении 2).

Все макроблоки I-кадров кодируются в режиме внутрикадрового кодирования. Метод аналогичен JPEG: разложение на блоки 8x8 пикселей, поблочное ДКП, квантование полученных коэффициентов в соответствии с формулой (2.23), считывание в зигзагообразном порядке, кодирование с переменной длиной кодовых слов. При квантовании могут использоваться, например, табл. 2.1 и 2.2. В случае использования нестандартных таблиц коэффициентов квантования они включаются в общий выходной поток данных.

Кодирование с переменной длиной кодовых слов осуществляется с помощью таблиц кодов, имеющихся в стандарте. Как и в JPEG, коэффициенты ДКП, соответствующие постоянным составляющим, кодируются с использованием предсказания по таким же коэффициентам предыдущих блоков, и для них предназначены отдельные таблицы кодов с переменной длиной кодовых слов. Отметим, что в тексте стандартов нет термина "кодирование по Хаффмену". Видимо, это связано с тем, что таблицы кодов заданы в стандарте, а не вычисляются под конкретные данные, как это требуется при кодировании по Хаффмену.

Макроблоки Р-кадров могут кодироваться как внутрикадровым методом, так и межкадровым в зависимости от наличия и интенсивности изменений в этом макроблоке по сравнению с соответствующей областью изображения, по которому выполняется предсказание данного Р-кадра, т. е. в зависимости от результатов оценки движения.

Изображение, по которому выполняется предсказание, формируется из кодированных данных предыдущего I- или Р-кадра. В деквантователе данные умножаются на коэффициенты квантования, затем выполняется обратное ДКП так же, как это делается в декодере в приемной части системы, после чего декодированное изображение записывается в ЗУ. Как показано в [2], использование обратной связи при получении данных для предсказания позволяет избежать накопления ошибок квантования. Для реализации всех возможных вариантов предсказания ЗУ должно содержать несколько (как минимум 4) предыдущих кадров.

Оценка движения осуществляется путем сравнения текущего изображения, поступающего на вход кодера, с изображением, находящимся в ЗУ и используемым для предсказания (опорным изображением). Эта процедура поясняется рис. 2.19,а. Для каждого макроблока кодируемого изображения отыскивается, как это было описано выше, соответствующая ему область А1 размером 16x16 элементов в опорном изображении. Положение соответствующей области определяется с точностью до половины пикселя по обеим координатам.

Рис. 2.19. Получение предсказанного макроблока в Р-кадре (а) и в В-кадре (б).

Если в области поиска не найдена соответствующая область, отличие которой от данного макроблока не превышает установленной величины, то этот макроблок кодируется во внутрикадровом режиме аналогично макроблокам I-кадров.

Если соответствующая область А1 найдена, то макроблок кодируется в межкадровом режиме, и для него определяется вектор движения VI. Векторы движения кодируются с переменной длиной кодовых слов и через мультиплексор включаются в общий поток данных.

Если для макроблока выбран межкадровый режим кодирования, то формируется предсказанный макроблок (Предск. МБ), в качестве которого берется найденная соответствующая область А1 из опорного изображения. Предсказанный макроблок поэлементно вычитается из настоящего макроблока. Полученный разностный макроблок (ошибка предсказания) проходит поблочное ДКП, квантование и кодирование с переменной длиной кодовых слов. Матрица коэффициентов квантования для ошибок предсказания содержит 64 числа 16 и используется для квантования как яркостных, так и цветоразностных составляющих.

Для макроблоков В-кадров поиск соответствующей области осуществляется как в предшествующем I- или Р-кадре так и в последующем Р-кадре (рис. 2.19,б). В зависимости от результатов поиска соответствующей области возможны следующие варианты:

-макроблок кодируется во внутрикадровом режиме;

формируется предсказанный макроблок в виде соответствующей области А1 предыдущего I- или Р-кадра;

формируется предсказанный макроблок в виде соответствующей области А2 последующего Р-кадра;

формируется предсказанный макроблок в виде поэлементной полусуммы соответствующей области А1 предыдущего I- или Р-кадра, и соответствующей области А2 последующего Р-кадра, т. е. в виде результата интерполяции по этим областям.

В последних трех вариантах макроблок кодируется в межкадровом режиме, как это было описано для Р-кадров. В случае предсказания путем интерполяции для макроблока необходимо передавать два вектора движения VI и V2, показывающие положения соответствующих областей в предыдущем и в последующем кадрах. При кодировании телевизионных изображений с чересстрочной разверткой возможны два основных варианта предсказания: полевой и кадровый. При полевом предсказании макроблоки каждого поля предсказывается независимо от другого поля этого кадра, и для формирования предсказанного макроблока используются данные одного или двух ранее кодированных полей. При кадровом предсказании для формирования предсказанного макроблока используются данные, содержащиеся в обоих полях одного или двух ранее кодированных кадров. Помимо этого стандарт предусматривает дополнительные режимы предсказания при чересстрочной развертке.

Кроме того, стандарт позволяет пропускать некоторые макроблоки при кодировании (skipped macroblock). Для таких макроблоков никакие данные не передаются. Этот вариант используется, если кодируемый макроблок не имеет отличий от соответствующего макроблока в опорном изображении.

Описанный способ кодирования телевизионного сигнала и называется кодированием с предсказанием и компенсацией движения. Выигрыш в сжатии изображения достигается благодаря тому, что разности действительных и предсказанных макроблоков Р- и В-кадров содержат значительно меньше информации, чем сами эти макроблоки. При этом для В-кадров объем передаваемой информации будет наименьшим, так как при двунаправленном предсказании ошибка предсказания минимальна.

Кодированные видеоданные и векторы движения через мультиплексор поступают в БЗУ, работающее по принципу "первым вошел - первым вышел".

Одна из функций БЗУ - согласование неравномерного во времени потока данных после кодирования со строго постоянной скоростью передачи двоичных символов при выполнении кодирования в реальном времени. Неравномерность потока данных, поступающих в БЗУ, обусловлена в первую очередь наличием разных типов кадров. Считывание данных из БЗУ осуществляется с постоянной скоростью. Степень заполненности БЗУ колеблется во времени, возрастая при увеличении потока поступающих на него данных и снижаясь при уменьшении этого потока.

Помимо различия типов кадров на степень заполнения буфера может влиять характер передаваемого изображения. Если в изображении много мелких деталей, возрастает количество и уровень высокочастотных составляющих пространственно-частотного спектра, т. е. количество отличных от нуля коэффициентов ДКП. Это приводит к увеличению потока данных. При передаче же "гладких" изображений количество отличных от нуля коэффициентов ДКП уменьшается, так как пространственно-частотный спектр изображения имеет в основном низкочастотные составляющие.

Для оптимизации работы системы желательно поддерживать уровень заполнения БЗУ приблизительно постоянным. Если БЗУ переполняется, то, очевидно, будет происходить потеря части данных, т. е. ухудшение качества изображения на выходе системы. Если же БЗУ полностью освобождается, то по каналу связи приходится передавать "пустые" блоки, что приводит к снижению эффективности его использования. Чтобы избежать обоих нежелательных случаев, в кодере изображения введена обратная связь с БЗУ на блок УКС, управляющий степенью сжатия изображения.

Сущность действия этой обратной связи заключается в следующем. Если передается мелкоструктурное изображение, и заполнение БЗУ увеличивается, то под воздействием обратной связи увеличивается параметр квантования коэффициентов ДКП [см. формулу (2.23)]. При этом число бит на каждый коэффициент уменьшается, и уровень потока данных поддерживается примерно постоянным. Наоборот, при передаче "гладких" изображений квантование становится более точным. Такой метод соответствует свойствам человеческого зрения: на мелкоструктурных изображениях менее заметны неточности в передаче уровней яркости, так как в первую очередь воспринимаются контуры деталей. Изменение параметра квантования может осуществляться или после кодирования каждого кадра с учетом его типа, или в пределах одного кадра после кодирования каждого слайса. Данные о параметре квантования включаются в общий поток данных в заголовки слайсов.

Упрощенная структура потока данных на выходе видеокодера MPEG-2 показана на рис. 2.20.

Рис. 2.20. Структура потока данных на выходе видеокодера MPEG-2.

Самой крупной структурной единицей потока видеоданных является видеопоследовательность (video sequence), в некоторых русскоязычных источниках называемая рядом. Видеопоследовательность может содержать произвольное число групп изображений (GOP), которые, в свою очередь, состоят из кадров (при кадровом кодировании) или полей (при полевом кодировании) разных типов (I, P, В). Каждое изображение состоит из слайсов, каждый из которых содержит некоторое число макроблоков.

Каждая структурная единица потока видеоданных начинается с соответствующего стартового кода, позволяющего при декодировании выделять из потока нужные данные.

Передача видеоданных всегда начинается с заголовка видеопоследовательности (Заголовок ВП), за которым следует расширение заголовка видеопоследовательности (Расшир. Зг. ВП). В этих частях потока данных передается, в частности, следующая информация:

-ширина и высота изображения, выраженные количествами пикселей;

отношение ширины к высоте;

частота кадров;

скорость передачи двоичных символов для этого потока видеоданных;

признаки необходимости загрузки из потока видеоданных матриц коэффициентов квантования;

признак чересстрочной развертки;

формат дискретизации (4:2:0, 4:2:2 или 4:4:4).

Далее могут передаваться расширение и данные пользователя (Расшир. и польз.). Эта часть потока может отсутствовать, что показано стрелкой, идущей в обход блока. Расширение присутствует, в частности, если используется масштабируемость (см. ниже).

Каждая группа изображений может начинаться с заголовка (Заголовок GOP). Наличие этого заголовка обязательно для первой группы изображений в видеопоследовательности. Для других групп изображений заголовок может отсутствовать (стрелка в обход не показана), так как начало группы всегда совпадает с I-кадром. После заголовка группы изображений могут передаваться данные пользователя.

Перед каждым кадром или полем идет заголовок изображения (Заголовок изобр.), содержащий номер этого изображения в видеопоследовательности, тип изображения (I, P или В) и другие данные. Затем могут передаваться расширение и данные пользователя. После этого передаются сами данные изображения (Данные изобр.). Заголовок каждого слайса (на рис. 2.20 не показано) содержит данные о положении этого слайса в изображении, значение параметра квантования и другую информацию. Данные внутри каждого макроблока также расположены в заданном порядке.

После передачи данных изображения может следовать другое изображение этой же группы (стрелка на блок Заголовок изобр.) или начинаться следующая группа изображений (стрелка на блок Заголовок GOP). Если передано последнее изображение в видеопоследовательности, то передается признак окончания последовательности (Конец ВП). Рассмотрим теперь принцип работы видеодекодера. В соответствии со стандартом в декодере (рис. 2.21) выполняются декодирование кодов переменной длины, деквантование, обратное ДКП, компенсация движения и восстанавливается исходная последовательность кадров.

Декодер содержит буферное запоминающее устройство (БЗУ); демультиплексор ДМп, декодеры кодов с переменной длиной кодовых слов ДКПДС, а также деквантователь Кв^-1, блок обратного дискретного косинусного преобразования ДКП^-1, предсказатель Пред и ЗУ, аналогичные соответствующим блокам кодера. Тактовая частота 27 МГц восстанавливается с использованием данных из декодируемого потока.

БЗУ на входе декодера выполняет функцию согласования постоянной скорости передачи двоичных символов во входном потоке данных с процессами в декодере, при которых данные из БЗУ считываются неравномерно во времени. С выходов демультиплексора кодированные данные изображения и значения параметра квантования поступают на ДКПДС и далее на деквантователь, а векторы движения поступают на ДКПДС и далее на предсказатель

Рис. 2.21. Структурная схема видеодекодера MPEG-2

Так же как и в кодере, в декодере имеются два режима работы. При приеме I-кадров и передаваемых с внутрикадровым кодированием макроблоков Р-кадров и В-кадров на выходе блока обратного ДКП формируются блоки изображения. Переключатель на структурной схеме при этом находится в положении 1, и сигнал с блока обратного ДКП направляется на выход. При приеме макроблоков Р-кадров и В-кадров, кодируемых в межкадровом режиме, переключатель находится в положении 2. В этом случае формирование выходного сигнала происходит путем поэлементного сложения поступающих с блока обратного ДКП значений разностей с предсказанным макроблоком, формируемым из элементов ранее декодированных изображений с использованием декодированных векторов движения.

Реализация декодера аппаратными, программными или аппаратно-программными средствами существенно проще, чем реализация кодера, так как в декодере не надо выполнять поиск соответствующих областей в опорных изображениях, а именно этот поиск требует наибольшего количества вычислений.

Масштабируемость изображения в стандарте MPEG-2

Важной особенностью стандарта MPEG-2 является масштабируемость (Scalability), которая определяется как возможность получения изображения из части полного потока видеоданных. Последний в случае наличия масштабируемости состоит из двух или более слоев (layers). Базовый слой дает возможность получить изображение с некоторыми начальными параметрами качества. Дополнительные (enhancement) слои потока данных позволяют получить изображение улучшенного качества. Стандарт MPEG-2 предусматривает возможность организации потоков видеоданных как с масштабируемостью, так и без нее.

...