Методы компрессии цифрового телевизионного сигнала

Процесс передачи цифровых телевизионных сигналов будет подробно рассмотрен в теме 3, а в данном параграфе, основываясь на [2], ограничимся рассмотрением причин, по которым возникает необходимость сжатия цифрового видеосигнала и основных принципов её осуществления.

2.1.1 Задача сжатия видеоинформации

Цифровой телевизионный сигнал в последовательной форме может непосредственно передаваться по каналам связи, предназначенным специально для передачи дискретных сигналов, например, по широкополосным многоканальным линиям телеграфной связи с временным разделением каналов. В последние годы все шире используются широкополосные цифровые линии связи. Для цифрового телевизионного вещания могут использоваться и каналы связи с модуляцией несущего колебания.

Оценим ширину полосы частот цифрового сигнала в последовательной форме и требуемую для его передачи ширину полосы частот канала связи. Рассмотрим периодическую последовательность прямоугольных импульсов, имеющих период Т=2Т_И. Спектр такого сигнала содержит постоянную составляющую, основную гармонику частоты 1/Т и постепенно убывающие нечетные гармоники этой частоты. Следовательно, спектр идеального импульсного сигнала неограничен.

Если ограничить полосу частот такого сигнала с помощью ФНЧ с достаточно крутым срезом АЧХ, форма импульсов будет искажена (рис. 2.1), так как часть частотных составляющих спектра окажется подавленной. Искажения проявятся в виде увеличения длительности нарастания и спада импульса и возникновения колебательного переходного процесса. Это будет причиной ограничения допустимой частоты передаваемого импульсного сигнала, т. е. ограничения скорости передачи двоичных символов по каналу связи.

Рис. 2.1. Искажение формы импульсов в канале связи

Длительность нарастания импульса t_H связана с верхней граничной частотой ФНЧ соотношением . Если длительность входного импульса меньше t_H, амплитуда импульса на выходе ФНЧ станет уменьшаться. Этот случай показан на рис. 2.1 штриховой линией. При достаточно малой длительности импульсов, их амплитуда на выходе канала связи станет сравнимой с уровнем помех, что приведет к ошибкам работы приемного устройства.

Выбросы и колебательные переходные процессы, возникающие при передаче импульсов, также ограничивают частоту передаваемых по каналу связи импульсов. Если эта частота слишком велика, колебательный переходный процесс, созданный одним импульсом, будет накладываться на следующий импульс. Возникает помеха, называемая интерференционной, которая может привести к ошибкам приема. Процесс возникновения таких искажений импульсов, называемый «межсимвольными искажениями», и методы борьбы с ними подробно рассматривались в [5].

Изложенные причины приводят к известному еще с ранних работ по теории связи условию: по каналу связи с шириной полосы пропускания ДF можно передавать в виде двухуровневых импульсов 2ДF бит информации за 1с. То есть эффективность использования полосы частот канала связи составляет 2 (бит/с)/Гц. Следовательно, для передачи в последовательной форме цифрового телевизионного сигнала со скоростью передачи двоичных символов 243 Мбит/с необходим канал связи с шириной полосы частот 121,5 МГц. Ясно, что ни стандартный канал наземного телевизионного вещания, имеющий ширину полосы 8 МГц, ни спутниковый канал связи, имеющий ширину полосы 27 МГц, непригодны для передачи цифрового телевизионного сигнала. Это относится и к цифровым телевизионным сигналам стандартов, применяемых в видеосвязи даже при пониженной частоте кадров. А для передачи телевизионных сигналов высокой четкости необходима еще более широкая полоса частот.

Поэтому одной из важнейших задач в области цифрового телевидения была задача сокращения скорости передачи двоичных символов и, соответственно, требуемой полосы частот канала связи. Эта задача называется кодированием источника и может быть решена путем уменьшения избыточности информации, передаваемой в телевизионном сигнале. Уменьшение избыточности обеспечивает также уменьшение требуемого объема ЗУ при записи телевизионных программ или отдельных изображений. В соответствии с установившейся в технической литературе терминологией уменьшение объема передаваемой информации в ряде случаев будем называть сжатием видеоинформации, а также сжатием изображений, сжатием звуковых сигналов, сжатием речи и т.д. В англоязычной литературе используется термин compression, а для обратной операции - decompression. Русское произношение этих терминов компрессия и декомпрессия также используется в ряде случаев в данном пособии. Заметим также, что устранение избыточности может быть полностью обратимым и не приводить к искажениям переданного изображения. Такие методы называют методами архивирования и используют в компьютерных технологиях для сохранения файлов. Недостатком таких методов является невысокая степень сжатия объема передаваемой и сохраняемой информации - от 1,5 до 3 раз, поэтому они не могут решить задачу сжатия видеосигнала в полной мере.

Избыточность телевизионного сигнала разделяется на структурную, статистическую и психофизиологическую.

Структурная избыточность связана с наличием в обычном телевизионном сигнале гасящих импульсов, во время которых информация об изображении не передается. Структурная избыточность телевизионного сигнала может быть уменьшена путем передачи во время гасящих импульсов какой-либо полезной информацией, например - звукового сопровождения, однако большого выигрыша это не дает.

Статистическая избыточность вызывается наличием корреляционных связей между значениями сигнала в соседних элементах одной строки, в соседних строках и в соседних кадрах. Сокращение статистической избыточности достигается путем устранения указанных корреляционных связей. Одним из наиболее известных методов сокращения статистической избыточности является кодирование с предсказанием или дифференциальная импульсно-кодовая модуляция (ДИКМ), основанная на передаче приращений значений сигнала, а не его абсолютных значений.

Психофизиологическая избыточность телевизионного сигнала определяется той информацией в нем, которая не воспринимается человеком из-за свойств его зрения и, следовательно, могла бы и не передаваться. Психофизиологическая избыточность сокращается за счет удаления из передаваемого сигнала информации, отсутствие которой не влияет существенно на восприятие изображения человеком. Свойства зрения человека, которые полагаются в основу методов сокращения психофизиологической избыточности подробно рассматривались в курсе «Телевидение» [6].

Примером метода сокращения психофизиологической избыточности может служить способ кодирования Кретцмера, в соответствии с которым при передаче крупных деталей изображения количество градаций яркости увеличивается, а при передаче мелких деталей - уменьшается. Этот способ основан на использовании обратно пропорциональной зависимости между геометрическим и градационным разрешением зрительного аппарата человека. При восприятии мелких деталей ухудшается различие градаций яркости. В других методах используется ухудшение геометрического и градационного разрешения зрения при наблюдении движущихся объектов. Общая основа всех этих методов - ограниченность пропускной способности зрения как системы передачи и обработки информации.

Применение различных способов сжатия информации, заключенной в телевизионном изображении, позволяет не только передавать цифровой телевизионный сигнал обычной четкости по стандартным каналам телевизионного вещания, но и добиться возможности передачи по этим каналам одновременно нескольких программ телевидения обычной четкости, сигналов новых систем телевидения высокой четкости, а также передачи цифровых телевизионных сигналов по каналам связи с более узкой полосой частот, чем стандартные вещательные каналы. Соотношение потоков информации и требуемых значений ширины полосы пропускания каналов связи иллюстрируется рис. 2.2.

Рис. 2.2. Требования к каналам связи в системе цифрового телевидения

Методы сжатия изображений, как было сказано выше, можно разделить на два класса: методы сжатия без потерь информации и методы сжатия с частичной потерей информации. При сжатии без потерь после декодирования получается изображение, идентичное исходному. Примерами таких методов могут служить различные алгоритмы архивирования изображений, применяемые в вычислительной технике и основанные на уменьшении статистической избыточности. Возможности сжатия реальных цветных или полутоновых черно-белых изображений без потерь весьма ограничены. Так путем преобразования записанного в компьютере изображения в формат GIF, являющийся одним из наиболее компактных и эффективных, объем информации сокращается в среднем в 2-3 раза, что явно недостаточно для решения задач, стоящих в области цифрового телевидения.

Гораздо большего эффекта позволяют достичь методы сжатия с частичной потерей информации. Как будет показано далее, с помощью метода JPEG можно уменьшить объем информации реального неподвижного изображения в 5-10 раз без заметного ухудшения визуально воспринимаемого качества декодированных изображений. Возможно и еще большее сжатие, но при этом уже начинают наблюдаться заметные искажения изображения. Получение минимального объема передаваемой или запоминаемой информации при сохранении достаточно высокого качества изображения является одной из главных задач при поиске новых алгоритмов сжатия.

2.1.2 Дискретное косинусное преобразование сигналов изображения

Одними из наиболее распространенных средств обработки как одномерных, так и многомерных сигналов, в том числе и изображений, являются ортогональные преобразования. Особенно велика роль ортогональных преобразований в решении задачи уменьшения скорости передачи двоичных символов в цифровом телевидении и, следовательно, уменьшении требуемой полосы частот каналов связи [2]. Сущность ортогональных преобразований заключается в представлении исходного сигнала в виде суммы ортогональных базисных функций.

Напомним, что функции x(t) и y(t) называются ортогональными на отрезке (t₁, t₂), если их скалярное произведение равно нулю

.(2.1)

Это определение может быть распространено на дискретные сигналы, представляемые последовательностями чисел. Дискретные сигналы х(п) и у(п), имеющие по N отсчетов, называются ортогональными, если выполняется условие

.(2.2)

Одним из наиболее известных примеров применения ортогонального преобразования является разложение периодического сигнала х в ряд Фурье

(2.3)

где: ; Т - период повторения сигнала x(t).

Действительные коэффициенты ряда Фурье , определяются соотношениями

,

,(2.4) .

В комплексной форме разложение в ряд Фурье имеет вид:

,(2.5)

где:

- комплексные амплитуды гармоник;

j - мнимая единица.

В ряд Фурье может быть разложен не только периодический сигнал, имеющий период Т, но и сигнал, отличный от 0 только на интервале времени (-T/2, Т/2). В этом случае используется периодическое продолжение сигнала на всю ось времени с периодом Т.

Рассмотрим дискретный сигнал х(п), отличный от 0 при п = 0,1, …, N-1. Для такого сигнала также можно ввести разложение по базису синусоидальных функций. Так как частотный спектр дискретизируемого сигнала должен быть ограничен сверху в соответствии с условием теоремы Котельникова, в разложении дискретного сигнала остается конечное число частотных составляющих, представляющих собой дискретные комплексные гармонические функции. Такое разложение, называемое дискретным преобразованием Фурье (ДПФ), имеет вид

, n=0, 1…N-1,(2.6)

где коэффициенты ДПФ X(k) определяются соотношением

, k=0, 1…N-1,(2.7)

Напомним, что нахождение коэффициентов Х(k) по (2.7) обычно называют прямым ДПФ, а получение сигнала по этим коэффициентам в соответствии с (2.6) - обратным ДПФ.

В этих соотношениях вместо интегралов появились суммы, так как исходный сигнал не непрерывный, а дискретный. Частоте , используемой в разложении аналоговых сигналов и имеющей размерность рад/с, в ДПФ соответствует безразмерная величина , где k=0, 1…N-1. Отношение показывает, какую часть частоты дискретизации составляет частота данной дискретной гармоники.

Коэффициенты ДПФ Х(k) и экспоненциальные множители в (2.6), (2.7) являются комплексными числами. Каждое комплексное число запоминается в цифровом ЗУ в виде пары действительных чисел, представляющих его действительную и мнимую части. Сложение двух комплексных чисел требует выполнения двух операций сложения действительных чисел - отдельно складываются действительные и мнимые части. Умножение двух комплексных чисел требует выполнения четырех операций умножения и двух операций сложения действительных чисел. Таким образом, выполнение ДПФ в комплексной форме приводит к существенному увеличению необходимого объема ЗУ и времени вычислений.

Чтобы иметь дело только с действительными числами, обычно используют разложение с помощью дискретного косинусного преобразования (ДКП), описываемого соотношением:

,(2.8)

где коэффициенты ДКП определяются по формулам

,(2.9)

, k=1…N-1.

Как и в случае ДПФ, нахождение коэффициентов C(k) по (2.9) называется прямым ДКП, а представление сигнала в виде (2.8) называется обратным ДКП.

Аналогично можно записать соотношения для прямого и обратного ДПФ и ДКП в двумерном случае. Двумерный дискретный сигнал, например, отдельный кадр цифрового телевизионного сигнала, представляется матрицей значений х(т,п), где т = 0 ... М-1 - номер отсчета в строке, п = 0 .., N-1 - номер строки в кадре.

Прямое двумерное ДПФ имеет вид:

,(2.10)

k=0…M-1, l=0…N-1,

где X(k,l) - комплексные коэффициенты ДПФ, отображающие пространственно-частотный спектр изображения.

Обратное двумерное ДПФ представляет разложение изображения по базисным функциям:

.(2.11)

Коэффициенты двумерного прямого ДКП определяются по формулам:

,

,(2.12)

,

.

Обратное двумерное ДКП имеет вид:

.(2.13)

Величины и являются дискретными пространственными частотами, по горизонтальной и вертикальной координатам, соответственно, которые выражаются безразмерными величинами, имеющими такой же смысл, как и дискретная частота в одномерном случае. Каждая дискретная пространственная частота пропорциональна отношению пространственного периода дискретизации по данной координате к пространственному периоду этой частотной составляющей. Пространственные периоды при этом измеряются в единицах расстояния.

На рис. 2.3 показаны в виде полутоновых картинок базисные функции двумерного ДКП для М = 8, N = 8. Светлые участки соответствуют положительным значениям, а темные - отрицательным.

Рис. 2.3. Некоторые базисные функции двумерного ДКП блока 8х8 элементов изображения.

Показаны примеры:

а) k = 1, l= 0; б) k = 0, l = 1; в) k = 1, l = 1;

г) k = 0, l = 2; д) k = 1, l = 2; е) k = 2 ,l = 2;

ж) k = 4, l = 2; з) k = 7, l = 1; и) k = 7, l = 7.

Замечательным свойством разложения видеосигнала в базисе ДКП является то, что каждая базисная функция содержит информацию о всем изображении сразу. Число базисных функций используемых для разложения видеосигнала определяет точность представления изображения.

В соответствии с [2], в целом можно оценить затраты вычислительных ресурсов при выполнении прямого и обратного ДПФ, как пропорциональные N². Аналогично можно показать, что вычисление двумерных прямого и обратного ДПФ требует выполнения количества операций, пропорционального N²М².

Например, вычисление ДПФ для квадратного блока изображения, содержащего 8x8 элементов (пикселей), потребует выполнения примерно 16·10³ операций умножения и сложения. А вычисление ДПФ черно-белого телевизионного кадра обычного стандарта разложения, содержащего 720x576 пикселей, потребует выполнения около 8·10¹¹ операций. Если вычисления производятся на компьютере, выполняющим 10⁶ операций над действительными числами в секунду, время вычисления ДПФ составит 8·10⁵с или более 200 ч. Очевидно, что для вычисления ДПФ телевизионных изображений в реальном времени, т. е. за период кадровой развертки, необходимо искать пути сокращения количества требуемых операций.

Наиболее радикальный способ уменьшения объема вычислений заключается в применении открытых в 60-е годы быстрых алгоритмов ДПФ, называемых алгоритмами быстрого преобразования Фурье (БПФ). Подробно быстрые алгоритмы вычисления ДПФ описаны во многих литературных источниках и здесь не рассматриваются.

Двумерное БПФ может быть разложено на последовательность одномерных. Число требуемых операций оказывается пропорциональным . Для приведенного выше примера телевизионного кадра, состоящего из 720x576 пикселей, это значение оказывается равным примерно 8·10⁶, что в 10⁵ раз меньше, чем число операций, требуемое для непосредственного вычисления ДПФ.

Существуют также быстрые алгоритмы вычисления ДКП. Как будет видно из дальнейшего, в цифровом телевидении главную роль играет ДКП блоков 8x8 пикселей, при выполнении которого используется алгоритм быстрого вычисления одномерного ДКП отрезка цифрового сигнала, содержащего восемь элементов. При этом сначала вычисляются ДКП для каждого столбца блока элементов изображения, а затем в полученной матрице 8x8 чисел вычисляются ДКП для каждой строки.

В современной аппаратуре, в том числе и для цифрового телевидения, ДПФ и ДКП, как правило, выполняются в реальном времени с применением цифровых процессоров обработки сигналов (ЦПОС) или специальных аппаратных средств, например, параллельных вычислительных устройств.

ДКП лежит в основе наиболее широко используемых в настоящее время методов кодирования JPEG, MPEG-1, MPEG-2, описание которых будет дано в п. 2.2.

2.1.3 Цифровая фильтрация

Цифровая фильтрация - один из важнейших методов обработки одномерных и многомерных цифровых сигналов. С помощью цифровой фильтрации в телевидении решаются задачи уменьшения влияния шумов и помех, разделения сигналов яркости и цветности, повышения субъективного качества изображения и т. д. При этом используется как одномерная фильтрация, при которой обрабатывается телевизионный сигнал, так и двумерная (пространственная) фильтрация.

В одномерном случае цифровая фильтрация заключается в преобразовании последовательности отсчетов x(i) входного сигнала в последовательность отсчетов y(i) выходного сигнала по общей формуле:

(2.14)

Значения m и n могут быть любыми натуральными числами, а коэффициенты a_j, b_j могут быть любыми действительными числами - как положительными, так и отрицательными. Часть этих коэффициентов может быть равна нулю.

Если хотя бы один из коэффициентов b_j не равен нулю, цифровой фильтр называется рекурсивным, так как на текущее значение выходного сигнала влияют не только значения входного сигнала, но и более ранние значения выходного сигнала. Такие фильтры называют еще фильтрами с бесконечной импульсной характеристикой (БИХ-фильтрами), так как они "помнят" все предыдущие значения входного и выходного сигналов. Если же все коэффициенты b_j=0, цифровой фильтр называется нерекурсивным или фильтром с конечной импульсной характеристикой (КИХ-фильтром).

На рис. 2.4 показана структурная схема цифрового фильтра, имеющего как рекурсивную, так и нерекурсивную части. Блоки z^-1 выполняют задержку сигнала на один отсчет. Возможны и другие варианты структуры фильтра с таким же набором коэффициентов.

Рис. 2.4. Структурная схема цифрового фильтра.

Цифровые фильтры, действие которых описывается формулой (2.14), являются линейными системами для цифровых сигналов, поскольку выполняется принцип суперпозиции. Поэтому по аналогии с аналоговыми фильтрами действие цифрового фильтра на сигнал можно описать комплексной частотной характеристикой . Если исходный аналоговый сигнал представляется в виде комплексной синусоиды , то получающийся из него при дискретизации цифровой сигнал будет иметь вид комплексной последовательности , где Т - период следования отсчетов, т. е. период дискретизации, п = 0, 1, 2,... . Сигнал на выходе цифрового фильтра в этом случае будет иметь вид .

Как и в случае аналоговых фильтров, модуль функции - функция - называется амплитудно-частотной характеристикой (АЧХ) цифрового фильтра, показывающей, как изменяется амплитуда синусоидальной последовательности отсчетов при прохождении через цифровой фильтр. При частотном анализе цифровых фильтров следует учитывать, что должно выполняться условие , вытекающее из теоремы Котельникова.

В цифровой обработке изображений большую роль играют двумерные (или пространственные) фильтры. При выполнении пространственной фильтрации выполняется операция свертки входного изображения, представленного в виде матрицы элементов, с матрицей двумерного фильтра.

Пусть x(i,j) - исходное изображение, y(i,j) - изображение, получающееся в результате фильтрации, a(m,n) - матрица, задающая двумерный фильтр и имеющая размеры М по горизонтали и N по вертикали, причем М и N должны быть нечетными числами. Действие двумерного нерекурсивного фильтра может быть описано следующей формулой:

,(2.15)

где: - номер строки; - номер элемента в строке.

Как видно из этой формулы, каждый элемент выходного изображения представляется суммой элементов входного изображения, умноженных на заданные в матрице фильтра коэффициенты. Число учитываемых соседних элементов входного изображения определяется размером матрицы фильтра.

Простейшие двумерные фильтры имеют матрицу 3x3. Ниже приведено несколько примеров фильтров такого типа [2].

Пространственно-частотная характеристика (двумерный аналог АЧХ) для таких фильтров в случае, когда матрица фильтра симметрична как относительно среднего столбца и средней строки, так и относительно обеих главных диагоналей, рассчитывается по формуле:

(2.16)

где: - число в центральной ячейке матрицы фильтра; - числа в средних ячейках верхней и нижней строк и боковых столбцов, - числа в угловых ячейках. Кроме того, , где и - пространственные частоты по координатам х и у.

Первый фильтр (а) является фильтром низких пространственных частот. Значение яркости каждого элемента выходного изображения определяется путем усреднения значений яркости ближайших к нему соседних элементов исходного изображения. Сумма всех коэффициентов матрицы равна I, что необходимо для сохранения среднего значения яркости изображения при фильтрации. Пространственно-частотная характеристика этого фильтра показана на рис. 2.5,а. Пространственные частоты и измеряются в долях пространственной частоты дискретизации (т. е. величины, обратной расстоянию между соседними отсчетами) по соответствующей координате, и каждая из них изменяется в диапазоне от 0 до 0,5.

Рис. 2.5. Пространственно-частотные характеристики ФНЧ (а) и ФВЧ (б).

Такой фильтр уменьшает заметность шума на изображении, но при этом сглаживаются резкие перепады яркости, ухудшается передача границ объектов, могут пропадать мелкие детали изображения. Действие фильтра нижних пространственных частот на тестовое изображение "Лена" показано на рис. 2.6,а.

Второй фильтр (б) является фильтром высоких пространственных частот. Значения соседних элементов вычитаются из центрального элемента изображения. Сумма всех коэффициентов равна 1. В результате фильтрации подчеркиваются границы объектов, повышается резкость изображения, но одновременно становится более заметным шум. Пространственно-частотная характеристика этого фильтра показана на рис. 2.5,б, а действие фильтра на тестовое изображение продемонстрировано на рис. 2.6,б.

Рис. 2.6. Действие цифровых фильтров на тестовое изображение «Лена».

Третий фильтр (в) относится к так называемым операторам Лапласа. Сумма коэффициентов в отличие от предыдущих фильтров равна 0, вследствие чего средний уровень яркости изображения при фильтрации не сохраняется. Назначение фильтров, реализующих оператор Лапласа - выделять только границы объектов, т. е. линии, по которым происходит резкое изменение яркости. Области с постоянной или медленно меняющейся яркостью такой фильтр преобразует в темные участки изображения (рис. 2.6,в).

Наконец, на рис. 2.6,г показан результат обработки тестового изображения фильтром Собеля, который также выделяет контура и мелкие детали изображения.

Двумерная фильтрация широко используется при обработке изображений на компьютере. При этом отдельный кадр телевизионного изображения или изображение, полученное каким-либо другим способом, вводится в компьютер и подвергается фильтрации с целью сглаживания шумов, выделения границ объектов, повышения четкости и т.д. Двумерная фильтрация в реальном времени со скоростью телевизионной развертки часто реализуется с помощью параллельных вычислительных устройств, специальных процессоров свертки и других аппаратных средств.

Помимо выполнения фильтрации путем свертки цифрового сигнала с матрицей, задающей фильтр, возможно выполнение фильтрации в частотной области. Для этого выполняется ДПФ исходного сигнала, полученный набор коэффициентов ДПФ почленно умножается на набор чисел, представляющих частотную характеристику фильтра, после чего выполняется обратное ДПФ. Такой вариант выполнения фильтрации во многих случаях позволяет добиться лучших результатов, чем свертка, но требует значительно большего объема вычислений.

Как уже указывалось, фильтры, заданные формулами (2.14) и (2.15), являются линейными. Большое значение имеют и нелинейные фильтры, для которых не выполняется принцип суперпозиции.

Одним из наиболее известных видов нелинейных фильтров являются медианные фильтры. Кратко принцип действия такого фильтра можно пояснить следующим образом. Для получения каждого элемента выходного сигнала берется соответствующий элемент входного сигнала и некоторое количество предшествующих ему и следующим за ним элементов входного сигнала. Значения этих элементов упорядочиваются по возрастанию или по убыванию. Далее берется центральный по порядку член полученной последовательности, и его значение присваивается элементу выходного сигнала. Например, если взято 3 предыдущих и 3 последующих элемента входного сигнала, то в последовательности будет 7 членов, и после упорядочивания элементу выходного сигнала присваивается значение 4-го члена последовательности.

При фильтрации изображений применяются двумерные медианные фильтры. При этом учитываются соседи не только по горизонтали, но и по вертикали. Медианный фильтр хорошо устраняет точечные помехи и шумы, сохраняя при этом резкие перепады яркости на границах объектов. Однако такой фильтр может подавить в изображении мелкие детали, размеры которых меньше размеров маски фильтра, определяющей учитываемые соседние элементы.

Таким образом, становится очевидным, что цифровая фильтрация может быть действенным инструментом для различной обработки изображений, выполняемой как в процессе их сжатия, так и в процессе их восстановления.

2.1.4 Принципы обработки и передачи сигналов с разложением на поддиапазоны

Разложение сигнала на частотные поддиапазоны используется при решении многих задач, встречающихся в телевидении, в частности, при кодировании сигналов звукового сопровождения для передачи или записи в запоминающее устройство. Аналоговые системы передачи звуковых сигналов с разложением на частотные поддиапазоны, например, вокодеры, известны достаточно давно. В настоящее время подобные системы реализуются на основе цифровых средств.

Структурная схема системы передачи одномерного цифрового сигнала с разложением на М частотных поддиапазонов показана на рис. 2.7. Входной цифровой сигнал х(п), занимающий полосу частот от 0 до f_в (где f_в равна половине частоты дискретизации f_д), поступает на входы анализирующих фильтров АФ₁ АФ₂, ..., АФм, каждый из которых является полосовым фильтром, т. е. выделяет сигнал в заданном частотном поддиапазоне.

Рис. 2.7. Структурная схема системы передачи сигнала с разложением на частотные поддиапазоны.

Затем сигналы, полученные на выходах анализирующих фильтров, переносятся с центральных частот соответствующих поддиапазонов в область низких частот. При этом верхняя граничная частота , j=1…M, каждого из этих сигналов оказывается существенно меньше, чем верхняя граничная частота исходного сигнала х(п). Например, если весь диапазон частот исходного сигнала делится на М равных по ширине поддиапазонов, то верхняя граничная частота сигнала каждого поддиапазона оказывается в М раз меньше, чем у исходного сигнала. При этом частота дискретизации в каждом поддиапазоне может быть уменьшена в М раз по сравнению с частотой дискретизации исходного сигнала х(п).

Для уменьшения частоты дискретизации в М раз в сигнале каждого поддиапазона оставляют каждый М-й отсчет, отбрасывая остальные отсчеты. Эта операция, называемая децимацией или прореживанием, выполняется в Дециматорах Дц₁ Дц₂, ..., Дц_м, на выходах которых получаются цифровые сигналы x₁(n), x₂(n), ..., х_м(п). Суммарное число отсчетов в этих сигналах за некоторый интервал времени равно количеству отсчетов исходного сигнала х(п) за тот же интервал времени. Функции анализирующего фильтра и дециматора могут объединяться в одном функциональном узле.

Далее сигналы x₁(n), x₂(n), ..., х_м(п) проходят кодирующие устройства (кодеры) К₁, К₂, ..., К_м , на выходах которых получаются кодированные сигналы частотных поддиапазонов у₁(п), у₂(п), ..., y_M(п). В случае передачи звуковой информации кодирование в поддиапазонах может заключаться, например, в выполнении более грубого квантования в тех частотных поддиапазонах, искажения в которых мало заметны для слушателя. Количество двоичных символов, используемых для передачи сигналов таких поддиапазонов, сокращается. Если сигнал в каком-либо частотном поддиапазоне настолько мал, что не оказывает влияния на слуховое восприятие, то он может вообще не передаваться. В результате уменьшается общая скорость передачи двоичных символов.

Затем сигналы у₁(п), у₂(п), ..., y_M(п) объединяются в мультиплексоре Мп в один кодированный цифровой сигнал у(п), который передается по каналу связи КС. Как уже отмечалось, скорость передачи двоичных символов, необходимая для передачи сигнала у(п), меньше, чем для передачи исходного сигнала х(п), причем уменьшение может быть весьма значительным. Вместо канала связи в системе может присутствовать носитель информации, на который осуществляется запись сигнала у(п). После прохождения канала связи кодированный сигнал у(п) в демультиплексоре ДМп разделяется на кодированные сигналы частотных поддиапазонов у₁(п), у₂(п), ..., y_M(п). Каждый из этих сигналов декодируется в соответствующем блоке декодирования (декодере) Дк₁ Дк₂, ..., Дк_м. В процессе декодирования восстанавливается количество двоичных разрядов в данных (такая операция называется деквантованием). Так как при кодировании могли возникнуть необратимые потери информации, то декодированные сигналы поддиапазонов z₁(п), z₂(п), ..., z_M(п) могут отличаться от исходных сигналов поддиапазонов x₁(n), x₂(n), ..., х_м(п).

Далее выполняется восстановление количества отсчетов в сигналах поддиапазонов. Эта операция, называемая интерполяцией, выполняется в интерполяторах Инт₁ Инт₂... Инт_M и заключается в том, что между каждыми двумя отсчетами каждого из сигналов z₁(п), z₂(п), ..., z_M(п) вставляют М-1 нулей. После этого сигналы обрабатываются синтезирующими фильтрами СФ₁, СФ₂, ..., СФ_М и объединяются в сумматоре См. В результате формируется выходной сигнал z(n), имеющий такую же частоту дискретизации и занимающий такую же полосу частот, как исходный сигнал х(п).

Описанный метод используется, например, для кодирования сигналов звукового сопровождения в стандартах MPEG-1 и MPEG-2, которые будут рассмотрены далее.

Эффективным средством разделения исходного сигнала на частотные поддиапазоны и синтеза выходного сигнала из сигналов частотных поддиапазонов являются квадратурные зеркальные фильтры (КЗФ) (quadrature mirror filter - QMF). Структурная схема системы, в которой используются такие фильтры, показана на рис. 2.8,а, положения получающихся частотных поддиапазонов - на рис. 2.8,б. Обозначения сигналов такие же, как на рис. 2.7. Кодеры, канал связи и декодеры не показаны.

Пара КЗФ состоит из цифрового нерекурсивного ФНЧ, обозначаемого G, и цифрового нерекурсивного ФВЧ, обозначаемого Н. Передаточные характеристики этих фильтров, полученные в результате z-преобразования, - G(z) и H(z), соответственно. Обратные фильтры, обозначенные на схеме G^-1 и H^-1, имеют передаточные характеристики G(z^-1) и H(z^-1). Коэффициенты фильтра G^-1 получаются перестановкой коэффициентов фильтра G в обратном порядке. Аналогично коэффициенты фильтра H^-1 получаются перестановкой коэффициентов фильтра Н.

Рис. 2.8. Структурная схема СП с использованием КЗФ (а) и положение частотных поддиапазонов (б).

Особенность КЗФ состоит в том, что АЧХ фильтра Н получается зеркальным отображением АЧХ фильтра G, причем ось зеркальной симметрии обычно находится на частоте, равной, 1/4 частоты дискретизации. Пара КЗФ позволяет разделить исходный цифровой сигнал х(п) на два сигнала частотных поддиапазонов, соответствующих нижней и верхней половинам его полосы частот, а пара обратных фильтров позволяет восстановить исходный сигнал по двум сигналам частотных поддиапазонов.

Чтобы КЗФ обладали указанными свойствами, их передаточные характеристики должны удовлетворять условиям:

(2.17)

При разложении на поддиапазоны после каждого фильтра G или Н выполняется децимация, при которой отбрасывается каждый второй отсчет. Это соответствует тому, что пара КЗФ делит полосу частот входного сигнала на две равные части. Дециматоры на структурной схеме обозначены кружками со стрелками, направленными вниз. В процессе синтеза сигнала из сигналов частотных поддиапазонов перед каждым обратным фильтром G^-1 или Н^-1 выполняется интерполяция, при которой между каждыми двумя отсчетами вставляется нуль. Интерполяторы обозначены кружками со стрелками, направленными вверх. Объединение сигналов осуществляется сумматорами, обозначенными кружками со знаком "плюс" внутри.

Для разложения исходного сигнала х(п) на частотные поддиапазоны, число которых больше двух, используют древовидную структуру. После прохождения фильтра Н в первой паре КЗФ и соответствующего дециматора формируется сигнал x₃(п), соответствующий верхней половине частотного диапазона. Сигнал, соответствующий нижней половине частотного диапазона, получаемый после фильтра G в первой паре КЗФ, поступает на следующую пару КЗФ, которая делит нижний частотный поддиапазон еще раз. В результате получаются сигналы x₁(п) и х₂(п).

При синтезе выходного сигнала сначала интерполируются, фильтруются и объединяются сигналы z₁(n) и z₂(n), а затем результат объединяется с интерполированным и обработанным фильтром сигналом z₃(n).

Достоинством КЗФ является то, что при их использовании не возникает искажений, связанных с перекрытием частотных спектров сигналов смежных поддиапазонов из-за неидеальности АЧХ фильтров. Кроме того, на всех ступенях разложения и синтеза сигнала используются фильтры с одинаковыми наборами коэффициентов, что позволяет упростить реализацию.

Разложение сигналов на поддиапазоны по разрешающей способности. Вэйвлет-преобразование

Другой подход к обработке и передаче сигналов основан на разложении сигнала на составляющие по разрешающей способности. Такой подход оказывается особенно продуктивен для передачи изображений.

Как известно, изображение состоит из крупных деталей, составляющих основу его содержания, и мелкой структуры. Во многих случаях полезно разделить указанные составляющие, чтобы передавать их раздельно, а в приемной части системы объединить эти составляющие в полное изображение.

Для решения этой задачи в последние годы все большую популярность получает подход, основанный на применении ортогонального вэйвлет - преобразования (Wavelet-Transform - WT). Термин wavelet дословно переводится как "маленькая волна". В отличие от гармонических ортогональных функций, которые периодически изменяются на всем интервале изменения аргумента, базисные функции вэйвлет-преобразования отличны от нуля только на ограниченном отрезке этого интервала. Полный набор таких функций, составляющих базис преобразования, покрывает весь интервал изменения аргумента.

Результатом вэйвлет-преобразованием является набор коэффициентов. Восстановление сигнала по этим коэффициентам называется обратным вэйвлет-преобразованием (Inverse Wavelet Transform - IWT).

Простым примером вэйвлет-преобразования является разложение сигнала по базису Хаара (Нааг). Базисная функция преобразования Хаара, показанная на рис. 2.9,а, называется scale-function или scaling-function. Ортогональный базис Хаара получается путем сдвига базисной функции с шагом равным единице во все возможные положения по оси абсцисс.

Рис. 2.9. Базисная функция преобразования Хаара (а) и вэйвлет-преобразование Хаара (б).

Функция, показанная на рис. 2.9,б, называется вэйвлетом Хаара (Нааг Wavelet). Вэйвлеты Хаара, сдвигаемые по оси абсцисс, также образуют ортогональный базис для пространства сигналов деталей, о которых будет сказано ниже.

Другие типы вэйвлет-преобразования также имеют базисные функции (scaling-functions) и вэйвлеты, но более сложных форм.

Пусть есть исходный цифровой сигнал x(n), п = 0, 1, ..., N-1. В результате преобразования Хаара он преобразуется в два цифровых сигнала x₁(m) и x₂(m), т = 0, 1, ..., N/2-1 (N предполагается четным), в соответствии с соотношениями:

.(2.18)

Отсчеты сигнала x₁(m) получаются путем усреднения пар смежных отсчетов исходного сигнала x(n). Поэтому сигнал x₁(m) содержит информацию с уменьшенной в два раза разрешающей способностью. В то же время сигнал x₂(m), отсчеты которого равны разностям значений смежных отсчетов исходного сигнала, содержит информацию о мелких деталях исходного сигнала. Именно для сигнала x₂(m) ортогональным базисом являются вэйвлеты Хаара. Каждый из сигналов x₁(m) и x₂(m) содержит N/2 отсчетов, и вместе они несут всю информацию, имеющуюся в исходном сигнале. Обратное преобразование Хаара определяется соотношениями, получающимися из (2.18), где первое соотношение позволяет восстановить нечетные отсчеты исходного сигнала, а второе - четные:

,

.(2.19)

Далее преобразование Хаара может быть применено к сигналу x₁(m), который при этом будет разложен на сигнал x₁₁(k), соответствующий еще более низкой разрешающей способности, и сигнал x₁₂(k), содержащий детали, необходимые для восстановления сигнала x₁(m). Сигналы x₁₁(k) и x₁₂(k) содержат по N/4 отсчетов. Затем преобразование Хаара может быть применено к сигналу x₁₁(k) и т. д. Соответствующими обратными преобразованиями могут быть последовательно восстановлены сигналы с более высокими разрешающими способностями, вплоть до исходного сигнала. Важно отметить, что при выполнении прямого преобразования Хаара (как и прямого вэйвлет-преобразования другого типа) число отсчетов в получаемых сигналах на каждой ступени преобразования уменьшается в два раза, а количество самих сигналов возрастает. При этом суммарное число отсчетов во всех полученных сигналах всегда равно N. При выполнении обратного преобразования количество отсчетов в восстанавливаемых сигналах на каждой ступени увеличивается в два раза.

Вэйвлет-преобразование изображения осуществляется путем последовательного выполнения вэйвлет-преобразований по двум координатам (рис. 2.10). Исходное изображение представляет собой матрицу А, имеющую размер (NxN) и содержащую N² элементов. В блоках WTx и WTy выполняются вэйвлет-преобразования одномерных цифровых сигналов, например, преобразования Хаара. В блоках IWTx и IWTy выполняются соответствующие обратные преобразования.

Рис. 2.10. Структурная схема выполнения прямого и обратного вейвлет-преобразования изображения

На первом этапе выполняется вэйвлет-преобразование по горизонтальной координате х (WTx). При этом элементы изображения А, расположенные в каждой строке матрицы, последовательно поступают на блок WTx, причем одна строка обрабатывается за другой. В результате формируются два изображения AL и АН, каждое из которых представляет собой матрицу, содержащую N/2 элементов по горизонтали и N элементов по вертикали. Суммарное количество элементов в этих изображениях остается равным N². В изображении AL разрешающая способность по горизонтали уменьшена в два раза. Изображение АН содержит информацию о деталях изображения, имеющих малые размеры по координате х.

Затем каждое из изображений AL и АН подвергается вэйвлет-преобразованию по вертикальной координате у. При этом на блоки WTy последовательно поступают элементы изображения, расположенные в столбцах соответствующих матриц. В результате получаются четыре матрицы, каждая из которых содержит (N/2)x(N/2) элементов. Суммарное число элементов по-прежнему равно N.

Матрица ALL соответствует изображению, подобному исходному, но с уменьшенными в два раза разрешающими способностями по обеим координатам. Матрица ALH содержит детали исходного изображения, имеющие относительно большие размеры по горизонтали, но с минимальными размерами по вертикали. Матрица AHL содержит детали изображения, крупноразмерные по вертикали, но с минимальными размерами по горизонтали. Наконец, матрица АНН содержит детали изображения, имеющие малые размеры по обеим координатам.

Разложение на поддиапазоны по разрешающей способности позволяет анализировать или передавать изображение с разными степенями детальности. Для получения наиболее грубого представления об изображении достаточно использовать только информацию, содержащуюся в матрице ALL. Добавление других поддиапазонов увеличивает точность представления изображения.

Как и для одномерных сигналов, число ступеней двумерного вэйвлет-преобразования может быть увеличено. Матрица ALL может быть преобразована в четыре матрицы размером (N/4)x(N/4) элементов. Та из этих матриц, которая содержит изображение с уменьшенными в четыре раза пространственными разрешениями по обеим координатам, преобразована в четыре матрицы размером (N/8)x(N/8) элементов и т.д.

После разложения исходного изображения А на поддиапазоны по разрешающей способности может выполняться обработка для каждого из этих поддиапазонов. В результате матрица ALL преобразуется в матрицу BLL и т. д. (рис. 2.10). В результате формируется изображение В размером NxN элементов.

Обработка в поддиапазонах часто имеет целью сжатие изображения для его передачи по каналу связи или для записи на носитель информации. Как правило, для представления данных, содержащихся в матрицах ALH, AHL и АНН, может использоваться меньшее число двоичных разрядов, т. е. более грубое квантование, чем для исходного изображения. Это обусловлено тем, что сигналы малоразмерных деталей имеют меньший размах, а создаваемые квантованием искажения на мелких деталях менее заметны для зрителя. Данные из всех матриц после квантования объединяются в общий поток данных. В приемной части восстанавливается исходное количество двоичных разрядов. Вэйвлет-преобразование обеспечивает более высокий коэффициент сжатия неподвижных изображений при сохранении их приемлемого качества, чем широко используемый стандарт JPEG. Однако для этого необходимо использовать не описанное здесь преобразование Хаара, а другие типы вэйвлет-преобразования, в которых используются базисные функции и вэйвлеты более сложных форм.

Важным преимуществом вэйвлет-преобразования перед ДПФ и ДКП является раздельное выполнение преобразований по двум координатам. Общее число вычислительных операций при вэйвлет-преобразовании изображения, содержащего NxN элементов, пропорционально N², т. е. существенно меньше, чем для ДПФ и ДКП, даже в случаях применения для их реализации быстрых алгоритмов. Тем не менее, в стандартах сжатия цифрового телевидения чаще используется ДКП, а не более эффективное вэйвлет-преобразование.

2.1.5 Цифровые методы обработки и кодирования изображений

Оценка и компенсация движения объектов изображения

Одной из важных и часто встречающихся задач обработки изображений является оценка движения различных объектов, присутствующих в изображении. Выполнение такой оценки необходимо при сжатии движущихся изображений, для коррекции смазывания изображения из-за колебаний видеокамеры в руках оператора, для совмещения изображений объекта в двух смежных полях одного кадра при чересстрочной развертке, для обнаружения движущихся объектов в системах охранного ТВ и т. д. Простейший вид движения объекта в кадре - плоскопараллельное движение, когда объект не приближается, не удаляется и не поворачивается. Более сложные виды движения - приближение или удаление объекта, в результате чего изменяются его размеры в кадре, поворот объекта, взаимное перекрытие объектов, деформация, появление или исчезновение объектов в кадре.

В цифровом телевидении широко применяется метод оценки движения в некотором кадре (далее для определенности называемом первым кадром) относительно какого-либо другого кадра (далее - второго кадра), называемый соответствием блоков (block matching). Во времени первый кадр может следовать как после второго кадра, так и до него. В простейшем варианте этого метода первый кадр разделяется на прямоугольные блоки одинаковых размеров. Отметим, что в стандартах MPEG, о которых пойдет речь ниже, эти блоки называются макроблоками, чтобы не путать с блоками, используемыми в дискретном косинусном преобразовании.

Для каждого блока первого кадра осуществляется поиск наиболее похожей на него прямоугольной области таких же размеров во втором кадре. При этом последовательно перебираются векторы движения (или векторы смещения) , где , - приращения координат по горизонтали и по вертикали, принимающие значения в некоторых заданных интервалах. Для каждого вектора движения берется область во втором кадре, смещенная на этот вектор относительно анализируемого блока первого кадра (см. рис. 2.11, где тонкими линиями показаны границы блоков первого кадра, а толстыми - положение смещенной области во втором кадре), и рассчитывается сумма абсолютных значений разностей элементов блока первого кадра и смещенной области второго кадра:

,(2.20)

где: x(m,n) - элемент первого кадра; - элемент второго кадра; т, п - дискретные координаты по вертикали и по горизонтали, отсчитываемые, например, от левого верхнего угла блока первого кадра. Суммирование производится по всем элементам блока.

Рис. 2.11. Смещение блока на вектор движения.

Из всех проверенных векторов выбирается тот, который обеспечивает наименьшее значение суммы в (2.20). Этот вектор и считается далее вектором движения для данного блока. В некоторых случаях вместо суммы абсолютных значений используется корень из суммы квадратов разностей, однако его расчет требует большего объема вычислений.

Полный перебор возможных смещений в заданном диапазоне обеспечивает нахождение абсолютного минимума суммы в (2.20), но требует выполнения (2W+1)² расчетов по этой формуле, где W - максимальное смещение по какой-либо координате, выраженное в количестве пикселей. Существуют различные алгоритмы (или стратегии) поиска соответствия блоков с уменьшенным объемом вычислений. Например, сначала выполняется поиск с большим шагом смещения (в несколько пикселей) по всему диапазону смещений, а затем в зоне, где обнаружен минимум, производится поиск с шагом 1 или даже 1/2 пикселя для точного определения вектора движения.

После определения векторов движения для каждого блока текущего кадра может быть выполнена компенсация движения. Каждый блок первого кадра заменяется найденной для него соответствующей областью второго кадра, которая смещается на место этого блока. Величины смещений по горизонтали и по вертикали определяются вектором движения. В результате из элементов второго кадра формируется оценка первого кадра или предсказанный первый кадр. Компенсация движения является одной из основ методов сжатия движущихся изображений MPEG-1 и MPEG-2, о которых речь пойдет далее. Разбиение кадра на прямоугольные блоки фиксированных размеров в большинстве случаев не позволяет точно описать и скомпенсировать движение объектов в изображении. Поэтому в последние годы большое внимание уделяется разработке более совершенных методов. В их числе методы, в которых используются блоки с переменными размерами и формами, а также градиентные методы оценки движения, позволяющие определить вектор движения для каждого элемента изображения, и методы, основанные на анализе трехмерного спектра движущегося изображения (две пространственные координаты и время).

Кодирование с предсказанием

Эффективным способом сжатия изображений при их цифровой обработке является кодирование с предсказанием. В случае применения кодирования с предсказанием или дифференциальной импульсно-кодовой модуляции (ДИКМ) по каналу связи передается разность между действительным значением текущего отсчета сигнала и значением этого же отсчета, предсказанным по предыдущим отсчетам. Структурная схема системы передачи информации с ДИКМ приведена на рис. 2.12.

Рис. 2.12. Структурная схема СПИ с ДИКМ.

Система содержит кодирующую часть (кодер) и декодирующую часть (декодер), между которыми может быть канал связи или устройство записи информации на какой-либо носитель. На вход кодера поступает последовательность отсчетов входного сигнала x(n). В предсказателе Pr (predictor) формируются предсказанные значения сигнала . В вычитающем устройстве определяется разность действительного x(n) и предсказанного значений сигнала, равная , называемая ошибкой предсказания. Затем сигнал S(n) поступает в квантователь Q. Уменьшение скорости передачи двоичных символов достигается за счет уменьшения в квантователе количества двоичных разрядов величины S(n), в результате чего получается передаваемый по каналу связи сигнал .