Методы компрессии цифрового телевизионного сигнала

Стандартом MPEG-2 предусмотрены следующие виды масштабируемости:

· по пространственному разрешению (Spatial Scalable),

· по отношению сигнал/шум (SNR Scalable),

· по времени (Temporal Scalable),

· по разделению данных (Data partitioning Scalable).

Каждый вид масштабируемости, взятый отдельно, предполагает наличие в потоке данных двух уровней. В случае использования одновременно двух или более видов масштабируемости число уровней в потоке данных может быть до трех.

Масштабируемость по пространственному разрешению заключается в получении от одного источника видеоинформации двух ТВ-сигналов с разными параметрами по разрешающей способности. Например, сигналов ТВ обычной четкости и ТВ высокой четкости. Базовый слой потока данных содержит информацию, достаточную для воспроизведения изображение обычной четкости. Дополнительный слой содержит данные, позволяющие дополнить воспроизводимое изображение до изображения высокой четкости. Важно отметить, что объем этих дополнительных данных меньше, чем полный объем данных об изображении высокой четкости, так как часть информации передается в базовом слое.

Пользователи, имеющие декодеры, способные декодировать оба слоя потока данных, и, следовательно, более сложные и дорогие, будут получать на экранах своих приемников изображение высокой четкости. Другие пользователи, имеющие более простые и дешевые декодеры для декодирования только базового слоя, также смогут смотреть эти передачи, но в виде изображения обычной четкости.

Масштабируемость по отношению сигнал/шум дает возможность получать от одного источника видеоинформации изображения с двумя уровнями отношения сигнал/шум и, следовательно, с двумя уровнями качества. Под шумом понимаются ошибки, вносимые квантованием и кодированием. Базовый слой потока данных может содержать изображение с большей степенью сжатия и, следовательно, менее качественное. Дополнительный слой при этом будет содержать данные, позволяющие при их добавлении к данным базового слоя получить изображение с меньшей степенью сжатия, т. е. более качественное.

Масштабируемость по времени позволяет получать от одного источника видеоинформации телевизионные изображения с двумя уровнями разрешающей способностью по времени. Например, базовый слой может содержать обычный ТВ-сигнал с частотой кадров 25 Гц и чересстрочной разверткой, а дополнительный слой - данные, позволяющие при их добавлении к данным базового слоя получить телевизионное изображение с частотой кадров 50 Гц и прогрессивной разверткой.

Масштабируемость по разделению данных позволяет использовать для передачи параллельно два канала связи. По одному из них, более помехозащищенному, передается базовый слой, содержащий наиболее критичную к ошибкам информацию - заголовки, векторы движения, коэффициенты ДКП, соответствующие низким пространственным частотам. По менее помехозащищенному каналу передаются менее критичные к ошибкам данные, например, коэффициенты ДКП, соответствующие высоким пространственным частотам.

Этот вид масштабируемости хорошо сочетается с предыдущими тремя видами, при использовании каждого из которых базовый слой потока данных может передаваться по более помехозащищенному каналу связи, а дополнительный слой - по менее помехозащищенному. Тогда при хороших условиях приема пользователь, имеющий декодер для обоих слоев, сможет видеть изображение наивысшего качества, а при ухудшении этих условий, например, при удалении от передатчика, он сможет принимать менее качественное изображение.

Следует отметить, что масштабируемость, заложенная в стандарте, пока редко встречается в практических реализациях цифровых телевизионных систем, однако она является важной предпосылкой их дальнейшего развития. Подход, основанный на масштабируемости, в последние годы стал характерным не только для цифрового телевидения, но и для многих других телекоммуникационных и информационных технологий.

Уровни и профили MPEG-2

В табл. 2.4 показаны различные варианты телевизионных систем и методов кодирования телевизионных сигналов, предусмотренные стандартом MPEG-2. Четыре строки таблицы соответствуют четырем уровням пространственного разрешения:

Low (352x280 элементов) - уровень телевидения пониженной четкости, используемый в видеотелефоне и технике телеконференций;

Main (720x576 элементов) - уровень телевидения обычного разрешения;

High-1440 (1440x1152 элементов) - уровень телевидения высокого разрешения с форматом экрана 4:3;

High (1920x1152 элементов) - уровень телевидения высокого разрешения с форматом экрана 16:9.

Таблица 2.4

Уровень			Профиль
	Простой (Simple)	Основной (Main)	Масштаб. поС/Ш (SNR Seal-able)	Пространственный (Spatially Scalable)	Высокий (High)
High 1920х1152	-	80 Мбит/с	-	-	100 Мбит/с
High-1440 1440х1152	-	60 Мбит/с	-	60 Мбит/с	80 Мбит/с
Main 720x576	15 Мбит/с	15 Мбит/с	15 Мбит/с	-	20 Мбит/с
Low 352х280	-	4 Мбит/с	4 Мбит/с	-	-
Кодирование компонентов	4:2:0	4:2:0	4:2:0	4:2:0	4:2:0 или 4:2:2
В-кадры	Нет	Есть	Есть	Есть	?
Масштабируемость	Нет	Нет	По С/Ш	По простр. разреш. и по С/Ш	По простр. разреш. и по С/Ш

Вертикальные столбцы таблицы соответствуют новой градации цифровых телевизионных систем - профилям. С переходом на более высокие профили, т. е. при продвижении по таблице слева направо, увеличивается эффективность используемых методов кодирования, появляются новые свойства телевизионной системы, в том числе масштабируемость, но, естественно, усложняются аппаратура и алгоритмы обработки сигналов.

В клетках таблицы даны максимальные значения скорости передачи двоичных символов для вариантов стандарта. В трех нижних строках таблицы приведены дополнительные сведения о свойствах профилей.

Рассмотренный метод кодирования относится к главному профилю (Main Profile). Как видно из таблицы, на главном уровне, соответствующем телевидению обычного разрешения, скорость передачи двоичных символов в канале связи достигает 15 Мбит/с. Сравнив это значение с исходным значением 216 Мбит/с, соответствующей параллельному стыку по Рекомендации 601 МККР, видим, что осуществляется сжатие потока информации примерно в 15 раз.

На более высоких уровнях главного профиля, соответствующих телевидению высокого разрешения, скорость передачи двоичных символов в канале связи возрастает до 60 или 80 Мбит/с. Следует особо подчеркнуть, что для всех уровней разрешения данного профиля используются один и тот же набор методов кодирования. В этом заключается совместимость разных уровней. На более высоких уровнях кодеры и декодеры должны иметь большее быстродействие и больший объем ЗУ. Аппаратура более высоких уровней разрешения может работать на более низких уровнях разрешения.

Перейдем к рассмотрению других профилей стандарта MPEG-2. Простой профиль (Simple Profile) отличается от главного профиля отсутствием В-кадров, что дает упрощение аппаратуры, но приводит к ухудшению качества изображения при той же скорости передачи двоичных символов. Данный профиль может использоваться для записи изображений на магнитные или лазерные диски и для других целей.

Высшие профили стандарта MPEG-2 характеризуются наличием масштабируемости, которая была рассмотрена ранее. Кроме того, на высших профилях возможно применение компонентного кодирования сигналов цветного телевидения с передачей цветоразностных сигналов не только через строку (4:2:0), но и в каждой строке (4:2:2). Таким образом, в стандарте MPEG-2 даны параметры семейства цифровых телевизионных систем для разных применений и с разным качеством изображения, имеющих в своей основе сходные методы кодирования изображения. По этому стандарту могут создаваться не только системы ТВ-вещания, но и другие системы, предназначенные для передачи движущихся изображений в цифровой форме: телеконференции, интерактивный видеосервис и мультимедиа и т. д.

Сравнение стандартов MPEG-1 И MPEG-2

Стандарт MPEG-2 является развитием и расширением стандарта MPEG-1. Поток видеоданных MPEG-2 содержит составляющие, которых нет в MPEG-1. По-видимому, наиболее важным отличием двух стандартов является наличие в MPEG-2 масштабируемости и всех связанных с ней особенностей.

В стандарте MPEG-1 нет принципиальных ограничений на размеры кодируемых изображений и на использование чересстрочной развертки по сравнению с MPEG-2. Тем не менее, MPEG-1 предназначен для сжатия движущихся изображений с прогрессивной разверткой, частотой кадров до 30 Гц, числом строк до 576 и числом элементов в строке до 720 в поток данных со скоростью передачи двоичных символов до 1856000 бит/с.

На практике же MPEG-1 обычно используется для сжатия движущихся изображений размером 360x240 элементов с прогрессивной разверткой (формат SIF). Такое сжатие позволяет записывать видеопрограммы с некоторой потерей четкости на компакт-диски и воспроизводить их на ПК, выполняя декодирование в реальном времени чисто программными средствами.

Группа MPEG начинала работу над стандартом MPEG-3, определяющим методы сжатия для телевидения высокой четкости (ТВЧ). Однако в процессе работ над стандартом MPEG-2 в него были включены уровни, соответствующие ТВЧ (см. табл.2.4), поэтому необходимость в стандарте MPEG-3 отпала

Далее приведен перечень характерных искажений изображений, возникающих в результате кодирования по стандартам MPEG-1 или MPEG-2 при достаточно больших степенях сжатия [2].

Искажения, создаваемые внутрикадровым кодированием.

1.Заметность границ блоков (блокинг-эффект).

Так как соседние блоки кодируются и декодируются независимо друг от друга, то при больших степенях сжатия после квантования и деквантования в них могут получаться заметно различающиеся коэффициенты ДКП, соответствующие постоянным и низкочастотным составляющим. В результате изображения в соседних блоках могут сильно отличаться друг от друга по яркости, цвету, характеру деталей и текстуры.

2.Размытие изображения.

Наблюдается при большом коэффициенте сжатия изображения. Обусловлено ограничением либо полным обнулением коэффициентов ДКП, соответствующих высоким пространственным частотам, в результате чего мелкие детали изображения становятся размытыми или полностью пропадают. 3.Появление окантовок на резких переходах яркости изображения. Этот эффект обусловлен значительными искажениями либо полным подавлением высокочастотных составляющих пространственного спектра. 4.Размытие цветов. Имеет ту же причину, что и эффект окантовки на границах, но проявляется на участках изображения с резкими скачками в сигнале яркости.

5.Эффект ступенек. Возникает как результат неправильного восстановления или передачи краев изображений внутри блока. Эффект проявляется, как правило, при восстановлении изображения в увеличенном масштабе.

Искажения, создаваемые межкадровым кодированием

1.Ложные границы. Наблюдаются при компенсации движения. Этот эффект является прямым следствием межкадрового кодирования видеосигнала.

2.Эффект "комаров".

Проявляется как флуктуации яркости или цветности в блоке на границе между движущимся объектом и фоном. Эффект возникает вследствие различной степени квантования ошибок предсказания от кадра к кадру.

3.Зернистый шум в стационарной области. Проявляется как медленно движущиеся мерцающие шумы низкой интенсивности в областях, в которых имеется лишь малое движение, либо движение отсутствует полностью.

Появление неправильных цветов в макроблоке по отношению к его исходным цветам и к цветам окружающей области.

Появление следов за движущимися объектами, которые могут сохраняться сравнительно долго.

Какие же степени сжатия реально достижимы при использовании MPEG-2? За исходную скорость передачи двоичных символов возьмем 216 Мбит/с, что соответствует Рекомендации 601 при формате дискретизации 4:2:2. При переходе к формату 4:2:0, который используется для телевизионного вещания "Main Profile / Main Level", скорость передачи двоичных символов сокращается до величины 162 Мбит/с, относительно которой и будем определять степень сжатия.

В технических журналах отмечалось, что на практике для получения студийного качества принятого изображения можно сжимать видеоинформацию до скорости передачи 9 Мбит/с, т. е. в 18 раз. Для получения качества изображения, сравнимого с обычным изображением по системе PAL - до 4...5 Мбит/с, т. е. в 30-40 раз. Качество изображения, сопоставимое с получаемым при воспроизведении видеозаписей стандарта VHS, достигается при сжатии до уровня около 1,5 Мбит/с, т. е. более чем в 100 раз.

Кодирование и декодирование звукового сопровождения в стандартах MPEG-1 и MPEG-2

Методы сжатия звука, используемые в стандартах MPEG-1 и MPEG-2, основаны на учете свойств человеческого слуха и относятся к методам сжатия с частичной потерей информации. При сжатии отбрасывается значительная часть информации, но качество воспроизводимого звука остается достаточно высоким. Следовательно, сжатие достигается в основном за счет уменьшения психофизиологической избыточности.

В соответствии со стандартами MPEG-1 и MPEG-2 частота дискретизации входных звуковых сигналов может принимать значения 48,0, 44,1 и 32,0 кГц. В MPEG-2 дополнительно предусмотрены значения 24,0, 22,05 и 16 кГц [2, 4]. MPEG-1 позволяет кодировать два звуковых сигнала, что дает стереофонический звук, a MPEG-2 - пять звуковых сигналов (левый, центральный, правый, левый тыловой и правый тыловой), что обеспечивает объемное звучание (Surround). Указанные дополнительные возможности MPEG-2 достигаются введением дополнительных составляющих, называемых расширениями (extension) в поток данных на выходе кодера. Помимо указанных выше, MPEG-2 предусматривает расширение для дополнительного канала низких звуковых частот (subwoofer) и расширение для многоязычного звукового сопровождения (до семи каналов).

В MPEG-1 и в MPEG-2 есть три уровня кодирования звуковой информации (Layer I, Layer II и Layer III), которые имеют общую основу, но различаются между собой сложностью применяемых средств обработки и достигаемой степенью сжатия, причем оба эти показателя растут с ростом номера уровня. Декодер более высокого уровня может декодировать поток данных, созданный кодером более низкого уровня, но не наоборот.

На структурной схеме кодера звуковой информации, приведенной на рис. 2.22, показаны блок разложения на частотные поддиапазоны (РПд), блок квантования и кодирования (Кв. и Код.), блок формирования потока данных (ФПД) и блок психоакустической модели (ПАМ).



Рис. 2.22. Структурная схема кодера звука MPEG-2.

Входной цифровой звуковой сигнал разделяется на кадры (frame), каждый из которых кодируется и декодируется независимо от других кадров (Layer I и Layer II) или с учетом некоторых данных из предыдущих кадров (Layer III). Размер кадра 384 отсчета для Layer I и 1152 отсчета для Layer II и Layer III.

В MPEG-I и MPEG-2 используется кодирование звуковых сигналов с разложением на частотные поддиапазоны. Число частотных поддиапазонов равно 32. Все поддиапазоны имеют одинаковую ширину, которая зависит от частоты дискретизации входного сигнала. После разделения частота дискретизации уменьшается в 32 раза, так что число отсчетов в кадре в каждом поддиапазоне равно 12 для Layer I и 36 для Layer II и Layer III.

На всех уровнях разделение на поддиапазоны выполняется блоком цифровых фильтров. На уровне Layer III после фильтрации применяется модифицированное дискретное косинусное преобразование (МДКП). Отличия МДКП от обычного ДКП здесь не рассматриваются. Сочетание обычных фильтров и МДКП называется блоком гибридной фильтрации (hibrid filterbank). В результате МДКП в каждом поддиапазоне каждого кадра выделяются 18 частотных составляющих, представляемых коэффициентами МДКП, которые обрабатываются. Некоторые параметры выполнения МДКП и обработки получаемых коэффициентов могут изменяться в зависимости от свойств сигнала. Это позволяет уменьшить искажения, возникающие при разложении на поддиапазоны и дискретизации.

Затем выполняется квантование данных. Предварительно определяются масштабные множители (scalefactor). Для уровней Layer I и Layer II масштабный множитель зависит от максимального значения сигнала. При этом для Layer I масштабный множитель определяется для каждого поддиапазона в кадре, т. е. для 12 отсчетов сигнала поддиапазона. Для Layer II масштабные множители определяются для групп по 12 отсчетов в каждом поддиапазоне, причем множитель может быть общим для двух или трех групп. Таким образом, для каждого поддиапазона в кадре определяется до трех масштабных множителей. Перед квантованием значения сигнала делятся на соответствующие масштабные множители.

Затем в блоке квантования и кодирования выполняется квантование данных. В основе сжатия звуковой информации на уровнях Layer I и Layer II лежит метод, называемый адаптивным распределением битов (adaptive bit allocation). Этот метод заключается в выполнении квантования с различным числом двоичных разрядов квантования для разных частотных поддиапазонов. При этом используется равномерное квантование. Полное число битов, выделяемых на все поддиапазоны в данном кадре, зависит от частоты дискретизации входного сигнала и от заданной выходной скорости передачи двоичных символов, т. е. от требуемой степени сжатия звуковой информации. Распределение битов по поддиапазонам осуществляется блоком ПАМ (см. ниже).

На уровне Layer III данными, подлежащими квантованию, являются не отсчеты сигналов поддиапазонов, а коэффициенты МДКП. В каждом поддиапазоне эти коэффициенты разделяются на блоки (scalefactor bands), для каждого из которых определяется масштабный множитель, на который делятся коэффициенты данного блока. Далее производится квантование по неравномерному закону. Разделение коэффициентов на блоки, выбор множителей и параметров квантования осуществляется блоком ПАМ так, чтобы минимизировать заметность искажений звука, создаваемых квантованием.

После квантования на уровнях Layer II и Layer III выполняется кодирование полученных данных (на уровне Layer I дополнительное кодирование результатов квантования не производится).

На уровне Layer II квантованные отсчеты сигнала в каждом поддиапазоне объединяются по три, и полученные последовательности битов кодируются с использованием таблиц кодов с переменной длиной. Кроме того, на этом уровне кодируются с помощью соответствующих таблиц данные о распределении битов по поддиапазонам и данные о масштабных множителях.

На уровне Layer III квантованные коэффициенты МДКП кодируются по Хаффмену с использованием одной из 18 предусмотренных в стандартах таблиц кодирования. Выбор таблицы осуществляется под управлением ПАМ. Значительное сжатие данных в результате кодирования основано на том, что после квантования многие коэффициенты МДКП становятся малыми величинами или нулями (это напоминает метод кодирования, использованный в JPEG).

Кроме того, на уровне Layer III кодируются с использованием соответствующих таблиц данные о масштабных множителях, о разделении частотных поддиапазонов на блоки и т.д. Главным отличием Layer III является использование блока психоакустической модели.

Блок психоакустической модели (ПАМ) управляет квантованием и кодированием, определяя параметры выполняемых при этом операций так, чтобы обеспечить наименьшую заметность искажений, создаваемых квантованием (шумов квантования). В стандартах MPEG-1, MPEG-2 предусмотрены два варианта ПАМ, отличающиеся числовыми параметрами.

Одним из факторов, учитываемых в ПАМ, является различная чувствительность слуха на разных частотах. Наибольшая чувствительность характерна для частот 2...4 кГц, поэтому для поддиапазонов, попадающих в эту область, необходимо выделять больше битов, чтобы обеспечить более точное квантование. Ближе к обоим концам диапазона слышимых частот чувствительность слуха уменьшается, поэтому для соответствующих частотных поддиапазонов можно выделять меньше битов, т. е. осуществлять более грубое квантование.

Кроме того, алгоритм работы ПАМ учитывает явление маскирования (или маскировки) одних звуков другими. Громкие звуки маскируют имеющиеся одновременно с ними более тихие звуки в других частотных поддиапазонах, причем чем дальше по частоте отстоит маскируемый тихий звук от маскирующего громкого звука, тем слабее сказывается эффект маскирования. Например, если маскирующий звук имеет частоту 1000 Гц, а маскируемый звук -1100 Гц, то последний не будет слышен, если разница в уровнях громкости составляет не менее 18 дБ. Если же маскируемый звук имеет частоту 2000 Гц, то для полной маскировки необходима разница уровней громкости не менее 45 дБ. Помимо этого, громкий звук маскирует звуки, следующие за ним в интервале времени до 100 мс, и даже звуки, опережающие его на 4...5 мс.

Чтобы выполнить распределение битов в блоке ПАМ анализируется спектр исходного звукового сигнала (не разложенного на поддиапазоны). Для этого производится быстрое преобразование Фурье участков этого сигнала по 512 (Layer I) или по 1024 (Layer II и Layer III) отсчетов, после чего вычисляются спектр мощности звукового сигнала и величины звукового давления в каждом частотном поддиапазоне.

Затем анализируются тональные (синусоидальные) и нетональные составляющие звукового сигнала, определяются локальные и глобальный пороги маскировки и вычисляются отношения сигнал/маскирующий сигнал для всех поддиапазонов, на основании которых производится распределение битов по поддиапазонам (Layer I и Layer II) или выбор параметров обработки коэффициентов МДКП (Layer III).

В тех поддиапазонах, в которых искажения звука, вызываемые квантованием, менее заметны для слушателя или маскируются большим уровнем сигнала в других поддиапазонах, квантование делается более грубым, т. е. для этих поддиапазонов выделяется меньше битов. Для полностью маскируемых поддиапазонов битов совсем не выделяется. Благодаря этому удается существенно уменьшить количество передаваемой информации при сохранении достаточно высокого качества звука. Как уже отмечалось, ширина поддиапазонов одинакова. Например, если частота дискретизации равна 44,1 кГц, то каждый поддиапазон имеет ширину 690 Гц. В то же время ширина диапазона частот, в котором маскирование сказывается одинаково (критического диапазона - critical band) зависит от положения этого диапазона на оси частот. На частотах порядка 100 Гц ширина критического диапазона около 50 Гц, а на частотах порядка 10 кГц - почти 1,5 кГц. Поэтому разделение сигнала на одинаковые частотные поддиапазоны неоптимально с точки зрения получения наилучшего качества звука, хотя и наиболее удобно для реализации.

На уровне Layer III сигнал каждого поддиапазона проходит МДКП, каждый коэффициент которого представляет частотную составляющую. Всего таких составляющих 18 в каждом поддиапазоне. Шаг по оси частот, таким образом, уменьшается в 18 раз, т. е. до примерно 38 Гц при частоте дискретизации 44,1 кГц. Это меньше ширины самого узкого критического диапазона. В пределах одного частотного поддиапазона блоки коэффициентов МДКП (scalefactor bands) могут квантоваться по-разному, что позволяет более точно учесть маскирование на разных частотах. Это позволяет говорить об увеличении разрешения по частоте в 18 раз, достигаемом на Layer III.

Рассмотрим структуру потока данных звуковых сигналов. Формирование потока данных осуществляется в блоке ФПД (рис. 2.22). Самой крупной структурной единицей потока данных является звуковая последовательность (Audio Sequence), которая состоит из произвольного числа кадров и не имеет собственного заголовка.

Кадр начинается с заголовка, структура которого одинакова для MPEG-1 и MPEG-2. Заголовок содержит синхрослово, данные об уровне кодирования, о частоте дискретизации кодируемых звуковых сигналов, о скорости передачи двоичных символов в потоке данных, о режиме кодирования (стерео, два независимых сигнала и т.д.) и другую информацию.

Далее в кадре следует область звуковых данных, в которой сначала следуют данные для контроля ошибок, затем данные о распределении бит, о масштабных множителях и, наконец, кодированные данные о сигналах по частотным поддиапазонам.

При использовании MPEG-2 далее может следовать расширение, содержащее данные дополнительных звуковых каналов.

При декодировании звуковых данных входные данные поступают на блок распаковки потока данных (РпПД), в котором по синхрословам выделяются отдельные кадры, поступающие затем на блок декодирования и деквантования [2]. Данные, содержащиеся в кадре, декодируются в соответствии с порядком их следования и таблицами кодов, которые содержатся в программе работы декодера. Декодированные данные о распределении битов и о масштабных множителях используются для декодирования и деквантования звуковых данных. После деквантования на уровнях Layer I и Layer II отсчеты сигналов поддиапазонов умножаются на соответствующие масштабные множители. На уровне Layer III выполняется обратное МДКП.

После декодирования и деквантования отсчеты сигналов всех поддиапазонов объединяются в выходной цифровой звуковой сигнал, или несколько сигналов, если звук многоканальный.

Аппаратные и программные реализации декодера значительно проще, чем реализации кодера, так как в декодере не требуется психоакустическая модель. Так декодирование стереофонического звука, сжатого с применением уровня Layer III, производится в реальном времени программными средствами на обычном ПК, в то время как для выполнения соответствующего кодирования необходимо сначала записать звуковой сигнал в несжатом виде в файл, а затем осуществить сжатие, что занимает существенно большее время, чем воспроизведение.

Особенностью стандартов MPEG-1 и MPEG-2 является возможность многоканального кодирования звука.

Стандарт MPEG-1 допускает четыре режима кодирования:

обычный (независимый) стереофонический режим (stereo), в котором сигналы двух каналов кодируются независимо друг от друга;

соединенный стереофонический режим (joint_stereo), в котором для увеличения степени сжатия кодируются, например, не сами сигналы левого и правого каналов, а их сумма и разность либо передаются данные одного канала полностью и данные об отличии звука во втором канале;

- два совершенно независимых звуковых сигнала (dual_channel);

- один звуковой сигнал - моно (single_channel).

Стандарт MPEG-2 дает возможность кодировать до пяти каналов звука: L - левый, R - правый, С - центральный, LS - левый тыловой и RS - правый тыловой. При этом возможны варианты, отличающиеся числом кодируемых каналов и расположением источников звука в пространстве, например, два передних канала и два тыловых, три передних и один тыловой и т.д. Возможно также расширение для кодирование отдельного канала НЧ эффектов.

Для увеличения степени сжатия многоканального звука в MPEG-2 предусмотрено использование адаптивного кодирования с предсказанием сигналов каналов, данные о которых помещаются в расширения кадров, а также некоторые другие средства уменьшения межканальной избыточности звуковой информации.

Достижимое качество звука: для MPEG-1 и для MPEG-2 в случае отсутствия расширений потоки сжатых звуковых данных имеют следующие диапазоны значений скорости передачи двоичных символов:

Layer I - 32...448 кбит/с (обычно 192 кбит/с на канал);

Layer II - 32...384 кбит/с (обычно 128 кбит/с на канал);

Layer III - 32...320 кбит/с (обычно 64 кбит/с на канал).

В случае кодирования по стандарту MPEG-2 звуковых сигналов с частотами дискретизации 16, 22,05 и 24 кГц минимальные и максимальные значения скорости передачи двоичных символов уменьшаются в два и более раз, причем самая минимальная скорость передачи равна 8 кбит/с. Если же кодируется многоканальный звук, и выходной поток данных содержит соответствующие расширения, то максимальные значения скорости передачи двоичных символов в MPEG-2 увеличиваются до примерно 1000 кбит/с.

Кодер вносит задержку в распространение данных, так как, во-первых, при выполнении операций кодирования требуется иметь в ЗУ кодера определенное число последних отсчетов звукового сигнала, а во-вторых выполнение требуемых вычислительных операций над этими отсчетами занимает некоторое время. Минимальные длительности задержек для Layer I- 50 мс, для Layer II -100 мс, для Layer III - 150 мс, однако задержки в реальных кодерах могут быть значительно больше, что повлечет снижение разборчивости речи

При одной и той же скорости передачи двоичных символов в выходном потоке данных кодирование более высокого уровня обеспечивает более высокое качество воспроизводимого звука. Это обусловлено тем, что более точно учитываются свойства сжимаемого сигнала, более гибко изменяются параметры квантования, а на уровне Layer III значительно повышается разрешающая способность по частоте. Значения, указанные в скобках как обычные, соответствуют качеству звука, сопоставимому с качеством звучания обычных (записанных без сжатия) компакт-дисков.

Уровень кодирования Layer III обеспечивает сжатие до 64 кбит/с на канал, т. е. примерно в 11-12 раз. Этот уровень используется при записи получивших широкое распространение компьютерных музыкальных дисков, обеспечивающих при воспроизведении с помощью ПК 10...11 часов высококачественного звука. Записанные файлы со сжатой звуковой информацией обычно имеют расширение "mрЗ", а на дисках или их упаковках часто написано "MPEG-3", что, как следует из изложенного выше, неправильно.

Системный уровень MPEG-2 Перейдем к рассмотрению системной части стандарта MPEG-2, которая описывает форматы мультиплексированных потоков данных, объединяющих сжатые видеоданные и данные звукового сопровождения от одного или нескольких источников, а также включающих другие виды информации [2, 4].

Стандартом предусмотрено два вида таких мультиплексированных потоков: транспортный поток (Transport Stream - TS) и программный поток (Program Stream).

На рис. 2.23. показана структурная схема процесса формирования транспортного потока. Видеосигналы, т. е. яркостный и цветоразностные сигналы данной телевизионной программы, а также сигналы одного или нескольких каналов звукового сопровождения данной программы преобразуются в цифровую форму в АЦП и кодируются в соответствующих кодерах, как это было описано выше. Потоки данных на выходах кодеров называются элементарными потоками (ES - Elementary Stream)

Рис. 2.23. Формирование транспортного потока MPEG-2.

В блоках, называемых пакетизаторами, данные разделяются на пакеты - блоки данных, начинающиеся с заголовков определенной структуры. Получающиеся потоки называются пакетизированными элементарными потоками (PES). В каждом пакете в PES объединены данные, относящиеся к структурной единице входного сигнала, например к телевизионному кадру или к кадру сжатого звукового сигнала. Размеры пакетов PES могут быть разными.

Пакетизированные элементарные потоки нескольких телевизионных программ, а также передаваемых дополнительных данных и сигналов управления объединяются в единый транспортный поток (TS - Transport Stream). При этом данные перераспределяются в пакеты TS, имеющие фиксированную длину 188 байт и определенную структуру заголовка (стартовой синхрогруппы пакета), занимающего 4 байта. Следует отметить, что транспортный поток может содержать и всего один элементарный поток, но фиксированная длина пакетов TS сохраняется. Далее транспортный поток проходит кодер канала (на рис. 2.23 не показан), в котором выполняется помехоустойчивое кодирование, и передается по каналу связи.

Каждый пакет TS начинается с идентификатора пакета (PID), который определяет его тип и принадлежность находящихся в нем данных к одному из передаваемых элементарных потоков. Каждый пакет может содержать данные только одного элементарного потока. Пакеты с данными разных элементарных потоков передаются в транспортном потоке в произвольном порядке.

Специальные пакеты типов PAT (Program Association Table) и PMT (Program Map Table) несут информацию о том, какие значения идентификаторов соответствуют тому или иному элементарному потоку. В особых пакетах в среднем 10 раз в секунду передаются метки времени (PCR -- Program Clock Reference), содержащие значения моментов времени по часам в передающей части системы. По этим меткам в декодирующей аппаратуре восстанавливаются тактовые частоты каждого отдельного элементарного потока, которые между собой, вообще говоря, не синхронизированы, хотя и имеют стандартное значение 27 МГц ± 1350 Гц.

Структурная схема приема и декодирования транспортного потока приведена на рис. 2.24. На вход поступает поток данных из канала связи, который преобразуется декодером канала в транспортный поток TS. В блоке декодирования и демультиплексирования (Декодер и ДМп TS) из транспортного потока извлекаются пакеты PAT и РМТ, из которых получают идентификаторы пакетов, содержащих данные требуемых элементарных потоков. Далее пакеты с такими идентификаторами извлекаются из транспортного потока, распаковываются, и из содержащихся в них данных формируются элементарные потоки видео и звуковой информации, поступающие на соответствующие декодеры.

Рис. 2.24. Структурная схема приема и декодирования транспортного потока MPEG-2.

В блоке синхронизации (Синхр.) имеются генераторы тактовых импульсов для видео и звукового декодеров. Подстройка частот этих генераторов производится по меткам времени PCR так, чтобы число тактовых импульсов, сформированных в декодере между двумя метками, соответствовало интервалу между моментами, зафиксированными в этих метках. Благодаря этому обеспечиваются правильные длительности интервалов времени в декодируемой телевизионной программе. Если одновременно должны декодироваться несколько элементарных потоков с разными временными базами (несколько независимых телевизионных программ), то эти потоки приводятся к одной временной базе.

Программный поток MPEG-2 аналогичен системному уровню стандарта MPEG-1 и содержит элементарные потоки одной телевизионной программы или нескольких программ, имеющих общую временную базу, т. е. взаимно синхронизированных. Длины пакетов программного потока могут быть различными. Структурные схемы формирования и приема программного потока похожи на приведенные выше схемы для транспортного потока. Программный поток может быть преобразован в транспортный поток. Возможно и обратное преобразование. Транспортный поток рекомендуется использовать при передаче по каналам связи с помехами, а программный поток - при отсутствии помех.

Следует также отметить, что синтаксис транспортного и программного потоков позволяет обеспечивать условный (ограниченный, по паролю) доступ к передаваемой информации, хотя непосредственно в стандарте MPEG-2 средства решения этой задачи не определены.

Сжатые по стандартам MPEG-1, MPEG-2 видео- и аудиоданные могут также записываться в файлы. Видеопрограммы, сжатые по MPEG-1, записываются на компьютерные видеодиски, а сжатые по MPEG-2 - на диски DVD.

2.2.3 Стандарт кодирования видео- и звуковой информации MPEG-4

Кодирование изображений. Новым проектом группы MPEG является стандарт MPEG-4. Работы по этому проекту были начаты в июле 1993 г. Рабочий проект был закончен в ноябре 1996 г. и согласован на уровне Комитета Международной организации по стандартизации в ноябре 1997 г. Большинство документов, входящих в стандарт MPEG-4, были приняты в конце 1998 - начале 1999 годов [4]. В 1999 г. появилась вторая версия MPEG-4.

Стандарт MPEG-4 охватывает следующие области:

цифровое телевидение и видеосвязь;

интерактивную графику, синтез изображений;

-интерактивные мультимедийные приложения, в том числе передаваемые через Интернет.

Стандарт MPEG-4 позволяет передавать видео- и звуковую информацию с очень большими коэффициентами сжатия по узкополосным каналам связи, что необходимо как в системах видеосвязи при использовании обычных телефонных сетей и относительно низкоскоростных цифровых каналов (64 кбит/с), так и для передачи движущихся изображений и звукового сопровождения через Интернет. Кроме того, новый стандарт обеспечивает интерактивность, т. е. возможность для пользователя управлять процессом передачи ему информации путем запросов, выбора вариантов и других действий. Таким образом, стандарт MPEG-4 является важным шагом на пути к интерактивному телевидению будущего.

Важнейшей особенностью MPEG-4 является объектно-ориентированный подход, сущность которого заключается в том, что передаваемое изображение со звуковым сопровождением представляется как совокупность видео- и аудио- объектов.

Видеообъектами (VO - visual object) могут быть изображения людей и предметов, перемещающихся перед неподвижным фоном, и сам неподвижный фон. Обычное телевизионное изображение может быть единым видеообъектом. Аудиообъектами (АО - audio object) могут быть голоса людей, музыка, другие звуки. Связанные видео- и аудиообъекты, например, изображение человека и его голос, образуют аудио-визуальный объект (AVOs - audio-visual object). Видео- и аудиообъекты составляют сцену. MPEG-4 содержит специальный язык для описания сцен - BIFS (Binary Format for Scenes - двоичный формат для сцен).

Описание сцены имеет иерархическую структуру. На рис. 2.25 приведен пример структуры описания сцены [2], в которой Шерлок Холмс и доктор Ватсон беседуют в комнате на Бейкер-стрит. Верхним уровнем структуры является сцена в целом. Она содержит неподвижный фон, образованный изображениями стен, мебели и т.д. В сцене присутствуют два персонажа, каждый из которых является аудиовизуальным объектом, включающим видеообъект - движущееся изображение персонажа, и аудиообъект - голос этого персонажа. Кроме того, в сцене присутствует камин, который также является аудиовизуальным объектом, включающим видеообъект изображение непрерывно движущегося огня, и аудиообъект -звуки, исходящие от камина.



Рис. 2.25. Пример структуры описания сцены.

Описание каждой сцены включает данные о координатах объектов в пространстве и об их привязке ко времени. Видеообъекты могут размещаться в разных плоскостях видеообъектов (VOP -video object plane), так что видеообъекты, находящиеся в более близких к зрителю плоскостях сцены перекрывают при движении видеообъекты, находящиеся в более дальних плоскостях.

Сцена, представляемая пользователю, может содержать все объекты, информация о которых поступает в принимаемом потоке данных, или только часть этих объектов. Состав сцены может определяться поставщиком мультимедийной продукции, например, в зависимости от суммы денег, заплаченных пользователем. В интерактивном режиме пользователь может влиять на развитие сцены, подавая соответствующие команды. MPEG-4 позволяет также передавать пользователю дополнительную информацию об объектах, которая может отображаться, например, в виде окна с текстом, появляющегося, когда пользователь выбрал с помощью "мышки" какой-либо объект в сцене.

Ясно, что для реализации интерактивных возможностей MPEG-4 необходим не обычный телевизор, а ПК, подключенный к Интернет.

В отличие от MPEG-1, MPEG-2 в которых применяется фиксированный алгоритм кодирования, в MPEG-4 используется целый набор методов кодирования, включающий как алгоритмы, сходные с применяемым в MPEG-1, MPEG-2, так и принципиально новые методы кодирования, основанные на понятии видеообъекта. Выбор того или иного метода кодирования в конкретном случае определяется характером изображения и требуемым коэффициентом сжатия информации. MPEG-4 позволяет эффективно сжимать как натуральные, так и синтетические изображения и объединять их при воспроизведении.

Обобщенная структурная схема видеокодера MPEG-4 для натуральных изображений приведена на рис. 2.26.

Рис. 2.26. Структурная схема видеокодера MPEG-4.

На схеме обозначены ДКП - блок прямого дискретного косинусного преобразования; ДКГП - блок обратного дискретного косинусного преобразования; Кв - квантователь; Кв~' - деквантователь, т. е. блок, выполняющий обратную квантованию операцию; ЗУ - запоминающее устройство; Пред.1, Пред.2 - блоки, выполняющие формирование предсказанных изображений в разных режимах кодирования; ОД - блок оценки движения и формирования векторов движения; Мп - мультиплексор; БЗУ - буферное запоминающее устройство; У КС - блок управления коэффициентом сжатия изображения. Кроме того, на схеме показаны блоки "Кодер формы" и "Кодер текстур", сумматор, вычитающее устройство и переключатель "Выбор", с помощью которого осуществляется подключение одного из блоков предсказания в зависимости от используемого метода кодирования. Данная схема является упрощенной и не показывает многие блоки и связи. На вход кодера поступают исходные видеоданные, например, цифровой телевизионный сигнал. На выходе кодера формируется элементарный поток видеоданных.

Кратко рассмотрим основные методы кодирования натуральных изображений.

1.Видеообъекты, представляющие собой прямоугольные изображения (например, обычные ТВ кадры), кодируются методом, аналогичным применяемому в MPEG-1, MPEG-2, т. е. с использованием гибридного кодирования. Метод включает предсказание с оценкой и компенсацией движения для макроблоков 16x16 пикселей и ДКП ошибки предсказания в блоках 8x8 пикселей. Для определенности будем считать, что предсказание в этом случае выполняется в блоке Пред.1. Связь выхода блока ОД с мультиплексором и средства управления коэффициентом сжатия на рис. 2.26 не показаны. Этот вид кодирования имеет два уровня по скорости передачи двоичных символов в выходном потоке данных.

Уровень очень низкой скорости передачи VLBV (Very Low Bitrate Video) предназначен для передачи изображений с низким пространственным разрешением (форматы QCIF и SQCIF) и пониженной частотой кадров (10... 15 Гц) по узкополосным каналам связи со скоростями передачи двоичных символов 5...64 кбит/с. Этот уровень может использоваться в видеотелефонной связи с невысоким качеством изображения.

Уровень высокой скорости передачи (High bitrate) предназначен для передачи изображений с более высоким пространственным разрешением, вплоть до формата по Рекомендации 601, по различным каналам связи со скоростями передачи двоичных символов 64 кбит/с... 10 Мбит/с. Этот уровень может использоваться в видеосвязи с высоким качеством изображения и для передачи телевизионных программ. 2.Кодирование, основанное на содержании (content-based coding), позволяет получить существенно большее сжатие изображений за счет учета свойств видеообъектов, присутствующих в сцене. Одной из возможностей, создаваемых этими методами, является кодирование видеообъектов сложной формы. Например, в качестве видеообъекта может быть взята область изображения, отличающаяся от окружения яркостью или цветом. Эта область может перемещаться и деформироваться. При формировании предсказанного изображения с компенсацией движения смещаются не прямоугольные макроблоки, а выделенные области, которые к тому же могут изменять свою форму. При этом ошибка предсказания оказывается значительно меньше, и объем информации, содержащейся в разности предсказанного и настоящего изображений очередного кадра, существенно уменьшается. В кодере, показанном на рис. 2.26, такой вариант предсказания выполняется в блоке Пред.2.

В то же время, вместо векторов движения, показывающих перемещение прямоугольного макроблока как целого, необходимо передать параметры, характеризующие изменения координат и формы видеообъекта. Эти параметры определяются и кодируются в Кодере формы, после чего они включаются через мультиплексор Мп в выходной поток данных.

Данные о форме видеообъекта занимают значительно больше двоичных символов, чем простой вектор движения. Например, если граница области, выделенной как видеообъект, аппроксимируется многоугольником, то для описания смещения и деформации этой области необходимо передать изменения координат всех углов многоугольника. Тем не менее, общий выигрыш в уменьшении объема передаваемой информации по сравнению с MPEG-1, MPEG-2 оказывается существенным.

3. Для сжатия изображений неподвижного фона и текстур протяженных сбъектов используется метод кодирования, основанный на вэйвлет-преобразовании. Этот метод обеспечивает высокие степени сжатия и многоступенчатую масштабируемость по пространственному разрешению.

Перейдем к методам кодирования синтетических видеообъектов, создаваемых с использованием средств машинной графики. Такие видеообъекты могут кодироваться рассмотренными выше методами для натуральных изображений. Однако значительно эффективнее использовать их параметрическое описание.

В стандарте MPEG-4 используется модель человеческого лица, построенная на основе сетки из треугольных ячеек, которые заполняются текстурой. Имеется также трехмерная модель человеческого тела в виде трехмерной сетки. Двумерные изображения человека получаются путем построения проекции трехмерной модели на нужную плоскость.

Форма, текстура и выражение лица в статике описываются параметрами FDP (Facial Definition Parameters), а в динамике - параметрами FAP (Facial Animation Parameters). Для тела в статике задаются параметры BDP (Body Definition Parameters), а в динамике - ВАР (Body Animation Parameters). Статические параметры FDP и BDP передаются в начале сеанса связи. Для воспроизведения мимики лица и движений тела собеседника в процессе разговора передаются динамические параметры FAP и ВАР.

Синтетические изображения лица и тела человека могут использоваться в системах видеосвязи вместо настоящих изображений собеседника. Передача параметров модели требует существенно меньшей скорости передачи двоичных символов, чем передача реального изображения.

В некоторых случаях можно в приемной части системы получить информацию об изменениях изображения объекта на основе другой информации. Такой случай характерен для передачи изображения лица говорящего человека. Движения рта и мимика во многом определяются произносимыми словами и могут быть синтезированы на основе принятого звукового сигнала, содержащего голос собеседника. При этом требуемая для осуществления видеосвязи скорость передачи двоичных символов еще уменьшается. Помимо лица и тела могут синтезироваться произвольные двумерные изображения также в виде сеток с треугольными ячейками, заполняемыми текстурой.

Стандартом MPEG-4 обеспечивается многоуровневая масштабируемость по пространственному разрешению, по времени и по качеству изображения. В стандарте предусмотрены средства, обеспечивающие работоспособность системы передачи видеоинформации при наличии помех и ошибок в канале связи. Эти вопросы здесь подробно не рассматриваются.

Кодирование аудиообъектов.

Кодирование звуковой информации в MPEG-4 также может осуществляться разными способами, дающими различные объемы передаваемых данных и различное качество звука на выходе системы. Предусмотрено три уровня кодирования.

1. Кодирование музыки с обеспечением высокого и среднего качества выполняется тем же методом, что и в стандарте MPEG-2. При этом обеспечивается передача до восьми каналов звука при скорости передачи двоичных символов 16...64 кбит/с на канал.

Для передачи речи с высоким и средним качеством используется метод кодирования CELP (Code Excited Linear Predictive - кодирование возбуждений с линейным предсказанием), который обеспечивает скорости передачи 6...24 кбит/с при частотах дискретизации 8 кГц или 16 кГц.

Параметрическое кодирование речи, которое обеспечивает сжатие при сохранении разборчивости до скоростей 2...4 кбит/с при частоте дискретизации 8 кГц.

Самые низкие скорости передачи 0,2... 1,2 кбит/с достигаются для искусственно синтезированной речи и синтезированной в соответствии со стандартом MIDI музыки.

Кодирование аудиообъектов также обладает свойством масштабируемости. Например, на основном уровне потока данных может использоваться метод кодирования CELP, а дополнительный уровень обеспечивает качество звука, соответствующее кодированию по MPEG-2. Более сложный и дорогой декодер может декодировать основной и дополнительные слои потока данных и позволяет получать более высокое качество воспроизводимого звука, чем более простой и дешевый декодер, воспринимающий только основной уровень потока данных.

Передача данных

Структурная схема формирования передаваемых потоков данных в стандарте MPEG-4 приведена на рис. 2.27. Элементарные потоки ES (Elementary Streams) с видео- и аудиокодеров поступают на уровень синхронизации (SL - Sync Layer) и в блоках SL преобразуются в пакетизированные SL-потоки (SL-packetized Streams), в которые введены метки времени и данные о тактовых частотах. Это позволяет привязать к единой шкале времени различные видео- и аудиообъекты. Далее пакетизированные SL-потоки поступают на уровень DMIF (DMIF Layer).

DMIF (Delivery Multimedia Integration Framework - интегрированная система доставки мультимедиа) - это протокол, обеспечивающий управление потоками данных для мультимедиа. Как всякий протокол передачи данных (например, протоколы, используемые в Интернет), DMIF обеспечивает посылку запросов от пользователя к источнику информации и пересылку запрошенных данных пользователю. Кроме того, DMIF дает пользователю средства управления в виде интерфейса пользователя DMIF-Application Interface (DAI), позволяя подавать команды для выбора информации (например, фильма) и формируя сообщения о получении доступа к этой информации или о возникших при этом трудностях.



Рис. 2.27. Формирования передаваемых потоков данных в MPEG-4.

DMIF охватывает три основные сферы применения MPEG-4:

· передачу по интерактивным сетям (Интернет),

· передачу по обычным вещательным каналам,

· запись видеопрограмм на компакт-диски.

На уровне DMIF возможно объединение в блоках FlexMux пакетизированных SL-потоков во FlexMux потоки (FlexMux Streams). Эта операция является необязательной, так как под управлением DMIF могут передаваться и пакетизированные SL-потоки.

Затем данные переходят на уровень TransMux (TransMux Layer), где FlexMux-потоки или SL-потоки объединяются и преобразуются в транспортный поток. Общее название транспортного потока TransMux Stream. В стандарте MPEG-4 этот поток не определен. В качестве его может использоваться, например, транспортный поток (TS) MPEG-2, который был описан в разделе 2.2.2.Ж. Еще один вариант TransMux потока - запись в файл. Возможно использование других транспортных протоколов, которые здесь не рассматриваются.

До сих пор речь шла о нисходящем (downstream) потоке, который несет данные от источников видеопрограмм к зрителям. Для реализации интерактивного телевидения и различных видов мультимедийного сервиса необходима передача информации от зрителя на головную станцию системы. Для этого передается восходящий поток данных (upstream), скорость передачи двоичных символов в котором обычно значительно меньше, чем в нисходящем потоке.

Декодирование и воспроизведение

Структурная схема декодирующей части системы по стандарту MPEG-4 приведена на рис. 2.28. На схеме показаны демультиплексор ДМп, буферные ЗУ БЗУ1 и БЗУ2, декодеры ДКд и блок объединения БОб.

...