Транспортировка данных стандарта MPEG

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

1. Описание формата MPEG

В январе 1988 года в рамках объединенного технического комитета по информационным технологиям JTC1 Международной организации по стандартизации ISO и Международной электротехнической комиссии IEC была образована рабочая группа экспертов по кодированию движущихся изображений, перед которой была поставлена задача разработки стандартов кодирования изображения и звука с целью устранения избыточности. Группа получила официальное наименование ISO/IEC JTC1/SC29/WG11 (11 рабочая группа 29 подкомитета), но мировую известность она приобрела под названием MPEG - Moving Picture Expert Group. В первом заседании группы в мае 1998 года участвовало 25 экспертов, сейчас группа MPEG объединяет сотни специалистов, представляющих около 200 организаций из более чем 20 стран. Общая цель работы группы остается прежней - компрессия, обработка и кодовое представление изображения, звука и их комбинаций. Основные проекты группы - это MPEG-1 (стандарт ISO/IEC 11172) - Кодирование изображение и звука при скоростях передачи данных до 1.5Мбит/с, MPEG-2 (ISO/IEC 13818) - Обобщенное кодирование изображения и звука, MPEG-4 (ISO/IEC 14496) - Кодирование аудиовизуальных объектов, MPEG-7 (ISO/IEC 15938) - Описание содержания объектов мультимедиа. Из этого списка лишь стандарт MPEG-7 пока не утвержден ISO, но работа над всеми проектами (кроме MPEG-1) продолжается.

- MPEG-1: оригинальный формат для хранения и воспроизведения видео- и аудиоданных на мультимедиа носителях данных. Принят в качестве официального стандарта в 1992 г. Разрабатывался для доставки видео на CD-ROM (скорость около 1,5 Мбит/с) и получил широкое распространение во многом благодаря дискам VideoCD. Потенциально поддерживает телевизионное качество видео.

- MPEG-2: более новый стандарт (утвержден в ноябре 1994 г.). Разработан как дополнение к стандарту MPEG-1. Поддерживает передачу высококачественного видео по высокоскоростным цифровым каналам. Интенсивность потока данных от до 2 до 10 Мбайт/сек. Разрешение 720х480 и 1280х720, частота 60 кадров в секунду со звуковыми данными CD-качества. Подходит для всех стандартов телевидения и даже систем телевидения высокой точности (HDTV, High Definition Television). Используется при записи DVD дисков.

Параллельно с разработкой стандарта MPEG-2 группа MPEG занималась также работой по созданию стандарта MPEG-3, ориентированного на использование в системах телевидения высокой четкости. Однако, в ходе исследований было установлено, что в системах телевидения высокой четкости можно использовать уже созданные стандарты MPEG-1 и MPEG-2. В качестве стандарта для систем телевидения высокой четкости был принят MPEG-2.

- MPEG-4: начинал разрабатываться как формат для передачи видео и аудиоданных по каналам с низкой пропускной способностью, в том числе беспроводным. MPEG-4, версия 1 был одобрен в октябре 1998 г. , как стандарт ISO/IEC 14496. Этот формат был расчитан для применения в системах видеотелефонии, мультимедийной электронной почте, электронных информационных изданиях. Предусматривал разрешение 174х144 пиксела при 10 кадрах в секунду и позволял передавать данные со скоростью от 4800 до 64000 бит/сек.

Базируется на формате файлов Quiсktime (QuickTime - стандарт, архитектура программного обеспечения, которая позволяет создавать, объединять и публиковать все типы цифровых мультимедиа данных. Используя QuickTime, программные приложения могут легко работать с широким кругом форматов файлов и кодеков. QuickTime включает три основополагающих элемента - QuickTime видео формат (Movie file format), слой абстрактного носителя (Media Abstraction Layer) и богатый набор встроенных медиа - служб. QuickTime видео формат хорош тем, что он платформенно независим, открыт для расширения.

В связи с названными преимуществами, поддерживается многими производителями. QuickTime слой абстрактного носителя определяет исчерпывающий набор сервисных функций покрывающих все аспекты создания, редактирования и воспроизведения цифрового материала. Среди них: синхронизация по времени, компрессия и декомпрессия аудио- и видеоданных, преобразование форматов, масштабирование, смешивание и транскодирование, аудио- и видеоэффекты и переходы, синхронизация чтения и записи, захват данных, импорт и экспорт данных, стандартный пользовательский интерфейс. QuickTime поддерживает широкий набор типов мультимедиа данных (видео, аудио, текст, временной код, музыкальный MIDI - интерфейс, спрайты, анимацию и др.).)

- MPEG-7: "Multimedia Content Description Interface" - стандарт описания мультимедийного содержания для информационного поиска, планируется к утверждению в июле 2001 г. В октябре 1996 года группа MPEG приступила к разработке формата сжатия MPEG 7, призванным определить универсальные механизмы описания аудио и видео информации. Этот формат получил название Multimedia Content Description Interface. В отличие от предыдущих форматов сжатия семейства MPEG, MPEG 7 описывает информацию, представленную в любой форме (в том числе в аналоговой) и не зависит от среды передачи данных. Как и его предшественники, формат сжатия MPEG 7 генерирует масштабируемую информацию в рамках одного описания. Формат сжатия MPEG 7 использует многоуровневую структуру описания аудио и видео информации.

На высшем уровне прописываются свойства файла, такие как название, имя создателя, дата создания и т.д. На следующем уровне описания формат сжатия MPEG 7 указывает особенности сжимаемой аудио или видео информации - цвет, текстура, тон или скорость. Одной из отличительных особенностей MPEG 7 является его способность к определению типа сжимаемой информации. Если это аудио или видео файл, то он сначала сжимается с помощью алгоритмов MPEG 1, MPEG 2, MPEG 4, а затем описывается при помощи MPEG 7. Такая гибкость в выборе методов сжатия значительно снижает объем информации и ускоряет процесс сжатия. Основное преимущество формата сжатия MPEG 7 над его предшественниками состоит в применении уникальных дескрипторов и схем описания, которые, помимо всего прочего, делают возможным автоматическое выделение информации как по общим, так и по семантическим признакам, связанным с восприятием информации человеком. Процедура занесения в каталог и поиска данных находятся вне сферы рассмотрения этого формата сжатия.

Разработка формата сжатия MPEG 21 - это долговременный проект, который называется "Система мультимедийных средств" (Multimedia Framework). Над разработкой этого формата сжатия эксперты начали работать в июне 2000 г. На первых этапах планировалось провести расширение, унификацию и объединение форматов MPEG 4 и MPEG 7 в единую обобщающую структуру. Подразумевалось, что она будет обеспечивать глубокую поддержку управления правами и платежными системами, а также качеством предоставляемых услуг.

2. MPEG1

Как и метод группы JPEG, алгоритм MPEG-1 использует дискретное косинусное преобразование (Diskrete Cosine Transform). В частности, при применении MPEG-алгоритма специальные средства позволяют при сжатии текущего кадра включать ссылки на части изображения, оставшегося неизменным от предыдущего кадра. Как обычно, вначале идет преобразование информации в базис YUV и ее прореживание. После этого выполняется дискретное косинусное преобразование. Аналогичным образом используется и кодирование Хаффмана (В основе алгоритма кодирования Хаффмана лежит довольно простой принцип: символы заменяются кодовыми последовательностями различной длины. Чем чаще используется символ, тем короче должна быть кодовая последовательность. Именно поэтому алгоритм Хаффмана называется также кодированием символами переменной длины (Variable-Lenth Coding).

Код переменной длины позволяет записывать наиболее часто встречающиеся символы короткими кодовыми последовательностями, а редко встречающиеся - более длинными. Например, для английского текста символам Е,Т и А можно поставить в соответствие 3-битовые последовательности, а J, Z и Q - 8-битовые. В одних алгоритмах реализации алгоритма Хаффмана используются готовые кодовые таблицы, в других - кодовая таблица строится только на основе статистического анализа имеющейся информации. Кодирование по Хаффману гарантирует возможность полного последующего декодирования.). Тем не менее основной задачей для MPEG-алгоритма является определение вектора движения, то есть основного направления, в котором происходят изменения. Для этой цели на различных этапах выполнения алгоритма могут использоваться операции сравнения, а также предсказания назад и вперед, осреднения блоков и т.д.

В соответствии с MPEG существует три вида кадров: типа I (Inter frame) - исходные (ключевые), типа Р (Predicted frame) - предсказуемые и типа В (Bi-directional frames) - двунаправленные. Кадр типа I является базовым. Сжатие такого кадра может происходить только по методу обработки неподвижного изображения, например, методом типа JPEG. Кадр типа Р получается на основе информации одного I - или одного предсказуемого Р-кадра. А вот кадр типа В получается на основе I- или Р-кадров, причем одного из них в прошлом, а другого -- в будущем. На самом деле все выглядит не так фантастически. как кажется. Разумеется. что декодирующее устройство получает сначала фрейм I, затем Р и только после этого формирует фрейм В. Данный метод обеспечивает коэффициенты сжатия в пределах от 40:1 до 200:1.

3. MPEG2

Поток видеоданных, определяемый спецификацией 13818-2, представляет собой иерархическую структуру, элементы которой строятся и объединяются друг с другом в соответствии с определенными синтаксическими и семантическими правилами. Существует 6 типов элементов этой иерархической структуры:

· Видеопоследовательность

· Группа изображений

· Изображение

· Срез

· Макроблок

· Блок.

Видеопоследовательность - элемент потока видеоданных высшего уровня. Она представляет собой серию последовательных кадров телевизионного изображения. MPEG-2 допускает как построчные, так и чересстрочные последовательности. Чересстрочная последовательность - это серия телевизионных полей. В процессе компрессии поля могут кодироваться раздельно. Это дает изображения типа «поле». Два поля, кодируемые как телевизионный кадр, образуют изображение типа «кадр». В одной чересстрочной последовательности могут использоваться и изображения-поля, и изображения-кадры. В последовательностях с построчным разложением каждое изображение представляет собой кадр. В соответствии с используемыми методами дифференциального кодирования различают три типа изображений: I, P и B. Изображение типа I кодируется с использованием только той информации, которая содержится в нем самом (I - Intra-coded picture). В нем устраняется только пространственная избыточность. При кодировании P и B изображений используется межкадровое кодирование. При кодировании изображения типа P формируется разность между исходным изображением и предсказанием, полученным на основе предшествующего или последующего изображения типа I (P - Predictive-coded picture). Изображение типа B - это изображение, при кодировании которого используется предсказание, сформированное на основе предшествующего и последующего изображений типа I или P (B - Bidirectionally-predicted-coded picture). В изображениях типа P и B устраняется и пространственная, и временная избыточность. Серия изображений, содержащих одно I-изображение, называется группой изображений. Пример видеопоследовательности с различными типами изображений показан на рис.1 (стрелками показаны направления предсказания в пределах одной группы изображений). Чем больше группа изображений, тем большая степень компрессии может быть достигнута.

Рис. 1 Видеопоследовательность и группа изображений

Рис. 2 Изображение со срезами и макроблоками

С информационной точки зрения каждое изображение представляет собой три прямоугольных матрицы отсчетов изображения: яркостную Y и две матрицы цветности Cb и Cb. Стандарт MPEG-2 допускает различные структуры матриц. Соотношение между количеством отсчетов яркости и цветности определяется форматом дискретизации. В случае формата 4:2:0 размеры матриц Cb и Cb в 2 раза меньше, чем Y, и в горизонтальном, и в вертикальном направлениях (рис.5). Формат 4:2:2 отличается тем, что все три матрицы имеют одинаковые размеры по вертикали, но в горизонтальном направлении матрицы цветности имеют в два раза меньшее количество элементов (рис.6). В формате 4:4:4 все матрицы одинаковы (рис.6).

Рис. 3 Структуры макроблоков

Рис. 4 Структуры макроблока Y при кадровом (а) и полевом кодировании (б)

Каждое изображение делится на срезы, которые состоят из макроблоков (рис.2). Макроблок складывается из блоков размером 8х8 элементов изображения (пикселов). Каждый макроблок содержит группу из 4 блоков с отсчетами яркости (из области изображения с размерами 16х16 пикселов) и группу блоков с отсчетами цветности, взятых из той же области изображения, что и отсчеты блоков яркости. Число блоков с отсчетами цветности зависит от формата дискретизации: по одному блоку Cb и Cb в формате 4:2:0, по два - в формате 4:2:2, по 4 - в формате 4:4:4 (рис.3).

Рис. 5 Структуры отсчетов яркости и цветности формата 4:2:0

В изображениях типа «кадр», в которых может использоваться и кадровое, и полевое кодирование, возможны 2 варианта внутренней организации макроблока (рис.4). В случае кадрового кодирования каждый блок яркости Y образуется из чередующихся строк двух полей (рис.4а). При полевом кодировании каждый блок Y образован из строк только одного из двух полей (рис.4б). Блоки цветности образуются по таким же правилам в случае форматов дискретизации 4:2:2 и 4:4:4. Однако при использовании формата 4:2:0 блоки цветности организуются для выполнения дискретного косинусного преобразования в рамках кадровой структуры (рис.4а).

Все структурные элементы потока видеоданных, полученного в результате внутрикадрового и межкадрового кодирования (кроме макроблока и блока), дополняются специальными и уникальными стартовыми кодами. Каждый элемент содержит заголовок, за которым следуют данные элементов более низкого уровня.

Рис. 6 Структуры отсчетов яркости и цветности формата 4:2:2 и 4:4:4

В заголовке видеопоследовательности (как элемента высшего уровня) приводится разнообразная дополнительная информация, например, размеры и соотношение сторон изображения, частота кадров, скорость потока данных, матрица квантования, формат дискретизации цветности изображения, координаты основных цветов и белого цвета, параметры матрицы для формирования яркостного и цветоразностных сигналов, параметры передаточной характеристики (гамма).

4. Принципы видеокомпрессии

Сокращение пространственной избыточности выполняется в изображениях типа I и достигается на уровне блока. Набор операций такого кодирования - дискретное косинусное преобразование; взвешенное квантование, определяемое элементами матрицы квантования; энтропийное кодирование серии коэффициентов косинусного преобразования, полученной в результате зигзаг-сканирования матрицы коэффициентов. Метод сокращения временной избыточности - дифференциальная импульсно-кодовая модуляция с компенсацией движения при кодировании изображений типа P и B. При кодировании формируется разность между исходным изображением и предсказанием, полученным на основе предшествующего и/или последующего изображения.

Полученная разность подвергается дискретному косинусному преобразованию, взвешенному квантованию и энтропийному кодированию. Для повышения точности предсказания и, тем самым, сокращения объема необходимых для представления изображения данных, используется компенсация движения. Оценивается скорость перемещения движущихся объектов от кадра к кадру и при определении предсказания производится соответствующая коррекция в положении опорного изображения, по отношению к которому находится ошибка предсказания.

Определение величины и направления смещения движущихся объектов от кадра к кадру, называемого вектором движения, производится на уровне макроблока. Оценка вектора движения - сложная процедура, требующая больших вычислительных мощностей. Именно она определяет асимметрию кодека MPEG-2. Однако стандарт не регламентирует процедуру оценки вектора движения, поэтому в этой области ведутся серьезные работы, благодаря использованию результатов которых практическая асимметрия кодека в будущем будет минимизироваться.

Стандарт MPEG-2 (в отличие от JPEG и DV) предполагает устранение не только пространственной, но и временной избыточности. Что же это дает? Представим себе группу из 12 изображений со следующей структурой - I-B-B-P-B-B-P-B-B-P-B-B. После компрессии объем изображений типа P для типичных сюжетов вещательного телевидения будет составлять примерно 35% объема изображения типа I, а B-изображения - примерно 25%. Объем данных, которые после компрессии представляют всю группу из 12 изображений, будет равен 4 изображениям типа I. Но если бы не было сокращения временной избыточности, то необходимый объем данных был бы в 12/4=3 раза больше. Этот коэффициент (3) и дает уменьшение скорости потока данных, достигаемое за счет использования компрессии MPEG-2 с группами из 12 изображений, при приблизительно такой же заметности искажений компрессии. Чем больше группы изображений, тем больше выигрыш, обеспечиваемый за счет устранения временной избыточности.

Правда, надо отметить, что в случае применения систем компрессии типа JPEG или DV не было бы артефактов, связанных с движущимися объектами, но, с другой стороны, в системе MPEG-2 глаз замечает такие искажения тем меньше, чем быстрее движутся объекты в поле изображения. Как видно, эти два фактора в какой-то мере компенсируют друг друга. Можно корректировать величину выигрыша, но то, что этот выигрыш значителен, не подлежит сомнению, поэтому применение компрессии MPEG-2 с устранением временной избыточности, конечно, целесообразно во всех звеньях тракта, где желательно уменьшение скорости потока данных.

5. Режимы кодера

Возможны два основных режима работы кодера компрессии - с постоянной скоростью потока данных и с постоянным уровнем качества декодированного изображения. Возможность для управления степенью компрессии и скоростью потока данных предоставляет изменение параметров матрицы квантования: чем более грубое квантование, тем больше нулевых значений в матрице коэффициентов и тем меньше объем данных, необходимых для передачи информации об изображении. Однако с увеличением степени компрессии растут и необратимые искажения изображения из-за шумов квантования. В режиме с постоянным качеством используется фиксированная матрица квантования. Но при этом скорость потока компрессированных данных является переменной.

Чем больше детальность изображения, чем быстрее перемещается объект в поле изображения, тем больше количество ненулевых коэффициентов в матрице коэффициентов косинусного преобразования, тем больше объем данных и тем больше скорость потока. Такой режим можно использовать при записи компрессированных потоков видеоданных на дисковые накопители в условиях отсутствия ограничений на объем записанных данных. Однако при этом возможны ограничения на скорость записываемого потока, ведь она не может быть произвольно большой. В режиме с постоянной скоростью потока данных в кодере осуществляется непрерывное изменение коэффициентов матрицы квантования. Чем мельче детали, чем более динамично изображение, тем более грубое квантование вводится в кодере для того, чтобы привести к заданной величине скорость потока. Это означает, что в декодированных изображениях с большим количеством быстро движущихся мелких деталей будет больше искажений и артефактов из-за шумов квантования, чем в статичных изображениях с крупными структурными элементами.

Такой режим используется в системах передачи компрессированных изображений по каналам связи с фиксированной пропускной способностью, в системах цифрового спутникового, кабельного и наземного телевизионного вещания. Если запись компрессированного потока видеоданных производится не в условиях реального времени, то можно использовать и другие варианты управления скоростью потока данных. Например, можно выполнять компрессию в два прохода. На первом проходе находятся параметры компрессии, обеспечивающие максимальное качество при фиксированном объеме дискового пространства. На втором - производится компрессия с найденными параметрами. Есть еще одна возможность улучшения качества при записи фрагментов программы с быстро перемещающимися объектами. На стадии предварительного просмотра оператор может найти такие интервалы и пометить их с целью принудительного размещения в них изображений типа I, что позволяет улучшить качество при кодировании таких «трудных» для компрессии сцен. Эти методы используются при записи программ и фильмов на диски DVD.

6. Порядок передачи изображений в элементарном потоке

В результате компрессии объем данных, представляющий исходные изображения, сжимается (рис.7). Но стандарт MPEG-2 не регламентирует сам процесс кодирования, поэтому изображения (блоки представления) в нем рассматриваются как результат декодирования компрессированных изображения - блоков доступа. Использование двунаправленного предсказания приводит к тому, что декодер может приступить к декодированию изображения типа B только после того, когда уже получены и декодированы и предшествующее, и последующее опорные изображения, с помощью которых вычислялось предсказание. Для того, чтобы не устанавливать в декодере огромные буферные массивы, в потоке данных на выходе кодера (этот поток называется элементарным потоком видеоданных) кодированные изображения следуют в порядке декодирования. Например, вместо последовательности I-B-B-P формируется серия I-P-B-B (рис.8).

Рис. 7 Преобразование блоков представления в блоки доступа в процессе компрессии

Рис. 8 Формирование элементарного потока видеоданных

7. Профили и уровни MPEG-2

Стандарт MPEG-2 определяет кодирование, охватывающее требования широкого круга приложений сферы производства и распределения телевизионных программ. Обобщение требований типичных и наиболее важных приложений и определило синтаксис и семантику потока видеоданных. Но для наиболее эффективного применения на практике и обеспечения высокой степени эксплуатационной совместимости устройств, работающих в рамках стандарта MPEG-2, но разработанных и изготовленных различными производителями, в рамках синтаксиса MPEG-2 выделено несколько подмножеств, называемых профилями. Но и в рамках синтаксических границ каждого профиля может быть огромное количество комбинаций параметров цифрового потока.

Поэтому в каждом профиле выделено несколько уровней, определяемых совокупностью ограничений, наложенных на параметры цифрового потока, подчиняющегося синтаксису профиля. Другими словами, профиль - это подмножество стандарта для специализированного применения, задающее алгоритмы и средства компрессии. Уровни внутри каждого профиля связаны главным образом с параметрами компрессируемого изображения.

Профили MPEG-2: Simple - простой профиль; Main - основной профиль; SNR - профиль с масштабируемым квантованием (SNR - Signal-to-Noise-Ratio - отношение сигнал шум); Spatial - профиль с масштабируемым пространственным разрешением (spatial - пространственный); High - высокий профиль; 422 - студийный профиль. Профиль с масштабируемым квантованием SNR поддерживает все типы изображений. На базовом уровне кодера используется обычное кодирование на основе предсказания с компенсацией движения, дискретного косинусного преобразования и квантования ошибки предсказания. Выходные данные этого кодера образуют нижний, или базовый слой цифрового потока данных. Ошибка квантования, обусловленная квантователем, кодируется (с использованием второго квантователя и кодера с переменной длиной слова) и передается в качестве верхнего слоя цифрового потока. На приемной стороне производится либо декодирование одного базового слоя, что обеспечивает приемлемое качество, либо обоих слоев, что позволяет уменьшить шумы квантования.

Профиль с масштабируемым пространственным разрешением Spatial также использует все виды изображений. Цифровой поток структурирован и имеет базовый и дополнительные слои. Профиль позволяет иметь наряду с базовым пространственным разрешением и более высокие значения, если декодировать все слои цифрового потока. Студийный профиль 422 обеспечивает полное разрешение, соответствующее рекомендации ITU-R 601, монтаж с точностью до кадра, допускает многократные перезаписи. Надо иметь в виду, что в таблице показаны максимально достижимые значения параметров, а не их сочетания. Например, в рамках основного уровня профиля 422 количество активных строк равно 608 для системы разложения 625 строк/25 кадров и 512 - для 525 строк/30 кадров. К настоящему времени лишь часть из возможных сочетаний профилей и уровней достаточно разработана и принята в качестве стандарта.

8. Пакетный элементарный поток

Системная спецификация MPEG-2 (ISO/IEC 13818-1) описывает объединение элементарных потоков одной или нескольких телевизионных программ в единый поток данных, удобный для записи или передачи по каналам цифровой связи. Надо отметить, что стандарт MPEG-2 не определяет защиту от ошибок, возможных при записи или передаче, хотя он, конечно, предусматривает такую возможность, облегчая защиту за счет оптимального выбора параметров потока. MPEG-2 регламентирует две возможных формы единого потока данных - это программный поток и транспортный поток. Первый шаг на пути получения единого потока - формирование пакетного элементарного потока PES (Packetised Elementary Stream), представляющего собой последовательность PES-пакетов (рис.9).

Рис. 9 Формирование пакетного элементарного потока

Каждый пакет состоит из заголовка и данных пользователя, или полезной нагрузки, которая представляет собой фрагменты исходного элементарного потока. Нет никаких требования по согласованию начала полезных данных пакета и начала блоков доступа, поэтому начало блока доступа может быть в любой точке PES-пакета, а несколько малых блоков доступа могут попасть в один PES-пакет. PES-пакеты могут быть переменной длины. Эту свободу можно использовать по-разному. Например, можно просто установить фиксированную длину всех пакетов, а можно согласовывать начало пакета с началом блока доступа.

В начале заголовка PES-пакета (рис.10) идет 32-битный код старта, состоящий из стартового префикса и идентификатора потока. Идентификатор потока позволяет выделить PES-пакеты, принадлежащие одному элементарному потоку телевизионной программы. Спецификация определяет разрешенные значения чисел в поле идентификатора для 32 элементарных потоков звука и 16 элементарных потоков видеоданных. Флаги 1 и 2 - биты, указывающие на наличие или отсутствие в заголовке дополнительных полей, которые не являются обязательными. Эти поля служат для переноса дополнительной информации, такой, например, как авторские права, скремблирование, приоритет. Особую значимость имеют биты P и D флага 2, указывающие на наличие полей с метками времени представления PST (Presentation Time Stamps) и декодирования DTS (Decoding Time Stamps). Метки времени - это механизм, обеспечивающий синхронизацию потоков данных в декодере.

Рис. 10 Заголовок РЕS-пакета

9. Программный поток

Программный поток объединяет элементарные потоки, образующие телевизионную программу (рис.11). При формировании программного потока образуются блоки из PES-пакетов. Блок содержит заголовок блока, системный заголовок (необязательный), за которым следует некоторое количество PES-пакетов. Длина блока программного потока может быть произвольной, единственное ограничение - заголовки блока должны появляться не реже, чем через 0,7 секунды. Это связано с тем, что в заголовке содержится важная информация - опорное системное время. Системный заголовок содержит информацию о характеристиках программного потока, таких, например, как максимальная скорость передачи данных, число видео и звуковых элементарных потоков. Декодер использует эту информацию, например, для того, чтобы решить, может ли он декодировать этот программный поток.

кодированный профайл видео демультиплексирование

Рис. 11 Формирование программного потока

Программный поток объединяет элементарные потоки одной программы, имеющие общую временную базу. Он предназначен для использования в условиях окружения, не вносящего ошибки в цифровые данные. Причина этому - сравнительно большие блоки переменной длины. Искажения из-за ошибок одного блока могут означать потерю, например, целого кадра телевизионного изображения. Поскольку длина блока переменная, то декодер не может предсказывать время конца одного блока и начало другого и вынужден полагаться только на информацию о длине, содержащуюся в заголовке. Если соответствующее поле заголовка окажется пораженным ошибками, то декодер выйдет из синхронизма и потеряет, по крайней мере, один блок. К преимуществам, получаемым при использовании программного потока, можно отнести то, что процедура демультиплексирования программного потока относительно проста.

10. Транспортный поток

Транспортный поток может объединять пакетные элементарные потоки, переносящие данные нескольких программ с независимыми временными базами. Он состоит из коротких пакетов фиксированной длины (188 байтов). Элементарные потоки видео, звука и дополнительный данных (например, телетекст) разбиваются на фрагменты, равные по длине полезной нагрузке транспортного пакета (184 байта) и мультиплексируются в единый поток (рис.12). Этот процесс подчиняется ряду ограничений:

· Первый байт каждого PES-пакета элементарного потока должен быть первым байтом полеезной нагрузки транспортного пакета.

· Каждый транспортный пакет может содержать данные лишь одного PES-пакета.

Рис. 12 Формирование транспортного потока

Если PES-пакет не имеет длину, кратную 184 байтам, то один из транспортных пакетов не заполняется данными PES-пакета полностью. В этом случае избыточное пространство заполняется полем адаптации (рис.12). Транспортные пакеты, переносящие разные элементарные потоки, могут появляться в произвольном порядке, но пакеты, принадлежащие одному элементарному потоку, должны следовать в транспортном потоке в хронологическом порядке, т.е. в порядке их «нарезания» из PES-пакетов.

Структура транспортного потока оптимизирована для условий передачи данных в каналах связи с шумами. Это проявляется, прежде всего, в небольшой длине пакетов. Типичные примеры защиты от ошибок данных транспортного потока дают системы цифрового телевизионного вещания. В системах DVB и ISDB к 188 байтам каждого транспортного пакета добавляются 16 проверочных байтов кода Рида-Соломона, что позволяет исправлять в каждом пакете до 8 пораженных шумами байтов. В ATSC к каждому пакету добавляется 20 проверочных байтов, что позволяет исправлять до 10 байтовых ошибок в одном пакете.

11. Транспортный пакет

Транспортный пакет начинается с 4-байтного заголовка (рис.13), первый байт которого - синхронизирующий (число 47 в шестнадцатеричном коде). Это значение не является уникальным и может появляться в других полях транспортного пакета. Однако тот факт, что заголовки всегда следуют с интервалом в 188 байтов, упрощает определение начала пакета.

Рис. 13 Структура транспортного пакета

Транспортный поток может переносить несколько телевизионных программ, состоящих из набора элементарных потоков. Для опознавания пакетов, принадлежащих одному элементарному потоку, используется 13-битный идентификатор. Из 213 возможных значений 17 зарезервировано для специальных целей, а остальные 8175 могут использоваться для присвоения в качестве номеров элементарным потокам. Таким образом, один транспортный поток может переносить до 8175 элементарных потоков.

Важный компонент заголовка - счетчик непрерывности, который инкрементируется в последовательных транспортных пакетах, принадлежащих одному и тому элементарному потоку. Это позволяет декодеру обнаруживать потерю транспортного пакета и принимать меры к маскированию ошибок, которые могут возникнуть из-за потери.

Поле адаптации не является обязательным. Оно может использоваться не только для заполнения «пустот» (рис.12). Это поле также переносит важную дополнительную информацию об использовании данных пакета, например, опорное время программы PCR (Program Clock Reference).

12. Иерархическая идентификация программ

Идентификатором принадлежности транспортного пакета к определенному элементарному потоку является значение PID (рис.13). А для распознавания элементарных потоков и объединения их в телевизионные программы служит программная информация PSI (Program Specific Information), которая должна обязательно передаваться в транспортном потоке. В системной спецификации MPEG-2 определено 4 типа таблиц с программной информацией:

· Таблица соединения программ PAT (Program Association Table).

· Таблица плана программы PMT (Program Map Table).

· Таблица сетевой информации NIT (Network Information table).

· Таблица условного доступа CAT (Conditional Access Table).

Каждая из этих таблиц передается в виде полезной нагрузки одного или нескольких транспортных пакетов. Таблица соединения программ PAT всегда переносится транспортными пакетами с PID=0. Эта таблица (рис.14) сообщает список номеров всех программ, которые содержатся в транспортном потоке, и указывает идентификаторы пакетов, в которых находятся PMT-таблицы с информацией о программах и элементарных потоках, из которых они складываются. Номер программы 0 зарезервирован, он используется для указания на PID пакета с сетевой информацией NIT о сетях передачи транспортного потока, частотах каналов, характеристиках модуляции и т.п. (в примере рисунка 14 PID пакета с NIT равен 16, а PID пакета с информацией PMT о программе 1 равен 21).

Рис. 14 Представление таблицы соединения программ

В таблице PMT (на рис.15 показан пример PMT для программы 1 с PID, равным 21) указываются сведения о программе и тех элементарных потоках, из которых она складывается. Из примера рис.15 следует, что элементарный поток видеоданных этой программы переносится пакетами с PID=50, поток звука - пакетами с PID=51, дополнительных данных - пакетами с PID=52. В таблице также указывается PID транспортных пакетов, переносящих метки опорного времени данной программы (обычно эти пакеты имеют тот же PID, что и элементарный поток видео). Все вместе таблицы с программной информацией образуют иерархический индексный механизм.

Рис.16 показывает принцип мультиплексирования элементарных и транспортных потоков в процессе получения многопрограммного транспортного потока, а рис.17 иллюстрирует демультиплексирование транспортного потока с целью извлечения элементарных потоков, из которых складывается телевизионная программа 1 (значения PID на этих рисунках соответствуют примерам таблиц, показанных на рис.14 и 15).

Рис. 15 Представление таблицы плана программ

Рис. 16 Модель мультилексирования транспортных потоков

Рис. 17 Модель демультиплексирования транспортного потока и получения элементарных потоков программы 1

Благодаря небольшой длине пакета транспортный поток может легко переносить несколько телевизионных программ с разными временными базами, но за это приходится платить боле сложной, чем в случае программного потока схемой мультиплексирования и демультиплексирования.

13. Синхронизация. Принцип постоянной задержки

Кадры телевизионного изображения поступают на вход кодера MPEG-2 с постоянной частотой, точно с такой же частотой должны воспроизводиться кадры телевизионного изображения на выходе декодера. Это означает, что общая задержка в системе, представляющая собой сумму задержек в отдельных элемента схемы, должна быть постоянной (рис.18). Объем данных, необходимый для представления кодированных изображений, не является постоянной величиной. Он зависит от детальности изображения, от наличия быстро перемещающихся объектов, от способа кодирования (I, P и B изображения характеризуются разными объемами данных). Энтропийное кодирование формирует слова с переменной длиной. А для равномерной загрузки канала связи данные должны следовать с постоянной скоростью. Проблема решается за счет использования буфера кодера (данные поступаю в буфер с переменной скоростью, а выходят - с постоянной).

Рис. 18 Принцип компрессии с постоянной задержкой

Кодированные изображения (блоки доступа) в силу отмеченных особенностей кодирования поступают в декодер с переменной частотой, но воспроизводиться декодированные изображения должны с постоянной частотой, равной частоте кадров. И в декодере проблема решается за счет буфера. Компенсация одной переменной задержки другой - вот принцип реализации постоянной задержки во всей системе.

14. Метки времени

Механизм, обеспечивающий компенсацию задержек и синхронизацию - метки времени, которые ставятся в соответствие каждому блоку доступа (рис.19) и которые сообщают декодеру точное время, когда блок доступа должен быть извлечен из буфера декодера и декодирован. Для того, чтобы придавать блокам доступа метки времени, кодер должен знать текущее системное время, обеспечиваемое генератором опорного времени. Но метки времени блоков доступа не являются копиями текущего времени.

Надо помнить, что метка времени указывает время, когда декодер будет декодировать данный блок доступа, что должно произойти в будущем. Поэтому должен быть некоторый сдвиг между текущим временем и меткой. Насколько велик должен этот сдвиг, зависит от многих факторов, среди которых размер буферов кодера и декодера, скорость, с которой элементарный поток поступает в мультиплексор. Сдвиг должен быть достаточно большим, чтобы блок доступа прошел через буфер кодера, мультиплексор и был полностью записан в буфер декодера. При расчете сдвига надо также предотвратить возможное переполнения или полное опустошения буфера декодера, ведь и в том, и в другом случае возникает сбой в непрерывном воспроизведении декодированных изображений.

Для этого в кодере используется гипотетический декодер, который подключен к выходу кодера. Конечно, это не настоящий декодер, а вычислительная модель, сопровождаемая определителем степени заполнения буфера декодера. Назначение моделей - наложить ограничения на процесс кодирования с целью обеспечения отсутствия переполнения или полного освобождения емкости буфера декодера. Данные о степени заполнения буфера сообщаются реальному декодеру, чтобы он мог сопоставить вычисленные значения с текущими значениями аналогичных параметров в процессе настоящего декодирования.

15. Подстройка системных часов

Для правильной интерпретации меток времени декодер должен иметь свое собственное системное время, причем должна быть обеспечена подстройка «часов» декодера под время «часов» кодера. Для этого текущее время кодера регулярно передается декодеру. Системное время каждой программы отсчитывается в единицах периода колебаний с частотой 27МГц. Отсчеты этого времени передаются в программном потоке в одном из полей заголовка блока (они называются SCR - System Clock Reference) не реже, чем через 0,7 секунды. В транспортном потоке могут переноситься данные нескольких телевизионных программ, каждая из которых может иметь свое независимое время, называемое программным. Отсчеты программного времени PCR (Program Clock Reference) переносятся в поле адаптации транспортного пакета с соответствующим идентификатором PID (обычно он совпадает с идентификатором элементарного потока видеоданных, что иллюстрирует рис.15). Метки PCR должны появляться не реже, чем раз в 0,1 секунды. Несмотря на разницу в названиях, основные функции PCR и SCR совпадают. Принцип синхронизации декодера с кодером путем использования отсчетов программного времени иллюстрирует рис.20.

16. Время декодировать и время предъявлять

Метки времени, ассоциируемые с блоками доступа, выражаются в единицах времени периода колебаний с частотой 90кГц, полученных путем деления частоты 27МГц. Эти метки бывают двух типов: метки времени представления PTS и метки времени декодирования DTS. Метки PTS определяют момент времени, в который декодированный блок доступа (кодированное изображение или фрагмент звукового сопровождения) должен быть предъявлен зрителю. Для всех элементарных потоков, кроме видео, PTS - это единственные метки, которые необходимы. Для потока видеоданных необходимы метки времени декодирования DTS, определяющие моменты времени, в которые блоки доступа извлекаются из буфера и декодируются, но не предъявляются зрителю. Декодированные изображения временно хранятся и предъявляются в боле позднее время, назначаемое метками PTS.

Метки DTS необходимы изображениям типа I и P, которые должны декодироваться раньше, чем B-изображения, для кодирования которых I и P изображения использовались в качестве опорных. Метки DTS не появляются в одиночку, а должны сопровождаться метками PTS. Метки не должны сопровождать каждый блок доступа. Ограничение, определяемое стандартом MPEG-2, заключается в том, чтобы в элементарных потоках видео и звука метки должны появляться не реже, чем раз в 0,7 секунды. Метки переносятся в заголовках PES-пакетов (рис.10). Если метка сопровождает блок доступа, то она появляется в заголовке PES-пакета, в котором этот блок доступа начинается.

17. Монтаж. Можно ли монтировать MPEG?

Иногда считается, что монтаж программ, закодированных в соответствии со стандартом MPEG-2 невозможен. Такое суждение объясняется тем, что в результате кодирования с предсказанием в процессе устранения временной избыточности все кадры связаны в единую цепь, разорвать которую якобы нельзя без сбоя в воспроизводимом изображении. Утверждается, что единственно возможный способ монтажа требует декодирования, т.е. преобразования компрессированных потоков в исходную форму, после которого можно выполнить монтажную операцию и повторное кодирование смонтированной программы. Конечно, такой вид монтажа возможен, но он связан с потенциальными искажениями и артефактами, возникающими в результате цикла компрессии - декомпрессии.

Однако возможен и монтаж видеопотоков, компрессированных по стандарту MPEG-2, хотя, конечно, система компрессии накладывает значительный отпечаток на методы монтажа. Прежде всего следует отметить, что все изображения связаны и образуют цепь с взаимозависимыми элементами только в случае использования открытых групп изображения. Кадры изображения в пределах закрытой группы (она заканчивается изображением типа P) не зависят от кадров других групп (предсказание выполняется строго в пределах одной группы). Поэтому видеопотоки из закрытых легко могут коммутироваться и монтироваться на границах групп. Однако и потоки, основанные на открытых группах изображений, могут монтироваться в компрессированной форме. Для этого надо разорвать цепь непрерывности в выбранной точке монтажного перехода. Однако смонтированная программа должна обладать всеми свойствами потока данных MPEG-2.

18. Перемаркирование кадров в области монтажного перехода

Один из вариантов коммутации элементарных потоков иллюстрирует рис.21. Этот вариант основан на перемаркировании кадров - изображений типа B, которые связаны в результате предсказания и с предыдущими и с последующими кадрами типа I и P, в изображения типа P без изменения соответствующего блока доступа (кадры B15 и B16 элементарного потока 1 переименованы в кадры P15' и P16').

Непрерывная цепь предсказаний разрывается, (при декодировании P15' и P16' в качестве опорного будет использоваться изображение P14), и коммутация с целью монтажа оказывается возможной. То, что стратегия декодирования трансформируется без изменения закодированной ошибки предсказания, не связано с высокой заметностью потенциальных искажений благодаря кратковременности монтажного перехода. Более серьезным является то, что такая коммутация может привести к потенциальному переполнению или опорожнению буфера декодера, что связано с большими искажениями. Возможное решение этой проблемы - вставка предварительно кодированного черного потока данных, который может быть вставлен между первым и вторым потоками для нормализации состояния буфера.

19. Перекодирование кадров в области монтажного перехода

Другой и, вероятно, лучший с точки зрения качества изображения метод, связан с перекодированием коммутируемых элементарных потоков в окрестности монтажного перехода (рис.22). Такой вариант может быть рекомендован для дисковых систем, в которых телевизионные программы хранятся в компрессированном виде.

Рис. 22 Коммутация элементарных потоков с выравнивание групп изображений и перекодировкой области перехода

20. Монтажные магнитофоны MPEG

Возможности монтажа телевизионных программ в компрессированном виде в условиях студийного производства предоставляет студийный профиль 422 стандарта MPEG-2, уже реализованный в формате видеозаписи Betacam SX. В нем используются открытые группы изображений из 2 кадров (I и B). Данный профиль позволяет, например, выполнять монтаж путем дописывания нового потока данных без нарушения непрерывности смонтированного потока в точках монтажа (рис.23). Если точка монтажного перехода выбрана на границе кадров B15 и I16, то после монтажа будет невозможно использовать кадр I16, а его наличие при обычном декодировании было бы необходимо, поскольку при для декодирования B15 в качестве опорной информации должны использоваться кадры I14 и I15.

В процессе монтажа кадр B15 не просто перемаркируется, как показано на рис.21, а перекодируется как кадр типа B, но с предсказанием только на основе предшествующего кадра I14, в результате чего образуется кадр BU15 (правила профиля 422 разрешают такую операцию). Ключ к высококачественному выполнению такого способа монтажа - опережающее считывание, достигаемое с помощью специальной вращающейся головки. Опережающее считывание позволяет получать данные о предшествующих кадрах, которые после перекодирования записываются спустя некоторое время головками записи на место прежних кадров.

Совершенно очевидно, что такой способ, основанный на перекодировании кадров с двунаправленным предсказанием в сочетании с опережающим считыванием, позволяет выбирать точку монтажного перехода в любом месте и выполнять монтаж с точностью 0 кадров. Еще более высокого качества монтажных операций позволяет достичь реализация профиля MPEG 422, основанная на однокадровых группах изображений. Казалось бы, зачем в таком случае MPEG, если используется только внутрикадровое кодирование? Однако MPEG - это не только кодирование с целью сокращения временной избыточности, но и гибкая универсальная форма представления кодированных изображений в виде потоков данных, достоинства которой сохраняются при любых группах изображений.

21. Монтаж с перекодированием и транскодированием: новый виток

Монтаж с перекодированием также может быть усовершенствован с учетом специфики компрессии. Известно, что в общем случае перекодирование связано с искажениями и артефактами. Но если закодировать, декодировать, а затем закодировать повторно с сохранением всех параметров первоначального кодирования (матрицы квантования, вектор движения и т.п.), то перекодирование не приводит к искажениям (рис.24). Примером, когда такое перекодирование дает эффективное решение задачи, является вставка логотипа. Декодирование компрессированного потока, микширование с сигналом логотипа и последующее повторное кодирование с сохранением параметров первоначального кодирования делает такую систему «прозрачной» для исходного изображения для всей картинки, кроме зоны логотипа, но ведь логотип - это уже новое изображение, которое и должно кодироваться заново.

Таким же образом можно использовать перекодирование с использованием параметров первоначального кодирования для выполнения монтажных переходов со специальными эффектами, например, шторками. Транскодирование, т.е изменение скорости потока с использованием параметров первоначального кодирования также позволяет минимизировать искажения такого процесса. Перекодирование и транскодирование не связаны с необходимостью изменения структуры потока данных MPEG-2, ведь вся информация о процессе и параметрах кодирования всегда сообщается декодеру. Дело лишь за регламентацией и стандартизацией способов передачи параметров первоначального кодирования от декодера ко второму кодеру.

22. Склейка потоков. Область применения

Широкое распространение видеокомпрессии делает все более необходимым объединение кодированных программ не только без декодирования, но и без изменения содержания блоков доступа. Пример дают серверные технологии, предполагающие широкое использование фрагментов программ, клипов, рекламных вставок, записанных на дисках сервера в компрессированной форме. Сетевые технологии производства программ предполагают широкое использование для доставки программ спутниковых, кабельных и микроволновых наземных линий связи, по которым данные должны передаваться в компрессированной форме, что диктует экономика.

Для малых телевизионных станций коммутация в компрессированной форме представляет на ранних стадиях внедрения цифрового телевидения единственный экономичный способ работы в цифровом окружении. Головные станции в какой-то мере подобны серверам, им также будет требоваться коммутировать потоки компрессированных данных и вставлять рекламные вставки. Видеосерверы в системах типа видео-по-запросу будут, конечно, хранить программы в компрессированном виде, ведь архивы должны быть огромными. Казалось бы, в таких платных системах рекламы не должно быть, однако некоторые провайдеры таких услуг будут предлагать сниженные расценки в обмен за включение рекламных вставок.

В серверной системе с тысячами выходов коммутация потоков, конечно, должна быть в компрессированной форме. Какой должна быть коммутация потоков данных? По своему внешнему проявлению она должна быть похожа на смену сюжета в рамках одной программы. По своей внутренней сути это, конечно, не просто коммутация, а сращивание потоков данных, при котором полученный поток будет соответствовать синтаксису и семантике MPEG-2. В стандарте такое сращивание называется склейкой потоков (splicing).

23. Проблемы

Есть три причины, налагающие ограничения на коммутацию потоков данных MPEG-2:

· P и B кадры не могут быть восстановлены без опорных изображений, которые использовались для предсказания в процессе кодирования. Коммутация может оставить P и B изображения без опорных.

· Компрессированные изображения требуют для передачи разных интервалов времени (I - больше, P и B - меньше), причем эти интервалы зависят от детальности и динамичности сюжета. Поэтому синхронизация и выравнивание границ кадров коммутируемых потоков - проблема, которая должна решаться в момент склейки.