Оценка метода маскирования визуальных искажений на стороне декодера для уменьшения влияния потерь при передаче видеоданных по сети
Рассматривается задача обработки визуальных искажений, возникающих при потере пакетов видеоданных в сети. Предлагается применение метода борьбы с такими искажениями, основанного на применении алгоритмов пространственной интерполяции потерянных областей.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | статья |
| Язык | русский |
| Дата добавления | 15.01.2019 |
| Размер файла | 311,2 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Оценка метода маскирования визуальных искажений на стороне декодера для уменьшения влияния потерь при передаче видеоданных по сети
Веселов А.И., ассистент кафедры инфокоммуникационных систем ГУАП, felix@vu.spb.ru
Ястребов В.А., студент кафедры безопасности информационных систем ГУАП, victor.yastrebov@vu.spb.ru
В статье рассматривается задача обработки визуальных искажений, возникающих при потере пакетов видеоданных в сети. Предлагается метод борьбы с такими искажениями, основанный на применении алгоритмов пространственной интерполяции потерянных областей с использованием методов восстановления изображений. Приводятся результаты оценки предложенного метода на простой модели системы передачи видеоданных, демонстрируется целесообразность применения предложенного подхода.
В настоящее время существует большое количество приложений, требующих обработку и передачу видеоданных в режиме реального времени. Примерами таких приложений являются видеоконференции, видео звонки, просмотр потокового видео и т.д. Типовая схема системы передачи видеоданных для обозначенных выше сценариев приведена на рисунке 1А. Исходное видео, являющееся последовательностью кадров, подвергается сжатию (кодированию), сжатые данные разбиваются на пакеты и передаются декодеру, который по мере получения пакетов восстанавливает кадры видеопоследовательности. В процессе передачи по сети могут возникать ошибки, которые отражаются в искажении или потере пакетов, что может приводить к существенному падению качества восстановленного видео (рисунок 3Б, рисунок 3Г). В данной статье предлагается метод маскирования визуальных искажений, позволяющий уменьшить влияние такого рода ошибок на качество восстановленных видеоданных. Производится оценка предложенного метода в рамках простой модели передачи данных.
Описание рассматриваемой модели обработки и передачи видеоданных по сети. Введем в рассмотрение модель системы обработки и передачи видеоданных (рисунок 1А), построенную на основе следующих допущений. В качестве кодека видеоданных используется эталонная реализация кодека стандарта H.264/AVC [1] - JM 16.1 [2]. Кодер (передатчик) считается фиксированным, т.е. никакие модификации в него вносить нельзя. Сжатый поток формируется следующим образом. Первый кадр видеопоследовательности кодируется в режиме Intra (I кадр), все остальные кадры обрабатываются как Inter кадры (P кадры). Одному кадру ставится в соответствие один слайс (slice). Стандарт H.264/AVC предоставляет уровень абстракции между сжатыми данными и средой передачи (NAL, Network Abstraction Layer). На этом уровне сжатые данные упаковываются в блоки, называемые NALU (NAL Units). В рассматриваемой модели предполагается, что в один NALU попадают сжатые данные только от одного макроблока, и в одном пакете передается только один NALU. Вводится модель ошибок, возникающих при передаче NALU пакетов по сети, основанная на следующих допущениях:
· Любые искажения в пакете будут обнаружены;
· Обнаруженные искажения трактуются как полная потеря пакета;
· При передаче I кадра возникают ошибки, которые приводят к потере только подряд идущих пакетов (соответствующих соседним в кадре макроблокам);
· При передаче P кадров ошибки не возникают.
Декодер получает из сети пакеты со сжатыми данными и осуществляет восстановление видеопоследовательности. Потеря пакета приводит к появлению черного квадрата на восстановленном кадре по координатам соответствующим координатам потерянного макроблока. При этом считается, что ошибка не распространяется по I кадру. На P кадрах возникают искажения при декодировании макроблоков, использующих явно или неявно потерянный макроблок в качестве базового.
Перед рассмотрением предложенного метода следует отметить, что стандарт H.264 AVC предлагает ряд способов борьбы с ошибками передачи:
· Гибкий выбор порядка следования макроблоков;
· Произвольный порядок выдачи слайсов;
· Генерация избыточных слайсов.
Первые два подхода позволяют уменьшить визуальное влияние ошибки, «распространив» её по кадру. Третий метод позволяет в некотором роде бороться с проблемой потери пакетов за счет увеличения объема передаваемых данных. Тем не менее, использование третьего метода не гарантирует, что все пакеты, необходимые для безошибочного декодирования кадра, успешно дойдут до декодера, т.к. возможна ситуация, что произойдет такая ошибка, которая исказит и избыточные слайсы. В связи с этим адекватная обработка потерянных пакетов декодером является актуальной задачей.
визуальный искажение передача видеоданные
А
Б
Рисунок 1:
А) Модель кодека и модель ошибок
Б) Предложенная модификация декодера
Описание предложенного метода. Для решения поставленной задачи предлагается использовать подходы, основанные на методах восстановления изображений (image inpainting [3]). Эти подходы позволяют произвести интерполяцию поврежденной или недоступной части изображения. Предлагается модифицировать декодер видеоданных, добавив в него блок восстановления базового кадра (рисунок 1Б). Этот блок используется для детектирования потерянных макроблоков и их последующей интерполяции. Обобщенная схема предлагаемого алгоритма восстановления приведена на рисунке 2.
Рисунок 2: Схема работы алгоритма восстановления
Предложенный алгоритм восстановления базируется на статье [4]. Основное отличие состоит в том, что на каждом шаге изменению (интерполяции) подвергается только один пиксель, а не несколько пикселей сразу.
Введем понятия, которые будут использоваться для описания алгоритма. Исходная область - область на изображении, которая остается неизменной в ходе работы алгоритма. Целевая область - область на изображении, которую необходимо изменить (интерполировать).
В ходе работы алгоритма осуществляется замена каждого пикселя из целевой области наиболее похожим пикселем из исходной области изображения. Степень похожести определяется путем анализа апертуры (окружения) целевого и исходного пикселей с использованием критерия SAD (Sum of Absolute Differences, сумма абсолютных разностей). В случае если несколько исходных пикселей имеют равный минимальный SAD, то апертура каждого из них анализируется заново, уже с использованием критерия SSD (Sum of Squared Differences, сумма квадратов разностей). Более подробное описание алгоритма приведено в [5].
Следует отметить, что описанная ранее модель системы передачи данных обладает рядом существенных упрощений, не соответствующих реальности. Тем не менее, целесообразность применения метода маскирования искажений и потенциальный выигрыш от предложенного метода можно оценить и на такой простой модели. Также, следует сказать, что существуют работы, например [6] , в которых рассматриваются схожие подходы, основанные на пространственной интерполяции потерянных областей. Отличие данной статьи заключается в том, что в качестве метода интерполяции предлагается использовать подход, показавший хорошие результаты при решении схожей задачи - задачи восстановления поврежденных изображений. Сравнение с альтернативными методами интерполяции является предметом дальнейших исследований.
А В
Б Г
Рисунок 3:
А) Покадровый график PSNR для последовательности Foreman CIF
Б) Результат декодирования Intra кадра c внесенными потерями (Foreman CIF)
В) Покадровый график PSNR для последовательности Football CIF
Г) Результат декодирования Intra кадра c внесенными потерями (Football CIF)
Оценка предложенного метода была проведена на наборе стандартных тестовых видеопоследовательностей [7]. Результаты проведенных экспериментов для двух последовательностей (с медленным и быстрым движением) отображены на рис. 3.
На протестированных последовательностях удалось получить существенный выигрыш по критерию PSNR (до 13 дБ). При этом на малодинамичной последовательности Foreman (Рис.3A) величина выигрыша слабо изменяется с ростом номера кадра. Это объясняется тем, что утерянный на базовом кадре фрагмент используется при обработке большого количества кадров, т.е. его влияние сильно распространено во времени. С другой стороны для динамичной последовательности (Рис.3В) после 20 кадра графики PSNR начинают сходиться. Это объясняется тем, что со временем из-за высокой динамики движения, влияние утерянного макроблока на предсказанные кадры сильно падает. Тем не менее, на этой последовательности до 20 кадра также наблюдается существенный прирост PSNR.
Заключение
В данной работе была рассмотрена задача уменьшения влияния потерь при передаче видеоданных по сети. Для решения этой задачи было предложено использовать метод, основанный на принципах восстановления изображений. Для оценки этого метода была введена в рассмотрение простая модель обработки и передачи видеоданных по сети. В рамках этой модели удалось продемонстрировать выигрыш до 13 дБ, по сравнению с декодированием без предложенной модификации. В дальнейшем планируется провести сравнение с альтернативными методами борьбы с потерями, например [6], рассмотрев при этом более сложные модели ошибок. Кроме того, необходимо проанализировать способы снижения сложности используемого алгоритма восстановления, т.к. текущая реализация не подходит для применения в режиме реального времени.
Литература
1. H.264/MPEG-4 part 10 AVC ISO/IEC 14496-10, Coding of Audio-Visual Objects - Part 10. Advanced Video Coding, 2003
2. JM H.264/AVC codec: http://vqegstl.ugent.be/?q=node/14
3. M. Bertalmio, G. Sapiro, V. Caselles, and C. Ballester, Image inpainting, Computer Graphics, SIGGRAPH 2000, July 2000
4. A. Criminisi, P. Perez, K. Toyama. Region Filling and Object Removal by Exemplar-Based Image Inpainting. IEEE Transactions on Image Processing, vol.13, No9, Sep.2004
5. В.А.Ястребов, В.П.Реутт “Метод пространственной интерполяции изображений”, 65 международная студенческая конференция ГУАП: сб.докл.: В 2 Ч. Ч.I Технические науки // СПбГУАП. СПб., 2012, 516 с. ил.
6. H. Gharavi, S. Gao, Spatial Interpolation Algorithm For Error Concealment, IEEE International Conference on Acoustics, Speech and Signal Processing, 2008. ICASSP 2008.
7. Xiph.org Video Test Media [derf's collection], http://media.xiph.org/video/derf/
Размещено на Allbest.ru
...Подобные документы
Обзор основных алгоритмов и методов распознавания лиц. Архитектура средств динамического отслеживания лиц в видеопоследовательности. Результаты тестирования на больших объемах видеоданных. Разработка алгоритмов и методов динамического отслеживания лиц.
дипломная работа [5,9 M], добавлен 20.07.2014Анализ платформы GATE и ее инструмента для аннотирования текста. Обзор существующих редакторов для визуальных языков и языка JAPE, их возможности, преимущества и недостатки. Проектирование визуальных конструкций на основе языка программирования JAPE.
дипломная работа [770,5 K], добавлен 08.02.2017Моделирование сети, состоящей из 2 компьютеров и файл-сервера, соединённых через свитч. Принцип проверки пакетов на статус запрос-ответ. Работа простейшей сети, состоящей из 3х ПК и файл-сервера с HUB-ом и без него. Принцип очередей обработки пакетов.
контрольная работа [326,1 K], добавлен 09.06.2010Анализ проблемы обеспечения информационной безопасности при работе в сетях; обоснование необходимости разработки алгоритмов безопасной маршрутизации пакетов сообщений в глобальной информационной сети. Алгоритмизация задач безопасной маршрутизации пакетов.
дипломная работа [1,0 M], добавлен 21.12.2012Топология и принципы администрирования кабельной сети, выбор метода подключения сетевого оборудования. Проектирование локальной вычислительной сети. Оценка затрат на внедрение структурированной кабельной системы и системы бесперебойного питания.
дипломная работа [1,8 M], добавлен 28.10.2013Сущность метода проектов и виды проектной деятельности. Изучение особенности wiki-среды и системы связывания метода проектов с программными механизмами, такими как MediaWiki. Оценка степени влияния использования wiki-среды на качество процесса обучения.
курсовая работа [1,2 M], добавлен 23.06.2014Признаки корпоративности продукта. Особенности и специфика корпоративных сетей. Слой компьютеров (центры хранения и обработки информации) и транспортная подсистема для передачи информационных пакетов между компьютерами в основе корпоративной сети.
контрольная работа [30,9 K], добавлен 14.02.2011Представление видеоданных и способы сжатия видео. Применение двухмерного пространственного фильтра для сглаживания острых углов в предсказываемом блоке. Организация поиска по видеоданным. Непрерывное подмножество фреймов и ассоциативная карта сегментов.
презентация [116,9 K], добавлен 11.10.2013Изучение принципов построения локальных вычислительных сетей. Обоснование выбора сетевой архитектуры для компьютерной сети, метода доступа, топологии, типа кабельной системы, операционной системы. Управление сетевыми ресурсами и пользователями сети.
курсовая работа [1,8 M], добавлен 25.04.2016Нейронные сети и оценка возможности их применения к распознаванию подвижных объектов. Обучение нейронной сети распознаванию вращающегося трехмерного объекта. Задача управления огнем самолета по самолету. Оценка экономической эффективности программы.
дипломная работа [2,4 M], добавлен 07.02.2013Проблема построения локальной вычислительной сети организации под управлением операционной системы Windows 2000 Server. Проектирование корпоративной сети на базе Ethernet. Расчет усеченной двоичной экспоненциальной отсрочки. Обеспечение защиты данных.
контрольная работа [140,7 K], добавлен 30.10.2012Определение понятия алгоритмов, принципы их решения людьми и всевозможными техническими устройствами. Применение компьютера для решения задач. Особенности использования метода последовательного укрупнения при создании шахматной доски по алгоритму.
презентация [1,1 M], добавлен 06.02.2012История сети Internet. Из чего состоит Internet? Протоколы сети Internet. Сети с коммутацией пакетов. Межсетевой протокол (IP). Протокол управления передачей (ТСР). Доменная система имён. Правовые нормы. Сетевая этика. Соображения безопасности.
реферат [129,3 K], добавлен 23.11.2006Команды операционной системы CiscoIOS. Маршрутизация в протоколе IP как процесс передачи пакетов между соединенными сетями. Общие понятия языка JavaScript. Подбор коммутатора третьего уровня с возможностью объединения в стек. Создание и конфигурация сети.
отчет по практике [1,7 M], добавлен 22.02.2015Преимущества нейронных сетей. Модели нейронов, представляющих собой единицу обработки информации в нейронной сети. Ее представление с помощью направленных графов. Понятие обратной связи (feedback). Основная задача и значение искусственного интеллекта.
реферат [1,2 M], добавлен 24.05.2015Описание отделов и функций компании. Схема внутренних информационных потоков. Анализ и выбор организации ресурсов сети. Описание топологии "звезда", технологии Fast Ethernet. Характеристика метода доступа CSMA/CD. Этапы создания локальной внутренней сети.
курсовая работа [1,4 M], добавлен 09.01.2012Описание ДСМ-метода автоматического порождения гипотез. Исследование результатов влияния компонентов ДСМ-метода на качество определения тональности текстов. Алгоритм поиска пересечений. N-кратный скользящий контроль. Программная реализация ДСМ-метода.
курсовая работа [727,0 K], добавлен 12.01.2014Решение задачи на тему максимизации функций многих переменных. Описание метода дихотомии, его применение для решения нелинейных уравнений. Решение данной задачи с использованием метода покоординатного спуска. Составление алгоритмов, листинг программы.
курсовая работа [138,5 K], добавлен 01.10.2009Token ring как технология локальной вычислительной сети (LAN) кольца с "маркерным доступом" - протокол локальной сети на канальном уровне (DLL) модели OSI. Логическая организация станций Token ring в кольцевую топологию с данными. Описание метода доступа.
лекция [168,8 K], добавлен 15.04.2014Применение сетевых технологий в управленческой деятельности. Понятие компьютерной сети. Концепция открытых информационных систем. Преимущества объединения компьютерных сетей. Локальные вычислительные сети. Глобальные сети. Международная сеть INTERNET.
курсовая работа [38,1 K], добавлен 16.04.2012
