Обработка видеосигналов с целью обнаружения пикселей с искаженными значениями

Размещено на http://www.allbest.ru/

Статья по теме:

Обработка видеосигналов с целью обнаружения пикселей с искаженными значениями

Владимир Иванович Марчук - д.т.н., проф., проректор по научной работе

Вячеслав Владимирович Воронин - к.т.н., доцент, каф. «Радиоэлектронные системы»

Роман Алексеевич Сизякин - студент, каф. «Радиоэлектронные системы»

Николай Валерьевич Гапон - студент, каф. «Радиоэлектронные системы», ГОУ ВПО «Южно-Российский государственный университет экономики и сервиса», г. Шахты

Authors present a new method fordetectingpixelswith distortedvaluesin archivalvideo signalsbased on thesequential analysis of thedifferentialadjacent framesandusing tothem operations ofbinarization, expansionandclosure, for which thenullityof frames withthe dispersionof theirinitial valuesis decided by results ofthe array analysis, giveclassificationof different typesof defects in thearchivalvideo recordings;showthat the effectivenessof the methoddoes not dependon the size andshape of the regionwith defectivevalues.

Keywords: digitalvideoprocessing, defect detection, archival video.

Представлен новый метод обнаружения пикселей с искаженными значениями на архивных видеосигналах, основанный на последовательном анализе разностных соседних кадров и применении к ним операций бинаризации, разрастания и смыкания, для которых по результатам анализа полученных массивов принимается решения о дефектности кадров с учетом дисперсии их исходных значений; приведена классификация различных типов дефектов на архивных видеозаписях; показано, что эффективность метода не зависит от размера и формы области с дефектными значениями.

Ключевые слова: цифровая обработка видеосигналов, обнаружение дефектов, архивные видеозаписи.

С развитием цифровых систем видеозаписи на второй план отходят системы аналоговой видеозаписи [1]. К сожалению, особенности аналоговой видеопленки таковы, что со временем материал, записанный на нее, частично искажается [2, 3], что обусловлено качеством аппаратуры, неправильным хранением видеопленки, а также ее размагничиванием. В результате на пленке появляются дефекты в виде одиночных или групповых пикселей, которые по яркости значительно отличаются от остальных пикселей. Время наблюдения данных дефектов, как правило, не более 1 - 2 кадров в видеопоследовательности. Восстановление таких дефектов в настоящее время в большинстве случаев осуществляется путем ручной покадровой обработки, что затрудняет восстановление архивных видеозаписей, старых документальных и художественных фильмов. Поэтому особо актуальной становится задача автоматизированной реставрации архивных видеозаписей [4].

Существуют различные типы дефектов архивных видеозаписей (рис.1), которые можно классифицировать следующим образом [5 - 6]:

1) пятна большого и среднего размера (площадь S = 2…7% относительно разрешения кадра видеопоследовательности):

с максимальным или минимальным уровнем яркости;

полупрозрачные;

2) пятна небольшого размера (площадь S = 0,7…2% относительно разрешения кадра видеопоследовательности);

с максимальным или минимальным уровнем яркости;

полупрозрачные;

3) вертикальные и горизонтальные полосы:

4) объекты, находящиеся в заданной локации на протяжении всей видеопоследовательности:

статичные (логотипы и пр.);

динамичные (субтитры и пр.).

Рис. 1 - Основные типы дефектов архивных видеозаписей

пиксель архивный видеосигнал дефект

Как правило, для каждого типа дефектов существует свой метод обнаружения и восстановления, что предъявляет соответствующие требования к наличию априорной информации о виде искажения [7].

Существует группа методов автоматического обнаружения на видеопоследовательности дефектов, принадлежащих к первому типу. К ним относятся методы, основанные на порядково-ранговой статистике [7, 8]. Суть их заключается в упорядочивании окрестных пикселей относительно центрального пикселя по уровню яркости, вычислении среднего значение яркости двух центральных пикселей из данного ряда и сравнении с пороговым значением. Одним из недостатков детекторов, использующих данные методы, является то, что при увеличении количества пикселей, входящих в область анализа, значительно возрастают вычислительные затраты.

К другой группе относятся методы, основанные на вычислении дисперсии на двух соседних кадрах и сравнении ее с пороговым значением [9]. Также известен детектор, основанный на прогнозировании ошибки [10]. Основным недостатком данных методов является трудность выбора порогового значения, к тому же в них не учитывается движение объектов, что, в свою очередь, приводит к ложным срабатываниям детектора.

Следует отметить, что существуют различные модификации перечисленных методов, в которых частично устранены эти недостатки [11, 12].

Целью данной работы является обнаружение на архивных видеозаписях пикселей с искаженными значениями с целью дальнейшего их устранения.

В случае динамического изображения рассматривается упрощенная модель, которая представляет собой двумерную дискретную последовательность вида

где -- полезная двумерная составляющая (исходное неискаженное изображение); - область с отсутствующими или искаженными пикселями (дефекты); и - число строк и столбцов двумерного массива изображения соответственно; - число кадров двумерного массива динамического изображения.

Предполагается, что априорная информация о геометрических особенностях динамических изображений отсутствует, положение дефектов и их принадлежность к классу из групп 1 - 4 не известны.

Предлагается следующий подход к обнаружению дефектов на видеосигналах, который основан на последовательном анализе разностных соседних кадров. Сначала из видеосигнала выделяется три соседних кадра, схематично представленные на рис. 2, и вычисляется разность между кадрами и которая позволяет определить отличие между соседними кадрами.

а) б) в)

Рис. 2 - Модель смежных кадров (а),(б) и (в)

Поскольку динамические изображения инерционны, то сцена и движение объектов для пары смежных кадров будут изменяться незначительно. Дефекты видеосигнала в виде групп пикселей, на уровне белого и черного, присутствуют в большинстве случаев только на одном кадре. Разностные массивы и кроме дефектов содержат также шлейф от движения объектов (рис. 3).

Рис. 3 - Шлейф от движения объектов на разных изображениях

Далее для выделения дефектов массивы и бинаризуются и выполняется операция разрастания и смыкания [1, 2]. После чего из полученных массивов удаляются все группы пикселей, занимающих площадь менее порогового значения (рис. 4).

Рис. 4 - Удаление мелких объектов

Затем области в массивах и разрастаются на заданное число пикселей . Далее для полученных массивов применяется операция «исключающее или» (рис. 5):

.

В результате данной логической операции формируется новый массив с единичными значениями для локализованных областей пикселей, при условии, что они присутствуют только на разностных кадрах или . В случае присутствия полученных областей одновременно на кадрах и принимается решение, что области являются производными шлейфа от движения объектов и исключаются из дальнейшего анализа.

Рис. 5 - Операция «исключающее или»

В результате работы предложенного алгоритма формируется массив , в котором в качестве единичных помечаются дефектные пиксели -го кадра видеопоследовательности.

Для исследования эффективности предложенного метода в качестве тестовых было взято несколько кадров из фильма «Инженер Прончатов» (рис. 6). После обработки на тестовых кадрах видны дефекты в виде черных и белых областей, выделяющихся на фоне остальных пикселей.

Анализ результатов обработки кадров показывает, что предложенный метод обладает высокой эффективностью обнаружения дефектов на видеозаписях, которая не зависит от размера и формы области с дефектными пикселями.

а) б)

в) г)

Рис. 6 - Результат обработки тестовых кадров: а, в - кадры фильма; б, г - дефекты на кадрах

Таким образом, в работе предлагается метод обнаружения дефектов на архивных видеозаписях, основанный на последовательном анализе разностных соседних кадров. Представлены результаты обработки тестовых видеосигналов. Показано, что эффективность метода не зависит от размера и формы области с дефектными пикселями.

Работа выполнена в рамках федеральной целевой программы ФЦП «Научные и научно-педагогические кадры инновационной России» на 2009 - 2013 годы.

Литература

1. Гонсалес Р., Вудс Р. Цифровая обработка изображений / М.: Техносфера. 2005.

2. Методы компьютерной обработки изображений / Под.ред. В.А. Сойфера. Изд. 2-е, испр. М.: ФИЗМАТЛИТ. 2003.

3. Яне Б. Цифровая обработка изображений. Москва: Техносфера. 2007.

4. Теоретические и практические аспекты цифровой обработки сигналов в информационно-телекоммуникационных системах / Под ред. В.И. Марчука. Шахты: Изд-во ЮРГУЭС. 2009.

5. Варламов А.Д., Садыков С.С. Точечные дефекты фотодокументов и методы их устранения // Тр. Междунар. симпозиума «Надежность и качество» / Под ред. Н.К. Юркова. Пенза: Изд-во ПГУ. 2004. С. 411 - 413.

6. Варламов А.Д. Технология реставрации фотоизображений // Мат. 7-й Междунар. конф «Оптико-электронные приборы и устройства в системах распознавания образов, обработки изображений и символьной информации. Распознавание - 2005» / Под ред. В.С. Титова и др. Курск: Курск. Гос. техн. ун-т. 2005. С. 34 - 35.

7. Пономаренко В.К. Компьютерная программа для электронной реставрации текстовой и графической информации / Мат. 7-й Междунар. конф. «EVA 2002, Москва». М.: Мин. культурыРФ. С. 341 - 343.

8. Van Roosmalen, J. Biemond, and Lagendijk, R. L. «Restoration and storage of film and video archive material» Signal Processing for Multimedia. 1999.

9. Kokaram, A.C., Morris, R., Fitzgerald, W., and Rayner, P., «Detection of missing data in image sequences», IEEE Image Processing. Pp. 1496 - 1508. 1995.

10. Banham, M.R. and Katsaggelos, A.K., «Digital Image Restoration», IEEE Signal Processing Magazine, Vol. 14, No. 2. Pp. 24 - 41. 1997.

11. Jung, J., Antonini, M., and Barlaud, M., «Automatic restoration of old movies with an object oriented approach» in Proceedings of the French Conference on Pattern Recognition and Artificial Intelligence (RFIA '00). Pp. 557 - 565. Paris, France, February 2000.

12. Wu, Y. and Suter, D. «Historical film processing» in Applications of Digital Image Processing XVIII, vol. 2564 of Proceedings of SPIE. Pp. 289 - 300, San Diego, Calif, USA, July 1995.

Размещено на Allbest.ru