Определение времени задержки видеоизображения

Размещено на http://www.allbest.ru//

Определение времени задержки видеоизображения

Занина Валерия Алексеевна

В современном мире новые технологии становятся все более доступными, и практически каждый человек способен использовать устройство видеокамеры не только для личного пользования. Самое распространенное применение видеокамер - в системах видеонаблюдения и видеоаналитики в различных областях деятельности: в аграрной промышленности для обеспечения контроля за большими площадями с использованием автоматических средств [3,4]; в целях обеспечения безопасности и охраны правопорядка на предприятиях, дорогах и улицах населенных пунктов; активно внедряются в космической, авиационной, автомобильной индустрии, для охраны трубопроводов, газопроводов, нефтепроводов, на заправках, насосных и компрессорных станциях. Видеонаблюдение повышает точность позиционирования рабочих органов относительно объекта при снижении стоимости оборудования и эксплуатации системы навигации.

Понимание того, как камера захватывает изображение, требует базового понимания понятия света и того, как она работает. Объекты, которые можно увидеть, взаимодействуют с отдельными частицами света, называемыми фотонами. Эти фотоны отражаются от объектов, слегка меняя свою частоту, чтобы соответствовать цвету объекта, а затем они перемещаются туда, где их можно наблюдать. Если позволить этим фотонам пройти через небольшое отверстие, они создадут изображение того, что находится перед отверстием, расположенным сразу за отверстием. Захват изображения с помощью камеры - это манипуляция этим процессом.

Способ записи изображения будет зависеть от того, какого вида камера: цифровая или пленочная. В пленочной камере фотоны света проходят через пленку, вызывая реакцию в месте удара. Процесс разработки переводит эту реакцию в яркость при создании финальной картины. Цветная пленка использует несколько слоев пленки для записи уровней яркости синего, зеленого и красного цветов, которые затем преобразуются в полноцветное изображение. Датчик цифровой камеры работает аналогично. Отдельные пиксели захватывают фотоны по мере их ввода. Эти пиксели создают электрический заряд, исходя из того, сколько фотонов они захватывают. Полученная информация так же разбивается на три основных цвета, затем преобразуется в изображение, которое можно увидеть на экране.

Для визуального контроля или анализа изображений необходимо условие четкой работы системы передачи видеокадров. Любая камера имеет как минимум незначительную задержку, поскольку изначально сигнал поступает в обработку и до момента появления сигнала на выходе проходит определенный промежуток времени, который принято называть задержкой камеры.

Дополнительное оборудование и совмещение нескольких камер позволяют образовать целые системы, называемые системами видеонаблюдения. В таких системах задержка в несколько миллисекунд является недопустимой. Поскольку изображению требуется время для обработки, существует множество алгоритмов для минимизации задержки камеры. Для оптимизации алгоритмов on-line трансляции видео изображений предложен измерительный комплекс, способный вычислить тeкующую задержку камеры, передающую изображение on-line.

Предлагается реализация устройства на электронной платформе Arduino UNO, представленной на рисунке 1, в основе которой заложен микроконтроллер ATmega 328p.

Рисунок 1 - аппаратно-вычислительная платформа Arduino UNO

Плата имеет 14 цифровых входов и выходов, 6 из которых можно использовать для имитации аналоговых выходов с помощью широтно-импульсной модуляции. Так же плата имеет 6 аналоговых входов, которые также можно использовать как цифровые выходы. Рабочее напряжение Arduino UNO 5 B. Предложенная плата является наиболее дешевым и универсальным средством для реализации идеи. Для написания программ Arduino UNO имеет собственную IDE. Программно-аппаратная платформа Arduino UNO идеальна как для простых, так и для сложных решений.

Индикатор для вычисления задержки камеры представляет собой макетную плату, представленную на рисунке 2.

Рисунок 2 - Макетная плата для индикатора

В плату встраиваются 19 светодиодов двух цветов: 9 желтых и 10 синих большего размера. Светодиоды подключаются через резисторы с сопротивлением 220 Ом. Подключение в аппаратную платформу Arduino UNO происходит через вилочно-розеточные провода.

Алгоритм работы светодиодов заключен в поочередности включения каждого. Один желтый светодиод мигает с периодичностью в 1 миллисекунду. Если все 9 желтых светодиодов поочередно загорелись, то по истечении 9 мс, включается 1 синий светодиод и в этот же момент все желтые светодиоды выключаются. Это происходит в течение 1 мс. Момент включения каждого синего светодиода 1 мс и 9 мс он находится во включенном состоянии. Соответственно, каждый синий светодиод символизирует собой временной интервал в качестве 10 мс. Максимальную задержку, которую способна вычислить плата составляет 1 секунда. Для серьезных видеокамер задержка даже в малых миллисекундах играет значимую роль.

Для использования индикатора необходимо на одном экране запустить трансляцию двух изображений с разных камер. Предполагается наличие некоторой эталонной камеры, работающей в реальном времени без задержки и камеры с обработкой изображения. Камеры настраиваются на индикатор с приблизительно одинакового ракурса. Для вычисления задержки необходимо сделать скриншот и на полученном изображении определить разницу в желтых и синих светодиодах.

По истечении 21 миллисекунды реального времени, эталонная камера должна показать изображения с включенными двумя синими светодиодами и одним желтым светодиодом. Если на изображении от испытываемой камеры горит только два синих светодиода, то это означает, что задержка испытываемой камеры составила 1 миллисекунду. В другом случае, на изображении от эталонной камеры горит два синих светодиода, а на испытываемой один синий и семь желтых светодиодов, то задержка же равна 3 мс. Отсюда можно вывести простую математическую формулу 1:

, (1)

где x будет равен количеству синих светодиодов, умноженных на 10 миллисекунд, а y приравнивается к количеству желтых светодиодов. В результате получено время для эталонной камеры Tэ. Такую же математическую операцию следует произвести для испытываемой камеры по формуле 2:

, (2)

где x1 будет равен количеству синих светодиодов на изображении от испытываемой камеры, умноженных на 10 миллисекунд, а y1 количеству желтых светодиодов. В результате полученное время принимается за . По формуле 3 полученное значение эталонного времени вычитается из значения времени испытываемой камеры , что в результате дает результат времени, равное отставанию изображения от реальности .

(3)

Предположим, что на испытываемой камере горит четыре светодиода синего цвета и три желтого цвета, а на эталонной горит только пять синего цвета. Подставляя значения в формулы, получается, что задержка составила 7 миллисекунд.

Для проведения эксперимента на работоспособность измерительного комплекса было выбрано две камеры: в качестве эталонной выбрана интегрированная камера ноутбука Acer, ведущая on-line трансляцию в приложении фотобудка под управлением операционной системы Linux дистрибутива Ubuntu 18.10. Предполагается, что данная камера работает в on-line режиме без задержки. Изображение, переданное с эталонной камеры можно увидеть на рисунке 3 в правой части разделенного экрана. Для исследования выбрана камера Raspberry Pi Camera Board v2.1, передающая видео с использованием протокола UDP по Ethernet-проводу через мини-компьютер Raspberry Pi. Программа, обрабатывающая изображение, написана при помощи мощного фреймворка для построения мультимедийных приложений GStreamer. видеоизображение задержка камера

Raspberry Pi был создан как специальный мини-компьютер для технического обучения. Он имеет множество компонентов для компьютерных проектов, таких как USB-порты, Ethernet-порт, слот для SD-карт, Wi-Fi-антенные порты и многие другие. Данный компьютер не оснащен внешними периферийными устройствами

Протокол UDP - это альтернативный протокол обмена данными для протокола управления передачей, используемый главным образом для создания малой задержки переноса связи между приложениями в Интернете без потерь. UDP является идеальным протоколом для сетевых приложений, в которых воспринимаемая задержка является критической, например, в игровых и голосовых и видео коммуникациях.

Модернизированный модуль камеры Raspberry Pi v2 - это новая официальная плата камеры, подключаемая к любому Raspberry Pi или вычислительному модулю. Это высококачественная 8-мегапиксельная камера, основанная на датчике изображения Sony IMX219, позволяющая создавать HD-видео и фотоснимки. Для умещения двух изображений на одном мониторе выбрано разрешение 640Ч480px. Для комплексной обработки мультимедиа используется GStreamer, позволяющий работать с различными типами мультимедиа с помощью единого подхода. Это межплатформенная мультимедийная инфраструктура с открытым исходным кодом с программируемой архитектурой плагинов трубопроводов. Многочисленные плагины позволяют обрабатывать потоки и файлы из нескольких форматов, а также встроенную обработку в реальном времени или в пакетном режиме. Следовательно, это полезно для сбора, преобразования файла из одного метода кодирования в другой, обработки и манипулирования потоками. Он широко используется во встроенных и Linux-приложениях, потому что это самый универсальный мультимедийный набор инструментов для этих платформ. Таким образом, GSreamer может обеспечить отличную видеосвязь с низкой задержкой.

На рисунке 3 представлено изображение, транслируемое с двух камер. С правой стороны изображение принято за эталонное, а с левой стороны изображение проходит предварительную обработку.

Рисунок 3 - Изображения с камер

Можно посчитать, что слева зажжено 7 синих светодиодов и все 9 желтых, а справа 8 синих и 9 желтых. Согласно формуле 1 можно вычислить время эталонной камеры Тэ, где х будет равно 8, а у будет равно 9, результат равен 89. Согласно формуле 2 можно вычислить время испытываемой камеры Ти, где х1 будет равно 7, а у1 9, результат равен 79. Согласно формуле 3 разность между эталонной и испытываемой камерой равна 10. Анализируя расчеты, можно прийти к выводу, что испытываемая камера Raspberry Pi v2 отстает от эталонной на 10 миллисекунд. Рассмотренное техническое решения позволит использовать плату Arduino для определения задержки изображений на видеокамерах.

Видеокамеры позволяют решать весьма широкий спектр задач. Задержка изображения для большинства ситуаций не очень критична, но есть сферы применения, когда задержка неприемлема. Например: управление поворотным устройством, технологическое видеонаблюдение на производстве, ситуационное видеонаблюдение, поскольку просмотр видеоинформации с камер осуществляется в реальном времени на посту оператора или в ситуационном центре.

Список литературы

Адушкина А. С. Автоматизированная система обнаружения движения на видео / А. С. Адушкина, М. А. Кудрина // Конференция информационные технологии и нанотехнологии: сб. тр. конф. Самара, 29 июня - 01 июля 2015 г. - Самара: Изд-во «Самарский научный центр РАН». - 2015. - С. 348-352.

Лабинцева В.Р. Методы визуализации данных при проведении экономического анализа. /Е.В. Фешина, В. Р. Лабинцева, А.П. Овчаров. Международный журнал «Colloquium-journal». Варшава. - 2018. - №11-7(22). С. 49-52.

Саенко О. В. Современные системы видеонаблюдение: возможности и перспективы / О. В. Саенко // Автоматизация в промышленности. - 2010. - № 12. - С. 59-60.

Фешина Е.В. Интеллектуальные системы как средство автоматизации личного подсобного хозяйства /Е.В. Фешина, Д.А. Омельченко. Научное обеспечение агропромышленного комплекса: сборник статей по материалам ХI Всероссийской конференции молодых ученых, посвященной 80-летию Кубанского ГАУ и 80-летию со дня образования Краснодарского края. Отв. за вып. А.Г. Кощаев. Краснодар: КубГАУ. - 2017. - С. 267-268.

Фешина Е.В. Применение ARDUINO во внеучебной деятельности студентов вуза как средство развития прикладного программирования / Е.В. Фешина, А.В. Сокол, В.С. Солодкий // Научное обеспечение агропромышленного комплекса: сборник статей по материалам Х Всероссийской конференции молодых ученых, посвященной 120-летию И.С. Косенко. Отв. за вып. А.Г. Кощаев. Краснодар: КубГАУ. - 2017. - С. 456-457.

Размещено на Allbest.ru