Методы видеонаблюдения, сегментации и сопровождения движущихся объектов

Размещено на http://www.allbest.ru/

Автореферат

диссертации на соискание ученой степени

Методы видеонаблюдения, сегментации и сопровождения движущихся объектов

05.12.04 - Радиотехника

доктора технических наук

Обухова Наталия Александровна

Санкт - Петербург, 2008

Работа выполнена в Санкт-Петербургском государственном университете аэрокосмического приборостроения.

Научный консультант: доктор технических наук, профессор Тимофеев Б.С.

Официальные оппоненты:

доктор технических наук, профессор Гоголь А.А.

доктор технических наук, профессор Ерош И.Л.

доктор технических наук, профессор Лысенко Н.В.

Ведущая организация - ФГУП «НИИ телевидения», Санкт - Петербург

Защита диссертации состоится «__» ________ 2008 г. в ____час. на заседании диссертационного совета Д212.238.03 Санкт - Петербургского государственного Электротехнического университета «ЛЭТИ» им. В. И. Ульянова (Ленина) по адресу: 197376, Санкт - Петербург, ул. Проф. Попова, 5.

С диссертацией можно ознакомиться в библиотеке университета.

Автореферат разослан «__» ________ 2008 г.

Ученый секретарь диссертационного совета Баруздин С.А.

Общая характеристика работы

Актуальность работы. Прикладные ТВ системы имеют чрезвычайно широкое и разнообразное применение. В соответствии с характером решаемых задач следует выделить системы: видеонаблюдения, измерительные, классификации и распознавания, сегментации и сопровождения объектов, охранные системы и др. По целевому назначению рассматривают системы: космического и воздушного мониторинга, медико-биологические, криминалистические, наблюдения за высокотемпературными процессами, мониторинга газопроводов и нефтепроводов, транспортного и экологического мониторинга и т.д.

Научным проблемам синтеза прикладных телевизионных систем, их адаптации к внешним условиям, повышению качественных показателей, помехоустойчивости и точности измерения параметров объектов посвящены работы многих отечественных и зарубежных ученых:

Катаева С. И., Зубарева Ю. Б., Селиванова А. С., Гуревича С. Б., Рыфтина Я. А., Гоголя А.А., Быкова Р. Е., Лысенко Н.В, Тимофеева Б. С., Пустынского И. Н., Цицулина А. К., Хромова Л. И., Ярославского Л. П., Василенко Г. И., Розенфельда А.А,. Горелика С. Л., Ероша И. Л., Сергеева М.Б., Фисенко В.T., Кузьмина В.П , Хорна Б. К. П., Претта У. К., Колера Д., Марагоса Г., Форести Л., Виарани Л., Хао Тау и др.

Разработкой современных прикладных ТВ систем занимаются научно - производственные коллективы: ФГУП «НИИ телевидения» под руководством А. А. Умбиталиева, ФГУП НИИ ПТ «Растр» под руководством Кузьмина В.П. и Челпанова В.И., компания «ЭВС» (Санкт - Петербург) под руководством Лебедева Н.В., филиал ФГУП ЦНИИ «Комета» под руководством Фисенко В.Т. и др.

Главными особенностями современного этапа развития прикладных ТВ систем являются:

1. Стремительное развитие аппаратной базы и вычислительной техники. Это обусловило появление видеокомпьютерных систем и, как следствие, существенно ослабило ограничения на сложность и емкость методов обработки видеоданных в них.

2. Все большее распространение прикладных ТВ систем сопровождается значительным усложнением решаемых ими задач.

Указанные особенности ужесточают требования к эффективности методов анализа и представления видеоданных прикладными ТВ системами.

Для видеонаблюдения это предполагает построение систем, обеспечивающих максимальный уровень эргономичности. Для получения наиболее полной информации об объекте интереса и окружающей обстановке необходимо увеличение угла зрения видеокамеры. Обычно эту проблему решают путем применения широкоугольных и сверхширокоугольных объективов. Их использование приводит к существенным пространственным искажениям и снижению разрешения на краях формируемого изображении. Компенсация пространственных искажений цифровыми методами сопровождается дополнительными потерями разрешающей способности. Необходимо разработать методы синтеза изображений объектов интереса, исключающие указанные проблемы.

Существующие сегодня системы видеонаблюдения при работе в режиме реального времени предъявляют видеоматериал оператору со скоростью движения объекта интереса или камеры. Например, при контроле железнодорожного состава его скорость определяет скорость просмотра видеоматериала. Если эта скорость достаточно высока, то нет возможности рассмотреть целостность вагонов, пломб и сверить с натурным листом бортовые номера. В этом случае оператор вынужден работать с видеоматериалом, помещенным в архив. В результате контроль состава выполняют после его прохождения, что снижает оперативность наблюдения. При наблюдении быстродвижущихся объектов должна быть обеспечена возможность регулирования скорости предъявления видеоданных непосредственно в режиме контроля, а не работы с архивом.

Одновременно с наблюдением необходимо предоставить оператору дополнительную информацию об объекте интереса, полученную на основе анализа видеоданных. Это могут быть данные о скорости движения объекта (поезда, автомобиля), информация о типе транспортного средства, его номерном знаке и др. Должен быть сформирован информационный кадр, включающий в себя изображение объекта, оперативные данные и информацию из баз данных.

Для систем видеонаблюдения актуальным является разрешение противоречия между качеством формируемых изображений и аппаратными возможностями существующих каналов связи, а также устройств хранения данных. Несмотря на высокую емкость современных жестких дисков ее недостаточно для хранения больших объемов информации длительное время, как это необходимо согласно техническим условиям. Традиционно это противоречие решают путем сжатия видеоданных с заметным понижением их качества и потерей информации. Для повышения эффективности систем видеонаблюдения необходимо разработать методы сжатия видеоданных без потери информации об объекте интереса для обеспечения длительного хранения и передачи в реальном времени высококачественных изображений по каналам связи с ограниченной пропускной способностью.

Помехоустойчивость пассивных телевизионных и тепловизионных систем сегментации и сопровождения обуславливает их высокую востребованность и широкое распространение: при управлении воздушным и водным транспортом, при проведении антитеррористических мероприятий, анализе транспортных потоков и др. Практика применения систем этого класса позволяет выделить следующие основные проблемы.

При высокой динамике и большом числе объектов интереса затруднено их первоначальное выделение оператором. Актуальным является обеспечение автоматической сегментации одновременно нескольких объектов интереса с присвоением им уникальных меток, которые не должны изменяться далее в процессе сопровождения даже при временном исчезновении объекта интереса.

При работе одновременно с несколькими объектами интереса возникает проблема разрешения их взаимодействия друг с другом и фоном. Необходимо корректно отрабатывать ситуации появления и исчезновения объектов в зоне наблюдения, слияние и разделение объектов интереса, перекрытия объектов друг другом или фоном (окклюзию). Наиболее часто используемое решение при возникновении ситуации окклюзии - это переход на сопровождение обоих объектов «по памяти». Это увеличивает вероятность потери объектов интереса и требует идентификации объектов после их вторичной сегментации. Необходимо определить какой из объектов находится на переднем плане, и использовать сопровождение «по памяти» только для полностью закрытого объекта интереса. В этом случае вероятность срыва сопровождения возрастает только для одного (закрытого объекта), при этом выделение и сопровождение его до полного закрытия позволяет увеличить объем информации об объекте до перехода в режим предсказания, а также минимизировать длительность ведения по памяти.

В процессе сопровождения объекты меняют свои свойства ракурс, размеры, скорость движения вплоть до остановки; возможны существенные изменения фона и освещенности. Например, при старте ракеты после запусков двигателя возникает яркая вспышка и облако пыли, резко меняющие свойства изображения объекта интереса. Необходимо разработать многопризнаковую систему, позволяющую исключить срыв сопровождения при существенной динамике свойств объекта и окружающей обстановки.

Сформулированные требования предполагают качественно новый анализ видеоинформации. Необходимо выработать правильные решения для плохо формализованных задач, требующих оригинальных методов и алгоритмов решения в зависимости от конкретной ситуации, характеризующейся неопределенностью и динамичностью исходных данных.

Система должна извлекать знания из накопленного опыта и применять их для решения задач, а также иметь способность к развитию в соответствии с объективными изменениями условий функционирования.

Перечисленные особенности являются признаками информационно-интеллектуальных систем.

Указанные выше положения делают актуальной проблему повышения эффективности прикладных ТВ систем путем придания им интеллектуальных свойств. Ее решению посвящена данная диссертационная работа.

Цель диссертационной работы: разработка методов представления и анализа видеоданных, позволяющих реализовать функциональные особенности интеллектуальных прикладных ТВ систем для существенного повышения их эффективности.

Основные задачи диссертационной работы:

1. Определить функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения; сформулировать основные принципы представления и обработки видеоданных в них.

2. Оценить возможности и эффективность использования существующих методов определения векторов движения в прикладных ТВ системах.

3. Разработать новые методы оценивания векторов движения, учитывающие специфику видеоданных, получаемых в сложных условиях видеонаблюдения.

4. Разработать методы субпиксельной оценки векторов движения, позволяющие анализировать изображения объектов интереса с медленным движением.

5. Оценить эффективность применения методов цифровой коррекции пространственных искажений изображений, создаваемых сверхширокоугольными объективами.

6. Разработать метод синтеза изображения протяженного объекта интереса, обеспечивающий: высокую эргономичность видеонаблюдения; сжатие данных без потери информации, позволяющее разрешить противоречие между объемом записанных данных и их качеством; передачу высококачественных видеоизображений по каналам связи с низкой пропускной способностью.

7. Построить обобщенную модель формы объекта интереса при отсутствии априорной информации о нем.

8. Разработать способ оценки текстурного признака, адаптированный к сложным условиям наблюдения и специфике объектов интереса.

9. Разработать принципы и методы обработки видеоданных на основе совокупности признаков сегментации с использованием математического аппарата нечеткой логики, позволяющие автоматически сегментировать и сопровождать одновременно несколько объектов интереса на сложном фоне при отсутствии априорной информации.

Методы исследования. В работе использованы методы теории распознавания образов, теории вероятности и математической статистики, теории нечетких множеств и нечеткой логики, теории оптимизации, теории функционального анализа и высшей алгебры, теории регрессионного анализа и планирования эксперимента, методы цифровой обработки изображений, методы моделирования на ЭВМ и программирования, экспериментальные исследования.

Основные научные положения, выносимые на защиту:

1. Анализ и обработка видеоданных на основе признака движения реализуют функциональные особенности интеллектуальных прикладных ТВ систем, позволяющие повысить их эффективность: для класса систем видеонаблюдения за протяженными объектами - замену исходных видеоданных синтезированным изображением, получение оперативной информации об объекте интереса и сжатие без потери полезной информации; для класса систем сегментации и сопровождения неточечных объектов - выделение изображений объектов на сложном фоне и разрешение ситуаций перекрытия изображений объектов фоном и друг другом.

2. Трехкомпонентные вектора движения, найденные с учетом их априорных оценок достоверности и значимости, обеспечивают взвешенную оценку признака движения, позволяют задать уровень достоверности поля векторов движения и снизить вычислительную емкость в 10 20 раз.

3. Использование межкадровой разности, найденной по пакету кадров, позволяет получить субпиксельную оценку векторов движения и повышает уровень достоверности поля векторов движения на 20% по отношению к полю, найденному методом полного перебора.

4. Для систем видеонаблюдения за протяженными объектами, синтез изображения объекта интереса на основе признака движения обеспечивает угол обзора до 180 градусов, минимизацию апертурных и пространственных искажений, а также сжатие видеоданных без потери информации об объекте интереса.

5. Сегментацию изображений нескольких объектов интереса на сложном фоне и при отсутствии априорной информации о них обеспечивает применение совокупности признаков, и построение решающего правила на основе математического аппарата нечеткой логики

6. Описание гауссовой моделью формы объекта и учет признака движения позволяют сопровождать объекты при динамике их свойств и окружающей обстановки, а также разрешать ситуации перекрытия изображений объектов друг другом и фоном.

Научная новизна:

1. Выявлены функциональные особенности интеллектуальных систем видеонаблюдения, сегментации и сопровождения.

2. Разработаны основные принципы представления и обработки видеоданных в системах видеонаблюдения за протяженными объектами.

3. Разработаны принципы сегментации и сопровождения неточечных объектов с жестким движением при отсутствии априорной информации о них и при существенной динамике их свойств в процессе наблюдения.

4. На основе анализа особенностей определения и применения векторов движения для видеоданных, полученных в сложных условиях наблюдения, введен критерий эффективности методов нахождения векторов в виде уровня достоверности.

5. На основе экспериментальных данных аналитически описана функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от уровня детальности изображения в блоке.

6. На основе экспериментальных данных аналитически описана функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от уровня абсолютной межкадровой разности в блоке.

7. Предложен метод определения трехкомпонентных векторов движения с учетом априорных оценок их достоверности и значимости, позволяющий реализовать взвешенную оценку признака движения, а также существенно уменьшить число аномальных векторов движения и вычислительную емкость задачи.

8. Предложен метод субпиксельной оценки векторов движения на основе многомасштабной межкадровой разности, обеспечивающий точность до 0.07 пикселя и повышение числа корректно найденных векторов по отношению к полному перебору на 20%.

9. Показана низкая эффективность цифровой коррекции пространственных искажений в изображениях, полученных с помощью сверхширокоугольных объективов. Изображения после коррекции имеют существенные потери разрешения: на краях растра более 70%, в центре до 40%.

10. Предложен метод синтеза панорамного изображения протяженного объекта интереса, позволяющий компенсировать пространственные искажения, вносимые сверхширокоугольным объективом, обеспечить максимальную четкость изображения по площади кадра, реализовать комфортные условия видеонаблюдения, а также семантическое сжатие.

11. Разработан алгоритм оценки видимой скорости протяженного объекта на основе анализа видеоданных.

12. Введена обобщенная модель формы объекта на основе эллипсов рассеивания Гаусса.

13. Предложен метод автоматической сегментации объектов в видеоданных на основе совокупности признаков и с использованием аппарата нечеткой логики, позволяющий одновременно сегментировать несколько объектов на сложном фоне при отсутствии априорной информации о них.

14. Предложен метод автоматического сопровождения объектов при существенной динамике их свойств и окружающей обстановки, основанный на обобщенной модели формы объекта с обновляемыми параметрами и признаке движения.

Практическая значимость:

1. Предложенный принцип и метод синтеза панорамного изображения обеспечивает резкое повышение эффективности систем видеонаблюдения за протяженными объектами:

· Систем, ведущих наблюдение за крупными объектами с собственным движением, например, комплексов пограничного и коммерческого контроля железнодорожных составов.

· Систем, использующих камеру, установленную на поворотном столе или подвижном носителе для наблюдения статичных объектов большой площади. В частности, обзорных и мониторинговых систем ландшафтов местности или морского дна, водных акваторий, нефтяных разливов, нефтепроводов и газопроводов.

Сформированное изображение объекта интереса имеет пространственные искажения в (2025) раз ниже, чем в исходных кадрах; обеспечивает комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное. Это создает качественно новые условия для работы оператора и обеспечивает возможность автоматического анализа видеоданных.

Метод реализует семантическое сжатие без потери информации об объекте интереса: коэффициент сжатия от 25 до 80 раз. Это снимает противоречие между объемом записанных данных и их качеством и позволяет реализовать длительное хранение больших объемов информации. Для протяженных объектов обеспечена возможность передачи высококачественных изображений по каналам связи с низкой пропускной способностью в реальном масштабе времени (Все приведенные выше количественные оценки получены при апробации метода синтеза панорамного изображения в контексте видеонаблюдения на железной дороге).

2. В системах сегментации и сопровождения объектов реализован автоматический захват и сопровождение одновременно до 50 объектов на сложном фоне при отсутствии априорной информации. Автоматический захват имеет особую значимость в динамических сценах с несколькими быстродвижущимися объектами, где возможности оператора по наложению стробов на объекты интереса ограничены.

При сопровождении обеспечено устойчивое разрешение ситуации окклюзии, слияния и разделения объектов; сопровождение объектов при существенной динамике их свойств и окружающей обстановки; идентификация объектов интереса при вторичной сегментации.

3. Введение трехкомпонентных субпиксельных векторов движения, а также метод их определения с использованием функций достоверности и значимости одновременно обеспечивает необходимый уровень достоверности и резко снижает вычислительную нагрузку, что снимает ограничения по использованию этого инструмента в прикладных ТВ системах видеонаблюдения, сегментации и сопровождения объектов интереса, а также при сжатии видеоданных и в кинопроизводстве.

4. Использование результатов теоретических исследований, доведенных в работе до уровня практических алгоритмов, структурных схем, программных решений, инженерных рекомендаций и методик синтеза сократит сроки и затраты на создание новых прикладных ТВ систем различного назначения.

Реализация результатов работы. Полученные в диссертации результаты, сделанные обобщения и выводы позволили разработать ряд интеллектуальных прикладных телевизионных систем. В рамках научно-исследовательских и опытно - конструкторских работ совместно ПК НПК «Автоматизация» разработан многоцелевой телевизионно-компьютерный комплекс видеомониторинга железнодорожных составов; совместно с филиалом ФГУП ЦНИИ «Комета» многофункциональный оптико-электронный комплекс сегментации и сопровождения неточечных объектов; совместно с ФГУП НИИ промышленного телевидения «Растр» видеокомпьютерная система контроля запуска космических аппаратов, что подтверждено соответствующими актами.

Результаты исследований внедрены в учебный процесс СПб ГУАП при подготовке инженеров по специальностям: «Аудиовизуальная техника» и «Электронные системы». Они включены в разработанные автором учебно-методические комплексы по дисциплинам: «Автоматизированные телевизионные системы», «Синтез видеоизображений на ЭВМ» и др.

С использованием результатов, полученных в диссертации подготовлен электронный учебник по курсу «Автоматизированные телевизионные системы» (зарегистрирован в отраслевом фонде алгоритмов и программ № ВНИТЦ 50200100503, 2001) и изданы 4 учебно - методических указания к выполнению лабораторных работ.

Апробации работы. Основные положения работы докладывались и обсуждались на: 49,50 Научно - технической конференции «НТОРЭС им. А. С. Попова» 1994,1995; 10th International Conference on Control Systems and Computer Science. Bucharest, 1995; I Научно -технической конференции «Новейшие достижения в области телевидения, аудио и видеотехники.» СПб, 1999; III Международной конференции «Цифровая обработка сигналов и ее применение» Москва, ИВТА РАН,2000; I,II,III,IV,V Международных научно - технических конференциях «Телевидение: передача и обработка изображений» СПб, 2000-2007; The International Conference «Radio - That Connects Time. 110 Anniversary of Radio Invention» St Petersburg, 2005; III Международная научно-практическая конференция «Электронные средства и системы управления» Томск, 2005; The Tenth IEEE International Symposium on Consumer Electronics, St Petersburg, 2006; 15 Всероссийской научно - технической конференции «Современное телевидение» Москва, 2007; Научно - технической конференции профессорско - преподавтельского состава, научных сотрудников и аспирантов СПб ГУТ,2007.

Диссертационная работа получила апробацию:

- на расширенном научном семинаре кафедры «Телевизионных и электронных устройств», СПб ГУАП, 2006;

- научно - техническом совете ФГУП НИИ Прикладного телевидения «Растр» Великий Новгород, 2007;

- на заседании кафедры «Телевидения и видеотехники», СПб ГЭТУ «ЛЭТИ» им. В.И. Ульянова (Ленина), 2007.

Публикации. По теме диссертации опубликовано 48 научных работы, из них - 21 статья, 17 работ - в материалах и трудах всероссийских и международных научных и научно - технических конференций и симпозиумов; 10 свидетельств об официальной регистрации программ для ЭВМ в отраслевом фонде алгоритмов и программ.

Структура и объем диссертации. Диссертация состоит из введения, пяти глав, заключения, списка литературы, включающего 194 наименования, трех приложений. Основная часть диссертации изложена на 297 страницах машинописного текста. Диссертация содержит 116 рисунков и 38 таблиц.

Содержание работы

Во введении обоснована актуальность рассматриваемой проблемы, сформулированы цель и задачи исследований. Даны научные положения, выносимые на защиту, определены их научная новизна и практическая значимость, приведены сведения об апробации и внедрении результатов работы.

В первой главе: выявлена основная тенденция развития современных прикладных ТВ систем; определены функциональные особенности и сформулирован перечень требований к методам анализа видеоданных в интеллектуальных системах видеонаблюдения, сегментации и сопровождения; приведен аналитический обзор методов обработки видеоданных в современных прикладных ТВ системах; показана необходимость и определены основные направления разработки методов представления и анализа видеоданных для интеллектуальных ТВ систем; постановлены задачи, подлежащие решению в данной работе.

Прогресс технических средств определяет современную тенденцию развития прикладных ТВ систем - создание автоматических или автоматизированных с минимальным участием оператора многофункциональных видеокомпьютерных комплексов, обладающих интеллектом.

К функциональным особенностям интеллектуальной системы видеонаблюдения следует отнести: адаптацию к изменениям условий наблюдения: установку режимов работы камеры на основе анализа изображения; синтез изображения объекта интереса, обеспечивающий коррекцию пространственных искажений, комфортную скорость просмотра видеоматериала, синхронность просмотра, преобразование чересстрочного изображения в построчное; извлечение информации из видеоданных: определение параметров движения объекта интереса, его геометрических характеристик и др.; семантическое сжатие без потери информации, позволяющее обеспечить длительное хранение больших объемов данных и их передачу по каналам связи с низкой пропускной способностью.

Обзор современных прикладных ТВ систем показывает, что решение перечисленных задач особенно актуально при видеонаблюдении протяженных объектов - объектов, проекция которых на плоскость кадра существенно превышает размер последнего.

Системы видеонаблюдения за протяженными объектами следует разделить на две группы.

Первая группа - системы, ведущие наблюдения за объектами с собственным движением. Наиболее показательный пример, видеонаблюдение на железной дороге. В этом случае объектом интереса является железнодорожный состав или железнодорожный вагон. Минимальный размер вагона 12 метров в длину и 5 метров в высоту. По тактическим соображениям видеокамеры бокового обзора должны быть установлены в промежутках между путями с тем, чтобы не допустить перекрытие сектора обзора встречным составом. Расстояние от камеры до объекта 1,5-2 метра.

Вторая группа - обзорные и мониторинговые системы ландшафтов местности или морского дна, водяных акваторий, нефтяных разливов, нефтепроводов и газопроводов. В этом случае объект не имеет собственного движения, но наблюдается перемещающейся камерой. Примерами являются система экологического мониторинга нефтяных разливов или система контроля целостности трубопроводов. Контроль объекта интереса ведут с помощью видеокамеры на борту летательного аппарата.

Для повышения эффективности систем видеонаблюдения за протяженными объектами целесообразно заменить исходное изображение объекта интереса синтезированным, в котором должны быть устранены пространственные искажения и обеспечены комфортные условия анализа видеоданных оператором, сохранена информация только об объекте интереса (обеспечено семантическое сжатие)

Синтез изображения протяженного объекта интереса предполагает его сегментацию от фона и других объектов. Протяженные объекты, как правило, имеют неоднородную яркость, и одновременно являются слабо текстурировнными. Это не позволяет использовать в полной мере яркостный и текстурный признаки. Присутствие в кадре только части объекта затрудняет использование признака формы. Наиболее информативным свойством протяженного объекта является движение. Таким образом, для систем видеонаблюдения за протяженными объектами актуальной является разработка принципов и методов синтеза изображения протяженного объекта на основе признака движения.

Функциональными особенностями интеллектуальной системы сегментации и сопровождения объектов интереса являются: на этапе сегментации - выделение изображений объектов на сложном фоне с максимальным подобием их реальному изображению; на этапе сопровождения - разрешение ситуаций окклюзии (перекрытия изображений объектов интереса фоном или друг другом), слияния и разделения на несколько одного объекта интереса; устойчивое сопровождение объектов при существенной динамики их свойств и окружающей обстановки; идентификация объекта интереса при вторичной сегментации. Все перечисленные задачи должны быть решены в автоматическом режиме.

В рамках диссертационной работы рассматривались объекты интереса размером от элементов (пикселей) и обладающие жестким движением. Внесенные ограничения не снижают общность задачи: перечисленным характеристикам соответствуют наземные и водные транспортные средства, летательные аппараты.

Проведенный анализ обработки видеоданных в системах сегментации и сопровождения позволяет сделать следующие выводы

Применение методов обработки на основе одного признака сегментации яркости, текстуры, формы, контура или движения не позволяет одновременно реализовать все перечисленные функциональные особенности интеллектуальной ТВ системы в полной мере при указанных свойствах объектах интереса и сложных условиях наблюдения.

Учет только одного признака не обеспечивает устойчивую сегментацию и сопровождение при существенной динамике свойств объекта интереса. При длительном сопровождении меняются свойства объекта (объект останавливается, маневрирует и меняет ракурс, частично заходит в тень и т.д.) и, соответственно, признак, по которому ранее успешно выполнялась сегментации теряет эффективность.

Для реализации перечисленных требований необходим принципиально новый подход: следует использовать не один признак, а совокупность признаков, отвечающих свойствам объекта интереса в разные моменты времени. Таким образом, для систем сегментации и сопровождения необходимо разработать принципы и методы сегментации по совокупности признаков.

Ключевой особенностью объектов интереса как при видеонаблюдении, так и при сегментации и сопровождении является движение. Достоверная и точная оценка признака движения является основой для решения сформулированных выше задач. Это требует разработки методов оценки признака движения, обеспечивающих его эффективное применение в прикладных ТВ системах.

Во второй главе: сформулирован критерий оценки эффективности методов определения векторов движения в прикладных ТВ системах; проведен анализ эффективности существующих методов определения векторов движения согласно предложенному критерию; на основе экспериментальных данных найдена функция достоверности, позволяющая априорно определить вероятность корректного нахождения вектора движения в зависимости от оценки уровня детальности изображения в блоке; на основе экспериментальных данных найдена функция значимости, позволяющая априорно определить вероятность существования ненулевого вектора движения в зависимости от модифицированной оценки уровня абсолютной межкадровой разности; разработан метод определения векторов движения с учетом априорных оценок их достоверности и значимости; обоснована необходимость субпиксельной оценки векторов движения; разработаны и исследованы методы субпиксельной оценки векторов движения на основе несимметрии целевой функции в области точки минимума и на основе многомасштабной межкадровой разности.

Главным признаком, положенным в основу разрабатываемых методов видеонаблюдения, сегментации и сопровождения, является движение. Его наиболее информативная оценка - вектора движения.

Основой определения векторов движения является уравнение оптического потока:

(1)

где - яркостный вектор-градиент по пространственным координатам;

- производная яркости по времени;

V = () - вектор движения.

Анализ уравнения оптического потока (1) показывает:

1. Уравнение является плохо обусловленным.

2. Однозначное определение вектора движения возможно только в случае, если компоненты яркостного вектора - градиента отличны от нуля (имеют место изменения яркости по горизонтали и вертикали). В случае однородной, нетекстурированной поверхности или текстуры только в одном направлении достоверную оценку векторов найти нельзя.

3. Уравнение (1) получено из предположения о постоянной яркости точки (пикселя) при ее движении. Подсветка, тени, блики, прозрачные и зеркальные поверхности нарушают это утверждение и приводят к ошибкам при определении векторов движения.

Вектора движения, методы и алгоритмы их определения были разработаны для стандартов видеокомпрессии MPEG 1,2,4 для обработки изображений студийного качества, где соблюдаются требования текстурированности и постоянства яркости.

При работе в сложных условиях наблюдения с определенным в рамках решаемой задачи классом объектов требования существования пространственных яркостных производных и постоянства яркости при движении точки (пикселя) вдоль траектории нарушаются. Изображение объектов интереса имеет низкую текстурированность. При видеонаблюдении на открытом воздухе высока вероятность изменения уровня освещенности, появления солнечных бликов, теней и др. Не соблюдение обоих требований порождает появление аномальных векторов - векторов, не отражающих реальное движение в кадре.

Тяжесть последствий от аномальных векторов движения в прикладных ТВ системах значительна: рассегментация объектов интереса, снижение точности моделей движения, потеря объекта при сопровождении и др. Это определяет критерий оценки эффективности методов и алгоритмов определения векторов движения в прикладных ТВ системах - уровень достоверности:

где - общее число найденных векторов, - число аномальных векторов в общем числе найденных

Проведенные исследования показали, что даже при использовании корреляционных методов (наиболее робастных по данным литературы) c алгоритмом полного перебора для поиска лучшего соответствия уровень достоверности . Этот уровень недостаточен для эффективного применения векторов движения в прикладных ТВ системах. Необходима разработка новых методов определения векторов движения, учитывающих особенности объектов интереса, и свойства видеоданных, получаемых в сложных условиях наблюдения.

В методе совмещения блоков задачу определения векторов движения решают путем минимизации целевой функции, характеризующей степень соответствия (совпадения) двух блоков, на множестве различных положений обрабатываемого блока в области поиска. Результаты решения этой задачи определены видом целевой функции, которая зависит от уровня детальности изображения в блоке (таблица 1).

Под уровнем детальности изображения в блоке будем понимать:

(2)

Таблица 1.

D(k,l) ? Dm(k,l)	Описание блока	Рельеф (ось X -смещение блока по горизонтали ; ось Y -смещение блока по вертикали; ось Z - значение целевой функции)	Линии равного уровня (ось X - смещение блока по горизонтали ; ось Y - смещение блока по вертикали)	Характер функции
1546 ? 7	Блок изображения объекта «самолет» тестовая последовательность «Самолеты»			Унимодальная целевая функция с ярко выраженным минимумом
137 ? 1	Блок фона «море» тестовая последовательность «Корабль - катер»			Унимодальная целевая функция с существенно плоским участком в области минимума («овраг»)
181 ? 1	Блок фона «небо» тестовая последовательность «Самолеты»			Существенно мультимодальная целевая функция с плохо выраженным глобальным минимумом

где - яркость пикселя в препарате, полученном из исходного изображения в результате операции подчеркивания высокочастотной составляющей (пространственного дифференцирования, многомасштабного морфологического дифференцирования и др.); - координаты левого верхнего угла блока изображения; k,l - номер блока по горизонтали и вертикали; N,M - число пикселей блока по горизонтали и вертикали.

На основе проведенных экспериментальных исследований и регрессионного анализа найдена функция достоверности, позволяющая определить априорную вероятность корректного нахождения вектора движения по модифицированной оценке уровня детальности в блоке :

(3)

Рис. 1 Вид аналитической кривой функции значимости f(x) и экспериментальных зависимостей вероятности существования значимого вектора от уровня модифицированной оценки абсолютной межкадровой разности, полученных для тестовых сюжетов «Большой корабль» (D) и «Катер (новый)» (D1).

где 0,1 - параметр модели, численное значение которого определено на основе экспериментальных данных методом нелинейного программирования.

Модифицированная оценка уровня детальности в блоке :

,

где - минимальный уровень детальности в блоке, обусловленный шумами

где - число блоков в изображении.

Определение векторов движения для всех блоков кадра или области поиска является избыточным: если в блоке кадра нет значимых изменений относительно кадра , то с большой вероятностью вектор движения равен нулю. Искать векторы движения целесообразно только в тех блоках, где произошли какие-либо изменения.

На основе экспериментальных исследований и регрессионного анализа найдена функция значимости, позволяющая определить априорную вероятность существования значимого (ненулевого) вектора движения на основе модифицированной оценки абсолютной межкадровой разности в блоке :

(4)

где 4 - параметр модели, численное значение которого найдено на основе экспериментальных данных методом нелинейного программирования (рис.1).

Модифицированная оценка уровня абсолютной межкадровой разности:

,

собственно уровень абсолютной межкадровой разности:

где - яркости пикселя в текущем и предыдущем кадрах; - оценка абсолютной межкадровой разности блока, обусловленная присутствием шумов:

На основе найденных функций предложен метод определения векторов движения с учетом их априорных оценок достоверности и значимости.

На множестве всех блоков изображения сформировано два нечетких множества. Первое - множество блоков с «высокой детальностью». В качестве функции принадлежности к этому блоку использована функция достоверности (3) . Второе нечеткое множество - блоки « с высоким уровнем абсолютной межкадровой разности» с функцией значимости (4) в качестве функции принадлежности



Интересующая совокупность блоков - пересечение этих двух множеств - нечеткое множество .

Пересечение нечетких множеств выполняют в соответствии с t - нормой: «вероятностное пересечение» - норма задана перемножением функций принадлежности

Вектора движения ищут для блоков, принадлежащих -сечению нечеткого множества . В результате поиска им присваивают трехкомпонентный вектор движения , где значения - это вероятность верного определения вектора движения, определяемая функцией достоверности (3). Блокам, принадлежащим -сечению только одного нечеткого множества (это блоки с высоким уровнем детальности, но низкой абсолютной межкадровой разностью) без выполнения процедуры поиска присваивают нулевые векторы движения.

интеллектуальный обработка видеоданные сегментация



Рис. 2 Сечения нечетких множеств и по уровню 0.95

В типичных для прикладных ТВ систем сюжетах при установленном уровне достоверности вектора движения 0,95 для дальнейшего анализа оставляют в среднем 20% блоков изображения; собственно процедуру поиска вектора движения выполняют в среднем для 5%-10% блоков изображения (рис. 2). Найденная для каждого вектора вероятность верного определения (оценка достоверности) представляет самостоятельную ценность: ее учет на дальнейших этапах обработки позволяет реализовать взвешенную оценку признака движения.

Таким образом, предложенный метод позволяет находить трехкомпонентные вектора движения с заданным уровнем достоверности, одновременно, снижая вычислительные затраты по определению поля векторов движения в 10 - 20 раз.

Необходимость обработки изображений объектов, обладающих медленным движением (видимая скорость движения в плоскости кадра менее 1 пикселя), движением со скоростью, не кратной целому числу пикселей, а также различение объектов с близкими скоростями движения требует субпиксельной оценки векторов движения.

Для субпиксельной оценки векторов движения предложено два метода: интерполяционный метод и метод, основанный на многомасштабной межкадровой разности.

Интерполяционный метод использует несимметрию в области точки оптимума целевой функции, минимизируемой в процессе нахождения векторов движения.

Метод, основанный на многомасштабной межкадровой разности, предполагает использование для определения векторов движения N кадров. Вектор движения находят в (N-1) паре кадров: k-ая пара включает в себя кадр t и кадр t-k, k=1..N. Результатом является (N-1) оценка вектора движения

ля обеспечения соизмеримости полученных оценок выполняют пересчет:

где - k-ый приведенный вектор пакета, (, ) - вектор, найденный методом совмещения блоков по кадрам t и t-k, d - расстояние между кадрами t и t-k.

Предложено два варианта получения субпиксельной оценки

на основе логической фильтрации полученного пакета векторов. Минимально отличный от других вектор пакета:

;

;

или медиана пакета:

при условии ;

при условии .

Экспериментальное исследование предложенных методов выполнено по двум критериям: уровень достоверности и точность. При оценке уровня достоверности аномальным считают вектор, отличный от корректного на заданную величину . Учитывая субпиксельный характер оценки вектора движения, . Точность - величина СКО в полученной выборке верных векторов движения.

Согласно полученным данным установлено, наиболее эффективным методом является метод на основе многомасштабной межкадровой разности с минимально отличным вектором в качестве субпиксельной оценки. Его точность 0,07 пикселя. Уровень достоверности 0,8. Полученный уровень достоверности поля векторов движения на 20% выше по отношению к полю, найденному методом полного перебора.

Предложенные методы оценки векторов движения в значительной степени устраняют противоречие между жесткими требованиями основного уравнения оптического потока (1) и особенностями видеоматериала, полученного в сложных условиях наблюдения. Обеспеченный уровень достоверности и точность определения поля векторов движения снимают ограничения на их применение в прикладных ТВ системах.

Третья глава посвящена методам обработки видеоданных, обеспечивающим реализацию функциональных особенностей интеллектуальных систем видеонаблюдения за протяженными объектами; проведен анализ и показана низкая эффективность цифровых методов коррекции пространственных искажений, вносимых использованием сверхширокоугольных объективов; предложен метод синтеза панорамного изображения протяженного объекта интереса; выявлены особенности определения векторов движения для оценивания видимой скорости протяженных объектов; предложен алгоритм определения видимой скорости движения протяженного объекта на основе анализа видеоданных.

При видеонаблюдении протяженных объектов в силу целевого назначения прикладной ТВ системы используют широкоугольные объективы. Их применение обуславливает появление пространственных искажений, приводящих к существенному нарушению геометрического подобия в сформированных изображениях (геометрические искажения). Внесенные искажения составляют: нелинейность кубическая до 120%, искажения типа «бочка/подушка» до 30% (рис.3).

Рис. 3 Изображение, полученное сверхширокоугольным объективом

В этом случае цифровая коррекция пространственных искажений является малоэффективной. Изображения, полученные в результате цифровой коррекции, имеют значительные остаточные искажения и существенную потерю разрешения. Потери разрешения на краях растра превышают 70%, в центре 40%.

Реализация функциональных особенностей интеллектуальной системы видеонаблюдения требует принципиально нового метода обработки видеоданных. Метод должен носить комплексный характер - одновременно обеспечивать решение целого ряда задач: коррекцию пространственных искажений; восстановление построчного растра из чересстрочного; возможность просмотра видеоданных с произвольной скоростью; семантическое сжатие; извлечение дополнительной информации об объекте интереса.

Учитывая ключевую особенность объекта интереса - движение, предложено синтезировать его панорамное изображение. Панораму составляют из фрагментов, вырезанных в центральной части кадра. Ширина фрагмента определена скоростью движения объекта. Принцип синтеза панорамного изображения позволяет одновременно решить все перечисленные выше задачи.

Изображение в центральной части кадра имеет наилучшее качество: высокую четкость, минимальные искажения по горизонтали и вертикали. Использование фрагментов, вырезанных в центре кадра, обеспечивает формирование панорамного изображения, у которого искажения в направлении движения объекта соответствуют величине искажений вырезанного фрагмента, а искажения в перпендикулярном направлении могут быть скорректированы до низкого остаточного уровня.

Четкость изображения по площади синтезированного кадра выше, чем у исходного: в центральной части разрешающая способность короткофокусного объектива больше, чем на краях.

При синтезе панорамного изображения постоянно определяют скорость движения протяженного объекта. Эта информация позволяет корректно выполнить операцию совмещения четных и нечетных полей при использовании камер с чересстрочной разверткой. Сформированная панорама имеет разрешение по вертикали равное разрешению полного кадра без эффекта «ступенек».

Предложенный принцип формирования изображения обеспечивает высокий коэффициент сжатия без потери информации об объекте интереса. Коэффициент сжатия

где W - ширина кадра (или высота H в случае движения объекта интереса по вертикали), - ширина вырезаемого фрагмента по направлению движения.

При практической реализации небольшой размер фрагментов кадров необходимых для построения панорамы позволяет разместить их в буферной памяти ОЗУ и регулировать скорость анимации синтезированного изображения на экране. Это обеспечивает возможность установки удобной для анализа скорости просмотра материала в режиме реального времени.

Найденные оценки скорости при построении панорамы позволяют извлечь дополнительную информацию об объекте: зафиксировать моменты начала и завершения движения, оценить форму объекта на основе пространственного среза скоростей и др.

Главной задачей при формировании панорамного изображения является определение видимой скорости движения объекта или камеры на основе анализа видеоданных. Для получения оценки видимой скорости использованы вектора движения. В этом случае их определение имеет следующие особенности:

· наличие ярко выраженной функциональной зависимости видимой скорости движения различных частей объекта от расстояния между ними и камерой - пространственный срез скоростей;

· зависимость точности оценки скорости от местоположения блока на изображении, обусловленная значимыми пространственными искажениями;

· существенное число аномальных векторов вследствие низкой детальности исходного изображения.

Даны следующие рекомендации по местоположению и размерам блоков при определении векторов движения.

· Блоки изображения, в которых ищут вектора движения, располагают в центре растра: при движении в горизонтальном направлении - вертикальной полосой, при движении по вертикали - горизонтальной полосой.

· Максимальный размер блока в направлении, совпадающем с направлением движения, определяют в соответствии с уровнем пространственных искажений в кадре и допустимой ошибкой при оценке максимальной скорости.

· Размер блока в направлении, перпендикулярном к направлению движения определен размером зон пространственного среза скоростей.

Величина зон обусловлена конкурирующими показателями: качеством построения панорамы и точностью оценки векторов движения. Уменьшение размера зоны повышает точность формируемого среза скоростей и улучшает качество панорамы. Размер блока определяет интервал усреднения при определении векторов движения, его уменьшение снижает точность найденной оценки. Дополнительно, для получения равноточных оценок вектора движения размер всех зон должен быть одинаков.

Показатель может быть переведен в ограничения: размер зоны L должен обеспечивать потенциальную точность не ниже заданного уровня .

где K - число зон в пространственном срезе скоростей.

Нахождение L является задачей поиска минимума функции с ограничениями в виде равенств.

Для снижения числа аномальных векторов предложено проводить временную фильтрацию на основе усреднения по мажоритарному принципу. Согласно экспериментальным данным, в результате временной фильтрации число аномальных векторов падает в 2 раза, обеспечиваемый уровень достоверности составляет 0,8.

Для повышения уровня достоверности и дополнительного сглаживания поступающей информации введена регрессионная предсказывающая полиномиальная модель

(5)

где j - номер зоны пространственного среза скоростей j=0..N; - оценка вектора движения U для j -го блока; - параметры (коэффициенты) регрессионной модели; ц_k(x) - базисные функции k = 0..K, ортонормированные на системе из N точек с весами:

где

Базисные функции получены из последовательности 1, x, x², … методом ортогонализации Грамма-Шмидта, согласно рекуррентным выражениям, которые при симметричной относительно начала координат области изменений аргумента имеют вид:

Для расчета полагают , а коэффициенты л_k определяют из условий нормировки.

Коэффициенты a_k определяют из условия минимизации взвешенной квадратической ошибки

согласно выражению:

где Ф - матрица, составленная из отсчетов базисных функций ц_k(x); W - диагональная матрица весовых коэффициентов.

На основе регрессионной модели построен предсказывающий фильтр. Для формирования панорамы используют оценки векторов движения , рассчитанные по модели (5).

Алгоритм определения оценок векторов движения для каждого блока на основе предсказывающей регрессионной модели включает в себя три основных шага:

Шаг 1: Масштабирование установленных априорно параметров модели по найденной средней скорости движения протяженного объекта интереса.

Шаг 2: Идентификация методом наименьших квадратов параметров модели а. Определение параметров выполняют по найденным векторам движения U. При этом вычисляют разницу между измеренным вектором движения и его оценкой. Чем меньшей погрешностью характеризуются измерения, тем больший вес

...