Использование OpenCV в задачах распознавания образов

· Хорошее отношение сигнала к шуму, то есть детектор должен выделять все истинные границы и при этом не выделять ложные.

· Хорошая локализация. Точки, отмеченные как границы, должны располагаться как можно ближе к истинному положению границ.

· Единственность отклика на границу (это требование содержится в первом критерии, однако математическая формулировка первого критерия не обеспечивает выполнение данного пункта).

Хотя детектор границ Canny и был разработан в самом начале развития систем компьютерного зрения, он до сих пор является одним из наиболее часто используемых. Кроме некоторых частных случаев, трудно найти другой детектор, который работал бы существенно лучше детектора границ Canny, и практически все работы по сравнительному исследованию детекторов границ содержат его в качестве некого своего рода эталона. Так как он восприимчив к шумам, лучше не применять данный метод на необработанных изображения, а предварительно по максимуму удалить с изображения все шумы.

В OpenCV, детектор границ Кенни реализован функцией cvCanny(), которая обрабатывает только одноканальные изображения (например, в градациях серого). Функция cvCanny() на языке C++ имеет следующий синтаксис:

image -- одноканальное изображение для обработки (градации серого) edges -- одноканальное изображение для хранения границ, найденных функцией threshold1 -- порог минимума threshold2 -- порог максимума aperture_size -- размер для оператора Собеля

Результаты работы детектора границ Кенни в значительной степени зависят от выбранных значений порога максимума и минимума, что позволяет регулировать чувствительность обнаружения границ во время выполнения его работы. Ниже представлены результаты работы детектора границ Кенни в зависимости от выбранного порога максимума и минимума.

Рис. 4.5 - Исходное изображение

При значениях порога минимума и максимума, равными 10, чувствительность оказалась слишком высокой, в результате чего детектор границ обработал слишком много помех, хотя контуры изображения уже вполне различимы (рис. 4.6). Однако с таким результатом дальнейшая работа становится трудновыполнимой, поэтому требуется подборка нужных значений.

Рис. 4.6 - Изображение после применения к нему детектора границ Кенни.

Для снижения уровня чувствительности детектора границ необходимо экспериментальным образом подобрать необходимые значения минимума и максимума порога определения. Удовлетворительного распознавания границ с сохранением довольно подробной детализацией внутренних линий объекта и чёткого внешнего контура удаётся получить, если увеличить оба значения порога до 50 (рис. 4.7):

При увеличении порога максимума до 100 сохраняется чёткий внешний контур изображения, в то время как внутренняя детализация сводится к минимуму (рис. 4.8):

Рис. 4.7 - Изображение после применения к нему детектора границ Кенни.

Рис. 4.8 - Изображение после применения к нему детектора границ.

Дальнейшее увеличение порогов чувствительности вместе с заметным снижением детализации приводит к образованию разрывов во внешнем контуре объекта, что недопустимо (рис. 4.9):

Рис. 4.9 - Изображение после применения к нему детектора границ.

4.5 Нахождение контуров

Контурный анализ -- это один из важных и очень полезных методов описания, хранения, распознавания, сравнения и поиска графических образов или объектов. Контурный анализ предпочтительно проводить после предварительной обработки изображения.

Контур -- это внешние очертания (границы) предмета или объекта на изображении. При проведении контурного анализа:

· полагается, что контур содержит достаточную информацию о внешней форме объекта;

· внутренние точки объекта во внимание не принимаются.

Вышеприведённые положения, разумеется, накладывают существенные ограничения на область применения контурного анализа, которые, в основном, связаны с проблемами выделения контура на изображениях:

· из-за одинаковой яркости с фоном объект может не иметь чёткой границы, или может быть зашумлён помехами, что приводит к невозможности выделения контура;

· перекрытие объектов или их группировка приводит к тому, что контур выделяется неправильно и не соответствует границе объекта.

Однако, переход к рассмотрению только контуров объектов на изображениях позволяет уйти от пространства этого изображения к пространству контуров, что существенно снижает сложность алгоритмов и вычислений.

Таким образом, контурный анализ имеет довольно слабую устойчивость к помехам, и любое пересечение или лишь частичная видимость объекта приводит либо к невозможности детектирования, либо к ложным срабатываниям, но простота и быстродействие контурного анализа, позволяют вполне успешно применять данный подход (при чётко выраженном объекте на контрастном фоне и отсутствии помех).

Библиотека OpenCV реализует удобные методы для детектирования и манипуляции с контурами изображения. Для поиска контуров используется функция cvFindContours(). Функция cvFindContours() на языке C++ имеет следующий синтаксис:

image -- исходное 8-битное одноканальное изображение (ненулевые пиксели обрабатываются как 1, а нулевые -- 0) Для получения такого изображения из градаций серого можно, например, использовать функции cvThreshold() или cvCanny(). storage -- хранилище памяти для хранения данных найденных контуров first_contour -- указатель, который будет указывать на первый элемент последовательности, содержащей данные найденных контуров header_size -- размер заголовка элемента последовательности mode -- режим поиска:

method -- метод аппроксимации:

offset -- смещение, на которое сдвигать точки контура. Отобразить найденные контуры можно с помощью функции cvDrawContours():

img -- изображение на котором будут нарисованы контуры contour -- указатель на первый контур external_color -- цвет внешних контуров hole_color -- цвет внутренних контуров(отверстие) max_level -- максимальный уровень для отображения контуров (0 -- только данный контур, 1 -- данный и все следующие на данном уровне, 2 -- все следующие контуры и все контуры на следующем уровне и т.д. ) thickness -- толщина линии для отображения контуров (если величина отрицательная, то область, ограниченная контуром заливается выбранным цветом ) line_type -- тип линии

Результат операции поиска и отрисовки на изображении найденных контуров представлен на рисунке 4.11. На этапе анализа эти контуры могут использоваться для распознавания изображённого объекта.

Рис. 4.10 - Входное изображение

Рис. 4.11 - Найденные контуры.

5. Анализ изображений

Полученные на предыдущем этапе контуры изображения будут использоваться для обнаружения объектов на изображении. Для этого найденный контур будет сравниваться с заданным заранее контуром предмета, который необходимо найти.

Сравнение контуров -- распространённая задача, возникающая, например, при решении проблемы поиска заданного объекта на изображении.

Самый простой вариант сравнения пары контуров -- это рассчитать их моменты. Момент -- это суммарная характеристика контура, рассчитанная интегрированием (суммированием) всех пикселей контура. Момент (p,q) определяется формулой:

(5.1)

где p и q -- порядок возведения в степень соответствующего параметра при суммировании; n -- число пикселей контура.

Исходя из определения, можно сделать вывод, что момент m равен длине пикселей контура (вернее сказать -- площадь, но так как мы рассматриваем не полигон, а границу, то уместно вести речь о длине)

array - растровое изображение (одноканальное, 8-битное 2D-массив элементов с плавающей точкой) или массив ( 1xN или Nx1 ) 2D-точек (Point или Point2f ). moments - возвращаемые моменты binary - если задан, то все ненулевые пиксели исходной картинки интерпретируются, как 1.

Также может использоваться класс cv::Moments():

Таким образом, сравнение двух контуров можно свести к сравнению их моментов. Однако моменты, найденные по простой формуле, имеют существенные недостатки:

· они не позволяют сравнивать контуры одинаковой формы, но разных размеров, поэтому их, сначала нужно нормализовать (операция приведения контуров к единой длине позволяет добиться инвариантности к масштабу).

· зависят от системы координат, а значит не позволят определить повёрнутую фигуру.

Поэтому, лучше использовать нормализованные инвариантные моменты. В библиотеке OpenCV для этого применяется следующая функция:

Функция cvGetCentralMoment() служит для вычисления центральных моментов (central moments), которое производится по следующей формуле:

(5.2)

где , -- центр масс:

(5.3)

И функция cvGetNormalizedCentralMoment(), которая служит для вычисления нормализованных центральных моментов (normalized central moments):

Таким образом, распознавание объекта на изображении происходит при помощи сравнения формы его внешних контуров с формой внешнего контура объекта-образца, которая определяется с помощью вычисления центра масс каждого из объектов.

При моделировании использовалась функция cvMatchShapes(), вычисляющая нормализованные центральные моменты двух поданных в качестве входных параметров контуров изображений и сравнивающая их формы с помощью функций, описанных выше.

В качестве распознаваемых предметов в данном случае будут использоваться геометрические фигуры разной формы для лучшей наглядности работы алгоритма.

Распознавание происходит следующим образом. Сначала в файл, по умолчанию названный template.jpg, помещается изображение, которое необходимо будет найти. Этот файл расположен в папке с проектом, и при необходимости может иметь другое название и расширение.

Рис. 5.1 - Файл template.jpg

Затем происходит чтение этого файла, после чего к нему применяются алгоритмы обработки изображения, рассмотренные ранее, а именно преобразование к черно-белому формату, размытие изображения по Гауссу, и потом с помощью детектора границ на нём синим цветом выделяется внешний контур (рис. 5.2).

Рис. 5.2 - Выделение контура объекта

После того, как было обработано изображение с объектом, который требуется найти, аналогичным образом обрабатывается изображение, на котором ведётся поиск объекта. Найденные на нём контуры сохраняются в массив, после чего сравниваются с формой контура образца. При этом объекты могут отличаться размером и цветом, но должны быть одинаковой формы. При нахождении совпадения, контур найденного объекта выделяется красной линией (рис. 5.3).

Также этот алгоритм будет работать, если входное изображение заменить на видеопоток, получаемый с камеры. Если на нём будет находиться какой-либо предмет круглой формы, или иной другой формы, соответствующей форме объекта-образца, он также будет распознан и выделен.

Если же необходимо обеспечить распознавание нескольких объектов, то все они должны быть расположены в файле, из которого считывался образец, после чего должен быть создан массив контуров с этими образцами, с каждым из которых потом будет проводиться сравнение найденных в видеопотоке контуров.

Рис. 5.3 - Контуры найденных объектов

Заключение

В рамках выполнения выпускной работы были исследованы алгоритмы распознавания объектов методом сравнения их контуров и был пройден ряд этапов, в ходе которых были достигнуты следующие результаты:

· проведен анализ предметной области: рассмотрены основные понятия, определения и дальнейшие перспективы развития компьютерного зрения.

· был выбран инструментарий, изучены особенности его применения и использование определенных навыков и знаний, полученных в ходе обучения в университете.

· в ходе исследования алгоритмов была выполнена их реализация, тестирование и были сделаны выводы о применимости алгоритмов.

· был проведен анализ результатов, полученных в ходе исследования алгоритмов.

К основным преимуществам использования в качестве ключевого признака такого свойства объектов, как внешние контуры объекта для его определения относятся быстрота выделения объекта и малая требовательность к ресурсам, к недостаткам же относится слабая устойчивость к помехам и не допустимость пересечения или частичной видимости объекта.

Размещено на Allbest.ru