Использование OpenCV в задачах распознавания образов

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Федеральное агентство связи

Федеральное государственное бюджетное образовательное учреждение

высшего образования

«Поволжский государственный университет телекоммуникаций и информатики»

Факультет Информационных систем и технологий

Направление Информатика и вычислительная техника

Кафедра Информационных систем и технологий

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

Использование OpenCV в задачах распознавания образов

Разработал Д.О. Еремин

Самара 2017

Введение

Современный век - это период активного внедрения автоматизации и роботизации высокого уровня. Примером высоких технологий может считаться машинное зрение, представляющее собою сравнительно молодую отрасль, однако уже сегодня имеющую очень большое распространение во всех без исключения сферах жизнедеятельности человека: от систем обработки текстовых печатных документов и вплоть до определения лиц человека и жестов.

Область исследования в сфере компьютерного зрения считается довольно молодой, разнообразной и динамично развивающейся. И хотя над ней давно ведутся работы, можно сказать, что активное изучение проблем в этой сфере началось только с конца семидесятых годов прошлого века, когда компьютеры наконец стали настолько производительными, что могут быстро обрабатывать большие массивы данных, такие как изображения. Однако эти исследования ранее были начаты в других областях науки, и, следовательно, не существует стандартного определения проблемы компьютерного зрения. Но, что является более важным, до сих пор не существует стандартной формулировки, как эта проблема должна быть решена в системах компьютерного зрения. К тому же, есть множество методов, позволяющих успешно решить различные строго определённые задачи, возникающие при проектировании систем компьютерного зрения[1], где методы часто зависят непосредственно от самих задач и редко могут быть обобщены для широкого спектра применения. Многие из разрабатываемых методов и способов обработки изображений до сих пор находятся на стадии исследования, хотя всё чаще некоторые этих методов успешно находят своё применение в коммерческих продуктах, где они часто составляют часть большей системы, способной решать сложные задачи (к примеру, в области медицинской визуализации и измерения и контроля качества производственных процессов). В большинстве практических алгоритмах применений технического зрения компьютеры запрограммированы для решения определённого круга задач, но те методы, которые основаны на знаниях, становятся всё более общими.

В качестве основной технологии при разработке программного обеспечения для распознавания образов должна выступать одна из имеющихся технологий распознавания изображений. Есть множество библиотек для этой технологии. Одной из наиболее популярных и часто используемых библиотек компьютерного зрения является библиотека OpenCV.

Все вышесказанное определило актуальность темы работы - использование библиотеки OpenCV в задачах распознавания образов.

Целью дипломной работы является изучение основных возможностей библиотеки OpenCV и реализация некоторых алгоритмов по обработке и анализу изображений. Для достижения поставленной цели необходимо решить следующие основные задачи:

· Провести анализ предметной области

· Выбрать некоторые алгоритмы для рассмотрения

· Выполнить реализацию выбранных алгоритмов

· Сделать анализ полученных результатов

Цель и задачи написания работы определили ее структуру, которая состоит из введения, пяти глав и заключения.

В первой главе дипломной работы даны основные теоретические сведения о системах машинного зрения, история развития и области применения.

Во второй главе рассмотрены компоненты, из которых состоят системы машинного зрения.

В третьей главе дано описание библиотека OpenCV и её главные преимущества в использовании её в качестве основы для создания систем машинного зрения.

В четвёртой главе представлено описание нескольких методов обработки изображений из библиотеки OpenCV, часто применяемых при проектировании программного обеспечения для распознавания образов и приведены результаты их работы.

В пятой главе описывается алгоритм анализа изображений, предназначенный для распознавания образов.

В заключении сделаны основные выводы и результаты по проделанной работе.

зрение opencv изображение контур

1. Основные теоретические сведения

1.1 Общие положения

Машинное, или как его ещё называют, компьютерное зрение, на сегодняшний день является одним из наиболее перспективных и востребованных методов автоматизации операций с использованием компьютерных технологий в области робототехники в связи с бурным развитием вычислительных систем и информационных технологий. В наиболее общем виде системы технического зрения включает в себя определённое преобразование данных, полученных непосредственно от устройств захвата изображения (камер), с выполнением других операций на основе этих данных. В настоящее время техническое зрение является наиболее востребованной отраслью в медицине и биотехнологиях, военной и автомобильной промышленности. Во всяком случае, в этих областях уже давно присутствуют четко обозначенные задачи для систем машинного зрения, проблемой решения которых занимаются одни из ведущих исследовательских центров и лидирующие в этой области робототехнические компании. В этом случае, возможно, объем использования машинного зрения, действительно, огромен - эти технологии могут быть применены практически во всех сферах современной жизни.

В последние годы в области распознавания образов активно ведутся разработки и предложено множество различные методов обработки визуальной информации, использующие такие подходы, как метод главных компонент, методы с использованием гистограмм, нейросети, байесовские сети, статистические методы и многие. Некоторые из разрабатываемых алгоритмов распознавания инвариантны к предмету, в то время как другие используют конкретные знания об объекте, такие как: форма, цвет, взаимное расположение частей и др.

Но даже несмотря на то, что в реальном мире есть много различных объектов, наиболее большой интерес для коммерческой сферы представляет разработка алгоритмов для обнаружения узкого класса объектов - человеческих лиц и жестов. Практическое применение алгоритмов распознавания лица может быть следующим: системы автоматизированного подсчета числа посетителей, системы контроля и пропуска в учреждениях и предприятиях, в аэропортах и метро и др.

Одним из наиболее наглядных и одновременно простых примеров использования машинного зрения в нашей обычной жизни является система считывания и распознавания штрих-кодов. Штрих-коды - это довольно распространенный способ распознавания товаров и хранения информации о них в базе данных магазина. Штрих-кодом называется определённая последовательность белых и черных полос, которые представляют собой некоторую информацию в удобном для считывания и распознавания техническими средствами виде. Для того, чтобы распознать эту зашифрованную в штрих-коде информацию, оператору нужно просканировать эти линии в искомой области, после чего система произведёт расчет ширины штрихов вдоль заданной траектории и мгновенно выдаст зашифрованную в штрих-коде информацию. Однако зачастую система штрих кодов обладает рядом неблагоприятных факторов: довольно невысокой помехоустойчивостью и относительно малым объемом информации, которую можно записать с помощью этой системы[2]. Поэтому существуют коды не только линейчатого типа, но и другие. Например, в торговле встречаются двумерные коды, представляющие собой совокупность не только штрихов, но ещё и цифр и букв.

Так или иначе, применение технического зрения распространяется не только в областях торговли, но и в промышленности и во многих других сферах.

Также в промышленности активно используется компьютерное зрение для проверки качества сборки компьютерных плат, сварки швов, качества кристаллов, сортировки предметов, находящихся на конвейерной ленте, и т.д.

Особый интерес для разработки представляют собой системы обнаружения препятствий и позиционирования транспортного средства на дороге и определения государственного номера автомобилей в режиме реального времени[3]. Такие системы очень востребованы в государственных и иных структурах.

Наиболее сложным и в то же время крайне востребованным примером использования технического зрения являются разработки в области распознавания жестов рук человека и биомеханические исследования. Для этих исследований ежегодно прилагаются огромные усилия.

На основе приведённых примеров можно говорить о машинном зрении как об очень полезном инструменте практически во всех областях жизни и промышленности, а также ощутимой экономической выгоде при его использовании, наравне с крайне высокой точностью и простотой использования. Несмотря на довольно молодой возраст, эта наука чрезвычайно востребована и перспективна. В будущем - это создание роботов, способных сравниться с человеком по интеллектуальным способностям и превзойти его по многим физическим параметрам.

Задачи, которые решаются системами компьютерного зрения, довольно сложно поддаются решению. Например, процесс обнаружения на изображении автомобиля является одной из таких задач. Если сравнивать техническое зрение со зрением человека, то процесс поиска автомобиля на снимке человеком можно представить как следующую последовательность действий. В начале мозг начинает разделять сигнал, поступающий от зрительного аппарата, на несколько разделенных каналов. Каждый из этих каналов нужен для того, чтобы передать информацию различного рода в человеческий мозг. Устройство мозга таково, что он концентрирует внимание на главной информации снимка, при этом остальная информация может исключаться. На следующем этапе появляется ответный сигнал, перемещающийся обратно в зрительный канал. Кроме того, существуют сигналы, которые должны поступать на ассоциативные входы. Также сигналы, поступившие от системы контроля мышц и других чувств, дают возможность мозгу использовать некоторые ассоциации, которые были накоплены за все прожитые годы. Из-за наличия обратной связи в мозговом отделе, процесс повторяется снова и снова и включает в себя глаз, управляющий освещением с использованием радужной оболочки и настраивающий прием непосредственно на поверхность сетчатки. Из описанного выше видно, что процесс распознавания глазом объекта на снимке является довольно сложным процессом и требует выполнения немалого числа действий человеческим мозгом.

Тем не менее, технология компьютерного зрения устроена несколько иначе. Входными данными, которые получает компьютер, является сетка с числами от камеры, либо с диска. У компьютерного зрения нет тех возможностей, которыми управляет человеческий глаз[4]. Прежде всего у него нет возможности встроенного распознавания образов, также отсутствует автоматическое управления фокусом и диафрагмой, нет никаких ассоциаций с опытом работы, который человек накапливает за свою жизнь. Существующие на сегодняшний день системы компьютерного зрения являются довольно простыми.

Можно привести следующий пример. Для этого возьмем какое либо плоское изображение. Когда человек смотрит на него, он видит именно картину с различными цветами и линиями. Компьютер же, в свою очередь, видит на нём только матрицу с числами. Каждое значение в этой матрице имеет большую шумовую составляющую и, если рассматривать его без взаимосвязи с остальными числами, то оно может дать нам сравнительно небольшое количество информации. Тем не менее, именно так видит компьютер. Задача, поставленная перед разработчиками систем машинного зрения -- это преобразование матрицы, которую видит компьютер, к такой картине, которую видит человек.

Также существует еще одна немаловажная проблема, связанная с машинным зрением. Данная проблема заключается в том, что компьютер прежде всего воспринимает исключительно двумерные изображения, в то время как как каждый предмет обладает трехмерностью. Восприятие трехмерного объекта радикально меняется в зависимости от позиции, с которой на него смотрит компьютерная камера. Данная проблема пока не имеет какого-либо одного решения, так как имея только двумерное представление трехмерного мира, невозможно однозначно восстановить трехмерный сигнал. Трёхмерную сцену можно представить как очень большое количество плоских двумерных изображений. Тем не менее такое представление не может являться совершенным. Это связано с тем, что данные при таком представлении могут значительно исказиться. Также возможно влияние и в результате изменения окружающего пространства, например, изменения условий погоды, освещения, отражения, перемещения объектов и многого другого. Кроме того, проблемы могут возникнуть из-за каких-либо недостатков в качестве объектива, механических устройствах, конечном времени интеграции на датчике, которое может привести к размытию движущегося объекта, электрическим шумам, возникшим на на датчике или разнообразной другой электронике, артефактам, появившимся после сжатия изображения и или в процессе его захвата. Чтобы объект удалось правильно распознать, необходимо учитывать все перечисленные выше проблемы.

Довольно часто при проектировании вычислительной системы должны учитываться дополнительные знания контекста. Эти знания необходимы для того, чтобы обойти существующие ограничения, наложенные датчиками сканирования местности. Для иллюстрации этой ситуации можно привезти следующую ситуацию. Например, есть автоматизированная система, задачей которой является нахождение ручки на изображении, полученном с камеры. Эта система может опираться на известный факт, что стол -- это предмет, часто встречающийся в офисах и рабочих зонах, и непосредственно на столе можно найти ручку. Знание этого факта дает информацию о размерах ручки и что она явно должна быть расположена на столе, что позволяет сделать вывод о том, что ее размер должен быть гораздо меньше размеров стола. К тому же, знание данного факта может помочь устранить некоторые ложные опознавания ручки в тех местах, где она не может находиться, например, на кровати или же на стене.

Ещё в середине двадцатого века обработка изображений производилась в основном с использованием аналоговых методов обработки информации и выполнялась с применением исключительно оптических устройств. Подобные методы до сих пор крайне важны и до сих пор применяются в некоторых областях. Тем не менее, с резко возросшей производительностью компьютеров, эти методы всё в большей мере заменяются более современными методами цифровой обработки изображений. В большинстве случаев методы цифровой обработки изображений являются наиболее точными, надёжными, гибкими и простыми в использовании, нежели аналоговые методы. В цифровой обработке изображений зачастую применяется специализированное оборудование и устройства, такие как процессоры с конвейерной обработкой инструкций и многопроцессорные системы. В большей степени это касается прежде всего систем обработки видео. Обработка изображений выполняется также с помощью программных средств компьютерной математики, например Mathcad, MATLAB и других.

Как научная дисциплина, техническое зрение представляет собой область информационной теории и технологии искусственных систем, получающих информацию из изображений или видеопотока. Видеоданные в данном случае могут быть представлены множеством различных форм, таких как видео, изображения с разных камер или трехмерных данных, таких как медицинское устройство или Kinect сканера.

В частности, в медицине получаемые при использовании систем компьютерного зрения изображения и видеоданные применяются для в качестве современных и эффективных методах диагностики, а на промышленном производстве при использовании машинного зрения удаётся намного снизить себестоимость продукции за счет частичного отказа от выполнения ручного труда, таким образом сводя к минимуму воздействие человеческого фактора.

Система машинного зрения должна включать в себя следующий минимальный набор основные компоненты:

· подсистему получения изображений

· вычислительную систему

· систему анализа изображений

Совершенствование систем машинного зрения активно продвигается по всем трем представленным выше компонентам. Тем не менее, в условиях, когда качественные устройства получения изображений становятся всё более доступными не только для военного или промышленного применения, но и для обычного пользователя, а вычислительные мощности компьютеров позволяют совершать огромное множество операций в секунду, давая тем самым возможность их применения в системах реального времени, наиболее важным становится построение эффективных методов для анализа получаемых изображений.

Важная роль в области искусственного интеллекта принимают автоматические системы планирования и принятие решений, которые могут выполнять разные запрограммированные оператором действия, такие как изменение положения робота в пространстве. Обычно эти действия требуют определённые входные данные, получаемых с помощью систем компьютерного зрения, которые действуют в качестве датчика видеоизображения и предоставляющие высокий уровень информации о среде и роботе. Другие же из областей, описываемые как принадлежащие к сфере искусственного интеллекта и которые используются в составе систем компьютерного зрения, это алгоритмы распознавания образов и обучающие методы. Следовательно, компьютерное зрение иногда может рассматриваться как важная часть области искусственного интеллекта и информатики в целом.

Другая область, связанная с компьютерным зрением является обработкой сигналов. Многие методы обработки одномерных сигналов, как правило временных сигналов, могут быть естественным образом расширены для обработки двумерных или многомерных сигналов в компьютерном зрении. Тем не менее, из-за особого характера изображений, существует множество методик и разработок в области компьютерного зрения, у которых нет аналогов в обработке одномерных сигналов. Особенностью этих методов является их нелинейность, которая вместе с многомерностью сигнала, делает соответствующую подобласть в обработке сигналов частью области компьютерного зрения.

Помимо упомянутых выше подходов к изучению компьютерному зрению, большинство исследуемых вопросов может быть изучено с чисто математической точки зрения. Например, многочисленные методы основаны на статистических данных, оптимизации или геометрических методах. Наконец, значительная работа в области практического применения компьютерного зрения ведётся в направлении реализации существующих технологий в аппаратных средствах или программном обеспечении, и как они могут быть изменены, чтобы достичь без значительного увеличения потребления ресурсов высокой скорости своей работы.

1.2 Связанные области

Компьютерное зрение, обработка изображений и машинное зрение являются тесно связанными областями информационной науки[5]. При более внимательном рассмотрении может показаться, что все они принадлежат к одной и той же области. Но это не совсем так, и чтобы не возникало путаницы, принято считать их хоть и близкими, но различающимися направления, сфокусированным каждый на своём предмете изучения. Ниже приведено описание наиболее важных из них:

Обработка изображений в основном применяется там, где необходима работа с простыми двухмерными изображениями, например преобразование одного изображение в другое. К ним также относятся все операции изменения контрастности до необходимого уровня, операции по нахождению с последующим выделением краёв, устранению шумов и всевозможных помех или геометрические преобразования, такие как Аффинные преобразования. Все перечисленные выше операции предполагают, что обработка и последующий анализ изображения работают независимо от того, что содержат сами изображения.

Компьютерное зрение в основном сосредоточено на анализе и последующей обработке трехмерных изображений, которые спроектированы на одно или несколько изображений. Например, одной из таких задач является восстановление структуры поверхности или любой другой информации о трехмерной сцене по имеющимся изображениям. При этом компьютерное зрение часто может быть зависимым от более или менее сложных допущений относительно того, какие объекты находятся на изображениях.

Машинное зрение прежде всего сосредоточено в основном на промышленном применении, например, при проектировании автономных роботов и систем оптической проверки и обнаружению произошедших изменений с объектом. То есть применяемые технологии датчиков изображения и теории управления связаны с обработкой и анализом видеоданных для управления роботами и обработка данных в реальном времени осуществляется зачастую программными методами.

Также существует ещё одна важная область - визуализация, которая первоначально была тесно связана с процессом создания изображений, но иногда имела дело с обработкой и анализом. Примером этой области может служить рентгенография, которая занимается анализом видеоданных в медицине.

К тому же, распознавание образов на изображениях является областью информационной науки, использующей различные методы для получения информации не только на статичных изображениях, но и из видеоданных, которые в основном основаны на статистическом подходе. При этом значительная часть этой области посвящена непосредственно практическому применению и использованию этих методов в промышленности и других сферах жизни.

Применение систем машинного зрения настолько разнообразно, что оно охватывает различные области деятельности, включая следующие:

· Крупное и мелкое промышленное производство

· Увеличение скорости производства многих уникальных продуктов

· Системы безопасности и контроля допуска в промышленных условиях

· Контроль качества предварительно изготовленных объектов

· Системы визуального контроля и управления

· Контроль и системы управления автоматизированными транспортными средствами

· Контроль качества производства и инспекция продуктов питания

В автомобильной промышленности, как и во многих других фабричных производствах, системы машинного зрения используются в качестве руководства для промышленных роботов, а также для проверки поверхности окрашенного автомобиля, блоков цилиндров, сварных швов, и многих других компонентов на наличие дефектов.

2. Устройство систем машинного зрения

2.1 Общая характеристика

Самая простая система компьютерного зрения состоит из камер, объективов, освещения и непосредственно предметов.

Матрица чувствительных элементов, составляющих видеокамеру, предназначена для получения цифрового изображения. Структура массива детекторов содержит множество аналоговых и цифровых преобразователей для преобразования информации об интенсивности света в цифровое значение.

Объектив предназначен для того, чтобы позволить фотокамере сфокусироваться на определенном расстоянии и получить четкое изображение объекта. В том случае, когда объект расположен за пределами фокусного расстояния (или на расстоянии между линзой и точкой фокусировки), изображение получится нечётким, размытым, что ухудшает качество обработки последовательности видео. Ещё одной важной характеристикой объектива является его поле зрения -- это площадь поверхности, которую видит камера с фокусного расстояния.

В отличии от обычных цифровых камер с объективами, которые поддерживают функцию автоматической фокусировки, в системах машинного применяются видеокамеры с фиксированным фокусным расстоянием или объективы с ручной регулировкой фокусного расстояния. Существуют разные типы линз и объективов, которые предназначены для решения различных типов задач (стандартные, телескопические, с широким углом обзора, с увеличением и другие), поэтому выбор правильного типа оптики является важным шагом в разработке систем машинного зрения.

Подсветка -- еще одна важная часть в системах компьютерного зрения. Благодаря использованию различных видов освещения вы можете расширить круг задач, которые могут быть решены с помощью машинного зрения. Существует несколько различных типов подсветки, но наиболее популярным из них является LED-подсветка, или светодиодный тип подсветки - из-за его высокой яркости. При этом с нынешним уровнем развития светодиодной техники обеспечивается большой срок службы подсветки и её малое потребление энергии.

2.2 Камеры машинного зрения

Важным направлением развития в области машинного зрения является получение и дальнейшая обработка изображений с использованием устройств захвата, к которым относится камера. В отличие от использования различных примитивных датчиков, с помощью этого метода можно вплотную приблизить работу системы машинного зрения к зрительному аппарату человека. Другими словами, на входе и робототехническая система, и человек получают одну и ту же зрительную информацию. Отличными останутся только алгоритмы обработки и вычислительные мощности, которые используются для ее преобразования и интерпретации. Но и здесь уже сделаны значительные шаги, позволяющие решать различные задачи в самом общем виде.

Современные цифровые камеры производятся преимущественно в формате 3D и могут за один отрезок времени параллельно выполнять сразу несколько операций. Камеры, устанавливаемые на производстве, защищены от внешней среды с помощью прочного корпуса и могут работать в тяжелых условиях - повышенная влажность, высокая температура и т.п.

Система способна выполнять поставленные задачи без помощи человека достаточно долго только в том случае, если она будет правильно запрограммирована. Базовый пакет программного обеспечения для камер машинного зрения создаётся непосредственно самим разработчиком, после чего оно настраивается индивидуально для каждого предприятия, решившего использовать данную систему.

Довольно часто для применения машинного зрения могут потребоваться дополнительные устройства. В первую очередь это датчики, которые выполняют операции, недоступные основному устройству - камере. Это могут быть датчики движения, инфракрасные, фотоэлектрические датчики и т.д. Кроме того, почти всегда требуется специальная подсветка рабочей зоны. Однако, со временем количество внешних устройств сокращается - камеры начинают производиться уже со встроенными внутри всеми необходимыми функциями.

Существуют следующие виды камер, применяемых в системах машинного зрения:

· Тепловизоры (камера, чувствительная к инфракрасной области спектра) используемые в системах безопасности, так и на производстве, чтобы контролировать температуру.

· Специальные камеры (камеры с отличительными характеристиками: например, высокоскоростная съемка).

· Камеры машинного зрения (камеры, которые передают несжатое видео без значительных потерь в качестве).

· Камеры охранного видеонаблюдения (камеры, кодирующие видео при передаче по сети для обеспечения повышенной безопасности).

Наибольшее внимание уделяется камерам машинного зрения и специализированным камерам. Камеры компьютерного зрения, в свою очередь, разделены на два класса в зависимости от типа датчика:

· камеры линейного сканирования (рис. 2.1);

· камеры сканирования области (рис. 2.2).

Основное различие между этими двумя классами камер состоит в том, что у них различный принцип чтения информации. Камеры линейного сканирования (рис. 2.1) представляют собой линейный сенсор, набранный из полосы светочувствительных резисторов. При этом ширина полосы колеблется от 512 до 4096 логических пикселей, а её толщина при этом может достигать 1-8 пикселей. Уникальность таких датчиков состоит в том, что скорость чтения данных полосок может достигать 90 тысяч снимков в секунду. Такие камеры используются прежде всего на конвейерных линиях, где сканируемый объект исследования не имеет фиксированной длины (например, прокатные изделия). После завершения сканирования, камера объединяет отсканированные полоски в единое изображение и передаёт его для дальнейшей обработки в программное обеспечение.

Рис. 2.1 - Камера линейного сканирования

Рис. 2.2 - Камера сканирования области

Камеры сканирования области (рис. 2.2) имеют довольно простую, знакомую многим профессиональным фотографам, конструкцию. Датчик такой камеры, как правило, представляет собой матрицу с соотношением сторон 4:3, так что изображение, очевидно, имеет прямоугольную форму.

2.3 Подсветка машинного зрения

Одной из главных проблем в задаче распознавания образов является влияние освещенности на качество распознавания. Многие алгоритмы распознавания достаточно успешно справляются со своей задачей только при условии, что все изображения получены при одинаковых условиях освещения. В случае же, когда изображения получены при разных условиях съемки, например, в помещении и на улице, это существенно увеличивает сложность, и алгоритмы распознавания считают фотографии, полученные при различном освещении похожими, а не фотографиями, полученные при различных условиях.

Из этого можно сделать вывод, что без специализированной подсветки не обходится практически ни одна система машинного зрения[7]. Необходимость её использования обоснована многими факторами, такими как:

· низкий уровень общего освещения на предприятии;

· слабая частота мерцания освещения (50 Гц);

· невозможность корректировки угла падения лучей;

· невозможность управлять интенсивностью освещенности;

· общая освещенность может меняться на протяжении дня.

В современном производстве используется два типа источников света: лазер и светодиод (LED-подсветка). Светодиод, в отличии от лазера, более дешев в производстве и более гибкий в использовании, так как позволяет сконструировать практически любую систему самой подсветки, установив в нее нужное количество светодиодов. Лазер же излучает когерентный, мощный поток света, что позволяет применять совместно с ним различные фильтры-насадки.

Основные виды светодиодных подсветок по их основным конструктивным особенностям представлены ниже:

“BackLight” - прямоугольная подсветка, расположенная за сканируемым объектом (рис. 2.4) со светодиодами, расположенными по всей поверхности. Такая подсветка применяется в задачах, когда объект необходимо просветить насквозь. Хорошо подходит для получения четких контуров объекта.



Рис. 2.4 - Принцип подсветки “BackLight”

“LineLight” - это подсветка, применяемая для камер компьютерного зрения с сенсором линейного сканирования (рис. 2.5). Светодиоды подсветки расположены в линию вдоль линейного сенсора. Обычно она применяется для местного освещения, когда изучаемый объект необходимо подсветить по всей ширине.

Рис. 2.5 - Использование двух подсветок “LineLight”

“RingLight” - кольцевой тип подсветки. Применяется тех в задачах, где объект исследования необходимо подсветить под углом 90 градусов к поверхности (рис. 2.6). Преимущество применения данного типа подсветки заключается в том, что она зачастую имеет отверстие под объектив камеры, что исключает наличие неосвещённых зон.



Рис. 2.6 - Принцип использования подсветки “RingLight”

“DarkFieldLight” - это подсветка, применяемая в задачах определения рельефных текстур. В этом случае светодиоды расположены с торцов сканируемого объекта и светят узкой полосой. Главную роль в эффективности этой подсветки играет преломление световых лучей на рельефе сканируемого объекта (рис. 2.7).

Рис. 2.7 - Подсветка типа “DarkFieldLight”

“DiffuseLight” - это подсветка, при которой расположение светодиодов позволяет исключить наличие теней на поверхности объекта исследований (рис. 2.8). Этот эффект достигается благодаря тому, что светодиоды и расположены таким образом, что световой поток падает на объект со всех сторон.



Рис. 2.8 - Принцип использования подсветки “DiffuseLight”

Лазерная подсветка интересна прежде всего не только мощностью применяемого лазера, сколько возможностью совмещать с ней специальные насадки, которые позволят построить следующее изображение на поверхности исследуемого объекта:

· радиальные круги с постоянным шагом радиуса;

· координатную сетку с постоянным шагом (рис. 2.9);

Рис. 2.9 - Возможности различных насадок-фильтров для систем лазерной подсветки

· лазерное освещение, описывающее геометрические фигуры (рис. 2.10).

При помощи полученного таким способом изображения на поверхности изучаемого объекта можно решить множество задач. Например, определить, все ли объекты исследования находятся в заданной области и произвести их подсчёт. Координатная сетка при этом также будет незаменима в использовании в задачах управления роботом для пересчета условных координат камеры, находящейся на роботе в реальный масштаб.

Рис. 2.10 - Применение лазерной сетки для изучения параметров объекта

2.4 Световые фильтры и объективы

Световые фильтры - это приспособления, которые применяются для того, чтобы отсекать ненужную часть светового потока, проходящего через объектив. Наиболее популярными при этом являются поляризационные фильтры (рис. 2.11).

Рис. 2.11 - Световые фильтры

Намного реже в системах компьютерного зрения применяются фильтры видимого спектра света. Как и в подсветках систем компьютерного зрения, световые фильтры различаются друг от друга спектром света, который они способны пропускать сквозь поверхность фильтра.

Объектив - это оптическое устройство, предназначенное для получения объективного изображения. Принцип работы этого устройства заключается в том, что, преломляя лучи света, которые проходят через него, на поверхности сенсора камеры, на которую установлен данный объектив, формируется изображение объекта исследования (рис. 2.12).

Рис. 2.12 - Объектив системы машинного зрения

Основными характеристиками объектива являются:

* Фокусное расстояние -- это расстояние от оптического центра объектива до точки фокусировки

* Относительное отверстие объектива - это отношение диаметра входного зрачка к его заднему фокусному расстоянию.

Таким образом, мы имеем два основных параметра, которые отображают нам угол обзора сенсора камеры, а также относительное количество света, поступающего через объектив непосредственно на сенсор. При подборе объектива важно задействовать еще и третий параметр - расстояние до объекта, так как именно расстояние до объекта и фокусное расстояние объектива будут определять размеры объекта в кадре.

3. Библиотека OpenCV

OpenCV (Open Source Computer Vision Library) -- это библиотека компьютерного зрения, которая предоставляется к пользованию любому пользователю с открытым исходным программным кодом[9]. При этом спектр возможностей применения данной библиотеки очень широк. В ней собрано большое множество методов для использования технологий компьютерного зрения. После подключения библиотеки к проекту пользователь имеет доступ к более чем пятистам функций, предназначенных для решения различных задач. Кроме алгоритмов для работы с технологией компьютерного зрения, эта библиотека используется для обработки изображений. Также она содержит большое количество численных алгоритмов, и многое другое. Данная библиотека первоначально была ориентирована для использование в системах, написанных на языках программирования C/C++, но тем не менее поставляется также и для других языков, таких как Python, Java, Ruby, Matlab, Lua и т.д.. Библиотека может быть использована на различных операционных системах, в том числе Linux, Mac OS X, iOS, Android и других.

Функции, поддерживаемые библиотекой, охватывают различные области компьютерного зрения, медицинскую безопасности, стерео-зрение и робототехнику. Все это связано с тем, что компьютерное зрение и машинное обучение - два неразделимых понятия. Кроме того, библиотека OpenCV также содержит в своём составе библиотеку MLL (Machine Learning Library). Даная библиотека направлена на обнаружение статических изображений и технологии кластеризации. Эта библиотека является крайне эффективной при решении задач компьютерного зрения, что является главной особенностью OpenCV. Однако для решения конкретных проблем машинного обучения данная библиотека редко используется, так как является довольно обобщенной.

Библиотека OpenCV использует лицензию, разработанную таким образом, чтобы у разработчиков была возможность создать любой коммерческий продукт, и при этом иметь возможность использовать функциональные возможности библиотеки либо частично, либо полностью. Главным условием для применения OpenCV является тот факт, что разработчик должен оставить разрабатываемый проект с открытым исходным кодом для других разработчиков, а также делать доступными для всех разработанные им улучшения для библиотеки.

Основная информация о библиотеке OpenCV представлена преимущественно на английском языке, однако, на сегодняшний день существуют и активно развиваются русскоязычные аналоги данной документации, что во многом способствует использованию именно библиотеки OpenCV большинством русскоговорящих разработчиков при создании своих проектов.

Библиотека OpenCV является библиотекой со сложной структурой. Она разделяется на пять базовых компонентов: алгоритмы обработки и анализа изображений, алгоритмы компьютерного зрения, библиотека машинного обучения (MLL), процедуры и функции ввода и вывода для хранения и загрузки видео и изображений (HighGUI), основные структуры данных (CXCore).

Структура библиотеки изображена на рис. 3.1 На данном рисунке не представлен пятый компонент библиотеки, а именно CvAux (экспериментальные алгоритмы). Этот компонент содержит: 1D и 2D скрытая Марковскую модель, технику статистического распознавания с использованием метода динамического программирования, встроенную СММ, методы распознавание жестов благодаря стерео зрению, систему стерео зрения, дескриптор текстур, алгоритм поиска центральных линий объектов, системы видеонаблюдения и прочие методы.

Еще одним важным преимуществом использования библиотеки OpenCV является её портативность.



Рис. 3.1 - Базовая структура OpenCV

В самом начале её разработка велась на языке Borland C++, MSVC++, и Intel compilers. Все это означает тот факт, что код на языках C и C++ стал стандартным, что позволило создать облегченную поддержку кроссплатформенности. В начале разработки поддерживаемая архитектура была 32-битной Intel с операционной системой Windows, немного позже добавилась поддержка ОС Linux, а вскоре после того, как компания Apple начала использовать процессоры Intel, появилась также поддержка MAC OS X. Позже появилась поддержка и 64-битной архитектуры Intel. На сегодняшний день библиотека OpenCV адаптирована под использование практически во всех коммерческих системах.

4. Обработка изображений

4.1 Общие сведения

Реализация конкретных систем машинного зрения очень является сильно зависимой от областей их непосредственного применения, используемой аппаратной платформы и требований по необходимой производительности. Многие системы компьютерного зрения являются автоматическими и решают специфические проблемы распознавания изображений и измерения, в то время как другие системы представляют собой подсистемы других, более крупных систем, которые также могут содержать в своём составе встроенные подсистемы управления механизированными устройствами, информационные базы данных (поиск похожих изображений), интерфейсы человек-машина (компьютерные игры) и многие другие. Тем не менее, существуют некоторые функции, которые являются наиболее типичными для многих систем машинного зрения, например такие, как:

· Получение изображений: двумерные цифровые изображения поступают с систему от одного или нескольких встроенных датчиков изображения (камер машинного зрения), которые кроме разных типов непосредственно самих светочувствительных камер могут также включать в себя ещё и различные датчики, такие как датчики расстояния, радары, ультразвуковые камеры и другие. В зависимости от типа применяемого датчика, получаемые таким образом данные могут быть как обычным плоским изображением, так и 3D изображением или даже набором последовательных изображений (видеорядом). Значения пикселей, из которых состоит входное изображение, обычно соответствуют интенсивности света в используемой текущей камерой спектральной полосе (могут быть цветными или же изображения в градациях серого), однако ткже могут быть связаны с различными другими физическими параметрами, такими как глубина цвета, поглощение или отражение звуковых или электромагнитных волн, и других.

· Предварительная обработка: для того, чтобы методы компьютерного зрения могли быть применены к непосредственно ко входным видеоданным, чтобы извлечь из низ нужную долю информации, необходимо предварительно обработать эти видеоданные, чтобы они удовлетворяли некоторым условиям, которые также могут отличаться в зависимости от используемого в данный момент метода. Примерами такой обработки являются:

· Повторное получение входного изображения для того, чтобы убедиться, что используемая координатная система изображения верна.

· Удаление шума, необходимое для того, чтобы удалить все искажения, вносимые датчиком во время получения изображения и негативно влияющие на качество изображения.

· Улучшение контрастности, благодаря чему нужная информация была максимально легко обнаружена и обработана.

· Масштабирование, также применяемое для для лучшего различения структур на изображении

· Выделение наиболее значимых при распознавании деталей: наиболее важные детали изображения выделяются из видеоданных. Типичными примерами таких деталей на изображениях являются:

· Линии, границы и кромки

· Локализованные точки интереса, такие как углы или характерные точки: более сложные детали могут относиться к структуре, форме или движению.

· Детектирование и сегментация: иногда на определённом этапе обработки необходимо принять решение о том, какие точки или целые участки изображения являются наиболее важными для дальнейшей обработки.

· Высокоуровневая обработка: при анализе изображения на этом шаге входные данные обычно уже представляют собой некоторый набор выделенных на предыдущих этапах данных, например набор точек или небольшой участок изображения, в котором предположительно располагается определённый объект.

Одной из крайне важных задач в системах машинного зрения при использовании их в робототехнике является распознавание, включающее в себя поиск и опознание объектов. Также решение этой непростой задачи позволяют выполнить оценку расположения объекта непосредственно относительно устройства захвата изображения, что может быть использовано во многих устройствах.

Этот подход позволяет наиболее эффективно проводить внедрение робототехнических систем, использующие компьютерное зрение, непосредственно в привычное для человека окружение. А позволяет нам существенно расширить сферы использования компьютерного зрения, расширяя их далеко за рамки жестко детерминированных сред в промышленности и постепенно захватывая все новые области его применения в быту человека.

Одним из основных разделов в теории компьютерного зрения является анализ с последующим извлечением информации из изображения или же последовательности изображений. Часто это применяется для определения и распознавания объекта.

4.2 Детектирование объектов

Детектирование объекта по заданному шаблону может пригодиться во множестве случаев. Самый простой пример -- поиск заранее известного объекта.

В OpenCV для этого есть замечательная функция cvMatchTemplate(). Синтаксис этой функции на языке C++ выглядит следующим образом:

image -- изображение для поиска (8-битное или 32F) templ -- шаблон для поиска (не должен превышать исходное изображение и иметь тот же тип) result -- карта результата сравнения (32FС1) если image WxH и templ wxh, то result = (W-w+1)x(H-h+1) method -- метод сравнения областей изображения:

Функцию поиска объекта по заданному шаблону можно приблизительно представить следующим образом: изображение шаблона templ последовательно накладывается на исходное изображение image и между ними вычисляется корреляция, результат которой заносится в результирующее изображение result. Очевидно, что корреляцию между двумя изображениями можно считать разными способами. Эти методы собраны выше в перечислении и просто меняют формулу расчёта корреляции.

4.3 Размытие по Гауссу

Прежде чем начинать анализ изображения, его необходимо предварительно обработать. Одним из первых пунктов этой обработки является преобразование изображение в черно-белое, после чего идёт удаление с изображения шума, или размытие. Размытие по Гауссу -- один из часто применяемых фильтров размытия изображения, в основе которого лежит нормальное (Гауссово) распределение, применяемое для вычисления преобразования, применяемого к обрабатываемому изображению. Уравнение распределения Гаусса в N измерениях имеет вид:

(4.1)

или, в частном случае, для двух измерений:

(4.2)

где r -- это радиус размытия, , у -- стандартное отклонение распределения Гаусса. В случае двух измерений эта формула задает концентрическую поверхность с распределением Гаусса от центральной точки. Те пиксели, чьё распределение отлично от нуля, применяются для построения матрицы свертки, которая используется непосредственно для обработки исходного изображения. Значение цвета каждого пикселя становится усреднённым по окрестности. Центральный пиксель принимает наибольший вес (имеет наивысшее Гауссово значение), а соседние пиксели принимают меньшие веса, в зависимости от удалённости до них. Распределение в каждой точке изображения будет ненулевым, что потребовало бы вычисление весовых коэффициентов для каждого пикселя изображения. Но, на практике, когда рассчитывается дискретное приближение функции Гаусса, не принимаются при расчётах значения весов пикселей на расстоянии свыше 3у, так как они сравнительно малы. Таким образом, программе, фильтрующей изображение, достаточно рассчитывать матрицу , и при этом будет гарантироваться достаточная точность приближения распределения Гаусса. К тому же имеет место быть круговая симметрия, и размытие Гаусса может применяться к двухмерному изображению как два независимых одномерных преобразования -- это свойство называется линейной сепарабельностью. То есть эффект от применения двухмерной матрицы будет аналогичен применению двух одномерных матриц: сначала одну по всем горизонтальным направлениям, а потом вторую -- по вертикальным.

В реализации используется свойство линейной сепарабельности. Вместо двумерной матрицы преобразования используется симметричный «массив» преобразования (который мы далее называем «окном»), в котором центральный элемент имеет наибольшее значение. Массив последовательно используется сначала при «горизонтальном», а потом при «вертикальном» проходах размытия (при горизонтальном проходе массив используется как «строка», а при вертикальном -- как «столбец»). Для каждого пикселя изображения, соответствующего «центральному» элементу окна, новое значение пикселя (точнее, его RGB-компонентов) вычисляется как линейная комбинация самого пикселя и его ближайших «соседей», в соответствии с весовыми коэффициентами окна (данная техника известна под названием «плавающее окно», sliding window). Таким образом, с точки зрения реализации, размытие по Гауссу состоит в том, что значение каждого пикселя изображения «усредняется» с соседними пикселями в соответствии с весовыми коэффициентами «плавающего окна», при этом на первом проходе усреднение происходит по «горизонтальным» соседям, а на втором -- по «вертикальным».

В связи с реализацией алгоритма следует сделать ещё одно важное замечание: «усреднение» каждого пикселя должно осуществляться так, как если бы его соседи ещё не были усреднены (то есть линейная комбинация должна вычисляться для исходных пикселей строки при горизонтальном проходе и для исходных пикселей столбца при горизонтальном проходе). Однако свойство линейной сепарабельности гарантирует независимость проходов. Это означает, что при обработке каждого столбца или строки нужно сохранять «вновь размытые» пиксели во временном массиве, а потом уже «подменять» эти пиксели в изображении целиком (то есть всю строку или весь столбец за раз).

Это наиболее часто используемый в алгоритмах распознавания образов метод размытия. Мы можем использовать этот фильтр для устранения шумов на изображении. Но нам нужно быть очень осторожными в выборе размера ядра и стандартного отклонения распределения Гаусса по X и Y направлению. Они должны быть тщательно подобраны.

Синтаксис метода GaussianBlur() в библиотеке OpenCV на языке C++ выглядит следующим образом:

Параметры:

src -- входное изображение; при этом изображение может иметь любое количество каналов, которые обрабатываются независимо друг от друга, но глубина должна быть CV_8U, CV_16U, CV_16S, CV_32F или CV_64F.

dst -- выходное изображение того же типа и размера, что и src.

ksize -- размер Гауссова ядра. ksize.width и ksize.height могут отличаться, но они оба должны быть положительными и нечетным.

sigmaX -- стандартное отклонение Гауссова ядра в направлении X.

sigmaY -- стандартное отклонение Гауссова ядра в Y направлении; если sigmaY равен нулю, то устанавливается равным sigmaX, если оба сигмы нули, они вычисляются из ksize.width и ksize.height, соответственно; для тогоб чтобы полностью контролировать результат, независимо от возможных будущих модификаций, рекомендуется указать все ksize, sigmaX и sigmaY.

borderType -- пиксельный метод экстраполяции.

Результаты работы алгоритма сильно зависят от выбранных параметров sigmaX и sigmaY. При небольших их значениях размытие получается слабым, почти незаметным. На рисунке 4.2 представлен результат работы метода GaussianBlur() с параметрами sigmaX и sigmaY, равными 3. Можно увидеть, что изображение почти не отличается от исходного (рис. 4.1).

Рис. 4.1 - Исходное изображение

Рис. 4.2 - Изображение после применения размытия при sigmaX = sigmaY = 3

Если же увеличить параметры до 7, то размытие становится более заметным (рис. 4.3).

Максимальные же значения параметров sigmaX и sigmaY равняется 19, при которых изображение совершенно теряет чёткость (рис. 4.4), а поиск границ в дальнейшем становится затруднён. Таким образом, нужно быть очень осторожными в выборе отклонения распределения Гаусса по X и Y направлению. Они должны быть тщательно подобраны.

Рис. 4.3 - Изображение после применения размытия при sigmaX = sigmaY = 7

Рис. 4.4 - Изображение после применения размытия при sigmaX = sigmaY = 19

4.4 Детектор границ Кенни

Выделение границ на изображении - один из основных шагов задач обработки изображений, распознавания и анализа образов, компьютерного зрения. Под детекторами границ понимаются многие различные алгоритмы, выделяющие точки цифрового изображения, в которых резко изменяется яркость или есть другие виды неоднородностей.

К настоящему времени разработаны десятки различных детекторов границ, что делает задачу разработки универсальных критериев оценки их достоинств и недостатков все более актуальной.

Считается, что впервые основные требования к детектору границ были сформулированы J. Canny в 1986 году. Этому автору удалось сначала сформулировать чёткие содержательные требования к детектору и выразить их в виде некоторой оптимизационной задачи, а затем решить эту задачу. Детектор границ должен удовлетворять следующим трем критериям эффективности:

...