Компьютерное зрение. Цифровая обработка изображений

Размещено на http://www.allbest.ru//

Размещено на http://www.allbest.ru//

Министерство образования и науки Российской Федерации

ФЕДЕРАЛЬНОЕ ГОСУДАРСТВЕННОЕ БЮДЖЕТНОЕ

ОБРАЗОВАТЕЛЬНОЕ УЧРЕЖДЕНИЕ

ВЫСШЕГО ПРОФЕССИОНАЛЬНОГО ОБРАЗОВАНИЯ

«САРАТОВСКИЙ ГОСУДАРСТВЕННЫЙ УНИВЕРСИТЕТ

ИМЕНИ Н.Г. ЧЕРНЫШЕВСКОГО»

Компьютерное зрение. Цифровая обработка изображений

ВЫПУСКНАЯ КВАЛИФИКАЦИОННАЯ РАБОТА

студента 4 курса 433 ГРУППЫ

специальности 010700 «Физика» физического факультета

Тарасова Александра Дмитриевича

Научный руководитель

Доцент, к. ф.- м. н.

Ремизов А.С

Саратов 2014



Введение

Основную часть информации о внешнем мире человек получает по зрительному каналу и далее весьма эффективно обрабатывает полученную информацию при помощи аппарата анализа и интерпретации визуальной информации. Поэтому встает вопрос о возможности машинной реализации данного процесса.

За счет возрастания сложности решаемых научно-технических задач, автоматическая обработка и анализ визуальной информации становятся все более актуальными вопросами. Данные технологии используются в весьма востребованных областях науки и техники, таких как автоматизация процессов, повышение производительности, повышение качества выпускаемых изделий, контроль производственного оборудования, контроль качества выпускаемой продукции, интеллектуальные робототехнические комплексы, системы управления движущимися аппаратами, биомедицинские исследования и множество других.

Целью данной работы является систематизирование знаний на тему компьютерного зрения и обработки цифровых изображений, изучение областей применения алгоритмов работы специализированного программного обеспечения.



Раздел 1. Компьютерное зрение и его задачи

Вот уже на протяжении нескольких десятилетий проблема компьютерного зрения занимает умы не только исследователей, но и всех тех, кто связан с современным высокотехнологическим производством. Совершенствование персональной вычислительной техники, увеличение производительности персональных компьютеров и появление на рынке дешевых устройств ввода видеоинформации стимулирует развитие компьютерных технологий. И не случайно многие современные разработки в области компьютерного зрения реализуются в расчете на персональные компьютеры. При этом уже сейчас становится ясно, что от успешного решения ряда сложных и неоднозначных задач компьютерного зрения зависит автоматизация множества процессов и операций, которые до этого управлялись и контролировались только человеком.

1.1 Понятие компьютерного зрения и его история

Термин «компьютерное зрение» имеет множество связанных областей: машинное зрение, распознавание зрительных образов, анализ изображений и т.д. Однако смысл, скрывающийся за всеми этими определениями, один -- это попытка научить компьютер видеть мир глазами человека, воспринимать его как человек и выполнять в связи с этим различные действия так же, как делал бы это человек, тем самым подменяя или полностью исключая последнего. Необходимость в этом возникает в ситуациях, связанных с риском для жизни, и бывает обусловлена особенностями человека как живого организма, которому свойственно быстро утомляться, пропускать через себя ограниченный объем информации, а также обрабатывать данные с относительно низкой скоростью. Процесс компьютерного зрения представляет собой сложную технологическую цепочку, включающую получение цифрового изображения, обработку изображения с целью выделения значимой информации на изображении и анализ этого предобработанного изображения для решения определенной задачи. Конечно, идеальным представляется создание универсальной самообучающейся системы, которая бы «росла» и «зрела» так же, как это с рождения происходит с любым человеком. Руководствуясь столь высокими целями, разработчики в области компьютерного зрения сегодня решают непростые задачи. Можно сказать, что область компьютерного зрения имеет недолгую по меркам фундаментальных наук, но очень бурную историю зарождения и развития.

История появления изображений и стремления передачи информации посредством изображений уходит корнями в ранний период развития цивилизации, когда наборы изображений, заменяя первые лингвистические опыты, служили простейшим средством коммуникации или обмена информацией.

Авторы многих книг по обработке изображений и распознаванию образов сходятся в том, что история технологии компьютерного зрения как наукоемкой области знаний берет свой отсчет с 50-х годов XX века. Именно в этот период компьютеры постепенно начали становиться общедоступным средством обработки и анализа информации. Однако следует отметить, что первые системы оцифровки визуальной информации были весьма примитивными, а изображения -- малоформатными и низкоинформативными. Поэтому первыми задачами, которые решались в то время, стали проблемы, связанные с автоматическим распознаванием печатных буквенно-цифровых символов (знаков).

К этому же периоду времени относятся первые попытки моделирования нейронной деятельности человеческого мозга для решения задач компьютерного зрения. Одним из самых интересных свойств человеческого мозга является способность отвечать на бесконечное множество состояний внешней среды конечным числом реакций. Может быть, именно это свойство позволило человеку достичь высшей формы существования живой материи, выражающейся в способности к мышлению, то есть к активному отражению объективного мира в виде субъективных образов, понятий, суждений и т.д. Стремясь воспроизвести функции человеческого мозга, исследователи создали простые аппаратные (а позже программные) модели биологического нейрона и системы его соединений.

Первый успех в области машинного зрения можно смело связать с разработкой психолога Корнеллской лаборатории аэронавтики Фрэнка Розенблатта -- персептроном (от perception -- восприятие). Персептрон был впервые смоделирован на универсальной ЭВМ IBM-740 в 1958 году. Аппаратный вариант персептрона -- Mark I Perceptron был изготовлен в 1960 году и предназначался для распознавания зрительных образов. Его рецепторное поле состояло из 400 точек (матрица 20Ѕ20 элементов), и он был способен решать ряд несложных задач, в частности распознавать печатные буквы.

Исследования в области синтеза систем компьютерного зрения бурно развивались на протяжении 60-х годов по мере того, как расширялось использование вычислительных машин и становилась очевидной потребность в более быстрой и эффективной связи человека с ЭВМ. К началу 60-х годов задачи компьютерного зрения в основном охватывали область космических исследований, требовавших обработки большого количества цифровой информации. Запущенные в то время космические летательные аппараты передавали на Землю тысячи телевизионных изображений Земли, обратной стороны поверхности Луны. Полученные тогда цифровые изображения требовали удаления различного рода искажений, в частности оптических. Кроме того, эти изображения нуждались в обработке и анализе с целью решения различного рода навигационных задач -- таких как определение места площадок, пригодных для посадки спускаемых космических аппаратов. Позднее, в 70-е годы, наряду с ростом разрешающей способности изображений в видимом спектре эта информация стала дополняться полученной в тепловизионном и других спектральных диапазонах частот, что позволяло проводить более глубокий анализ данных. Начали развиваться различные подходы к распознаванию объектов на изображении, например структурные, признаковые и текстурные.

80-е и 90-е годы ознаменовались появлением нового поколения датчиков двухмерных цифровых информационных полей различной физической природы. К ним можно отнести датчики, построенные на матрицах ПЗС (прибор зарядовой связи) и КМОП (комплементарный металл-оксид-полупроводник), датчики ночного видения, тепловизоры (датчики, воспринимающие инфракрасное излучение), лазерные локаторы и др. Развитие новых измерительных систем и методов регистрации двухмерных цифровых информационных полей в реальном масштабе времени позволило получать для анализа устойчивые во времени изображения, генерируемые этими датчиками. Совершенствование же технологий производства этих датчиков позволило существенным образом снизить их стоимость, а значит, значительно расширить область их применения. Рост быстродействия микропроцессоров, снижение цен на камеры и десятикратное увеличение полосы пропускания при передаче видео с помощью таких технологий, как USB 2, позволяют реализовать действующие в режиме реального времени алгоритмы машинного зрения на стандартных компьютерах. Использование машинного зрения на персональных компьютерах в сочетании с качественными средствами визуализации способно коренным образом изменить способ взаимодействия человека с компьютером и окружающим миром. Машинное зрение уже привлекает внимание исследователей, занимающихся разработкой передовых приложений для домашнего использования.

Что касается непосредственно теории компьютерного зрения и ее приложений, то в настоящее время существует четкая граница между так называемым монокулярным и бинокулярным компьютерным зрением. К первой области относятся исследования и разработки в области компьютерного зрения, связанные с информацией, поступающей от одной камеры или от каждой камеры отдельно. Ко второй области относятся исследования и разработки, имеющие дело с информацией, одновременно поступающей от двух и более камер. Несколько камер в таких системах используются для измерения глубины наблюдения. Эти системы называются стереосистемами, а наука, которая их развивает, -- стереофотограмметрией. Безусловно, информацию о глубине можно получить за счет использования специальных, так называемых активных, датчиков (то есть одновременно излучающих и принимающих сигнал), например таких, как локатор. Однако на практике все оказывается намного сложнее. Такие устройства могут применяться для оценки глубины лишь на небольших дальностях ввиду того, что на больших расстояниях их сигнал обладает свойством рассеивания. В этом плане гораздо надежнее и проще использовать так называемые пассивные датчики, способные только принимать излучаемый сигнал. В частности, к таким датчикам относят видеокамеры. Важно подчеркнуть тот факт, что камеры в стереосистемах должны быть специальным образом ориентированы в пространстве, чтобы полученные кадры можно было поставить во взаимооднозначное соответствие и сформировать объемное представление об объекте. Примерно то же самое происходит у человека. Наши глаза воспринимают объекты под разными углами, два независимых изображения анализируются мозгом, и в результате их сопоставления формируются образ предмета, его признаки и глубина изображения.К настоящему моменту теория компьютерного зрения полностью сложилась как самостоятельный раздел кибернетики, опирающийся на солидную научную и практическую базу знаний. Ежегодно по данной тематике издаются сотни книг и монографий, проводятся десятки конференций и симпозиумов, выпускается различное программное и аппаратно-программное обеспечение. Существует ряд научно-общественных организаций, поддерживающих и освещающих исследования в области современных технологий, в том числе технологии компьютерного зрения. К ним, в частности, относятся SPIE (Международное сообщество по оптической инженерии), IEEE Computer Society (Institute of Electrical and Electronics Engineers), РОФДЗ (Общество содействия развитию фотограмметрии и дистанционного зондирования) и ряд других организаций.

1.2 Задачи компьютерного зрения

Образное восприятие мира -- одно из загадочных свойств живого мозга, позволяющее разобраться в бесконечном потоке воспринимаемой информации и сохранять ориентацию в многомерном пространстве разрозненных данных о внешнем мире. Воспринимая внешний мир, мы всегда производим классификацию своих ощущений, то есть разбиваем их на группы похожих, но не тождественных явлений. К сожалению, компьютерному зрению еще далеко до уровня распознавания человека, точные принципы анализа визуальной информации которого до конца не изучены. Решение задачи моделирования деятельности человеческого глаза и мозга, безусловно, ответило бы на большинство вопросов в области компьютерного зрения. Однако даже предварительные оценки показывают, что решение этой задачи в реальном времени потребует огромных вычислительных затрат.

Сегодня человек стремится обзавестись электронными помощниками, способными решать за него если не сложные в плане принятия решений, то уж во всяком случае трудоемкие и ресурсоемкие задачи, которые позволили бы избавить его от обязательного монотонного труда либо просто помогли бы ему изменить или улучшить визуализацию изображений, провести на изображениях различного рода измерения и т.п. 

В настоящий момент существует множество направлений в области компьютерного зрения. К наиболее значимым из них относятся зрение роботов, средства автоматизации обработки визуальных данных и информации, биометрия и безопасность, распознавание буквенно-символьной информации, распознавание жестов, детектирование наличия движущихся объектов в поле зрения камеры, распознавание зрительных образов, задачи мультисенсорного распознавания, задачи медицинской диагностики, различного рода системы мониторинга, пакеты программ по обработке изображений общего назначения и ряд других направлений. Большинству из этих направлений присущи свои многочисленные области исследований. Так что это деление можно считать весьма общим и условным. Многие задачи решаются на стыках направлений, когда от систем требуется большая универсальность или гибкость в работе. Отрадно, что во всем мире наблюдается тенденция повышения интереса к этим новым, пусть и не вполне еще совершенным технологиям.

Хочу теперь подробнее остановиться на ряде наиболее интересных из вышеперечисленных технологий. 

Начнем со зрения роботов -- с самой современной, передовой и инновационной технологии, которая подразумевает такое понятие, как интеллектуальный дом. Именно в этой области начинают активно применяться технологии компьютерного зрения с прицелом на недалекое будущее. Оборудуя роботов нового поколения мобильными камерами и алгоритмами стереовидения, многие компании работают над созданием интеллектуальных роботов, способных не только свободно ориентироваться в квартире и узнавать своих хозяев, но и выполнять определенные задачи по дистанционно подаваемым командам. Сейчас, безусловно, рано говорить, является ли прообразом будущего домашнего охранника собачка Aibo от Sony -- это пока лишь простой электронный домашний питомец, который узнает мячик и играет с ним, а также требует заботы и внимания со стороны хозяев, чтобы вырасти хорошей собакой. Но уже очевидно, что телевизор вскоре будет, узнавая хозяина, включать его любимый канал. Робот-пылесос будет к вашему приходу чистить пол в квартире, ловко обходя все препятствия. Холодильник определит недостающие продукты по списку постоянных и закажет их по Интернету. А с помощью обычного сотового телефона, оборудованного камерой, можно будет без труда выяснить, где найти приглянувшийся товар. В этом плане весьма показательна прошедшая в конце марта 2002 года в Японии выставка Robodex. В ней принимали участие 27 компаний, представивших на суд общественности более 70 новых моделей роботов. Наряду с роботами-охранниками и роботами-уборщиками на выставке было продемонстрировано большое количество человекообразных роботов. Кстати, в Японии существует поддерживаемая на государственном уровне специальная программа Humanoid Robotic Project, которая предусматривает разработку человекообразного робота. По мнению Хирохисы Хирукавы, исследователя из Национального института перспективных научных исследований и технологий, производство роботов в XXI веке может стать крупнейшей отраслью промышленности -- подобно производству автомобилей в XX столетии. При этом уже к 2025-му, в крайнем случае к 2050 году стоит ожидать массового распространения роботов, служащих для выполнения домашних работ.

Другое весьма распространенное направление, можно сказать -- ветеран на рынке систем компьютерного зрения, охватывает системы автоматизации обработки информации, поступающей от видеокамер. Яркий пример -- системы, обнаруживающие и декодирующие информацию, содержащуюся в штриховых кодах. Думаю, что с штрих-кодовой информацией и внешней стороной ее декодирования сталкивались при совершении покупок в крупных супермаркетах многие жители городов и населенных пунктов. Ассортимент современного супермаркета составляет от 5 до 50 тыс. наименований товаров, в зависимости от размеров магазина. Координирование в таком объеме -- задача трудоемкая, практически невыполнимая при отсутствии системы автоматизированного учета и управления. Символика современного двухмерного штрих-кода допускает хранение до 150 байт, 250 алфавитно-цифровых символов или 366 цифр. Это осуществляется выбором одной из трех модификаций кода: байтовый, текстовый или цифровой. Текстовый код поддерживает печатные ASCII-символы с кодами от 32 до 126 включительно, а также некоторые контрольные символы. Байтовый предусматривает использование всех 256 возможных 8-битовых величин. Этот набор включает все ASCII-символы от 0 до 127 включительно, а также национальные символы. Помимо супермаркетов алгоритмы обнаружения и декодирования штрих-кодовой информации могут использоваться в системах автоматической сортировки корреспонденции, автоматического учета и поиска товара на складах, хранения персональной информации для систем авторизации и для решения многих других задач. 

Процессы идентификации личности вызывают значительный интерес на протяжении многих десятилетий. И это не удивительно, ведь человек неизменно стремился защититься от посягательств на свое жилище, средство передвижения, благосостояние, интеллектуальную собственность и т.п. В последнее время, особенно в связи с трагическими сентябрьскими событиями 2001 года в США, наблюдается новый подъем интереса к таким системам. К наиболее известным системам идентификации относят следующие: системы охраны и контроля доступа, системы предупреждения преступлений и идентификации преступников, системы ограничения доступа, системы учета и сбора статистики посетителей, системы идентификации удаленных пользователей и пользователей Internet, верификация кредитных карточек, криминалистическая экспертиза, контроль времени посещения и т.д. Основные пути и способы решения этих задач лежат в области разработки так называемых биометрических систем. В биометрических системах распознавания источником информации измеряемой, идентифицируемой величины служит совокупность биометрических характеристик человека. В качестве биометрической характеристики человека могут выступать его голос, почерк, отпечатки пальцев, геометрия кисти руки, рисунок сетчатки или радужной оболочки глаза, лицо и даже его ДНК. От выбранной биометрической характеристики зависят особенности системы идентификации в целом. Можно назвать еще ряд причин, серьезно повышающих значимость биометрических систем. В частности, речь идет о повышении требований к функциональным возможностям автоматических систем безопасности, расположенных в общественных местах (вокзалы, аэропорты, супермаркеты и т.п.), что связано с необходимостью выполнять управляемые действия в реальном времени. Придание этих функциональных возможностей биометрическим системам зависит от успехов в области цифровой техники и методов цифровой обработки информации.

Технология детектирования движения в поле зрения камеры, или motion detection, стала одной из первых коммерческих технологий на потребительском рынке Web-камер. Принцип работы технологии очень простой, поскольку предполагается, что камера неподвижна, а следовательно, неподвижен и фон. Движутся только объекты. (Хотя существуют и такие технологии, которые позволяют детектировать движущиеся объекты на движущемся фоне.) Замечательным достоинством данной технологии является ее полная инвариантность к освещенности и цветности. Потребительский рынок откликнулся на это развитием двух основных направлений. Первое породило новый вид человеко-машинных интерфейсов, при котором человек получил возможность управлять запуском различных информационных или других приложений бесконтактно (дистанционно). Наиболее увлекательные виды таких интерфейсов были разработаны для компьютерных игр, использующих в качестве входного сигнала информацию, поступающую от Web-камер. Участники этих игр должны совершать манипуляции в поле зрения камеры, управляя различными объектами, например простым движением руки подбрасывать мяч или играть в волейбол. Самым известным игровым пакетом с управлением играми через Web-камеру стал сборник игр от Reality Fusion, который поставлялся вместе с камерами фирмы Logitech. Второе направление связано с появлением новых функциональных возможностей систем безопасности. На первых порах задача сводилась к простому детектированию движущихся объектов. Уже в таком виде это важно для многих систем безопасности, когда в охранной зоне исключено какое бы то ни было движение. Более продвинутые системы подразумевают наличие в своем составе интеллектуальных детекторов движения, способных отличить движущегося человека от собаки, машины или дерева, раскачивающегося на ветру. На данный момент лишь немногие системы безопасности могут похвастаться такими возможностями, существенно их удорожающими. И это не удивительно, ведь наличие такой системы значительно облегчает работу охранников, физически не способных одновременно следить за десятком и более мониторов. Привлекая внимание охраны к определенному монитору и автоматически регистрируя охранное событие, такие системы резко повышают уровень безопасности охраняемого объекта.

Особое место в области разработки систем компьютерного зрения занимают задачи медицинской диагностики. Основные задачи, которые должны решать здесь данные технологии, следующие: задача измерения объектов на рентгенограммах, компьютерных томограммах и современных цифровых ультразвуковых приборах, задача улучшения визуализации, задача восстановления трехмерных форм объектов. Наиболее современной и бурно развивающейся в области разработки медицинских диагностических приложений можно считать технологию, связанную с определением степени алкогольного и наркотического опьянения на основе анализа реакции зрачка пациента. Возможно, через несколько лет с помощью таких приборов удастся упростить процедуру наркологического контроля, практически бесконтактно получая достаточно точный диагноз. Из традиционных областей диагностики, где сегодня пытаются работать алгоритмисты и врачи, можно выделить диагностику туберкулеза легких по рентгенограммам, диагностику синуситов, диагностику нарушений липидного обмена, диагностику состояния кровеносных сосудов и сосудов головного мозга и ряд других направлений. Сложность разработки медицинских систем компьютерного зрения обусловлена трудностью формализации диагностических признаков, по которым необходимо принимать решение о том или ином заболевании. Как правило, свести воедино эти признаки может только врач на основании косвенных признаков и личного опыта. При этом диагноз может серьезно отличаться от того, что выдает система. Именно поэтому все компьютерные приложения для медицины сейчас работают только как помощники врачей, улучшая или изменяя визуализацию, выделяя объекты на изображениях по желанию врача или помогая ему в замерах и подготовке карт обследований. Вместе с тем данный факт свидетельствует лишь о большом объеме, глубине и, следовательно, о перспективности исследовательских и экспериментальных работ в этом направлении. Уже сейчас ряд компьютерных компаний работает в области создания медицинских диагностических комплексов, способных диагностировать пациентов на основе комплексного подхода в принятии решения, что «по плечу» лишь мощным и дорогостоящим, даже по современным меркам, компьютерам. 

Потребность в разработке систем распознавания буквенно-символьной информации документов -- одна из первопричин развития всей теории и практики машинного зрения. На современном этапе развития науки и технологии эта область охватывает лингвистику, семантику, обработку текстов и систем оптического распознавания символов. Разрабатываемые программы позволяют автоматизировать ввод в компьютер текстов, таблиц, форм анкет и бланков, распознавать тексты, написанные печатными буквами от руки, или распознавать почерк автора, переводя рукописные материалы в электронный вид. В качестве входного источника информации в таких системах обычно выступает сканер или специальный электронный планшет, соединенный с компьютером. Процесс обработки информации обычно включает сканирование бумажных оригиналов, распознавание содержащейся информации, а также возможность проверки результатов распознавания оператором, проведение формального и логического контроля полученных данных на соответствие определенным правилам и сохранение результатов работы. Не углубляясь в подробности технологии, отмечу, что на рынке этого программного обеспечения уверенно доминируют компания ABBY с серией программ FineReader и FormReader и компания Cognitive Technologies с серией программ CuneiForm и CognitiveForms. Основные проблемы, которые стоят сейчас перед разработчиками подобных систем, -- надежное распознавание буквенно-символьной информации при низком разрешении изображения, то есть количества пикселов, приходящихся на дюйм, а также надежное распознавание рукописных текстов. Но несмотря на сохраняющиеся проблемы, данную технологию можно считать окончательно сформировавшейся.

Системам мониторинга на основе информации, поступающей от видеокамер, сегодня уделяется особенно пристальное внимание. Главная задача таких систем -- предупредить человека об опасности и по возможности предпринять какие-либо заранее предусмотренные или программно заложенные действия. Рассмотрим простой пример из нашей повседневной действительности. Ни для кого не секрет, что наиболее опасным для жизни человека видом транспорта является в наши дни автомобиль. Ежедневно на дорогах происходят тысячи происшествий, в которых ни в чем не повинные люди гибнут из-за чьего-то недосмотра или халатности. Именно поэтому в этом направлении ведутся сейчас активные исследовательские и экспериментальные работы. Снижение числа дорожно-транспортных происшествий сохранит обществу большое количество средств. Типичные примеры -- система оценки усталости водителя и система обнаружения препятствий, возникающих по ходу движения автомобиля. Перспективность таких систем очевидна, ведь источником информации для них являются электронные глаза, способные днем и ночью следить за водителем и дорогой. Оборудованные специальной инфракрасной подсветкой, они становятся работоспособными в широком диапазоне условий освещенности, позволяют следить за водителем, даже если тот надел солнцезащитные очки. Такие системы уже сейчас проходят стадию тестирования экспериментальных образцов на автомобильных полигонах Японии.

В заключение хочется еще раз вернуться к главному вопросу данного раздела: зачем компьютеру зрение? Современный пользователь персонального компьютера все чаще лицом к лицу сталкивается с различными приложениями в области компьютерного зрения: с системами авторизации и контроля доступа, системами диагностики и рядом других систем, делающих компьютер зрячим. Научить компьютер видеть мир -- значит получить надежного помощника, денно и нощно занятого решением насущных задач. Например, на основе несложных алгоритмов и камеры можно создать надежную противоугонную систему для личного автомобиля, припаркованного у дома. Такая система выдержит любые происки ничего не подозревающего вандала. А можно написать screensaver, который будет «фотографировать» каждого, кто попытается подобрать к нему пароль. Да что говорить -- это лишь малая толика того, на что способен «прозревший» компьютер!



Раздел 2. Формирование и представление изображений

Значительный объем информации об окружающем мире люди получают посредством зрительного восприятия. Свет, отраженный от объектов, а иногда и прошедший сквозь них, формирует изображение на сетчатке каждого глаза. Из этой пары изображений человек извлекает много сведений о структуре окружающей среды. Следовательно, важными компонентами зрительного восприятия являются: сцена с объектами, освещение объектов и восприятие освещения, отраженного от объектов или прошедшего сквозь них.

Основная цель данного раздела заключается в рассмотрении способов формирования цифровых изображений двумерных или трехмерных сцен с помощью датчиков. С помощью существующих устройств формирования изображений можно воспринимать излучение различных видов, отражаемое или проникающее внутрь объектов физического мира. Двумерное цифровое изображение представляет собой массив значений интенсивности света, отраженного или прошедшего сквозь объекты: это изображение обрабатывается машиной или компьютерной программой с целью формирования решений относительно сцены. Часто двумерное изображение является проекцией трехмерной сцены, это наиболее распространенное представление, используемое в машинном зрении.

Для генерации цифровых изображений существует много различных устройств. Они различаются как принципом восприятия электромагнитного излучения, так и своим электромеханическим устройством. Мы рассмотрим несколько различных датчиков.

2.1 Камеры на основе ПЗС

ПЗС камера - это камера разработанная с использованием технологии приборов с зарядовой связью.

(рисунок 1. получение изображения вазы с помощью ПЗС-камеры)

Это наиболее гибкий и часто используемый тип устройств ввода изображений для систем машинного зрения. ПЗС-камера очень похожа на фотокамеру с фотопленкой 35 мм. Различие в том, что в плоскости изображения у ПЗС-камеры вместо фотопленки со сверхчувствительным химическим покрытием располагается матрица из маленьких твердотельных ячеек, преобразующих световую энергию в электрический заряд. Каждая ячейка преобразует получаемую световую энергию в электрический заряд. Сначала все ячейки очищаются, а затем под действием падающего света они начинают накапливать заряд. Для управления временем накопления может использоваться затвор. Плоскость изображения действует как цифровая память, которую можно построчно считывать в управляемом компьютером процессе ввода изображения.

Если цифровое изображение состоит из 500 строк и 500 столбцов однобайтных значений яркости, то для хранения такого изображения потребуется массив размером четверть миллиона байт. Иногда ПЗС-камера подключается к компьютерной плате, называемой фреймграббером, которая содержит память для изображения и, возможно, предоставляет средства для управления камерой. В настоящее время разработаны способы непосредственного обмена цифровыми данными между ПЗС-камерами и компьютерами, например стандарт IEEE-1394. Производители современных камер предлагают цифровые камеры, которые могут хранить несколько десятков изображений непосредственно внутри камеры; во многих из них для хранения изображений используются карты памяти. Записанные в памяти камеры изображения можно в любой момент ввести в компьютер для дальнейшей обработки.

(рисунок 2. компьютерная схема с вводом данных и графическим выводом)

На рисунке 2 приведена схема компьютерной системы с вводом данных от камеры и графическим выводом. Это типичная система для промышленных или медицинских зрительных задач. Она также типична для мультимедиа-компьютеров, которые могут быть укомплектованы недорогой камерой для проведения телеконференций. Центральное место в этой схеме отводится буферу кадра - высокоскоростному хранилищу изображения: камера генерирует входное изображение, которое после аналого-цифрового преобразования сохраняется в цифровой форме в буфере кадра. Изображение в буфере кадра доступно для отображения пользователю и для обработки различными компьютерными алгоритмами. В действительности буфер кадра может хранить несколько исходных или преобразованных изображений.

В качестве геометрической модели формирования изображения можно рассматривать проектирование каждой точки трехмерной сцены через центр проектирования или центр объектива на плоскость изображения. Яркость точки изображения связана с интенсивностью излучения от точки трехмерной поверхности. Данная модель может быть реализована физически - камеру-обскуру(камеру с дырочным объективом) действительно можно сделать, используя камеру с корпусом в виде коробки и маленьким отверстием вместо объектива. В ПЗС-камерах обычно применяются линзовые объективы, так же как и в традиционных 35-мм фотоаппаратах. Большинство настоящих объективов являются составными и содержат больше двух преломляющих поверхностей. Тут нужно сделать 2 важных замечания.

Во-первых, объектив работает как собиратель света: точки изображения достигает свет, распространяющийся внутри некоторого конуса световых лучей, исходящих из трехмерной точки. Из-за того, что линзы объектива геометрически неидеальны, из-за зависимости преломления светового излучения от длины волны и некоторых других явлений, конус лучей в действительности формирует на плоскости размытое пятно, называемое кружком рассеяния.

Во-вторых, массив элементов ПЗС-датчика построен из физически дискретных ячеек, а не из бесконечно малых точек. Поэтому каждая ячейка датчика накапливает отклик от лучей, приходящих от некоторой окрестности точки трехмерной поверхности. Эти два факта приводят к размытию изображения и определяют предел резкости и размеров наименьших видимых деталей на изображении.

Массивы ячеек ПЗС-датчиков производятся в виде микросхем и обычно имеют размеры около 1х1 см. В массиве из 640х480 или 512х512 пикселей стороны пикселя равны примерно 0,001 дюйма. Существует ряд других способов размещения ячеек ПЗС-датчика на плоскости изображения

(рисунок 3. способы размещения ячеек ПЗС-датчика. (а)-круговая, (b)-линейная, (с)-ROSA)

Линейный массив может быть использован в задачах, когда требуется измерить только ширину объектов или когда надо получить изображение и проконтролировать длинный фрагмент материала, перемещающегося перед камерой. Существуют линейные датчики, содержащие в строке от 1000 до 5000 пикселей. Такие датчики можно использовать подобно ручному сканеру, когда линейный датчик перемещается над сканируемой поверхностью. Аналогичный метод применяется в планшетных сканерах, но в них для формирования изображения листа бумаги используется оптическая система, перемещаемая с помощью высокоточного механического устройства. Они используются для получения цифровых изображений из цветных фотографий или печатных документов. Для фокусирования "линейного отрезка" реальной сцены на линейный ПЗС-датчик обычно применяются цилиндрические линзы.

Круговой массив может быть полезен для контроля круговых шкал, например, на часах или спидометрах: объект надо точно разместить относительно камеры и затем сканировать круговой массив для получения изображения стрелки спидометра. На рисунке 3 показана конфигурация ROSA. Она обеспечивает аппаратное решение для накопления всей световой энергии, падающей или в спектры, или в круговые полосы. Эта конфигурация была разработана для дискретизации спектра мощности изображения, но может использоваться и в других задачах. Технология производства микросхем предоставляет возможности реализации и в других конфигураций датчиков.

2.1.1 Видеокамеры

Видеокамеры предназначены для получения изображения для человеческого восприятия путем записи последовательностей изображений с типичной частотой 30 раз в секунду, что позволяет представить изображение движение объекта в течении времени, а не только пространственные характеристики объекта, которые можно представить одиночными изображениями или кадрами. Для обеспечения непрерывности восприятия движения человеком используется 60 полукадров в секунду. Последовательность полукадров представляет собой последовательность поочередно следующих порций, состоящих из всех четных и всех нечетных строк изображения. При видеосъемке обычно так же записывается звуковой сигнал. Видеокамеры, предназначенные для получения изображений для машинной обработки, могут записывать изображения с необходимой в прикладных задачах скоростью и не нуждаются в использовании технологии полукадров.

Кадры видеопоследовательности разделяются маркерами. Для уменьшения объема данных обычно используется некоторый способ сжатия изображений. Аналоговые телевизионные стандарты были тщательно спроектированы для удовлетворения множества требований: ряд интересных особенностей стандартов позволяют использовать один и тот же сигнал и для цветных, и для черно-белых телевизоров, передавать совместно с изображениями звуковой и текстовый сигнал.

2.2 Проблемы формирования цифровых изображений

В процессе восприятия изображений с помощью датчиков возникает ряд проблем. Далее мы рассмотрим наиболее важные из них. Суммарный эффект различных проблем, связанных с формированием изображений, приводит к появлению на изображении некоторых искажений геометрических и яркостных характеристик.

2.2.1 Геометрические искажения

Геометрические искажения в процессе формирования изображения возникают по различным причинам. Из-за дефектов при изготовлении объектива лучи света, собираемые от поверхностного элемента сцены не преломляются точно нужным образом. Бочкообразная дисторсия наблюдается при использовании короткофокусных объективов; при это м прямые линии в периферийных областях сцены выглядят согнутыми в сторону от центра изображения.

2.2.2 Дисперсия

При прохождении через вещество световые лучи могут преломляться и рассеиваться. Изображения, полученные путем аэрофотосъемки или со спутников, особенно подвержены таким дефектам, которые появляются из-за водяных паров или температурных градиентов, придающих атмосфере свойства линзы.

2.2.3 Блюминг (избыточная яркость)

Поскольку дискретные детекторы, такие, как ячейки ПЗС, не идеально изолированы друг от друга, то заряд, накопленный в одной ячейке, может стекать в соседние ячейки. Термин блюминг относится к явлению, когда утечка заряда возникает в области яркой засветки плоскости изображения. В результате на изображении возникает яркий "цветок" с размерами больше, чем должен быть в действительности.



2.2.4 Неоднородность ПЗС-матрицы

Из-за дефектов производства у элементов ПЗС-матрицы может оказаться различная чувствительность, так что при одинаковой освещенности различные ячейки будут генерировать различный выходной сигнал. Тогда для точной оценки интенсивности может потребоваться определить полный массив масштабных множителей s[r, c] и смещений t[r, c], по одному для каждого пикселя. Это делается путем калибровки при однородном освещении, когда интенсивность можно вычислить как I2[r, c]=s[r, c]I1[r, c] + t[r, c]. В предельном случае, на ПЗС-матрице могут быть несколько мертвых ячеек, которые совсем не генерируют выходной сигнал. Эти дефекты обнаруживаются в процессе инспекционного контроля. Их можно компенсировать программными средствами, присваивая мертвой ячейке выходной сигнал, равный усредненному отклику соседних ячеек.

2.2.5 Отсечение и циклический возврат

При аналого-цифровом преобразовании очень большие значения интенсивности могут быть усечены до максимального значения или старшие биты этого значения могут быть утеряны, так что значение интенсивности будет представлено значением некоторого меньшего значения(произойдет циклический возврат к началу диапазона значений интенсивности). На полутоновом изображении результат циклического возврата АЦП выглядит как яркая область с темным центром; на цветном изображении этот эффект может проявляться в изменении цвета.

2.2.6 Хроматическая дисторсия

Световые волны различной длины преломляются линзой по-разному. В результате, световые волны различной длины от одного и того же малого участка сцены могут попасть в несколько различных пикселей изображения на чувствительной поверхности датчика. Например, на изображении очень резкой черно-белой границы на периферии сцены может наблюдаться постепенно изменение интенсивности в пределах нескольких пикселей изображения.

2.2.7 Эффекты дискретизации

В процессе дискретизации значение интенсивности формируется для некоторой дискретной области сцены. Оно представляется одним из дискретных значений интенсивности и поэтому подвержено ошибкам смешивания и округления.

2.3 Представление цифровых изображений

Цифровое изображение - это двумерное изображение I[r, c], представленное в виде двумерного массива дискретных значений интенсивности, каждое из которых представлено с ограниченной точностью. Такие изображения широко используются в телекоммуникационных приложениях, базах данных и машинном зрении. Для обмена данными между различным аппаратным и программным обеспечением были разработаны стандартные форматы изображений. Одна из возможных ситуаций показана на рисунке 4

(рисунок 4. обмен данными между аппаратным и программным обеспечением)



В настоящее время используются десятки различных форматов, некоторые из них я рассмотрю позже.

Исходное изображение можно рассматривать как обычный поток байт, представляющих пиксели изображения по очереди, строка за строкой. Такой порядок называется растровым порядком. В потоке байт могут присутствовать маркеры для разделения строк изображения. В пиксельных данных исходного изображения такие параметры, как тип изображения, размеры, время и способ получения. Относительно недавно разработанные стандарты предусматривают наличие заголовка для хранения неграфической информации, необходимой для маркировки или для декодирования пиксельных данных.

2.3.1 Заголовок файла изображения

Заголовок файла делает файл изображения самодостаточным для дальнейшей обработки различными программами - в нем содержаться все характеристики, необходимые для работы с изображением. В заголовке могут храниться размеры и тип изображения, дата создания, название и т.п. В заголовке также может присутствовать палитра или таблица кодировки для интерпретации значений пикселей. Полезной, но не часто доступной возможностью является раздел истории обработки для хранения комментариев о создании и обработке изображения.

2.3.2 Данные изображения

Некоторые форматы рассчитаны на ограниченный набор типов изображений, например, на бинарные и черно-белые. Однако наиболее распространенные форматы продолжают развиваться. Количество поддерживаемых ими свойств и типов изображений постоянно увеличивается. Различные форматы могут отличаться допустимыми предельными размерами изображений. Некоторые форматы рассчитаны на работу с последовательностями кадров. Появившиеся сравнительно недавно мультимедия-форматы рассчитаны на хранение данных изображение совместно с текстовой, звуковой и графической информацией.

2.3.3 Форматы цифровых изображений

В данный момент существует множество различных форматов, рассмотрим наиболее распространенные и часто используемые большинством пользователей.

2.3.4 Изображения GIF

Формат GIF был разработан компанией CompuServe, Inc. Этот формат применяется для хранения огромного количества изображений в сети и в существующих базах данных. Он устроен относительно просто, но для кодирования цвета в нем используются только 8-битные числа, поэтому формат не рассчитан на изображения с большим количеством цветов.

2.3.5 Изображения TIFF

Теговый формат файлов изображений был разработан компанией Aldus Corp. TIFF является очень гибким, но в тоже время сложным форматом. Он используется на всех популярных компьютерных платформах и часто выбирается в качестве основного формата для сканеров. TIFF допускает хранение в одном файле нескольких изображений м цветовым разрешением от 1 до 24 бит на пиксель.

2.3.6 Изображения JPEG

Формат JPEG был предложен относительно недавно Объединенной группой экспертов по обработке фотоизображений. Основной целью этого формата ставилось нахождение практичного способа сжатия высококачественных полноцветных неподвижных изображений. Часто алгоритм сжатия позволяет сжать высококачественное изображение в отношении 20:1 без заметной потери качества. В основном используется для хранения фотографий.

2.3.7 Видеоизображения AVI

Audio Video Interleave -- RIFF-медиаконтейнер, впервые использованный Microsoft в 1992 году в пакете Video for Windows. Формат файлов с расширением AVI может содержать видео и аудио данные, сжатые с использованием разных комбинаций кодеков, что позволяет синхронно воспроизводить видео со звуком. AVI файл может содержать различные виды компрессированных данных (например, DivX -- видео + WMA -- аудио или Indeo -- видео + PCM -- аудио), в зависимости от того, какой кодек используется для кодирования/декодирования.

2.3.8 Видеоизображения MKV

Matroska -- проект, нацеленный на создание открытого, гибкого, кроссплатформенного (включая аппаратные платформы) формата мультимедийного контейнера и набора инструментов и библиотек для работы с данными в этом формате. Возможности формата, закладываемые в Matroska:

трансляция через Интернет (протоколы HTTP и RTP);

быстрая перемотка по файлу;

устойчивость к ошибкам;

разбиение файла на главы (Chapters);

переключаемые «на лету» субтитры;

переключаемые звуковые дорожки;

переключаемые видеодорожки;

модульная расширяемость.



Раздел 3. Операции обработки изображений

В этом разделе я рассмотрю методы обработки изображений как для использования человеком, так и для дальнейшей автоматической обработки. Например, эти методы могут потребоваться для понижения шума на изображении или для усиления или подавления некоторых деталей изображения. Основная идея состоит в том, что считается, что наряду с некоторым сигналом или структурой, которую необходимо извлечь, изображение содержит неважные или нежелательные данные, которые требуется подавить. Решения относительно изображения принимаются на уровне отдельного пикселя и его локальной окрестности. Некоторые операции создают новые выходные изображения, а некоторые в качестве выходных данных генерируют описания неграфической формы. Ниже я перечислил несколько важных операций обработки изображения.

3.1 Модификация пикселей в малых окрестностях

Значения пикселей можно изменять с учетом их взаимосвязи с небольшим числом близлежащих пикселей, например, пикселей из соседних строк или столбцов. Часто на бинарных изображениях изолированные значения 1 и 0 меняются на противоположные значения, чтобы они совпадали со своими соседями. Назначением этой операции может быть удаление шума, появившегося в процессе оцифровки. Или, это делается для упрощения изображения; например, для игнорирования мелких островов на изображении озера или дефектов на изображении листа бумаги. Еще одна распространенная операция-изменение граничных пикселей на значения фоновых пикселей.

(рисунок 5. модификация пикселей в малых окрестностях)

Изображения отдельных бактерий на рисунке 5 имеют нечеткие границы и часто сливаются вместе. После замены черных граничных пикселей на белые, изображения бактерий хотя и становятся меньше, но получают более явные границы. Некоторые ранее сливавшиеся пары разделяются.

компьютерный зрение цифровой изображение

3.2 Изменение тонового распределения

Улучшение изображений часто выполняется путем изменения значений интенсивности пикселей. В большинстве программных пакетов для обработки изображений посредством преобразования значений пикселей с использованием некоторой функции, задающей способ замены входных значений интенсивности на новые входные значения. Данный метод легко расширить таким образом, чтобы пользователь мог указать несколько различных областей изображения и применить к каждой из них различные функции преобразования-функции тонового распределения. Преобразование значений интенсивности часто называется растяжением, так как такая операция часто применяется для расширения динамического диапазона значений интенсивности слишком темных изображений на весь доступный диапазон уровней интенсивности. На рисунке 6 показано изображение, для которого была применена операция расширения динамического диапазона для растяжения диапазона используемых значений интенсивности в соответствии с двумя различными функциями тонового распределения. На рисунке 5(а) представлено исходное изображение и функция тонового распределения общего вида. На рисунке 5(b) представлен результат преобразования исходного изображения с применением функции тонового распределения вида f(x)=x0.5. Эта нелинейная функция низкие значения интенсивности увеличивает сильнее, чем высокие и называется гамма-коррекцией. Специфические функции тонового распределения могут оказаться очень полезными для улучшения качества изображений, воспринимаемых человеком, например, в дизайне и журналистике.

(рисунок 6. изменение тонового распределения)

3.3 Удаление малых областей изображения

Часто бывает полезно удалить малые области из изображения. Малая область может образоваться из-за шума или может представлять низкоуровневую деталь, которую не надо учитывать при формировании описания изображения. Малые области можно удалять посредством изменения отдельных пикселей или путем удаления компонент после выделения связных компонент на изображении.

(рисунок 7. удаление малых областей)

3.4 Глобальное улучшение качества изображения

Некоторые операции выполняют однородную обработку целого изображения. Изображение может быть слишком темным, например, максимальная яркость равна 120, так что все значения яркости можно увеличить в два раза для улучшения вида изображения при выводе на экран. Для удаления шума или несущественных деталей можно заменить значение каждого входного пикселя средним значением 9 пикселей его окрестности. С другой стороны, детали можно подчеркнуть, если заменить каждый пиксель значением контраста между ним и его соседями. На рисунке 8 показан результат вычисления контраста для всех пикселей входного напряжения.

(рисунок 8. глобальное улучшение качества изображения)

Следует отметить, что границы большинства объектов оказались хорошо выделенными. Выходное изображение получено вычислением контраста в окрестностях размером 3х3 на входном изображении. Такая операция называется деформацией изображения.

3.5 Комбинация нескольких изображений

Изображение можно сформировать путем сложения или вычитания двух исходных изображений. Вычитание изображений часто применяется для обнаружения изменений в течении некоторого промежутка времени. На рисунке 9 показаны два изображения движущейся детали и разностное изображение, полученное путем вычитания пикселей второго изображения из соответствующих пикселей первого изображения. Вычитание изображений сохраняет границу движущегося объекта, хотя и не идеальным образом. (Так как отрицательные значения пикселей не используются, то в выходном изображении представлены не все изменения.)

...