Методы получения навигационной информации на основе изображения с бортовой камеры

Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

Статья по теме:

Методы получения навигационной информации на основе изображения с бортовой камеры

А.О. Кобзева, (Университет ИТМО, Санкт-Петербург)



В работе рассматриваются методы позиционирования на основе изображения, получаемого в режиме реального времени с бортовой камеры.

Описаны два способа позиционирования. Первый способ представляет собой определение расстояний до объекта в виде черной окружности известного диаметра. Второй - представляет расчет расстояний до видимых препятствий методом триангуляции и построение карты видимых препятствий, что позволяет позиционировать аппарат относительно них. Этот способ основывается на дополнительном использовании лазера, проецирующего перед собой лазерную линию.



Введение

бортовой камера триангуляция

В связи с активным применением автономных подвижных объектов: подводного и наземного типа, а также беспилотных летательных аппаратов, актуальной становится задача их навигации, особенно, в условиях плотной городской застройки и внутри помещений.

Классическая бесплатформенная инерциальная навигационная система (БИНС) накапливает ошибку с течением времени, а ее компенсация с помощью спутниковой навигационной системы в указанных условиях является сложной задачей. Альтернативным способом получения навигационной информации является обработка видеоданных - методы компьютерного зрения. Этот источник информации не накапливает ошибку со временем и, тем самым, может являться полезным дополнением БИНС.

Однако разработанные к настоящему времени алгоритмы, а также их программная реализация не предоставляются в свободном доступе, что делает задачу их разработки и реализации актуальной и практически значимой.

Цель работы: Синтезировать и апробировать два метода получения навигационной информации на основе изображения, полученного с помощью установленной на борту камеры:

1.Позиционирование камеры относительно объекта заданной формы и размера.

2. Определение расстояний до видимых препятствий с использованием лазера, проецирующего линию.

Позиционирование камеры относительно объекта заданной формы и размера.

Постановка задачи:

Используя изображение, полученное с бортовой камеры, а также параметры камеры, необходимо найти расстояние L, высоту над предметом H, отдаление центра объекта F и смещение объекта в горизонтальной плоскости Дx (Рисунок 1).

Под объектом подразумевается окружность известного диаметра D, расположенная на горизонтальной поверхности.

Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

Рисунок 1 - Пример входных данных и искомые расстояния

Решение:

В первую очередь, на полученном изображении следует выделить искомый объект. Для этого используется алгоритм обнаружения границ методом Кенни [3]. Предварительно изображение обрабатывается: сглаживаются шумы, а также с помощью свертки с ядром специально вида сглаживаются строго вертикальные и горизонтальные границы.

Среди всех найденных контуров искомый выбираетсяследующим образом. Рассматривается характеристика ч, рассчитываемая по следующей формуле:

	,	(1)

где S - площадь контура, P - его периметр.

Искомый контур - окружность, а для нее ч принимает фиксированное значение:



	,

Таким образом, из всех найденных выбирается именно тот контур, чья характеристика принимает наиболее близкое к чо значение.

После выделения контура объекта на изображении, можно легко получить его продольный и поперечный размер в пикселях, а также смещение центра объекта от центра изображения.

Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

Рисунок 2 - Вид сверху. Известные и искомые параметры.

Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

Рисунок 3. Нахождение расстояния L

Рассмотрим схему на Рисунке 2. Здесь известны: в - угол обзора камеры по горизонтали, k - размер объекта в пикселях, N - разрешение камеры по горизонтали, m - смещение (?x) в пикселях, D - фактический размер объекта. Искомыми являются расстояние L и смещение Дx. б - угловой размер объекта. Его можно найти по формуле (2).

, (2)



Из Рисунка 3 видно, что искомое расстояние L находится по формуле (3).

	,	(3)

Смещение Дx находится аналогично из соображений пропорциональности по формуле (4).

, (4)

При изменении высоты и отдаления объекта изменяется и его видимая форма: окружность искажается в эллипс. Схематично это представлено на Рисунке 4.

Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

Рисунок 4 - Изменение видимой формы объекта в зависимости от изменения фактического расстояния F

Здесь p - видимый, искаженный размер, k - неискаженный, он равен размеру объекта по горизонтали. Искомые расстояния H и F вычисляются по формулам (5) и (6).

	,		(5)
	,	(6)

Определение расстояний до видимых препятствий с использованием лазера, проецирующего линию.

Постановка задачи:

С использованием бортовой камеры и лазера, проецирующего линию, необходимо найти массив расстояний до видимых препятствий и составить по ним локальную карту.

Входными данными для применения метода является оцифрованное изображение с бортовой камеры.

Решение:

На первом этапе необходимо выделить линию лазера на изображении. Производится предварительная обработка изображения - сглаживание с целью подавления шумов. Так как искомый след лазера имеет форму горизонтальной линии, а также известен спектр излучения лазера (в видимой области - красный цвет), то оптимальный результат дает комбинация анализа цветовой модели иморфологических фильтров.

Рассматривается RGB модель [1]. При качественном аппаратном разделении цветовых каналов лазер будет хорошо виден на изображении красного канала и отсутствовать на изображениях зеленого и голубого. Следовательно, выделить только красные объекты можно путемвычитания из красного канала (R) взвешенной суммы синего(B) и зеленого(G) каналов (формула (7).

	,	(7)



Коэффициенты б и в используются для того, чтобы определить «долю» канала в вычитаемой сумме, а г - коэффициент, доводящий яркость суммы до яркости красного канала. При вычислении используется норма L1.

После этого на изображении DST остаются различные красные объекты и шум. Далее на нём следует выделить только горизонтальные контуры. Рассматривается следующее морфологическое преобразование. Сначала к изображению (Src) применяется процедура сжатия(erode): каждому пикселю присваивается наименьшее значение из окружающей области заданного размера (kernel). Далее сжатое изображение расширяется(dilate): каждому пикселю присваивается наибольшее значение из ядра. Результат(Dst) формируется как разность между исходным изображением и расширенным.

Таким образом, на итоговой картинке остаются только границы красных объектов и некоторый слабый шум. Если использовать вертикальное ядро, то остаются только горизонтальные границы. Эти преобразования представлены в формулах (8) - (10).

	,	(8)
	,	(9)



	.	(10)

Для окончательного выделения лазерной линии необходимо убрать шум, например, размытием по Гауссу [4], а затем выделить самые яркие контуры. Для этого следует провести бинаризацию изображения, параметры которой подбираются с учетом гистограммы.

Далее необходимо рассчитать расстояния до препятствий. Для каждого столбца изображения расстояния высчитываются отдельно. Для примера рассмотрим j-ый столбец изображения.

Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

Рисунок 5 - Поиск расстояний до препятствий

На Рисунке 5 схематично представлен аппарат с базой, на которой закреплены камера и лазер. Лазер виден на изображении на определенном уровне. Чем выше этот уровень, тем ближе находится объект. Известны параметры: LC - расстояние между закрепленными на борту камерой и лазером, т - угол наклона лазера, г - угол наклона камеры, и - угол обзора камеры, N - разрешение камеры по вертикали в пикселях, nj - число пикселей от верхнего края изображения до выделенной точки лазера в этом столбце. Необходимо найти CRj - расстояние до плоскости препятствия.

Оно рассчитывается как катет прямоугольного треугольника CRjPj по формуле (11). Угол б можно найти по формуле (12), гипотенузу CPj- по формуле (13), угол д - по формуле (14).

Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

,	(11)
	,	(12)
	,	(13)
		(14)

В результате, расстояние CRj можно вычислить по формуле (15).

	,	(15)

При вычислении расстояния CRj каждый раз предполагалось, что рассматриваемый столбец располагался строго по центру изображения. Далее необходимо учесть поправку на угол зрения. Рассмотрим схему, представленную на Рисунке 6.



Размещено на http://www.allbest.ru/

[Введите текст]

Научный руководитель д.т.н., зам. зав. кафедры "Информационно-навигационных систем" Степанов О.А.

1

Рисунок 6 - Схема для вычисления расстояния Tj

Фактическое расстояние до препятствия (Tj) рассчитывается как гипотенуза прямоугольного треугольника CRjPj, где цj - угол отклонения по горизонтали найденной точки от центра изображения - рассчитывается по формуле (16).

	,	(16)

Таким образом, фактическое расстояние Tj рассчитывается по формуле (17).

	,	(17)

Применив процедуру вычисления расстояний до каждого столбца изображения, получаем информацию о видимых препятствиях в полярных координатах (Tj, цj), j= 1,N. Для наглядности их удобно преобразовать в декартовы координаты и отобразить на плоскости.

Результаты тестирования методов.

Разработанные методы были реализованы на языке C++ с подключением библиотеки компьютерного зрения Open CV. Для тестирования методов использовалось следующее оборудование:

аналоговая камера Sonyccd 1/3 520 tvl;

бортовой передатчик и наземный приемник аналогового видео-сигнала;

устройство оцифровки аналогового изображения Easycap;

компьютер с операционной системой Windows 8, процессором IntelCore 2 Duo SU7300 (1.3 Ghz, 800 Mhz FSB).

Параметры камеры: угол обзора по вертикали - 45?; угол обзора по горизонтали -65?; размер изображения в пикселях - 480х640.

Расстояния на тестовом устройстве: расстояние от камеры до лазера LC - 0,3 м; угол наклона лазера - 86?.

Метод позиционирования камеры относительно объекта заданной формы и размера выделяет объект на изображении с низким числом ложных срабатываний (на 87% кадров). Процесс обработки целого кадра с нахождением метки и вычислением по ней всех необходимых расстояний занимает примерно 90 мс, что позволяет применять метод в режиме реального времени.

На Рисунке 7 представлен результат применения второго метода определения расстояний до видимых препятствий с использованием лазера, проецирующего линию.



Рисунок 7 - Пример исходных данных и построенная по ним локальная карта препятствий

Слева на этом рисунке представлен пример входных данных с различимой лазерной линией. Справа - построенная локальная карта препятствий в видимой области.

Время обработки одного кадра занимает 300 мс, что позволяет применять метод в режиме реального времени. Следует отметить, что в целом разработанный подход нахождения лазера на изображении при модификации камеры (она должна давать необработанные данные, иметь возможность настраивать световой фильтр под конкретную длину волны лазера) дает способ получения доступного дальномера в робототехнике.

В дальнейшем результаты, полученные во втором методе, могут быть использованы для SLAM-навигации.



Заключение

В работе представлены и апробированы два метода получения навигационной информации на основе изображения, полученного с помощью установленной на борту камеры:

1. Позиционирование камеры относительно объекта заданной формы и размера.

2. Определение расстояний до видимых препятствий с использованием лазера, проецирующего линию.



Литература

1. Иванов, Д.В. [и др.] Алгоритмические основы растровой графики, 2007.

2. Порев, В.Н. Компьютерная графика. СПб.: БХВ-Петербург, 2004.

3. Троммер, Г.Ф. Практикум по оптимизации систем. Часть 3. Основы обработки изображений, Институт теоретической электротехники и оптимизации систем.

4. Шапиро, Л., Компьютерное зрение. Бином, 2006//Шапиро, Л., Стокман Дж.

5. Bradski, G. Learning OpenCV. O'Reilly, 2008// Bradski G., Kaehler A.

Размещено на Allbest.ru

...