Формирование представления об окружающей среде в непосредственной близи к ПР используются система видеонаблюдения. Видеосистема состоит из камер и вычислительного блока. Камеры являются источником изображения, а обработка видеоданных осуществляется с помощью алгоритмов реализованных в вычислительном блоке. Основные задачи видеосистемы заключаются в распознавание и классификации объектов, определение характеристик собственной ориентации относительна дна.

Камера состоит из объектива, матрицы светочувствительных элементов, процессора обработки изображения, и интерфейса по которому изображение поступает на вычислительный блок. Объектив камеры используется для проецирования изображения объекта на матрицу.

Основой видеосистемы является датчик визуальной информации, формирующий электрический аналог воспринимаемой окружающей обстановки и средств обработки, позволяющие извлекать полезную информацию из полученного сигнала. В видеосистемах используются различные датчики оптического диапазона электромагнитных волн, состоящие из большого количества электрических преобразователей, светочувствительных элементов, входной величиной которых является яркость, а выходной - электрический ток или напряжение. Поверхность объекта освещаемая источником света, отражает излучение в направлении фоточувствительных элементов, который воспринимает это излучение [2,3]. Модель процесса отражения излучения представлена на рисунке 1.

подводный робот датчик визуальная информация

Рис.1 Отражение излучения, распространяющегося от источника света.

Изображение характеризуется пространственным распределением освещённости. Матрица камеры представляет собой упорядоченный набор большого числа элементарных светочувствительных элементов.

В простейшем случае процесс формирования изображения камерой описывается моделью перспективной проекцией. Под изображением понимается двумерная функция яркости , задающая в каждой точке выбранной картинной плоскости с координатами значение яркости соответствующей точки сцены. Яркость - либо непрерывное, либо дискретное распределение уровня яркости по координатам . На рисунке 2 представлена модель перспективной проекции. Центр проекции камеры (фокус) помещен в начало системы координат , и плоскость изображения совпадает с плоскостью . - координаты точки в 3-х мерном пространстве, - проекция точки на плоскость изображения.

Плоскость , расположенная на расстоянии от центра проекции, и перпендикулярная оптической оси называется идеальной плоскостью изображения. Оптическая ось пересекает идеальную плоскость изображения в точке о, называемой принципиальной точкой [3].

Перспективная проекция в этом случае описывается следующим уравнением:

(1)

где вектор - описывает положение проекции точки w на плоскости изображения, элементы матрицы перспективной проекции . , характеризуют матрицу поворота камеры, элементы , , - вектор переноса. Значения элементов матрицы перспективной проекции определяются с помощью калибровки камер.

Для определения трехмерных характеристик точки используется система двух или более камер установленная на ПР. Совместная работа двух камер позволяет оценивать форму, размеры и расстояние до объекта. На рисунке 3 представлена модель стереосистемы камер. Стереосистема камер использует изображения одного и того же объекта полученного с разных камер. Работа стерео системы требует точную информацию о положении и ориентации камер. Уравнение (1) записанное для каждой камеры стереосистемы, позволяет определять три координаты точки трехмерной сцены, используя линейные уравнения процесса формирования изображения от трех неизвестных [3].

(2)

Из (2) составляется система трёх линейных уравнений, результат решения которой три координаты наблюдаемой точки сцены.

Определение характеристик движения

Слежение точек пространства вокруг ПР, изменение их положения во времени на кадрах видеопоследовательности, дает возможность оценивать параметры ориентации робота, решать задачи управления и строить траектории движения с учетом рельефа дна. Формирование оценок пространственного положения ПР осуществляется относительно неподвижных объектов, находящихся на дне. Для определения перемещения в одной плоскости необходимо отслеживать две неподвижных точки на последовательности кадров. На рисунке 4 представлена пример движения точек на паре изображений.

Рис. 4. Пример движение точек на паре изображений.

На рисунке 4 в качестве начального положения выбраны две точки представленные на 1 схеме, их движение в результате поступательного перемещения ПР вперед представлены на схеме 2.

При маневрировании робот может осуществлять сложное пространственное перемещения для анализа которого необходимо оценивать положение точек по двум последовательным кадрам. Перемещение ПР описывается его матрицей поворота и вектором переноса, как результат вращательного и поступательного движения. Для оценки параметров движения необходимо определять трехмерные координаты ключевых точек на поверхности дна в системе координат ПР для каждой пары кадров стереосистемы камер. Сравнивая эти данные с полученными на предыдущих шагах рассчитываются параметры, характеризующих пространственное перемещение.

При осуществлении работ вблизи морского дна ПР постоянно движется, при этом дно и объекты на нём являются неподвижным. Система камер закрепленная на ПР остается неподвижной относительно корпуса робота и движется вместе с ним. Изменения на изображениях возникают в следствии собственного пространственного перемещения ПР. Это обстоятельство позволяет использовать видеоданные для определения характеристик движения. Процесс формирования оценок тесно связан с задачей поиска в кадре характерных точек. Методы получения оценок параметров движения по изображениям используют несколько подходов.

Первая группа методов основана на определении ярко выраженных признаков на двумерном изображении. Выделяются пиксели характеризующие трехмерные объекты сцены, таким как углы, границы взаимного перекрытия и края, соответствующие контуру. Второй подход строится на использовании корреляции и свёртки при обработке фрагментов изображений. При реализации этих методов отмечается локальный набор значений массива кадра, характеризующий область с высокой степенью отличия фрагмента по интенсивности или цвету от всего изображения. Третий подход основан на анализе градиента оптического потока. Методы этой группы использует изображение целиком, не теряя информацию при выделении одной локальной области. Пространственное перемещение оценивается на основе отслеживания изменений временного и пространственного градиентов значений яркости.

Существует подход к описанию локальных характерных точек, который строится на использовании специальных дескрипторов локальных особенностей, ключевых точек, которые не изменяются при различных геометрических преобразованиях изображения.

Ключевые точки - это пиксели отличающиеся в своей окрестности от всех соседних точек. Описываются вектором признаков вычисляемых на основе интенсивности, градиентов или других характеристик пикселей. Использование особых точек позволяет анализировать как изображения целиком так и объекты на них. Наибольшее распространение получили SIFT (Scale Invariant Feature Transform) и SURF (Speeded Up Robust Features) [4, 5] дескрипторы.

Дескриптор SURF выполняет поиск особых точек и строят их описание, инвариантное к изменению масштаба и вращения. Определение особых точек на изображении выполняется на основании матрицы Гессе. Использование Гессиана обеспечивает инвариантность относительно поворота, но не инвариантен относительно изменения масштаба. Поэтому SURF применяет фильтры разного масштаба для вычисления Гессиана. Далее для каждой найденной особой точки вычисляется направление градиента - преобладающее направление перепада яркости. Дескриптор формируется в результате оценки взвешенных описаний градиента для 16 квадрантов вокруг особой точки.

Дополнительно к дескриптору заносится след матрицы Гессе. Эти компоненты необходимы, чтобы различать темные и светлые пятна. Для светлых точек на темном фоне след отрицателен, для темных точек на светлом фоне - положителен. Дескриптор может быть применен для поиска одних и тех же точек, принадлежащих разным кадрам.

Моделирование подводной обстановки

Разработка и тестирование алгоритмов обработки изображений требует учета специфики формирования видеоданных в условиях подводной обстановки и работы вблизи дна. Разработан программный комплекс для проведение имитационного моделирования процесса видеонаблюдения дна подводным роботом. Комплекс позволяет проводить исследования по оценке эффективности алгоритмов обработки видеоданных, решающих задачи поиска и идентификации объектов, а также задачи ориентации, навигации и управления при сложном пространственном маневрировании. Программа содержит несколько модулей предназначенных для организации графического интерфейса пользователя, задания карты высот, параметров видеокамер, геометрические и динамические характеристики подводного робота, а так же обеспечивает возможность интегрировать алгоритмы обработки потока стереокадров. На рисунке 5 представлен интерфейс программного комплекса.

Рис. 5. Интерфейс программы моделирования видеонаблюдения.

Модель поверхности морского дна и объектов, располагающихся на нём, задается с помощью карты сцены подводного дна (height map), как двумерного массива значений высот, задаваемых в определенном интервале, над горизонтальной плоскостью. Трехмерная визуализация ландшафта использует векторно полигональные модели, которые описывают пространственные объекты в виде: последовательностей вершин, отрезков прямых (векторов), полигонов и полигональных поверхностей. Генерируемые видеоданные отражают окружающую подводную обстановку с учетом условий освещенности. Моделирование распространения света реализуется на основе модификации метода обратной трассировки луча с использованием z-буфера.

Непосредственное формирование изображений реализуется с помощью модели камеры, использующей перспективную проекцию. Метод предполагает построение проекций точек поверхности дна, освещенной источником света, на плоскость создаваемого изображения, в виде матрицы значений интенсивности светового луча. Такой подход позволяет имитировать работу современных цифровых камер, а так же использовать методы проективной и аналитической геометрии, для получения оценок трехмерных объектов на видеоданных. Имитируемое пространство и изображения системы камер представлены на рисунке 6.

Рис.6. Имитируемая поверхность дна.

Для решения задач ориентации, навигации и управления используется модель пространственной динамики подводного робота, позволяющей моделировать маневрирование вблизи дна. Модель учитывает геометрические и динамические характеристики объекта управления. На ее основе разрабатываются методы управления движением, реализации алгоритмов обхода препятствий и поиска объектов в видеопоследовательности стереокадров.

Данный программный комплекс использовался для моделирования алгоритма выделения характерных точек с использованием SURF дискриптеров на последовательности кадров стереосистемы камер ПР.

Результат поиска ключевых точек с использованием Surf дескриптора, при заданной линейной скорости 0.5 м/с и угловой скорости 30 ?/с представлен на рисунке 7. Так же представлен пример определения сдвига ключевых точек при прямолинейном движении ПР с линейной скоростью 1м/с.

Рис.7. Движение ключевых точек при движении ПР.

Линейное движение точек на рисунке 7 (справа), результат собственного линейного движения ПР с постоянной скоростью. Выделенные точки сдвига, характеризуются линиями одной длины. Аналогично на рисунке 7 (слева), величина сдвига точек увеличивается справа налево, визуально обозначая центр циркуляции ПР.

Заключение