Автономное измерение высоты положения объекта вблизи водной поверхности с помощью времяпролетных PMD-камер

Размещено на http://www.allbest.ru/

УДК 535.016, 681.2.083

(Санкт-Петербургский государственный университет аэрокосмического приборостроения)

Автономное измерение высоты положения объекта вблизи водной поверхности с помощью времяпролетных PMD-камер

Д.Ю. КРЫСИН

Е.О. ЛОГИНОВА

Приводятся результаты, подтверждающие возможность применения времяпролетных камер для автономного измерения высоты положения объекта вблизи (0,2-5 м) водной поверхности.

Проблема измерения малой дальности (0,2-5 м) до водной поверхности (ВП) является актуальной при решении задач измерения уровня жидкости, определения параметров морского волнения и измерения высоты движения объекта над водной поверхностью. Высота является частным случаем дальности и измеряется в вертикальном направлении. Отсутствие соответствующих измерителей, адекватных по цене и характеристикам, может стать серьезным препятствием при разработке перспективных систем управления подвижными объектами [3, 6].

В настоящее время активно развиваются методы технического зрения, предназначенные для бесконтактного измерения пространственного положения и формы объектов. Однако значительная их часть не может быть использована для измерения малой дальности до ВП. Это объясняется особыми оптическими свойствами воды и ее поверхности. В работах [2, 3] описан метод, предназначенный для определения высоты и угловой ориентации объекта относительно невзволнованной ВП. В его основе лежит использование стереоскопической системы камер и свойства зеркального отражения ВП. В докладе предлагается иной подход, позволяющий измерять дальность и высоту при волнении ВП. Подход базируется на использовании времяпролетных PMD-камер [1, 4, 8]. Значительная часть материала, изложенного в докладе, уже опубликована в [1]. По этой причине в данной работе информация, касающаяся принципа действия PMD-камер, постановки эксперимента и обработки 3D-изображений, представлена относительно кратко. По сравнению с [1] в данном тексте рассматривается возможность получения оценки высоты при наличии информации о пространственной ориентации PMD-камеры.

Времяпролетные PMD-камеры

Времяпролетные камеры или tof-камеры (от англ. time-of-flight) являются относительно новым типом оптико-электронных устройств. Исследования, направленные на их создание, ведутся на протяжении 20 лет. Однако времяпролетные камеры в промышленном исполнении появились на рынке всего 3-4 года назад. Графики на рис. 1 иллюстрируют данную ситуацию. На них показана динамика изменения относительного числа запросов пользователей к поисковой системе Google. Рис. 1, а показывает, что до 2009 года запросы, содержащие ключевые словосочетания «Time of flight camera» и «Tof camera», практически отсутствовали. Для сравнения рис. 1, b содержит ту же информацию (изменился масштаб), а также статистику запросов с ключевым словосочетанием «mems accelerometer», которое имеет отношение к другой относительно новой области техники.

Рис.1. Графики изменения относительного числа запросов к поисковой системе Google (получены с помощью сервиса Google Trends)

В основе принципа действия tof-камер лежит времяпролетный метод измерения дальности [8]. Суть метода заключается в измерении времени, которое требуется световому сигналу для преодоления расстояния между камерой и отражающим свет объектом. Существуют различные виды времяпролетных камер. Одним из них являются PMD-камеры, в основе которых лежит технология Photonic Mixer Device. PMD-камеры освещают сцену с помощью модулированного оптического излучения инфракрасного (ИК) диапазона с некоторой частотой модуляции. ИК-излучение отражается от объектов сцены и измеряется датчиком изображений камеры (светочувствительной матрицей). Далее камера оценивает уровни корреляции и определяет фазовый сдвиг между излученным и принятым сигналами. Частота модуляции сигнала и скорость света известны, поэтому на следующем шаге камера вычисляет пропорциональную фазовому сдвигу дальность [1, 8]. пространственный времяпролетный камера изображение

Сигнал с каждого элемента датчика изображений PMD-камеры обрабатывается независимо. В результате получается изображение, являющееся трехмерной моделью поверхности объектов, находящихся в поле зрения камеры. Первоначально изображение представляет собой матрицу, количество элементов которой совпадает с количеством чувствительных элементов датчика изображений.

Элементы матрицы содержат оценки радиальной дальности (от центра камеры до поверхности объекта). Используя параметры внутреннего ориентирования камеры, элементы первичного изображения с радиальными дальностями могут быть автоматически переведены камерой в Декартову систему координат (изображение будет включать 3 матрицы). В литературе можно встретить различные названия таких изображений: карты дальности, карты глубин, 3D-изображения [4, 8]. В данной работе используется термин, приведенный последним. Несмотря на ряд ограничений PMD-камеры являются одним из наиболее перспективных средств получения 3D-изображений [1, 4, 8].

Постановка эксперимента

Для практического исследования особенностей применения PMD-камер была разработана установка (рис. 2, а), включающая промышленную времяпролетную PMD-камеру O3D201 производства компании IFM (рис. 2, б) [1, 10]; персональный компьютер (ПК); источник питания и штатив. Пример работы PMD-камеры в лаборатории представлен на рис. 2, в, г.

Рис. 2. Общий вид экспериментальной установки (а); вид PMD-камеры O3D201 (б); сцена в лаборатории (в); 3D-изображение сцены (двумерная интерпретация: дальность закодирована в цвете) (г)

Был поставлен эксперимент, направленный на исследование возможности применения PMD-камер для измерения дальности до ВП. Эксперимент проводился в естественных условиях. Установка была установлена на мосту (рис. 4, а). Камера находилась на высоте 4,55 м относительно ВП. Степень волнения ВП составляла 1 балл [9].

Во время эксперимента были получены и записаны массивы 3D-изображений ВП при различных углах наклона PMD-камеры. На рис. 3, б, в, показан вид этих изображений. На представленных изображениях дальность закодирована в цвете. Черные и белые участки изображений содержат невалидные пиксели, для которых не были получены оценки дальности. Черные пиксели не получили оценки дальности из-за недостаточной мощности отраженного сигнала, белые пиксели - из-за перехода в состояние насыщения вследствие повышенной интенсивности отраженного сигнала. В нижней части изображений зафиксирована конструкция моста, которая попала в поле зрения камеры из-за недостаточной длины выносной штанги. Из рис. 3 видно, что полученные 3D-изображения ВП существенно отличаются от 3D-изображения, представленного на рис. 2. Принципиальное отличие заключается в том, что область валидных пикселей, содержащих оценки дальности, составляет всего несколько процентов от площади 3D-изображений ВП.

Рис. 3. Натурный эксперимент: Санкт-Петербург, р. Фонтанка, Английский пешеходный мост (а); вид 3D-изображений ВП при горизонтальном положении камеры (б); вид 3D-изображений ВП при наклоне камеры (в)

Полученные 3D-изображения не являются моделью ВП, находившейся в поле зрения камеры во время съемки. Это объясняется особыми оптическими свойствами воды. Вода является оптически прозрачной средой, и на границе «воздух-вода» отражается только часть ИК-излучения. При различных условиях может наблюдаться зеркальное, диффузное и смешанное отражение света.

Характер отражения света сильно зависит от балльности волнения ВП. В естественных условиях при балльности 0-2 балла обычно преобладает зеркальное отражение света [1, 3]. При более высокой балльности появляются зоны ВП с диффузным отражением света. Вышеупомянутый эксперимент проводился при волнении ВП порядка 1 балла. Следовательно, во время эксперимента зеркальное отражение света преобладало на большей части ВП.

Расстояние между ИК-излучателем и датчиком изображений в PMD-камере не велико по сравнению с измеряемой дальностью. ИК-излучение отражается в направлении датчика только от ограниченной области ВП, на которую лучи падают под малыми углами. Значительная часть ИК-излучения отражается от ВП не в направлении PMD-камеры. Это является причиной того, что доля валидных пикселей полученных 3D-изображений ВП составляет менее 10%.

Обработка 3D-изображений и оценка высоты

На рис. 4, а-в представлены графические результаты статистической обработки массива 3D-изображений, полученного во время эксперимента при ориентации плоскости снимка, близкой к горизонтальной. Обрабатывались только валидные пиксели. Даже без применения специальных алгоритмов обработки видно, что их значения близки к измеряемому параметру 4,55 м. Область валидных пикселей стабильно присутствует на всех 3D-изображениях массива.

Конечной целью обработки полученных 3D-изображений является получение оценки дальности до ВП. Под дальностью понимается длина перпендикуляра, проведенного из центра камеры к плоскости, аппроксимирующей участок ВП, попадающий в поле зрения камеры. Следует подчеркнуть, что в общем случае измеренная дальность не является оценкой высоты. Это объясняется наличием волнения ВП. Важно отметить, что плоскость снимка, как правило, не горизонтальна. Под высотой в данной работе понимается расстояние от центра камеры до подстилающей ВП, измеренное в вертикальном направлении.

Рис. 4. Результаты обработки массива 3D-изображений ВП: доля валидных пикселей (а), характеристики значений валидных пикселей (б), гистограмма распределения значений валидных пикселей (в); алгоритм вычисления оценок дальности и высоты (г)

Поэтому измеренная дальность является оценкой высоты только в частном случае, когда отражающий участок поверхности аппроксимируется горизонтальной плоскостью. Между тем, при наличии информации об ориентации PMD-камеры относительно плоскости горизонта измеренная наклонная дальность может быть использована для получения оценки высоты. Обобщенная блок-схема алгоритма обработки 3D-изображения приведена на рис. 5, б. Этапы 1-7 алгоритма [7], связанные с оценкой дальности описаны в [1]. В данной работе рассматривается только возможность получения оценки высоты.

Информация о пространственной ориентации PMD-камеры, а точнее, плоскости снимка относительно плоскости горизонта (углы тангажа и и крена г) может быть получена с помощью иных навигационных измерителей, например, с помощью инерциальной навигационной системы. Для наглядности на рис. 5 приведена упрощенная геометрическая схема. На ней обозначены: S - центр PMD-камеры; SXСYСZС - прямоугольная система координат, связанная с камерой; SXGYGZG - правая горизонтальная сопровождающая система координат, оси SXG и SYG которой лежат в плоскости горизонта; W - плоская зеркально отражающая свет поверхность; о - угол наклона плоскости W относительно плоскости горизонта, D - измеренная дальность, H - высота, которую требуется найти. На рис. 5 и в дальнейших выкладках сделано допущение, что угол наклона отражающей поверхности постоянен.

Углы тангажа и и крена г камеры удобно определить следующим образом (с помощью условной записи, предложенной А.Ю. Ишлинским) [5]:

Выше было сказано, что PMD-камеры обеспечивают возможность выдачи готовых 3D-изображений в различных форматах. Для прямой оценки наклонной дальности D удобно использовать представление в виде радиальной дальности, но для получения оценки высоты выгоднее использовать представление в Декартовой системе координат. Допустим, что на предыдущем этапе получена оценка координат (DXС, DYС, DZС) вектора в связанной системе SXСYСZС. Эти координаты могут быть переведены в координаты системы SXGYGZG:

где B - матрица направляющих косинусов, которая для преобразования (1) имеет следующий вид

Рис. 5. Схема к вопросу о вычислении оценки высоты

Получив координаты (DXG, DYG, DZG) вектора в ГСК, появляется возможность вычисления оценки высоты:

Следует отметить, что угол о равен углу наклона отражающей поверхности относительно плоскости горизонта. Формула (4) еще раз подчеркивает, что только при горизонтальной отражающей поверхности (о = 0) оценка дальности является оценкой высоты.

Заключение

Полученные результаты подтверждают возможность применения времяпролетных PMD-камер для измерения малой дальности до водной поверхности. Показана возможность получения оценки высоты. Необходимым условием является наличие информации о пространственной ориентации PMD-камеры.

Дальнейшие исследования будут направлены на изучение особенностей функционирования PMD-камер в более широком диапазоне условий внешней среды; разработку адаптивного программно-алгоритмического обеспечения; исследование параметров точности; испытания PMD-камер в динамике на водных средствах транспорта.

Литература

1. Крысин Д.Ю., Небылов А.В. Применение времяпролетных PMD-камер для определения дальности до водной поверхности // Научно-технический вестник информационных технологий, механики и оптики. - 2013. - №2. - С. 33-39.

2. Крысин Д.Ю. Алгоритмическое обеспечение системы измерения пространственного положения объекта вблизи водной поверхности // Навигация и управление движением. Материалы докладов ХIV конференции молодых ученых «Навигация и управление движением». ? СПб.: ГНЦ РФ ОАО «Концерн «ЦНИИ «Электроприбор», 2012. - С. 287-293.

3. Крысин Д.Ю. Метод определения пространственного положения объекта вблизи водной поверхности // Научно-технический вестник информационных технологий, механики и оптики. - 2012. - № 6 (82). - С. 17-24.

4. Мамаев И.Р. Управление и методы обработки информации при автоматизации извлечения объектов из контейнера с использованием PMD-технологии: Автореф. дисс. канд. техн. наук. - ГОУ ВПО Уфимский государственный авиационный технический университет, 2010. - 17 c.

5. Матвеев В.В., Распопов В.Я. Основы построения бесплатформенных инерциальных навигационных систем. СПб.: ГНЦ РФ ОАО «Концерн «ЦНИИ «Электроприбор», 2009.

6. Небылов А.В. Измерение параметров полета вблизи морской поверхности. - СПб: СПбГААП, 1994. - 308 с.

7. Гонсалес Р., Вудс Р. Цифровая обработка изображений. - М.: Техносфера, 2005. - 1072 c.

8. Piatti D., Rinaudo F. SR-4000 and CamCube3.0 Time of light (ToF) Cameras: Tests and Comparison // Remote Sensing. - 2012. - Is. 4. - P. 1069-1089.

9. Faltinsen O.M. Sea Loads on Ships and Offshore Structures. - Cambridge University Press, 1990. - 340 p.

Размещено на Allbest.ru