Алгоритмы ускоренной обработки изображений препятствий в системе технического зрения робота

Совместное обнаружение препятствий в ближней зоне мобильного робота является крайне актуальной и сложной задачей. В общем случае окружающая среда робота очень сложна из-за различий в изменении условий освещения и углов зрения. Эти проблемы приводят к снижению точности распознавания препятствий. Различия могут измениться быстро. Но препятствия должны занимать определенную область в пространстве. В работе предложены алгоритмы обнаружения препятствий с алгоритмом «3д-облака точек». Алгоритм содержит основные шаги: Создание 3D-облака точек, преобразование «2D- PointCloud», получение результатов. Препятствия обнаружатся на основе своих определенных областей. Использование 3D-облака точек позволяет удовлетворить требованиям по обнаружению препятствий (подвижных и неподвижных объектов) в режиме реального времени. Результаты экспериментов показывают эффективность предложенного подхода при использовании в составе системы технического зрения мобильной робототехнической платформы.

Ключевые слова: 3д-облако точек, 2д-облако точек, препятствие, мобильный робот, распознавание изображений, изображения глубины, алгоритм понижения разрешения, алгоритм кластеризации, k-mean clustering, плотностный алгоритм кластеризации пространственных данных с присутствием шума.

Kinect проецирует не только одну точку, но и большое количество точек образца. Он имеет эталонное изображение, которое получается из ИК-камеры, когда все точки поверхности находятся на определенном известном расстоянии. Он находит соответствия между образцами, которые захвачены с камеры и внутреннего эталонного изображения. При сравнении горизонтального положения точки в захваченном и эталонном изображениях может быть получено горизонтальное значение дельты. На самом деле Kinect не рассчитает глубину, он возвращает более абстрактное значение для обработки. В то время как Kinect SDK может использовать это значение для получения 11-битных значений глубины.

Когда изображение глубины получено с Kinect SDK, становится возможным получение облака точек. Облако точек обычно определяется как набор неорганизованных иррегулярных точек в 3D , где . Каждая точка описывается, где является координатой точки; - дополнительная информация о точке (например, RGB цвета, значения интенсивности и т.д.).

Создание 3D-облака точек является ключевым этапом (рис. 2).

Рис. 2. Схема алгоритма создания «3D- PointCloud»

Метод получения местоположения препятствий в кадре может использовать информацию, хранящуюся в массиве глубин. Каждый пиксель в этом массиве кодирует всю информацию о координатах объектов. Матрица 3D-точек (Ма1) получится из этого массива.

Для ускорения вычисления по алгоритму используется понижение разрешения (downsampling). Поэтому размер матрицы Ма1 уменьшится в вычислениях следующего шага. Например, если размеры глубинного изображения являются 320x240, максимальный размер массива глубин равен 76800 (320*240=76 800), но максимальный размер выходной матрицы Ма1 является 4 800 (320*240/S²; S=4). Результаты метода создания 3D-облака точек показаны на рис.3.

Рис. 3. Получение «3D- PointCloud» с датчика Kinect

Преобразование «2D- PointCloud». Следующим шагом является отображение облако точек в 2-мерном пространстве. Фиксируются высоты точек между минимальной и максимальной высотами робота. Все точки, которые не могут быть объяснены как препятствия будут удалены. В этом шаге матрица 3D-точек Ма1 является исходной. А матрица 2D-точек (Ма2) является выходной (рис. 4).

алгоритм мобильный облако pointcloud

Рис. 4. Схема алгоритма преобразования «2D- PointCloud»

На данном шаге получается матрицу 2D-точек Ма2 (рис. 5).

Рис. 5. Создание «2D- PointCloud»

Получение результатов. На этом шаге препятствия в поле зрения робота получаются с помощью алгоритма кластеризации. Каждый кластер является препятствием.

Кластеризация является задачей группировки набора объектов в одной и той же группе (кластере), в которой объекты более похожи друг на друга, чем в других группах [13].

Кластерный анализ не является одним конкретным алгоритмом. Популярные представления о кластерах включают: группы с малыми расстояниями между членами кластера; плотные области пространства данных; интервалы или конкретные статистические распределения и пр. Соответствующий алгоритм кластеризации и настройки параметров (в том числе таких как функция расстояния, пороговая плотность или количество ожидаемых кластеров) зависят от индивидуального набора данных и предполагаемого использования результатов. Кластерный анализ является итеративным процессом обнаружения знаний или интерактивной многоцелевой оптимизацией, который включает испытания и неудачи. Необходимо будет модифицировать предварительно обработанные данные и параметры модели для получения результатов с требуемыми свойствами.

В настоящее время для целей обеспечения кластеризации в робототехнике применяются два известных алгоритма: k-mean clustering, DBSCAN (Density-BasedSpatialClusteringofApplicationswithNoise) [14].

Классический алгоритм k-mean clustering [15] был представлен Хартиганом (Hartigan, 1975). Это один из самых простых методов кластеризации данных. Основная операция алгоритма показана на рис 6.

Рис. 6. Иллюстрация операции классического алгоритма «k-meanclustering»

Алгоритм работает очень быстро, если имеется конкретная информация о окружающей среде робота. Но качество обнаружения не очень высокое. Потому что, алгоритм не может удалить шумы.

Поэтому в работе использован алгоритм DBSCAN [16]. Это алгоритм кластеризации на основе плотности. Он находит количество кластеров, начиная с расчетной плотности распределения соответствующих узлов. DBSCAN является одним из наиболее распространенных алгоритмов кластеризации, а также наиболее цитируемых в научной литературе. DBSCAN использует два параметра: е (EPS) и необходимое минимальное количество точек для формирования плотной области (minPts). Работа алгоритма начинается с произвольной начальной точки, извлекается е-окрестность этой точки, а если он содержит достаточно много точек, тогда кластер запускается. В противном случае точка обозначается как шум. Необходимо отметить, что эта точка может быть найдена позже в е-окрестности другой точки и, следовательно, будет включена в состав кластера [16].

Если точка найдена, чтобы быть плотной частью кластера, его е-окрестность также является частью этого кластера. Таким образом, все точки добавляются, которые находятся в пределах е-окрестности.Этот процесс продолжается до тех пор, пока плотность соединенного кластера найдена полностью. После этого новые не посещенные точки извлечены и обработаны, что приводит к открытию еще кластера или шума. Основная операция алгоритма показана на рис 7.

Рис. 7. Иллюстрация операции классического алгоритма «DBSCAN»

Обозначения: «EPS» и «minPts» - основные параметры алгоритма

Алгоритм работает не очень быстро. Но качество обнаружения высокое, т.к. алгоритм может удалить шумы.

Для экспериментальной проверки рассматриваемых методов на языке C# (Microsoft Visual C# 2010) с помощью библиотеки EMGUCV разработано программное обеспечение.

Эксперименты проводились на персональной ЭВМ со следующими характеристиками: центральный процессор Intel Pentium Duo T2390 с частотой 1,87ГГц, объем оперативной памяти 1Гб, объем видеопамяти 256Мб (ЭВМ с такими характеристиками может устанавливаться на мобильные робототехнические платформы [17, 18]).

Эксперименты проводились для обнаружения препятствий с использованием облака точек, полученные результаты представлены на рис. 8.

Рис. 8. Интерфейс программы применения 3D-облака точек для обнаружения препятствий

Для обнаружения препятствий обычно используется алгоритм поиска ближайших соседей совместно с алгоритмом SURF (Метод2) [19]. Этот метод удовлетворяет жестким требованиям по обнаружению объектов в режиме реального времени.

Результаты экспериментов сравнения метода 1 и метода 2 представлены на рис. 9 и в табл. 1.

Рис. 9. Быстродействие алгоритма распознавания неподвижных объектов

Таблица 1. Сравнение с методом применения алгоритма «SURF»

Из табл.1 видно, что время на обнаружение объекта с использованием первого метода в 13 раза меньше, чем второго метода.

Как показали ранее, появляется ряд трудностей: масштаб, место, фон и помехи, проекция, вращение и угол обзора при обнаружении препятствий. В экспериментах рассмотрено изменение интенсивность освещения к качеству обнаружения в различное время (в 10:00, 14:00, 19:00, 23:00) без искусственного освещения, полученные результаты представлены на рис. 10 и в табл. 2.

Рис. 10. Сводная диаграмма результатов исследования

Таблица 2. Сравнительный анализ результатов

Из табл. 2 видно, что качество обнаружения метода 1 не зависит от интенсивности света. Препятствия успешно обнаруживается даже когда отсутствует освещение (в 23:00). Потому что Kinect может использовать инфракрасный проектор для получения глубинных изображений.

Результаты экспериментов свидетельствуют о том, что существует возможность применять алгоритм Pointcloud для обнаружения препятствий в системе технического зрения робота. Однако, для увеличения быстродействия традиционного алгоритма, следует применять алгоритм понижения разрешения в шаге «Создание 3D-облака точек» и алгоритм DBSCAN в шаге «Применение алгоритмы кластеризации».

Данные экспериментов показывают, что обнаружение любых препятствий следует производить с использованием алгоритма Pointcloud. Эффективность данного алгоритма выше, чем традиционных алгоритмов, которые базируются на изображениях, полученных из видимого спектра по аналогии с тем, как это воспринимается человеческим глазом. При этом применение алгоритма понижения разрешения и DBSCAN существенно увеличивает быстродействие алгоритма распознания объектов и повышает его точность.

Полученные результаты свидетельствуют о том, что использование облака точек удовлетворяет жестким требованиям по обнаружению любых препятствий в режиме реального времени. Это означает, что предложенный подход может применяться в системах технического зрения мобильных робототехнических платформ для получения сенсорной карты внешней среды, используемой системой управления роботом для перемещения в зданиях и сооружениях в заранее неизвестной среде.