Применение виртуальных моделей объектов для обучения нейросетей

Размещено на http://www.allbest.ru/

Калужский филиал МГТУ им. Н.Э. Баумана

Применение виртуальных моделей объектов для обучения нейросетей

А.В. Ермоленко (mkorlyakova@yandex.ru)

М.О. Корлякова (mkorlyakova@yandex.ru)

Калуга

Аннотация

В работе рассматриваются нейросетевые модификации решения задач анализа изображений. Показано, что успешное решение задачи в нейросетевом базисе можно обеспечить за счет применения искусственных примеров. Процедура формирования и использования модельной обучающей выборки показана на практических примерах.

Введение

Решение задач анализа изображений, как правило, можно разбить на два этапа: преобразование исходного изображения к некоторой упрощенной модели и анализ этой модели. Найти необходимое преобразование и метод обработки достаточно сложно и нет общего для всех прикладных областей способа принятия решений. Рассмотрим, например, формирование пространства признаков при решении задачи внешней калибровки камеры. В идеальных условиях задача имеет точное аналитическое решение. Однако, в процессе оцифровки сцены приходится иметь дело с конечным числом пикселей камеры и отличным от 0 размером пикселя. Реальная камера вносит шум, связанный с чувствительностью ячеек и их размером. Таким образом, идеальные аналитические модели проекционных преобразований плохо работают в условиях реальных аппаратных средств. В каждой конкретной ситуации приходится вносить существенные изменения и в способ описания задачи и в способ ее решения.

Поиску частных решений и общей методики формирования частных решений в области постановки задач обучения посвящен целый ряд работ (например, модели снижения размерности [Чернова, 2008], [Бернштейн и др., 2008]). Однако, в огромном числе случаев проблема заключается не только в сложной предобработке, но и в отсутствии достаточного числа качественных примеров. Достаточный объем выборки при разработке обучаемых машин составляет сотни и тысячи объектов. Рассмотрим подход обучению нейронных сетей на множестве искусственных примеров, которые формируются в виртуальных пространствах.

1. Модификация детектора прямой

1.1 Поиск отрезков прямой на изображениях

Поиск прямых на изображениях с помощью преобразования Радона позволяет извлечь из любой прямоугольной растровой матрицы координаты прямых наибольшей длины и плотности, как на рис.1а. Результат обработки по Радону приведен на рис. 1б.

а) б)

Рис. 1. Исходное изображение с шумом а) и результат преобразования по Радону б).

Точка максимума на Рис.1. соответствует координатам и ?прямой исходного изображения. Однако поиск точных координат прямой в условиях зашумленного образца и ширины линии, отличной от одного пикселя, сталкивается с ограниченным разрешением матрицы аккумулятора модели Радона. Поскольку в реальных условиях приходится использовать дискретную версию преобразования, то чем меньше шаг по углам , тем большее время занимает процедура обработки кадра. Значения аккумулятора процедуры Радона в области максимума приведено на рис.2а, а сглаживание с использованием кубического полинома на рис.2б. Приведенная на рис.1 область получена при шаге по равном 1?, полный размер изображения 1000х1000 пикселей. Даже для сглаженной модели значение истинных координат прямой отличается от тех, которые удается измерить.

а) б)

Рис.2. Максимум аккумулятора алгоритма Радона а) и его сглаживание б).

1.2 Модификация детектора отрезков прямой на изображениях

Рассмотрим метод повышения точности анализа матрицы Радона за счет исследования не только максимальной точки в , но и использования области около максимума. Будем рассматривать небольшую область размером 5х5 с центром в максимуме по . Простые методы линейного поиска коррекции координат прямой по углу и дают значительный разброс результатов. Например, осреднение результатов по столбцам и строкам порождают среднюю ошибку 50-60% от размера средней коррекции. Очевидно, что нужно формировать нелинейную модель предсказания коррекции. Будем строить такую модель в форме нейронной сети прямого распространения многослойного персептрона. Поскольку практически невозможно получить необходимое количество примеров для обучения такой сети, то сформируем их искусственно. Рассмотрим порядок формирования искусственных примеров: нейросетевой виртуальный детектор

Каждый пример содержит не более 1000 точек, принадлежащих прямой с параметрами с ошибкой не более 2 пикселей. Кроме того, к исследуемой картине добавлено не менее 1000 точек шума, т.е. точек, не принадлежащих прямой. Подобная картина приведена на рис.1а.

Проводим преобразование радона с шагом и получаем .

Определяем максимум в и фиксируем область размера 5х5.

Формируем входную часть обучающего вектора из значений элементов . Выходная часть обучающего вектора состоит из истинных параметров прямой . Таким образом, обучающая пара выглядит следующим образом .

Повторяем операции построения вектора необходимое число раз (формируем 4000 примеров).

Следующий этап работы - определение архитектуры и параметров нейронной сети в результате обучения.

1.3 Обучение нейронной сети для определения параметров прямой

В результате обучения на 3000 примеров сформирована двухслойная нейронная сеть. Скрытый слой содержит 7 нейронов и обеспечивает ошибку распознавания на уровне 3% по параметру и около 1% от размера области коррекции (Табл.1), т.е. максимальная ошибка определения угла составляет менее 0,5є, а определение сдвига прямой по не более 0,5 пикселя. Исходная средняя ошибка определения параметра составляла 0,8 пикселя, а средняя угловая ошибка достигала 0,25° (максимальная ошибка определения угла составляла 0,55є, а определение сдвига прямой по не более 3 пикселя на выборке 1500 примеров.).

Табл. 1.

e_train1 -- ошибка обучения по

e_gen1 -- ошибка обобщения по

e_train2 -- ошибка обучения по

e_gen2 -- ошибка обобщения по

Ошибка приведена в абсолютном измерении (в пикселях) и в процентах к размеру диапазона коррекции (5 пикселей и 5?).

При обработке реального кадра с помощью основной процедуры Радона ошибки на 1-2 пикселя больше, чем для модифицированного детектора. Угловая ошибка практически идентична (для примера на рис.3. поправка по углу составила 0,02, а по параметру - 1,37 пикселя).

Перейдем к формированию более сложной модели на основе детектора линий. Рассмотрим поиск точки схода проекций семейства параллельных линий.

а) б)

Рис.3. Применение модифицированного детектора линий: а) полутоновая форма изображения; б) наложение детектора линий на контурное изображение

2. Детектор точки схода

2.1 Поиск точки схода семейства прямых на изображениях

Процедура калибровки камеры по методу решения PnL проблемы [Борисов и др., 2008b], [Damien Douxchamps et al., 2009] требует установления координат точки пересечения проекций семейства параллельных линий, которую принято называть точкой схода.

В естественных условиях стенда угловая разница между отдельными проекциями не превышает 10-15є. Картина преобразования по Радону для изображения шаблона приведена на рис.4.

а) б) в)

Рис.4. а) изображение калибровочного шаблона, б) его обработка по Радону и в) обработка для диапазона = [-35°, -15°]

Основные калибровочные линии отображаются в семейства 1 и 2 в координатах преобразования Радон. Дискретность представления по углу позволяет решать задачу более или менее грубо. Анализ при шаге 5є по позволяет выделить два семейства под углом -25° и 40°.

Второй этап - точный анализ с шагом 1° в диапазонах [-35°, -15°] и [30°, 50°] отдельно. Причем координаты каждой прямой можно установить с использованием модифицированного детектора прямых.

Третий этап обработки - поиск точки схода по каждому семейству отдельно. Поскольку невозможно обеспечить точное измерение параметров прямых, то точка схода определяется за счет решения задачи минимизации расстояния от точки схода до всех прямых семейства, например методом наименьших квадратов. Процедура определения точек схода подобным образом достаточно длинна и требует значительных ресурсов. Предлагается решить эту задачу за счет формирования нейросети, аппроксимирующей функцию связи параметров прямых и точку схода .

2.2 Формирование виртуальной модели стенда

Обучение сети для определения точки схода требует значительной выборки, которую, как и в предшествующем случае, сформируем искусственно. За счет последовательности операций выраженных в матричной форме: . Матрица определяет параметры центральной проекции относительно виртуальной камеры, которая размещена в точке с фокусным расстоянием и осью зрения . Исходная решетка калибровочного шаблона принадлежит плоскости с нормалью . Решетка калибровочного шаблона сформирована как неравномерная сетка с координатами . В результате преобразования будут получены новые координаты решетки на проекционной плоскости (рис.5.).

Следующий шаг состоит в определении идеальной точки схода проекций каждого семейства линий. Поскольку виртуальная модель позволяет определить параметры прямых абсолютно точно, по итогам первого этапа работы будет сформировано множество параметров прямых вида . Каждому семейству проекций ставим в соответствие точку схода. Таким образом, обучающая пара выглядит следующим образом: .

Рис.5. Проекционная модель калибровочного шаблона и результаты определения координаты точки схода для реализаций

2.3 Разработка обучаемой модели поиска точки схода

В результате обучения на 5000 примеров сформирована двухслойная нейронная сеть. Скрытый слой содержит 5 нейронов и обеспечивает ошибку распознавания на уровне 10% для координат точек схода, которые ближе 10000 пикселей. К сожалению, ошибка имеет большую дисперсию, что снижает качество результатов. Для преодоления этой проблемы была сформирована простейшая ассоциативная машина на основе усреднения мнения трех экспертов, обучаемых независимо [Хайкин, 2006]. Результаты определения координат точки схода с использованием ассоциации сетей, несколько улучшили качество решения до средней ошибки на уровне 9,5%. Однако, дальнейшее повышение качества результата, требует наложения на виртуальную модель решетки более строгих ограничений. В частности, при условии формирования регулярной решетки с фиксированным размером ячейки калибровочного шаблона, значение ошибки снижается до уровня 1-2%.

3. Определение параметров нормали плоской грани

Рассмотрим задачу поиска нормали к поверхности объекта известной формы по его фотоизображению в условиях неопределенности расстояния до объекта и его размеров [Борисов и др., 2008a]. Ограничим задачу процессом определения параметров нормали диска и исключим поиск эллипса проекции на фотографии сцены. Будем считать, что известно значительное количество (десятки) точек, которые принадлежат контуру проекции диска на плоскость. Эта проекция не должна быть непрерывной, но необходимо точно знать, что все исследуемые точки ей принадлежат.

Задача поиска нормали имеет точное решение при 5-ти известных точках. Однако, координаты точек в дискретной матрице реальной камеры определить точно невозможно. Поэтому, необходимо решать задачу, имея некоторое приближение координат . Очевидно, можно увеличить число известных точек и решив задачу несколько раз получить некоторое усредненное решение. Эта процедура, к сожалению, требует применения условной минимизации отклонения формируемой модели от измеренных точек контура, что занимало значительное время [Борисов и др., 2008]. Для ускорения поиска, было принято решение искать параметры нормали за счет аппроксимации нейронной сетью функции , где - координаты точек эллипса проекции (существенно больше 5), - фокусное расстояние, а - пара инвариант нормали для этого эллипса.

Подобная постановка задачи подразумевает предъявление значительного количества примеров, где будет соответствовать и . Получить подобные примеры за счет натурных экспериментов не представляется возможным, поэтому была сформирована виртуальная модель сцены, где построили более 70000 примеров. Обучающий вектор имеет вид .

По итогам обучения ряда сетей, в качестве решателя была выбрана двухслойная нейронная сеть прямого распространения с нелинейными нейронами скрытого слоя (40 нейронов в скрытом слое и 6 линейных в выходном). Оценка ошибки обобщения на выборке в 1000 примеров составила в модельной выборке. Проверка в реальных сценах производилась с использованием приборов для точного определения углового положения объекта некоторой фиксированной системе координат. Ошибка измерения углов не превышает одной угловой минуты. Тестирование на реальных примерах показало несколько меньшую среднюю ошибку (около ). Это связано с тем, что реальные сцены демонстрировали диск с наиболее выгодного для распознавания ракурса, что не противоречило условиям исходной постановки задачи, так как исследователь может выбирать точку зрения в сцене. Общее время анализа сцены сократилось с 10 минут до 20-30 секунд.

Заключение

Анализ представленных задач показал, что обучение в виртуальных средах обеспечивает не только экономию ресурсов, необходимых для проведения натурных экспериментов, но и позволяет получить приемлемые уровни ошибок обобщения.

Разработана технология формирования виртуальных моделей для решения задач анализа трехмерной сцены по ее двухмерному изображению.

На основе разработанной технологии решен ряд практических задач и доказана возможность использования обучаемой системы, которая построена на искусственных примерах. Это позволяет значительно снизить затраты на обучение сети.

Кроме того, для всех рассмотренных примеров удалось успешно заменить решение задачи минимизации функции многих переменных задачей обучения нейронной сети, которая аппроксимирует возможные решения задачи минимизации.

Дальнейшая работа будет направлена на систематизацию процедур предобработки исходных изображений для формирования описания объектов сцены разного уровня сложности.

Список литературы

1. Бернштейн и др., 2008 Бернштейн А.В. Бурнаев Е.В., Дорофеев Е.А., Свириденко Ю.Н., Чернова С.С. Каскадные процедуры снижения размерности // Труды Одиннадцатой Национальной конференции по искусственному интеллекту с международным участием (КИИ-08). - г. Дубна. 29 сентября - 3 октября, 2008.

2. Борисов и др., 2008a Борисов Д.А, Гусев А.А., Земляная Н.Б., Корлякова М.О., Филимонков А.А. Поиск угловых параметров расположения объекта в пространстве на основе визуальной информации // Труды НТК «Проблемы эффективности и безопасности функционирования сложных технических и информационных систем», Серпухов, 2008 .

3. Борисов и др., 2008b Борисов Д.А, Гусев А.А., Земляная Н.Б., Корлякова М.О. Определение параметров фотокамеры в системах распознавания образов// труды НТК «Новые информационные технологии в системах связи и управления», г. Калуга, 2008.

4. Корлякова, 2009 Корлякова М.О. Применение нечетких моделей для поиска точек контура изображения.// Научная сессия МИФИ-2009. Сборник научных трудов. - М.:МИФИ, 2009.

5. Хайкин, 2006 Хайкин С. Нейронные сети: полный курс, 2-е изд.: Пер. с анг - М.:ООО «И.Д.Вильямс», 2006.

6. Чернова 2008 Чернова С. С., Иванова Е. П.. Снижение размерности сложных геометрических объектов при наличии частных параметрических моделей // Информационные технологии и вычислительные системы, 2008, № 3.

7. Damien Douxchamps et al. 2009 Damien Douxchamps , Kunihiro Chihara. High-Accuracy and Robust Localization of Large Control Markers for Geometric Camera Calibration //IEEE Transactions on Pattern Analysis and Machine Intelligence , Issue Date:February 2009.

Размещено на Allbest.ru