Применение сверточных искусственных нейронных сетей в задачах астронавигации

Размещено на http://www.allbest.ru/

Статья по теме:

«Применение сверточных искусственных нейронных сетей в задачах астронавигации»

А.П. Григорьев, ФГУП КБ «Арсенал» им. М. В. Фрунзе, Санкт-Петербург; Санкт-Петербургский государственный университет аэрокосмического приборостроения (ГУАП), Санкт-Петербург

Предлагается подход на базе сверточных нейронных сетей для интеллектуальной обработки входного изображения карты звездного неба. Преимущество использования свёрточных нейронных сетей в том, что они инвариантны к изменениям масштаба, смещениям, поворотам, смене ракурса и другим искажениям входного изображения, позволяют, в отличие от известных подходов, исключить операции предобработки данных, что обеспечивает высокую достоверность распознавания и классификации, а также возможность функционирования данного математического аппарата в реальном масштабе времени. Обосновывается топология используемой сети, рассматриваются различные методики ее обучения.

Датчики звездной ориентации используются в системах управления космическими аппаратами (КА), начиная с первых шагов освоения космического пространства. Помимо звезд, в качестве опорных ориентиров для решения задач, связанных с ориентацией и навигацией летательных аппаратов могут выступать и другие небесные объекты, например, Солнце или Земля. Существуют специальные приборы, позволяющие определять ориентацию КА по результатам съемки данных небесных тел - датчики звездной ориентации (звездные координаторы). Звездные координаторы (рисунок 1) представляют собой оптико-электронные приборы, позволяющие определять параметры ориентации по результатам обработки снимков небесной сферы. В основе принципа действия таких приборов лежит прием электромагнитной энергии в видимой части спектра с последующим ее преобразованием и обработкой для получения информации о положении оси чувствительности прибора.

Рис. 1 - Датчики звездной ориентации (звездные координаторы)

Однако приборы данного типа обладают и определенными недостатками, к числу которых относят, прежде всего, их невысокую помехозащищенность. Помеховые факторы могут быть разделены на две большие группы - факторы космического пространства (главным образом, заряженные частицы и газо-пылевая среда) и параметры космического аппарата, на котором установлен прибор (в первую очередь, угловая скорость).

Повышение радиационной стойкости и помехозащищенности звездных приборов возможно только после проведения огромного числа научно-исследовательских, конструкторских и производственных работ.

Представленная статья посвящена рассмотрению возможности использования аппарата искусственных нейронных сетей (ИНС) для решения задачи распознавания карты звёздного неба. Ожидаемые результаты - повышение помехозащищённости системы за счёт инвариантности ИНС к искажениям входных изображений звёзд.

В настоящее время наиболее часто в задачах распознавания и идентификации изображений используют классические нейросетевые архитектуры (многослойный персептрон, сети прямого распространения, рекурентные, радиально-базисные и др.) [3], но, как показывает практика, применение классических топологий ИНС к данной задаче является неэффективным по следующим причинам:

во-первых [1], как правило, изображения имеют большую размерность, соответственно вырастает размер нейронной сети (количество нейронов, число слоёв, синаптических связей и т. п). К примеру, для изображения размером 28*28 пикселей необходимо 784 входа ИНС. Если принять во внимание, что преобразование из изображения в индикатор класса довольно сложное и существенно нелинейное, то необходимо использовать многослойную сеть. Так как, количество нейронов в скрытом слое [2] должно быть хотя бы на порядок больше количества входов сети, то в скрытом слое необходимо иметь примерно 8000 нейронов. Таким образом, количество настраиваемых и обучаемых связей будет около 5 млн. Большое количество параметров требует большей обучающей выборки, что увеличивает время и вычислительную сложность процесса обучения [3];

во-вторых, недостаток полносвязной архитектуры в том, что топология ввода игнорируется [1, 4]. Входные параметры могут быть представлены в любом порядке, в то время как изображения имеют строгую структуру: переменные (пиксели), которые являются пространственно соседними, чрезвычайно зависимы по отношению друг к другу.

От данных недостатков свободны так называемые свёрточные искусственные нейронные сети (СИНС), предложенные американским учёным ЛеКуном [4]. Они обеспечивают частичную устойчивость к изменениям масштаба, смещениям, поворотам, смене ракурса и другим искажениям изображения [1, 4].

Идея СИНС заключается в чередовании сверточных слоев (C-layers), субдискретизирующих слоев (S-layers) и наличии полносвязных (F-layers) слоев на выходе. Топология СИНС, представлена на рисунке 2. Такая архитектура заключает в себе 3 основных парадигмы [1]:

1. Локальное восприятие (обеспечивается локальную двумерную связность нейронов);

2. Разделяемые веса (обеспечивается детектирование некоторых черт в любом месте изображения и уменьшается общее число весовых коэффициентов);

3. Субдискретизация (иерархическая организация).

нейронный сеть карта звездный

Рис. 2 - Структура свёрточной искусственной нейронной сети

Локальное восприятие подразумевает, что на вход одного нейрона подается не все изображение (или выходы предыдущего слоя), а лишь некоторая его область. Такой подход позволил сохранять топологию изображения от слоя к слою.

Концепция разделяемых весов предполагает [4], что для большого количества связей используется очень небольшой набор весов. Например, на входе СИНС изображение размерами 32*32 пикселя, то каждый из нейронов следующего слоя примет на вход только небольшой участок этого изображения размером, в частном случае 5*5, причем каждый из фрагментов будет обработан одним и тем же набором. Необходимо отметить, что самих наборов весов может быть достаточно много (задаётся при обучении), но каждый из них будет применен ко всему изображению. Такие наборы называют ядрами [4].

Можно рассмотреть этот подход с другой стороны [1]. Большинство систем для распознавания изображений строятся на основе двумерных фильтров. Фильтр представляет собой матрицу коэффициентов, обычно заданную вручную. Эта матрица применяется к изображению с помощью математической операции, называемой сверткой. Суть этой операции в том, что каждый фрагмент изображения умножается на матрицу (ядро) свертки поэлементно и результат суммируется и записывается в аналогичную позицию выходного изображения. Основное свойство таких фильтров заключается в том, что значение их выхода тем больше чем больше фрагмент изображения похож на сам фильтр. Таким образом, изображение, свернутое с неким ядром, даст нам другое изображение, каждый пиксел которого будет означать степень похожести фрагмента изображения на фильтр. Иными словами это будет карта признаков. Каждый фрагмент изображения поэлементно умножается на небольшую матрицу весов (ядро), результат суммируется. Эта сумма является пикселем выходного изображения, которое называется картой признаков, взвешенная сумма входов пропускается через функцию активации (как в любой другой нейросети). Следует отметить, что не разные фрагменты проходят последовательно через ядро, а параллельно всё изображение проходит через идентичные ядра. Кроме того, количество ядер (наборов весов) определяется разработчиком и зависит от того какое количество признаков необходимо выделить. Еще одна особенность сверточного слоя в том, что он уменьшает изображение за счет краевых эффектов.

Суть субдискретизации и S-слоев заключается в уменьшении пространственной размерности изображения [1]. Входное изображение грубо (усреднением) уменьшается в заданное количество раз, чаще всего в 2 раза, хотя может быть и неравномерное изменение. Субдискретизация обеспечивает инвариантность к масштабу входного изображения. Чередование слоев позволяет составлять карты признаков, что на практике означает способность распознавания сложных иерархий признаков.

Обычно после прохождения нескольких слоев карта признаков вырождается в вектор или даже скаляр, но таких карт признаков становится сотни. В таком виде они подаются на один-два слоя полносвязной сети. Выходной слой такой сети может иметь различные функции активации.

Используемая сеть состоит из шести слоев. Её входными данными являются изображения (в качестве примера выбрано изображение размером 36*32 пикселей), которые классифицируются как «Наличие объекта» или «Отсутствие объекта». Так как задача, решаемая СИНС - классификация, то для решения достаточно одного выхода. Выходное значение сети находится в интервале [-1; 1], что соответственно означает отсутствие или присутствие объекта на классифицируемом изображении.

В качестве активационной функции [3] используется гиперболический тангенс. Это обусловлено следующими причинами: симметричные активационные функции, типа гиперболического тангенса, обеспечивают более быструю сходимость, чем стандартная логистическая функция; данная функция имеет простую и непрерывную первую производную, что позволяет использовать её при обучении по алгоритму с обратным распространением ошибки (backpropagation) [3]. Обучение сети [3] начинается с предъявления образа и вычисления соответствующей реакции. Сравнение с желаемой реакцией даёт возможность изменять веса связей таким образом, чтобы сеть на следующем шаге могла выдавать более точный результат. Обучающее правило обеспечивает настройку весов связей. Информация о выходах сети является исходной для нейронов предыдущих слоев [3]. Эти нейроны могут настраивать веса своих связей для уменьшения погрешности на следующем шаге. Когда ненастроенной сети предъявляется входной образ, она выдаст некоторый случайный выход. Функция ошибки [3] представляет собой разность между текущим выходом сети и идеальным выходом, который необходимо получить. Для успешного обучения сети требуется приблизить выход сети к желаемому выходу, т. е. последовательно уменьшать величину функции ошибки. Это достигается настройкой межнейронных связей. Каждый нейрон в сети имеет свои веса, которые настраиваются, чтобы уменьшить величину функции ошибки [3].

В основе алгоритма обратного распространения ошибки лежит методика, позволяющая быстро вычислять вектор частных производных (градиент) сложной функции многих переменных, если структура этой функции известна. В качестве такой функции в алгоритме рассматривается функция ошибки сети и учитывается тот факт, что структура функции ошибки сети полностью определяется архитектурой нейронной сети, которая считается известной. Метод обратного распространения ошибки может быть очень медленным [2] особенно для многослойных сетей, где поверхность целевой функции является неквадратичной, невыпуклой и высоко размерной с множеством локальных минимумов или плоских областей [4]. Начальная инициализация синапсов нейронной сети имеет огромное влияние на количество итераций обучения. Оттого, насколько удачно выбраны начальные значения синаптических коэффициентов зависит, как долго сеть за счет обучения и подстройки будет искать их оптимальные величины, и найдет ли она их.

В качестве учебного набора используется коллекция изображений, полученных из различных источников. Эта коллекция эффективно охватывает изменчивость и богатство естественных данных, чтобы обучить данную систему для работы в реальных условиях. В данной работе, используется окно размером 36*32 пикселей, содержащее изображение звёздного неба. В процессе подготовки обучающих, контрольных и тестовых статистик не выполнялось какой-либо нормализации изображений (выравнивания гистограммы или коррекции яркости). Для создания большого количества примеров и увеличения инвариантности, целесообразно [1] применять ряд преобразований, включая отражение, вращение до ±360°. Процесс распознавания СИНС карты звёздного неба представлен на рисунке 3.

Рис. 3 - Процесс распознавания карты звёздного неба СИНС

Литература

1. Макаренко А. А, Калайда В. Т: Методика локализации изображения лица для систем видео контроля на основе нейронной сети / Известия Томского политехнического университета. 2006. Т. 309. №8

2. Короткин А.А. Математические модели искусственных нейронных сетей. Уч. пособие, Ярославль, 2000.

3. Хайкин С. Нейронные сети: полный курс. 2-е изд.: Пер. с англ. М: Вильямс, 2006. 1103 с. М: Финансы и статистика, 2004. 320 с.

4. Y. LeCun and Y. Bengio: Convolutional Networks for Images, Speech, and Time-Series, in Arbib, M. A. (Eds), The Handbook of Brain Theory and Neural Networks, MIT Press, 1995

Размещено на Allbest.ru