Большинство нейронных сетей состоят из формальных нейронов (рис.1)

Здесь х?. хn - значения, поступающие на входы (синапсы) нейрона,

W1. Wn - веса синапсов (могут быть как тормозящими, так и усиливающими), S - взвешенная сумма входных сигналов:

где T - порог нейрона (во многих моделях обходятся без него), F - функция активации нейрона, преобразующая взвешенную сумму в выходной сигнал . Взвешенная сумма входных сигналов может быть интерпретирована как проекция входного вектора на вектор весов, где б - угол между этими векторами.

Формальный нейрон моделирует некоторые свойства биологического нейрона. Набор связанных формальных нейронов представляет собой искусственную нейронную сеть. Искусственные нейронные сети способны выполнять любые логические операции и вообще любые преобразования, реализуемые дискретными устройствами с конечной памятью (другой вопрос в том, как настроить веса такой сети). Нейроны в естественных нейронных сетях намного сложнее, их функционирование является сложным процессом, протяжённым во времени. Кроме того, существует мнение, что мозг обладает квантовой структурой, а процесс мышления основан на квантовых эффектах. Мозг человека состоит из 10 триллионов нейронов, связанных между собой 10+е14 синапсами. Такие вычислительные мощности современной вычислительной технике пока недоступны. Структура мозга определена генетически от рождения, а связи между нейронами развиваются и модифицируются на протяжении всей жизни, т.е. свой интеллектуальный опыт человек получает в процессе обучения. Это говорит о перспективности развития искусственных нейронных сетей.

По характеру связей нейронные сети могут быть полносвязными, когда каждый нейрон связан со всеми остальными, и слоистыми, когда нейроны последующего слоя связаны только со всеми нейронами предыдущего слоя. Эти две архитектуры являются базовыми, но возможны и различные вариации.

По характеру функционирования нейронные сети могут быть однопроходными, когда выход сети рассчитывается за один проход сети, и релаксационными, когда функционирование сети продолжается до достижения стабильного состояния, это состояние и является результатом работы.

По характеру формирования связей нейронные сети могут быть следующих видов

Обучение с учителем. Связи настраиваются в процессе обучения, причём эталонные значения результатов работы известны.

Самообучение (обучение без учителя). Эталонные результаты неизвестны (не нужны), сеть в процессе обучения должна организовать входные образы на основе их подобия.

Фиксированные связи. Определяются характером решаемой задачи (например, в оптимизационных задачах).

Нейронные сети могут также отличаться типом входной информации (двоичная, аналоговая и т.п.) и методом обучения.

2.2 Разделение пространства признаков на области и извлечение ключевых признаков

Простейшее применение однослойной НС (называемой автоассоциативной памятью) заключается в обучении сети восстанавливать подаваемые изображения. Подавая на вход неизвестное изображение и вычисляя качество реконструированного изображения, можно оценить, насколько сеть распознала входное изображение. Положительные свойства этого метода заключаются в том, что сеть может восстанавливать искажённые и зашумленные изображения, но для более серьёзных целей он не подходит.

МНС также используется для непосредственной классификации изображений - на вход подаётся или само изображение в каком-либо виде, или набор ранее извлечённых ключевых признаков изображения, на выходе нейрон с максимальной активностью указывает принадлежность к распознанному классу (см. рис.2). Если эта активность ниже некоторого порога, то считается, что поданный образ не относится ни к одному из известных классов. Процесс обучения устанавливает соответствие подаваемых на вход образов с принадлежностью к определённому классу. Это называется обучением с учителем. В данном проекте на тестовой базе ORL такой подход позволил достичь стабильной 93% - ной точности распознавания (98% -ной максимальной). В применении к распознаванию человека по изображению лица такой подход хорош для задач контроля доступа небольшой группы лиц. Он обеспечивает непосредственное сравнение сетью самих образов, но с увеличением числа классов время обучения и работы сети возрастает экспоненциально. Поэтому такие задачи, как поиск похожего человека в большой базе данных, требуют извлечения компактного набора ключевых характеристик, на основе которых можно производить поиск.

НС применяется также для извлечения ключевых характеристик изображения, которые затем используются для последующей классификации. Суть подобного метода - метода главных компонент заключается в получении максимально декореллированных коэффициентов, характеризующих входные образы. Такие коэффициенты называются главными компонентами и используются для статистического сжатия и реконструкции изображений. При этом небольшое число коэффициентов используется для представления всего образа. Каждое изображение разлагается на линейную комбинацию собственных векторов. Для набора изображений лиц собственные векторы могут быть представлены в виде изображений, такие изображения похожи на лица и называются собственными лицами (eigenfaces). Сумма собственных векторов, умноженных на соответствующие им главные компоненты, представляет собой реконструкцию изображения.

НС с одним скрытым слоем, содержащим m нейронов, число которых много меньше, чем размерность изображения m<<n, обученная по методу обратного распространения ошибки восстанавливать на выходе изображение, поданное на вход, формирует на выходе скрытых нейронов коэффициенты первых m главных компонент, которые и используются для сравнения изображений. Архитектура такой сети, называемой рециркуляционной нейронной сетью (РНС), показана на рис.4.

Обычно используется от 10 до 200 главных компонент. С увеличением номера компоненты её репрезентативность сильно понижается, и использовать компоненты с большими номерами не имеет смысла. Использование линейных активационных функций в НС позволяет получить на выходе скрытого слоя именно m первых главных компонент, аналогичных получаемым при решении матричных уравнений. При использовании нелинейных активационных функций нейронных элементов возможна нелинейная декомпозиция на главные компоненты. Нелинейность позволяет более точно отразить вариации входных данных, однако при этом выходы скрытых нейронов будут только похожи на главные компоненты. Веса, сформировавшиеся при таком обучении на входном и выходном слое, также будут похожи на собственные лица, которым присуще полезное свойство - существуют компоненты, которые в основном отражают такие существенные характеристики лица, как пол, раса, эмоции. Первые компоненты отражают наиболее общую форму лица, последние - различные мелкие отличия между лицами. Такой метод хорошо применим для поиска похожих изображений лиц в больших базах данных. Этот метод также используется в задаче обнаружения лица на изображении. Оценивая качество реконструкции входного изображения, можно очень точно определять его принадлежность к классу лиц. Для изображений, не являющихся лицами, реконструкция будет невысокого качества.

Преимущества применения РНС для извлечения главных компонент перед решением матричных уравнений:

· алгоритм обучения РНС прост и универсален;

· нелинейная активационная функция позволяет точнее реконструировать изображение;

· при решении матричных уравнений возможны проблемы, если примеры очень похожи друг на друга, РНС лишена такого недостатка;

· не требуется вычислять все собственные векторы. Таким образом, время обучения сети линейно зависит от количества извлекаемых главных компонент;

· для предварительных экспериментов можно использовать меньшее число обучающих циклов, что снижает время обучения.

Показана возможность дальнейшего уменьшения размерности главных компонент при помощи НС. Суть её заключается в использовании большего количества скрытых слоёв, отвечающих за сжатие и реконструкцию изображения. Такое сжатие позволяет уловить более сложные закономерности в наборе образов и, следовательно, представить их точнее и меньшим числом компонент.

2.2.2 Нейронные сети высокого порядка и моментные НС

Нейронные сети высокого порядка (НСВП, по английски High Order Neural Network) отличаются от МНС тем, что у них только один слой, но на входы нейронов поступают также члены высокого порядка, являющиеся произведением двух или более компонент входного вектора, например:

Такие сети также могут формировать сложные разделяющие поверхности.

Многослойные НС в общем случае эффективнее, но существует ряд приложений, в которых сети высокого порядка лучше, чем МНС.

2.2.3 Радиально-базисные нейронные сети

Радиально-базисные нейронные сети (РБНС, по английски Radial Basis Function Network, RBF) состоят из двух слоёв (рис.5)

Первый слой имеет радиально-базисную активационную функцию:

где у - среднеквадратичное отклонение, характеризующее ширину функции (размер кластера). S определяется как расстояние между входным и весовым вектором:

являющимся по сути расстоянием до центра кластера, определяемым конкретным нейроном. Таким образом, скрытый слой представляет собой набор кластеров в пространстве образов и выполняет первый этап кластеризации входного образа - значение активационной функции каждого нейрона быстро уменьшается с удалением от центра кластера. Второй слой нейронов имеет линейную активационную функцию и выполняет второй этап кластеризации - распределяет кластеры по классам.

РБНС также способна строить сложные разделяющие области и аппроксимировать многомерные функции. По сравнению с многослойной нейронной сетью, радиально-базисная сеть обучается на порядок быстрее, однако обладает намного худшей экстраполирующей способностью, т.е. не способна работать на образах, лежащих далеко от образов - примеров. Размеры РБСН больше, чем МНС для аналогичных задач, и РБНС становятся малоэффективны с ростом размерности входных данных.

Обучается такая сеть в два этапа. Первый этап осуществляется без учителя, на нём первый слой выделяет компактно расположенные группы кластеров. При этом корректируются центры кластеров. В настоящее время разработаны эффективные алгоритмы, позволяющие также подбирать оптимальный размер кластеров для каждого нейрона и получать оптимальное количество нейронов в первом слое. На втором этапе обучения второй слой учится распределять входные образы, пропущенные через первый слой, по классам. Информация об эталонных значениях выходов известна, обучение выполняется с учителем. Такое обучение производиться или матричными методами, или алгоритмом обратного распространения ошибки.

2.3 Распознавание с учётом топологии пространства

В зрительной коре были обнаружены узлы, реагирующие на такие элементы, как линии и углы определенной ориентации. На более высоких уровнях узлы реагируют на более сложные и абстрактные образы, такие, как окружности, треугольники и прямоугольники. На еще более высоких уровнях степень абстракции возрастает до тех пор, пока не определятся узлы, реагирующие на лица и сложные формы. В общем случае узлы на более высоких уровнях получают вход от группы низкоуровневых узлов и, следовательно, реагируют на более широкую область визуального поля. Реакции узлов более высокого уровня менее зависят от позиции и более устойчивы к искажениям.

Неокогнитрон является дальнейшим развитием идеи когнитрона и более точно моделирует строение зрительной системы, позволяет распознавать образы независимо от их преобразований: смещения, вращения, изменения масштаба и искажения. Неокогнитрон может как самообучаться, так и обучаться с учителем. Неокогнитрон получает на входе двумерные образы, аналогичные изображениям на сетчатой оболочке глаза и обрабатывает их в последующих слоях аналогично тому, как это было обнаружено в зрительной коре человека.

Главное отличие неокогнитрона от когнитрона - это двумерная организация локальных участков и плоскостная иерархическая структура (рис.8).

Каждый слой состоит из плоскостей простых и сложных клеток. Каждый нейрон простой плоскости связан с локальным двумерным участком плоскостей предыдущего слоя, веса всех нейронов в пределах одной плоскости одинаковы, и таким образом плоскость реагирует на определённый образ, находящийся в участке. Положение активированного таким образом нейрона в простой плоскости отмечает участок, в котором найден этот образ, независимо от его искажения. Нейрон сложной плоскости связан с участком своей простой плоскости, и обнаруживает активность нейронов на этом участке, уменьшая таким образом чувствительность к позиции образа.

Таким образом достигается иерархическая обработка изображения, когда на последующих слоях неокогнитрон реагирует на более общие черты изображения, не сбиваясь на искажения, сдвиг и т.д. Классический неокогнитрон является мощным средством распознавания изображений, однако требует высоких вычислительных затрат.

2.3.3 Свёрточные нейронные сети

В классической многослойной нейронной сети межслойные нейронные соединения полносвязны, и изображение представлено в виде n - мерного вектора, не учитывающего ни двумерную локальную организацию пикселей, ни возможности деформации. Архитектура свёрточной НС (рис.9) направлена на преодоление этих недостатков и основывается на принципах архитектуры неокогнитрона, упрощённого и дополненного обучением по алгоритму обратного распространения ошибки.

В ней использовались локальные рецепторные поля (обеспечивают локальную двумерную связность нейронов), общие веса (обеспечивают детектирование некоторых черт в любом месте изображения) и иерархическая организация с пространственными подвыборками (spatial subsampling).

Свёрточная НС (СНС, Convolutional Neural Network) обеспечивает частичную устойчивость изменениям масштаба, смещениям, поворотам, смене ракурса и прочим искажениям. Архитектура СНС состоит из многих слоёв. Слои бывают двух типов: свёрточные (Convolutional) и подвыборочные (Subsampling), свёрточные и подвыборочные слои чередуются друг с другом.

В каждом слое имеется набор из нескольких плоскостей, причём нейроны одной плоскости имеют одинаковые веса, ведущие ко всем локальным участкам предыдущего слоя (как в зрительной коре человека), изображение предыдущего слоя как бы сканируется небольшим окном и пропускается сквозь набор весов, а результат отображается на соответствующий нейрон текущего слоя. Таким образом набор плоскостей представляет собой карты характеристик (feature maps) и каждая плоскость находит "свои" участки изображения в любом месте предыдущего слоя.

Следующий за свёрточным слоем подвыборочный слой уменьшает масштаб плоскостей путём локального усреднения значений выходов нейронов. Таким образом, достигается иерархическая организация. Последующие слои извлекают более общие характеристики, меньше зависящие от искажений изображения.

Обучается СНС стандартным методом обратного распространения ошибки. Сравнение МНС и СНС показало существенные преимущества последней как по скорости, так и по надёжности классификации. Полезным свойством СНС является и то, что характеристики, формируемые на выходах верхних слоёв иерархии, могут быть применимы для классификации по методу ближайшего соседа (например, вычисляя Евклидово расстояние), причём СНС может успешно извлекать такие характеристики и для образов, отсутствующих в обучающем наборе. Для СНС характерны высокая скорость обучения и работы. Тестирование СНС на базе данных ORL, содержащей изображения лиц с небольшими изменениями освещения, масштаба, пространственных поворотов, положения и различными эмоциями, показало 98% -ную точность распознавания. Такой результат делает эту архитектуру перспективной для дальнейших разработок в области распознавания изображений трёхмерных объектов, в частности человеческих лиц.

3. Технологическая часть

3.1 Алгоритм