Искусственные нейронные сети получили широкое распространение за последние 20 лет и позволили решать сложные задачи обработки данных, часто значительно превосходя точность других методов статистики и искусственного интеллекта, либо являясь единственно возможным методом решения отдельных задач. В числе задач, решение которых доверяют искусственным нейронным сетям, можно назвать следующие: распознавание текстов, игра на бирже, контекстная реклама в Интернете, фильтрация спама, проверка проведения подозрительных операций по банковским картам, системы безопасности и видеонаблюдения и т.д.

Одной из наиболее сложных и актуальных проблем обработки видеоизображений, представленных последовательностью оцифрованных кадров, является проблема выделения и распознавания движущихся объектов в условиях действия различного рода помех и возмущений. Для этого должны быть решены задачи выделения изображений движущихся объектов на сложном зашумленном фоне, фильтрации помех, скоростной фильтрации, отделения объектов от фона, оценки скорости каждого объекта, его идентификации и сопровождения. Системы обработки видеоизображений, построенные с применением нейросетевых методов, представляют собой, как правило, программно-аппаратные комплексы на персональных компьютерах, позволяющие работать с данными телевизионной системы в реальном времени (не менее 25 кадров/с, 320х200 пикселей).

Распознавание выделенных силуетов производится на самоорганизующейся нейронной сети, предварительно обученной на изображениях объектов рассматриваемых классов. Обеспечивается инвариантность к произвольному движению фона, устойчивость к зашумлению до 10%. Вероятность правильного распознавания не менее 90%.

Нейронно-сетевой подход в обработке информации имеет следующие преимущества:

- параллелизм обработки информации;

- единый и эффективный принцип обучения;

- надежность функционирования;

- способность решать неформализованные задачи.

Искусственные нейронные сети строятся на основе свойств, присущих человеческому мозгу - это обучение на основе опыта, обобщение, извлечение существенных данных из избыточной информации [1].

Первые искусственные нейронные сети были созданы в 50-х годах прошлого века. Но рассчитывать на значительные успехи не приходилось, так как на тот момент недостаточно была развита математическая теория НС.

С 70-х годов в научных журналах стали появляться публикации, касающиеся искусственных нейронных сетей. Постепенно был сформирован хороший теоретический фундамент, на основе которого сегодня создается большинство сетей. В последние два десятилетия разработанная теория стала активно применяться для решения прикладных задач.

Рис.1. Модель биологического нейрона

Схема его действия достаточно проста. Нейрон получает импульсы от аксонов других нейронов через дендриты (приемники) и передает сигналы, сгенерированные телом клетки, вдоль своего аксона (передатчика), который в конце разветвляется на волокна. На окончаниях этих волокон находятся специальные образования - синапсы, которые влияют на величину импульсов.

А теперь рассмотрим пример математической модели нейрона:

y = f (u), где u=

Здесь x_i и w_i - соответственно сигналы на входах нейрона и веса входов, функция u называется индуцированным локальным полем, а f (u) - передаточной функцией. Возможные значения сигналов на входах нейрона считают заданными в интервале (0,1). Они могут быть либо дискретными (0 или 1), либо аналоговыми. Дополнительный вход x₀ и соответствующий ему вес w₀ используются для инициализации нейрона. Под инициализацией подразумевается смещение активационной функции нейрона по горизонтальной оси, то есть формирование порога чувствительности нейрона. Кроме того, иногда к выходу нейрона специально добавляют некую случайную величину, называемую сдвигом. Сдвиг можно рассматривать как сигнал на дополнительном, всегда нагруженном, синапсе [2].

Как уже отмечалось выше, любым ИНС присущи обучение, обобщение и выделение данных. Под обучением понимается процесс настройки архитектуры сети (структуры связей между нейронами) и весов синаптических связей (влияющих на сигналы коэффициентов) для эффективного решения поставленной задачи. Обычно обучение нейронной сети осуществляется на некоторой выборке. По мере процесса обучения, который происходит по некоторому алгоритму, сеть должна все лучше и лучше (правильнее) реагировать на входные сигналы.

Выделяют три парадигмы обучения: с учителем, самообучение и смешанная. В первом способе известны правильные ответы к каждому входному примеру, а веса подстраиваются так, чтобы минимизировать ошибку. Обучение без учителя позволяет распределить образцы по категориям за счет раскрытия внутренней структуры и природы данных. При смешанном обучении комбинируются два вышеизложенных подхода.

Известны 4 основных типа правил обучения: коррекция по ошибке, машина Больцмана, правило Хебба и обучение методом соревнования. Рассмотрим более подробно:

1. Правило коррекции по ошибке. При обучении с учителем для каждого входного примера задан желаемый выход d. Реальный выход сети y может не совпадать с желаемым. Принцип коррекции по ошибке при обучении состоит в использовании сигнала (d-y) для модификации весов, обеспечивающей постепенное уменьшение ошибки. Обучение имеет место только в случае, когда перцептрон ошибается. Известны различные модификации этого алгоритма обучения.

2. Обучение Больцмана. Представляет собой стохастическое правило обучения, которое следует из информационных теоретических и термодинамических принципов. Целью обучения Больцмана является такая настройка весовых коэффициентов, при которой состояния видимых нейронов удовлетворяют желаемому распределению вероятностей. Обучение Больцмана может рассматриваться как специальный случай коррекции по ошибке, в котором под ошибкой понимается расхождение корреляций состояний в двух режимах.

3. Правило Хебба. Самым старым обучающим правилом является постулат обучения Хебба. Хебб опирался на следующие нейрофизиологические наблюдения: если нейроны с обеих сторон синапса активизируются одновременно и регулярно, то сила синаптической связи возрастает. Важной особенностью этого правила является то, что изменение синаптического веса зависит только от активности нейронов, которые связаны данным синапсом. Это существенно упрощает цепи обучения в реализации VLSI.

4. Обучение методом соревнования. В отличие от обучения Хебба, в котором множество выходных нейронов могут возбуждаться одновременно, при соревновательном обучении выходные нейроны соревнуются между собой за активизацию. Это явление известно как правило "победитель берет все". Подобное обучение имеет место в биологических нейронных сетях. Обучение посредством соревнования позволяет кластеризовать входные данные: подобные примеры группируются сетью в соответствии с корреляциями и представляются одним элементом [3].

Таким образом, в контексте нейронного распознавания образов обучение без учителя является более привлекательным за счет его "самостоятельности". Процесс обучения, как и в случае обучения с учителем, заключается в подстраивании весов синапсов. По аналогии с известными принципами самоорганизации нервных клеток, построены алгоритмы обучения Хебба.

Сигнальный метод обучения Хебба заключается в изменении весов по следующему правилу:

(1)

где y_i ^{(n-1) -} выходное значение нейрона i слоя (n-1), y_j ^{(n) -} выходное значение нейрона j слоя n; w_ij (t) и w_ij (t-1) - весовой коэффициент синапса, соединяющего эти нейроны, на итерациях t и t-1 соответственно; a - коэффициент скорости обучения. Здесь и далее, для общности, под n подразумевается произвольный слой сети. При обучении по данному методу усиливаются связи между возбужденными нейронами.

Существует также и дифференциальный метод обучения Хебба.

(2)

Здесь y_i ^{(n-1) (}t) и y_i ^{(n-1) (}t-1) - выходное значение нейрона i слоя n-1 соответственно на итерациях t и t-1; y_j ^{(n) (}t) и y_j ^{(n) (}t-1) - то же самое для нейрона j слоя n. Как видно из формулы (2), сильнее всего обучаются синапсы, соединяющие те нейроны, выходы которых наиболее динамично изменились в сторону увеличения [4].

Полный алгоритм обучения с применением вышеприведенных формул будет выглядеть так:

1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.

2. На входы сети подается входной образ, и сигналы возбуждения распространяются по всем слоям согласно принципам классических прямопоточных (feedforward) сетей, то есть для каждого нейрона рассчитывается взвешенная сумма его входов, к которой затем применяется активационная (передаточная) функция нейрона, в результате чего получается его выходное значение y_i ^(n), i=0. M_i-1, где M_i - число нейронов в слое i; n=0. N-1, а N - число слоев в сети.

3. На основании полученных выходных значений нейронов по формуле (1) или (2) производится изменение весовых коэффициентов.

4. Цикл с шага 2, пока выходные значения сети не застабилизируются с заданной точностью. Применение этого нового способа определения завершения обучения, отличного от использовавшегося для сети обратного распространения, обусловлено тем, что подстраиваемые значения синапсов фактически не ограничены.

На втором шаге цикла попеременно предъявляются все образы из входного набора.

Следует отметить, что вид откликов на каждый класс входных образов не известен заранее и будет представлять собой произвольное сочетание состояний нейронов выходного слоя, обусловленное случайным распределением весов на стадии инициализации. Вместе с тем, сеть способна обобщать схожие образы, относя их к одному классу. Тестирование обученной сети позволяет определить топологию классов в выходном слое. Для приведения откликов обученной сети к удобному представлению можно дополнить сеть одним слоем, который, например, по алгоритму обучения однослойного перцептрона необходимо заставить отображать выходные реакции сети в требуемые образы [5].

нейронная сеть распознавание образ

Литература

1. Уоссермен Ф. Нейрокомпьютерная техника: теория и практика / Пер. на рус. Ю.А. Зуев, В.А. Точенов. - 1992.

2. Заенцев И.В. Нейронные сети: основные модели. Учебное пособие к курсу “Нейронные сети”.

3. Галушкин А.И. Теория нейронных сетей. Кн.1: Учеб. пособие для вузов / Общая ред.А.И. Галушкина. - M.: ИПРЖР, 2000. - 416 с.

4. Горбань А.Н., Дунин-Барковский В.Л., Кирдин А.Н. и др. Нейроинформатика. - Новосибирск: Наука. Сибирское предприятие РАН, 1998. - 296 с.

5. http://www.orc.ru/~stasson/neurox.html

Размещено на Allbest.ru