Размещено на http://www.allbest.ru/

Лекция 5 Модели искусственных нейронных сетей

План

1. Однослойный персептрон

2. Многослойный персептрон

3. Сеть Хопфилда

4. Сеть Хемминга

5. Двунаправленная ассоциативная память

6. Сети встречного распространения

1. Однослойный персептрон

Первой моделью искусственных НС стала однослойная НС, предложенная в 1962 г. Ф.Розенблаттом, получившая название персептрон. Структура персептрона показана на рис. 5.1.

Размещено на http://www.allbest.ru/

Персептроном называется нейронная сеть, состоящая из одного слоя формальных нейронов Мак-Каллока, соединенных с помощью весовых коэффициентов с множеством входов.

Выходные сигналы персептрона формируются согласно выражению

, (5.1)

где активационная функция f является ступенчатой функцией (функция единичного скачка).

Для обучения рассматриваемой сети используется дельта-правило.

Размещено на http://www.allbest.ru/

2. Многослойный персептрон

Размещено на http://www.allbest.ru/

Самой известной и, возможно, наиболее распространенной моделью НС является многослойный персептрон (МПн). Элементы МПн разделены на несколько слоев (число их произвольно), внутри слоя элементы можно считать линейно упорядоченными и не взаимодействующими между собой. Каждый элемент сети (кроме элементов первого слоя) получает входной сигнал от каждого элемента предыдущего слоя, и выходной сигнал элемента (кроме элементов последнего слоя) поступает на вход элементов последующего слоя (рис. 5.3). Количество нейронов в слоях может быть произвольным. Обычно во всех скрытых слоях одинаковое количество нейронов. В таких сетях нет обратных связей, поэтому они относятся к классу сетей прямого распространения.

Матрица W^k организована следующим образом: столбцы - это вектора w_ik (веса каждого нейрона k-го слоя)

.

Активность нейрона чаще всего задается нелинейной функцией от синаптического возбуждения.

Наиболее распространенная процедура обучения для многослойного персептрона - обучение на основе обратного распространения ошибки (back propagation error) - ВР-алгоритм.

Сложноть задач, решаемых МСП, существенно зависит от количества слоев и нейронов в слоях. С увеличением количества слоев вследствие нелинейности пороговых функций потенциальные классификационные свойства персептрона возрастают.

Размещено на http://www.allbest.ru/

На рис. 5.4 представлены выпуклые области.

Пусть имеется двухслойная сеть, состоящая из трех нейронов (рис. 5.5). Чтобы порог был превышен и на выходе появилась единица, требуется, чтобы оба нейрона первого уровня на выходе имели единицу. Таким образом, выходной нейрон реализует логическую функцию И. В такой сети каждый нейрон первого слоя разбивает плоскость входных значений х₁-х₂ на две полуплоскости, один обеспечивает единичный выход для входов ниже верхней линии, другой - для входов выше нижней линии. На рис. 5.5 показан результат такого разбиения, где выходной сигнал нейрона второго слоя равен единице только внутри V-образной области. Следует отметить, что не все выходные области первого слоя должны пересекаться.

Размещено на http://www.allbest.ru/

Если в первом слое использовать три нейрона, то можно задать область треугольной формы. Т.о., с увеличением числа нейронов во входном слое возрастает число граней выпуклого многоугольника. Точки, не составляющие выпуклой области, не могут быть отделены от других точек плоскости двухслойной сетью.

3. Сеть Хопфилда

Сети прямого распространения (МСП) не обладают внутренним состоянием - значения выходов нейронов зависят только от входного вектора и не меняются во времени, если вход неизменен. Чтобы расширить диапазон решаемых задач, были предложены сети с обратными связями. Формализация их достаточно сложна, поэтому полное математическое описание пока создано только для простейших случаев для сетей с обратными связями. Дж. Хопфилд внес значительный вклад в развитие теории таких сетей.

Сеть Хопфилда представляет собой однослойную сеть с обратными связями (рис. 5.7). Таким образом, ее можно отнести к классу полносвязных сетей. Число нейронов сети соответствует числу входных сигналов. Все выходы нейронов являются выходами сети. Каждый нейрон связан синапсами со всеми остальными нейронами. Один синапс нейрона является входным, на него подается соответствующий элемент входного вектора.

Размещено на http://www.allbest.ru/

В данной лекции будет рассмотрено использование сети Хопфилда в качестве ассоциативной памяти.

Сеть Хопфилда позволяет по искаженному входному образу извлечь ближайший «наиболее похожий» к нему эталон (адресация по содержимому). Критерий «похожести» образов (векторов, подлежащих запоминанию в сети) зависит от конкретной задачи и может быть весьма сложным.

Алгоритм обучения ассоциативной памяти на сети Хопфилда

Сеть должна быть предварительно обучена на некоторой обучающей выборке. Обучение осуществляется без учителя путем предъявления сети набора входных образов из множества А (А_i, i=1,…,m). Для обучения используется правило Хебба, согласно которому синаптические веса формируются путем вычисления корреляций между состояниями отдельных нейронов. Связь между нейронами положительная, если состояния нейронов одинаковы и отрицательная, если состояния противоположны. Такое задание весов позволяет сети запомнить входные образы и обеспечить в дальнейшем возможность их извлечения по неполным и искаженным данным.

При обучении сети считается, что активационная функция равна 1 и входные сигналы (образы) без изменения подаются на выход нейрона.

Хопфилд разработал ассоциативную память с непрерывными выходами, изменяющимися в пределах от +1 до -1, соответствующих двоичным значениям 1 и 0. Запоминаемая информация кодируется двоичными векторами и хранится в весах согласно следующей формуле:

(5.2)

где m - число запоминаемых выходных векторов; k - номер запоминаемого выходного вектора.

Это же выражение можно записать в матричном виде:

, (5.3)

где А_k - k-й вектор входных образов; A^T_k - транспонированный k-й вектор входных образов; I- единичная матрица (она введена для того, чтобы обеспечить равенство нулю диагональных элементов синаптической карты w_ii=0).

Алгоритм работы ассоциативной памяти

Задача поиска ассоциации для входного вектора Х в сети Хопфилда совпадает с задачей поиска минимума энергии сети (формула 4.4). Таким образом, минимумы выступают как эталоны, сохраненные в памяти.

Функционирование сети заключается в том, что после выбора начальных состояний а(i,0) сеть «запускается» и после конечного числа итераций приходит в стабильное состояние с неизменными величинами а(i,t). Таким образом, любое изменение состояния элементов системы приводит к уменьшению энергии системы и за конечный промежуток времени система приходит в состояние равновесия с постоянными значениями активности а(i,t) и минимумом энергии. Причем элементы, состояние которых модифицируется в данный момент времени, могут выбираться случайным образом, либо в каждый момент времени одновременно модифицируются состояния всех элементов.

В качестве активационной функции чаще всего используют ступенчатую либо логистическую функцию. Если применяется ступенчатая функция, то правило вычисления активности элемента в момент t+1 имеет вид

(5.4)

Размещено на http://www.allbest.ru/

Функционирование сети легко визуализируется геометрически. На рис. 5.8 показана трехнейронная система, представленная кубом (в трехмерном пространстве), имеющим восемь вершин, каждая из которых помечена трехбитовым бинарным числом. В общем случае система с N нейронами имеет 2^N различных состояний и представляется N-мерным гиперкубом.

Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично искажен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой. На стадии инициализации веса должны выбираться так, чтобы образовывать энергетические минимумы в нужных вершинах единичного куба.

В сети Хопфилда часто возникают «ложные» локальные минимумы и геометрия энергетической поверхности сети имеет сложную форму. Чтобы избежать попадания системы в локальный минимум используют алгоритм машины Больцмана.

4. Сеть Хемминга

Нейронная сеть, которая реализует параллельное вычисление расстояний Хемминга от входного вектора до нескольких векторов-образов, называется сетью Хемминга.

Сеть Хэмминга является другой простейшей моделью ассоциативной памяти является. В этой сети на выходе НС формируется не сам образ в явном виде, а его номер. Таким образом, за каждым выходом сети закрепляется свой образ.

Сеть состоит из двух слоев по m нейронов каждый, где m - число образов. Нейроны первого слоя имеют по n синапсов, соединенных с входами сети. Нейроны второго слоя связаны между собой ингибиторными синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном (рис. 5.9).

Идея работы сети Хэмминга состоит в нахождении расстояния Хэмминга от входного образа (проверяемого) до всех хранимых в сети образов. Расстоянием Хэмминга называется число отличающихся бит в двух бинарных векторах. Сеть должна выбрать образ с минимальным расстоянием Хэмминга до неизвестного входного сигнала. В результате будет активизирован только один выход сети, соответствующий этому образу.

На стадии инициализации (в процессе обучения) весовым коэффициентам нейронов первого слоя и порогу активационной функции присваиваются следующие значения:

(5.5)

, (5.6)

где x_i^k - i-ый элемент k-го образа из множества А.

Элементы весовой матрицы W⁽²⁾ выбираются одинаковыми для всех синапсов и равными некоторой величине за исключением диагональных элементов:

(5.7)

Размещено на http://www.allbest.ru/

Активационная функция обычно выбирается ступенчатая пороговая или кусочно-линейная (рис. 5.10). Причем величина t должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

Размещено на http://www.allbest.ru/

нейронный сеть персептрон ассоциативный

5. Двунаправленная ассоциативная память

Сеть Хопфилда и Хэмминга, используемые в качестве ассоциативной памяти, не могут формировать ассоциации хранимых образов друг с другом. Двунаправленная ассоциативная память способна к обобщению, вырабатывая правильные образы под воздействием искаженных входных сигналов, а также данная сеть позволяет формировать ассоциации между парами векторов.

ДАП состоит из двух слоев нейронов с обратными связями от второго слоя к первому. Выходами сети являются выходы всех нейронов (рис. 5.11).

Размещено на http://www.allbest.ru/

В качестве функции активации используются либо логистическая, либо ступенчатая пороговая функция (она чаще всего). В простейших реализациях ДАП с логистической функцией коэффициент выбирается большим, и S-образная функция стремиться к пороговой.

Алгоритм обучения сети ДАП

Обучение происходит алгоритмом без учителя. В процессе обучения сети предъявляются пары ассоциированных между собой образов (A_k, Е_k), k=. Весовая матрица второго слоя задается как сумма произведений всех пар векторов

(5.13)

где - транспонированный вектор k-го входного образа.

Элементы весовой матрицы обратных связей (первого слоя) задаются исходя из матрицы W:

. (5.14)

Алгоритм работы сети ДАП состоит из циклов, в каждом из которых происходит уточнение выходных векторов обоих слоев до тех пор, пока не будет достигнута точка стабильности сети.

Если искаженный или незавершенный образ подается на вход сети, то она способна выдать ближайший к данному образу Е, который стремиться исправить ошибки в образе А. На это требуется, как правило, несколько циклов работы сети. Однако сеть ДАП всегда является устойчивой. Устойчивость сети обеспечивается тем, что синаптическая карта в обратных связях выбирается равной транспонированной карте в прямых связях сети.

6. Сети встречного распространения

Сеть встречного распространения (СВР) была предложена Робертом Хехт-Нильсеном в 1987 г. Сети встречного распространения характеризуются существенно меньшим временем обучения, чем слоистые сети, использующие алгоритм обратного распространения ошибки. Сети данного типа объединяют две известные модели НС: самоорганизующиеся карты Кохонена и сети Гроссберга. Такое объединение позволило достигнуть новых свойств, которых нет ни у одной из них в отдельности. Комбинирование различных моделей НС позволяет построить модели, более близкие к мозгу по архитектуре. Сеть СВР обладает хорошей обобщающей способностью.

Сеть СВР состоит из двух слоев без обратных связей и связей нейронов внутри слоя. Первый слой является слоем нейрона Кохонена. Входной вектор сети подается на все нейрона слоя Кохонена. Второй слой является слоем нейронов Гроссберга. Каждый нейрон слоя Кохонена через соответствующие синаптические связи соединен с каждым нейроном слоя Гроссберга. Выходы нейронов второго слоя образуют вектор выходных сигналов сети (рис. 5.12).

Каждый элемент сети u(n) характеризуется собственным набором коэффициентов связи, по которым к нему поступает входной сигнал x(t)=x_k(t), k=1,N: w(n,t)=w_k(n,t), k=1,N.

В процессе обучения сети предъявляются обучающие примеры (A_k, D_k), k=1,m. Слой Кохонена обучается по правилу Кохонена, слой Гроссберга - по Дельта-правилу.

Размещено на http://www.allbest.ru/

Нормализация входных векторов

Перед началом обучения входные образы, как правило нормализуют, чтобы получился вектор с тем же направлением, но единичной длины. Для этого каждую компоненту входного вектора делят на длину вектора.

(7.1)

Выбор начальных значений весовых коэффициентов.

В простых реализациях весовым матрицам W⁽¹⁾ и W⁽²⁾ на этапе инициализации присваиваются случайные значения. Однако для слоя Кохонена такая процедура не является оптимальной. После начальной инициализации вектора синаптических весов будет распределяться равномерно по поверхности гиперсферы единичного радиуса. В то же время входные векторы, как правило, распределены неравномерно и могут быть сосредоточены на относительно малой части поверхности гиперсферы. Это может привести к тому, что часть весовых векторов будет так удалена от любого входного вектора, что никогда не приблизится к ним, т.е. будет иметь нулевой выход и фактически окажется бесполезной. Оставшихся же векторов может оказаться слишком мало, чтобы разделить входные образы на классы, которые могут быть слишком близко расположены друг к другу.

Более эффективным решением является начальное распределение весовых векторов в соответствии с плотностью распределения входных образов. На практике это не выполнимо, однако существуют методы приближенного достижения этой цели.

Метод выпуклой комбинации

Все веса слоя Кохонена приравниваются одной и той же величине

. (5.16)

Компонентом входных векторов А_к' присваиваются значения

. (5.17)

Т.о., вектор синаптических весов отслеживают один или небольшую группу близких векторов, постепенно приближающихся к своим истинным значениям.

Активационная функция в процессе функционирования сети является линейной с =0 как для нейронов Кохонена, так и для нейронов Гроссберга. Для всего слоя Кохонена дополнительно вычисляется общая функция от значения активности нейронов этого слоя. Эти функции соответствуют функциям выбора нейрона для модификации весового вектора (либо нейрон с максимальным выходным значением, либо с наименьшим расстоянием между вектором входных значений в p-мерном пространстве, либо функция SoftMax).

Если в процессе функционирования СВР в слое Кохонена активизируется один нейрон, то говорят, что СВР работает по методу аккредитации (рис. 5.14). Если активизируется группа нейронов используется метод интерполяции. В этом случае вектор выходов нейронов группы нормализуется и используется далее для вычисления выходов нейронов Гроссберга. Метод интерполяции позволяет реализовать более сложные ассоциации образов.

Размещено на http://www.allbest.ru/

Размещено на Allbest.ru