Характеристика основных методик построения и расчета нейронных сетей

Не является оптимальным вариантом, так как желательно, чтобы распределение значений и начальных значений было одинаковое. То есть, надо, чтобы распределение весовых векторов было в соответствии с плотностью входных векторов.

2. Метод выпуклой комбинации.

Все веса приравниваются к:

где число входов

Благодаря этому все весовые векторы совпадают и имеют единичную длину. Каждой же компоненте входа придается значение:

Вначале очень мало, вследствие чего все входные векторы имеют длину, близкую к ,, и почти совпадают с векторами весов. В процессе обучения сети постепенно возрастает, приближаясь к единице, и совмещается с. Это позволяет разделять входные векторы и окончательно приписывать им истинные значения. Метод выпуклой комбинации хорошо работает, но замедляет процесс обучения, так как весовые векторы подстраиваются к изменяющейся цели.

3. «Чувство справедливости»

Доля времени равна:



где число нейронов Кохонена

Если нейрон становится победителем чаще своей законной доли времени. Он временно увеличивает свой порог, что уменьшает его шансы на выигрыш, давая тем самым возможность обучиться другим нейронам.

4. Обобщенная структура сети встречного распространения

Примечание: есть две структуры, упрощенная и полная, не понятно какая из них обобщённая, но упрощенная уже была, и вот ссылка на упрощенную, а тут будет полная.

Структура сети

Содержит 2 входных вектора и 2 выходных вектора

Рис. 15

Векторы и тоже должны быть нормализованными.

В процессе обучения векторы и подаются одновременно с желаемыми выходными сигналами. Вектор используется для обучения выходов , а вектор - для обучения выходов . Сеть встречного распространения обучается с использованием того же самого метода, что и упрощенная структура сети.

Отличия от упрощенной сети встречного распространения.

Входной вектор состоит из двух частей и выходной вектор состоит из двух частей . То есть во всех формулах должен добавляться еще слагаемое

Рис. 16

В полной активационная функция WTA реализована с помощью латерально-тормозящих связей в слое распознавания. То есть победитель определяется на за 1 такт как в упрощенной (найти максимальный среди всех: ), а итерационно и следовательно, может быть несколько победителей.

Функционирование сети

В обученную сеть можно подавать комбинацию векторов: и во всех случаях будет формироваться вектор из двух частей .

Назначение сети

Сжатие.

Аппроксимация. Функцию , отображающую Х в Y', сеть аппроксимирует.

Генерация функции и если функция обратима, то и обратную

Дополнительно, еще на лк была такая структура:



Рис. 17

5. Стохастические методы обучения. Больцмановское обучение

Больцмановское обучение

Этот стохастический метод непосредственно применим к обучению искусственных нейронных сетей:

1. Определить переменную Т, представляющую искусственную температуру. Придать Т большое начальное значение.

2. Предъявить сети множество входов и вычислить выходы и целевую функцию.

3. Дать случайное изменение весу и пересчитать выход сети и изменение целевой функции в соответствии со сделанным изменением веса.

4. Если целевая функция уменьшилась (улучшилась), то сохранить изменение веса.

Если изменение веса приводит к увеличению целевой функции, то вероятность сохранения этого изменения вычисляется с помощью распределения Больцмана:

Р(с) = ехр(- e/kT),



где Р(с) - вероятность изменения с в целевой функции; k - константа, аналогичная константе Больцмана, выбираемая в зависимости от задачи; Т - искусственная температура.

Выбирается случайное число r из равномерного распределения от нуля до единицы. Если Р(с) больше, чем r, то изменение сохраняется, в противном случае величина веса возвращается к предыдущему значению.

Это позволяет системе делать случайный шаг в направлении, портящем целевую функцию, позволяя ей тем самым вырываться из локальных минимумов, где любой малый шаг увеличивает целевую функцию.

Для завершения больцмановского обучения повторяют шаги 3 и 4 для каждого из весов сети, постепенно уменьшая температуру Т, пока не будет достигнуто допустимо низкое значение целевой функции. В этот момент предъявляется другой входной вектор, и процесс обучения повторяется. Сеть обучается на всех векторах обучающего множества, с возможным повторением, пока целевая функция не станет допустимой для всех них.

Величина случайного изменения веса на шаге 3 может определяться различными способами. Например, подобно тепловой системе весовое изменение w может выбираться в соответствии с гауссовским распределением:

P(w) = exp(- w2/T2),

где P(w) - вероятность изменения веса на величину w, Т - искусственная температура.

Так как нужна величина изменения веса w, а не вероятность изменения веса, имеющего величину w, то метод Монте-Карло может быть использован следующим образом:

1. Найти кумулятивную вероятность, соответствующую P(w). Это есть интеграл от P(w) в пределах от 0 до w. Так как в данном случае P(w) не может быть проинтегрирована аналитически, она должна интегрироваться численно, а результат необходимо затабулировать.

2. Выбрать случайное число из равномерного распределения на интервале (0,1). Используя эту величину в качестве значения P(w), найти в таблице соответствующее значение для величины изменения веса.

Свойства машины Больцмана широко изучались. Было показано, что скорость уменьшения температуры должна быть обратно пропорциональна логарифму времени, чтобы была достигнута сходимость к глобальному минимуму. Скорость охлаждения в такой системе выражается следующим образом:

T(t) = To / lg(1+t),

где T(t) - искусственная температура как функция времени; Т - начальная искусственная температура; t -искусственное время.

Этот разочаровывающий результат предсказывает очень медленную скорость охлаждения (и данные вычисления). Этот вывод подтвердился экспериментально. Машины Больцмана часто требуют для обучения очень большого ресурса времени.

6. Стохастические методы обучения. Обучение Коши

Обучение Коши

В методе Коши при вычислении величины шага распределение Больцмана заменяется на распределение Коши. Распределение Коши имеет, как показано на рис. 22, более длинные «хвосты», увеличивая тем самым вероятность больших шагов. действительности распределение Коши имеет бесконечную (неопределенную) дисперсию. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана. Это резко уменьшает время обучения. Эта связь может быть выражена следующим образом:

T(t) = To/(1 + t).

Распределение Коши имеет вид

P(x) = T(t)/[T(t)2+х2],

где Р(х) есть вероятность шага величины х.

Рис. 18. Распределение Коши и распределение Больцмана

В уравнении Р(х) может быть проинтегрирована стандартными методами. Решая относительно х, получаем

Xc = {T(t) tg[P(x)]},

где р - коэффициент скорости обучения; х - изменение веса.

Теперь применение метода Монте Карло становится очень простым. Для нахождения х в этом случае выбирается случайное число из равномерного распределения на открытом интервале (-/2, /2) (необходимо ограничить функцию тангенса). Оно подставляется в формулу в качестве Р(х), и с помощью текущей температуры вычисляется величина шага.

Метод искусственной теплоемкости

Несмотря на улучшение, достигаемое с помощью метода Коши, время обучения может оказаться все еще слишком большим. Способ, уходящий своими корнями в термодинамику, может быть использован для ускорения этого процесса. В этом методе скорость уменьшения температуры изменяется в соответствии с искусственной «теплоемкостью», вычисляемой в процессе обучения.

Во время отжига металла происходят фазовые переходы, связанные с дискретными изменениями уровней энергии. При каждом фазовом переходе может иметь место резкое изменение величины, называемой теплоемкостью. Теплоемкость определяется как скорость изменения температуры с энергией. Изменения теплоемкости происходят из-за попадания системы в локальные энергетические минимумы.

Искусственные нейронные сети проходят аналогичные фазы в процессе обучения. На границе фазового перехода искусственная теплоемкость может скачкообразно измениться. Эта псевдотеплоемкость определяется как средняя скорость изменения температуры с целевой функцией. При очень низких температурах система замерзает в точке минимума, так что теплоемкость снова близка к константе. Ясно, что в каждой из этих областей допустимы сильные изменения температуры, так как не происходит улучшения целевой функции.

При критических температурах небольшое уменьшение температуры приводит к большому изменению средней величины целевой функции. В этих критических точках алгоритм должен изменять температуру очень медленно, чтобы гарантировать, что система не замерзнет случайно в точке А, оказавшись пойманной в локальный минимум. Критическая температура может быть обнаружена по резкому уменьшению искусственной теплоемкости, т.е. средней скорости изменения температуры с целевой функцией. При достижении критической температуры скорость изменения температуры должна замедляться, чтобы гарантировать сходимость к глобальному минимуму.

При всех остальных температурах может без риска использоваться более высокая скорость снижения температуры, что приводит к значительному снижению времени обучения.

7. Комбинированный метод обратного распространения и обучения Коши

Комбинированный метод обратного распространения и обучения Коши

Обратное распространение обладает преимуществом прямого поиска, т.е. веса всегда корректируются в направлении, минимизирующем функцию ошибки. Хотя время обучения и велико, оно существенно меньше, чем при случайном поиске, выполняемом машиной Коши, когда находится глобальный минимум, но многие шаги выполняются в неверном направлении, что отнимает много времени.

Соединение этих двух методов дает хорошие результаты. Коррекция весов, равная сумме, вычисленной алгоритмом обратного распространения, и случайный шаг, задаваемый алгоритмом Коши, приводят к системе, которая сходится и находит глобальный минимум быстрее, чем система, обучаемая каждым из методов в отдельности. Простая эвристика используется для избежания паралича сети, который может иметь место как при обратном распространении, так и при обучении по методу Коши.

Коррекция весов в комбинированном алгоритме, использующем обратное распространение и обучение Коши, состоит из двух компонент: (1) направленной компоненты, вычисляемой с использованием алгоритма обратного распространения, и (2) случайной компоненты, определяемой распределением Коши.

Эти компоненты вычисляются для каждого веса, и их сумма является величиной, на которую изменяется вес. Как и в алгоритме Коши, после вычисления изменения веса вычисляется целевая функция. Если имеет место улучшение, изменение сохраняется. В противном случае оно сохраняется с вероятностью, определяемой распределением Больцмана.

Коррекция веса вычисляется с использованием представленных ранее уравнений для каждого из алгоритмов:

Wpq,k(n+1) = Wpq,k(n)+ [Wpq,k(n) + (1-)pq,k OUTp,j] + (1-)Xc,

где - коэффициент, управляющий относительными величинами Коши и обратного распространения в компонентах весового шага. Если приравнивается нулю, система становится полностью машиной Коши. Если приравнивается единице, система становится машиной обратного распространения.

Изменение лишь одного весового коэффициента между вычислениями весовой функции неэффективно. Оказалось, что лучше сразу изменять все веса целого слоя. Преодоление сетевого паралича комбинированным методом обучения. Как и в машине Коши, если изменение веса ухудшает целевую функцию, - с помощью распределения Больцмана решается, сохранить ли новое значение веса или восстановить предыдущее значение. Таким образом, имеется конечная вероятность того, что ухудшающее множество приращений весов будет сохранено. Так как распределение Коши имеет бесконечную дисперсию, то весьма вероятно возникновение больших приращений весов, часто приводящих к сетевому параличу.

Для решения проблемы паралича был найден метод, не нарушающий достигнутого обучения. Насыщенные нейроны выявляются с помощью измерения их сигналов OUT. Когда величина OUT приближается к своему предельному значению, положительному или отрицательному, на веса, питающие этот нейрон, действует сжимающая функция.

Она подобна используемой для получения нейронного сигнала OUT, за исключением того, что диапазоном ее изменения является интервал (+5,-5) или другое подходящее множество. Тогда модифицированные весовые значения равны

Wpq,k = - 5 + 10/[1 + ехр( - Wpq,k /5)].

Эта функция сильно уменьшает величину очень больших весов, воздействие на малые веса значительно более слабое. Далее она поддерживает симметрию, сохраняя небольшие различия между большими весами. Экспериментально было показано, что эта функция выводит нейроны из состояния насыщения без нарушения достигнутого в сети обучения.

7. Сеть Хопфилда. Свойства сети

Сеть Хопфилда

Сеть Хопфилда, в отличие, например, от сетей встречного или обратного распространения, обладает обратной связью, то есть связями, идущими от выхода к входу. Отсутствие обратной связи гарантирует безусловную устойчивость сетей. Так как сети с обратными связями имеют пути, передающие сигналы от выходов к входам, то отклик таких сетей является динамическим, то есть после приложения нового входа вычисляется выход и, передаваясь по сети обратной связи, модифицирует вход. Затем вход повторно вычисляется, и процесс повторяется снова и снова. Для устойчивой сети последовательные итерации приводят к все меньшим изменениям выхода, пока в конце концов выход не становится постоянным. Для многих сетей процесс никогда не заканчивается, такие сети называют неустойчивыми.

Структура сети

На рис. 19 показана сеть с обратными связями, состоящая из двух слоев. Нулевой слой не выполняет вычислительной функции, а лишь распределяет выходы сети обратно на входы. Каждый нейрон первого слоя вычисляет взвешенную сумму своих входов, давая сигнал NET, который затем с помощью нелинейной функции F преобразуется в сигнал OUT.

Рис. 19. Однослойная сеть с обратными связями

В первой работе Хопфилда функция F была просто пороговой функцией. Выход такого нейрона равен единице, если взвешенная сумма выходов с других нейронов больше порога Tj, в противном случае она равна нулю. Он вычисляется следующим образом:

NETj = wij OUTi + Inj, i j

OUTj = 1, если NETj > Tj,

OUTj = 0, если NETj < Tj,

OUTj не изменяется, если NETj = Tj,

Состояние сети - это множество текущих значений сигналов OUT от всех нейронов. В первоначальной сети Хопфилда состояние каждого нейрона менялось в дискретные случайные моменты времени, в последующей работе состояния нейронов могли меняться одновременно. Так как выходом бинарного нейрона может быть только ноль или единица, то текущее состояние сети является двоичным числом, каждый бит которого является сигналом выхода OUT некоторого нейрона.



Рис. 20. Два нейрона порождают систему с четырьмя состояниями

Функционирование сети легко визуализируется геометрически. На рис. 20 показан случай двух нейронов в выходном слое, причем каждой вершине квадрата соответствует одно из четырех состояний системы (00, 01, 10, 11). На рис. 21 показана трехнейронная система, представленная кубом (в трехмерном пространстве), имеющим восемь вершин, каждая из которых помечена трехбитовым бинарным числом. В общем случае система с n нейронами имеет 2n различных состояний и представляется n-мерным гиперкубом.

Рис. 21. Три нейрона порождают систему с восемью состояниями

Когда подается новый входной вектор, сеть переходит из вершины в вершину, пока не стабилизируется. Устойчивая вершина определяется сетевыми весами, текущими входами и величиной порога. Если входной вектор частично неправилен или неполон, то сеть стабилизируется в вершине, ближайшей к желаемой.

Устойчивость сети Хопфилда

Веса соединений между слоями в этой сети могут рассматриваться в виде матрицы W. Сеть с обратными связями является устойчивой, если ее матрица симметрична и имеет нули на главной диагонали. Т.е. wij = wji и wii=0, для всех i и j.

Устойчивость такой сети доказывается с помощью следующего математического метода. Допустим, что найдена функция, которая всегда убывает при изменении состояния сети. В конце концов, эта функция должна достичь минимума и прекратить изменение, гарантируя тем самым устойчивость сети. Такая функция, называемая функцией Ляпунова, для рассматриваемых сетей с обратными связями может быть введена следующим образом:

E = (-1/2)i jwij OUTi OUTj-jIjOUTj+jTjOUTj,

где

E - искусственная энергия сети;

wij - вес от выхода нейрона i к входу нейрона j;

OUTj - выход нейрона j;

Ij - внешний вход нейрона j;

Tj - порог нейрона j.

Изменение энергии Е, вызванное изменением состояния j-го нейрона, есть

E = [(wij OUTi)+Ij-Tj]OUTj, i j

E = -[NETj-Tj ]OUTj,

где

OUTj - изменение выхода j-го нейрона.

Допустим, что величина NET нейрона j больше порога. Тогда выражение в скобках будет положительным, а из уравнения следует, что выход нейрона j должен измениться в положительную сторону (или не измениться). Это значит, что OUTj может быть только положительным или нулем и E должно быть отрицательным. Следовательно, энергия сети должна либо уменьшиться, либо остаться без изменения.

Далее, допустим, что величина NET меньше порога. Тогда величина OUTj может быть только отрицательной или нулем. Следовательно, опять энергия сети должна либо уменьшиться, либо остаться без изменения.

И окончательно, если NET равна порогу, j равна нулю и энергия остается без изменения.

Это показывает, что любое изменение состояния нейрона либо уменьшает энергию, либо оставит ее без изменения. Благодаря такому непрерывному стремлению к уменьшению энергия, в конце концов, должна достигнуть минимума и прекратить изменение. По определению такая система является устойчивой.

Непрерывные сети Хопфилда

Системы с непрерывной активационной функцией F точнее моделируют биологический нейрон.

Как и для бинарных систем, устойчивость гарантируется, если веса симметричны, т.е. wij = wji и wii=0, для всех i и j.

Если велико, непрерывные системы функционируют подобно дискретным бинарным системам, окончательно стабилизируясь со всеми выходами, близкими нулю или единице, т.е. в вершине единичного гиперкуба.

С уменьшением устойчивые точки удаляются от вершин, последовательно исчезая по мере приближения к нулю.

Статистические сети Хопфилда

Если правила изменения состояний для бинарной сети Хопфилда заданы статистически, а не детерминировано, как в уравнении, то возникает система, имитирующая отжиг.

Для ее реализации вводится вероятность изменения веса как функция от величины, на которую выход нейрона OUT превышает его порог. Пусть

Ek = NETk - Qk,

где

NETk - выход NET нейрона k;

Qk - порог нейрона k,

и

pk = 1/[1+exp(-Ek/T)],

где

Т - искусственная температура.

В стадии функционирования искусственной температуре присваивается большое значение, нейроны устанавливаются в начальном состоянии, определяемом входным вектором, и сети предоставляется возможность искать минимум энергии в соответствии с нижеследующей процедурой:

Приписать состоянию каждого нейрона с вероятностью pk значение единица, а с вероятностью (1 - pk) - нуль.

Постепенно уменьшать искусственную температуру и повторять шаг 1, пока не будет достигнуто равновесие.

Алгоритм обучения

Для обучения сети Хопфилда могут использоваться несколько алгоритмов.

Базовое обучающее правило для сети Хопфилда имеет достаточно простой вид:

wij = (2xi - 1)(2xj - 1),



где

wij - вес соединения между j-м и i-м процессорными элементами;

xi - выход текущего нейрона;

xj - вход нейрона;

xi и xj могут принимать значения только 0 или 1.

Правило обучения Хебба определяет формирование синаптических весов в сети следующим образом:

Wij = ?Xik Xjk, i?j,

0, если i=j, i=1…N, j=1…N,

где M -количество векторов-образцов;

N - размерность входного сигнала;

Xjk - i-я компонента запоминаемого входного вектора k.

Приведенная ниже таблица демонстрирует формирование весовых коэффициентов в сети Хопфилда при использовании различных правил обучения.

Таблица 3

Xi (выход)	0	0	1	1
Xj (вход)	0	1	0	1
Правило Хебба	0	0	0	1
Правило Хопфилда	1	-1	-1	1
Правило Анти-Хебб	0	0	-1	1

Свойства сети Хопфилда

1. Емкость сети.

Теоретически сеть из n двоичных нейронов может иметь 2n состояний.

Экспериментально было показано, что в общем случае предельное значение емкости ближе к 0,15*n, а число состояний не может превышать n, что согласуется с наблюдениями над реальными системами и является наилучшей на сегодняшний день оценкой.

2. Перекрестные ассоциации.

Если два образа А и Б сильно похожи , то они, возможно, будут вызывать у сети перекрестные ассоциации: предъявление А приведет к появлению на выходе Б и наоборот.

3. Генерация «ложных образов».

Это устойчивый локальный экстремум энергии не соответствующий никакому образу. В некотором смысле, собирательный образ.

4. Хранение «негативных» образов.

16. Сеть Хэмминга.

Среди различных конфигураций искусственных нейронных сетей встречаются такие, при классификации которых по принципу обучения, строго говоря, не подходят ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету. С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой - сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с "миром" (учителем) не приходится. Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хэмминга, которые обычно используются для организации ассоциативной памяти.

Структура сети

Когда нет необходимости, чтобы сеть в явном виде выдавала образец, то есть достаточно, скажем, получать номер образца, ассоциативную память успешно реализует сеть Хэмминга. Данная сеть характеризуется, по сравнению с сетью Хопфилда, меньшими затратами на память и объемом вычислений, что становится очевидным из ее структуры.

Сеть состоит из двух слоев. Первый и второй слои имеют по m нейронов, где m - число образцов. Нейроны первого слоя имеют по n синапсов, соединенных со входами сети (образующими фиктивный нулевой слой). Нейроны второго слоя связаны между собой ингибиторными (отрицательными обратными) синаптическими связями. Единственный синапс с положительной обратной связью для каждого нейрона соединен с его же аксоном.

Рис. 22. Структура сети Хэмминга

Идея работы сети состоит в нахождении расстояния Хэмминга от тестируемого образа до всех образцов. Расстоянием Хэмминга называется число отличающихся битов в двух бинарных векторах. Сеть должна выбрать образец с минимальным расстоянием Хэмминга до неизвестного входного сигнала, в результате чего будет активизирован только один выход сети, соответствующий этому образцу.

На стадии инициализации весовым коэффициентам первого слоя и порогу активационной функции присваиваются следующие значения:

wik = xik/2, i=0...n-1, k=0...m-1;

Tk = n / 2, k = 0...m-1.



Здесь xik - i-ый элемент k-ого образца.

Весовые коэффициенты тормозящих синапсов во втором слое берут равными некоторой величине 0 <- е < 1/m. Выход нейрона, связанный с его же входом имеет вес +1.

Алгоритм функционирования

Алгоритм функционирования сети Хэмминга следующий:

1. На входы сети подается неизвестный вектор X = {xi:i=0...n-1}, исходя из которого рассчитываются состояния нейронов первого слоя (верхний индекс в скобках указывает номер слоя):

, j=0...m-1

После этого полученными значениями инициализируются значения выходов второго слоя:

yj(2) = yj(1), j = 0...m-1

2. Вычислить новые состояния нейронов второго слоя:

и значения их выходов:



Активационная функция f имеет вид порога, причем величина F должна быть достаточно большой, чтобы любые возможные значения аргумента не приводили к насыщению.

3. Проверить, изменились ли выходы нейронов второго слоя за последнюю итерацию. Если да - перейди к шагу 2. Иначе - конец.

Из оценки алгоритма видно, что роль первого слоя весьма условна: воспользовавшись один раз на шаге 1 значениями его весовых коэффициентов, сеть больше не обращается к нему, поэтому первый слой может быть вообще исключен из сети (заменен на матрицу весовых коэффициентов).

Сравнение с сетью Хопфилда

Количество соединений в сети Хопфилда оценивается следующей формулой:

Chор = N(N-1),

где N-число входов.

Количество соединений в сети Хэмминга оценивается следующей формулой:

Chам = M(N+M),

где M-число образов.

При N=100 и M=10

Chор = 10000,

Chам = 1100.

Емкость сети Хопфилда = 0,15N=15 ,

Емкость сети Хэмминга = M=10.

Это сравнение не корректно, так как рассмотренные сети имеют разное число соединений. Сравним емкости сетей Хопфилда и Хэмминга, задавшись одинаковым количеством соединений в этих сетях.

Пусть Chор = Chам = 10000. Найдем число образов, которое может хранить сеть Хэмминга.

(100+M)M=100000. Отсюда, M=60.

Таким образом, в данном случае емкость сети Хэмминга почти в 4 раза больше, чем емкость сети Хопфилда.

По лекции:

Сеть Хэмминга не будет давать на выходе эталонный образ, на выходе сети будет не сам образ, а его номер. На самом деле нет 1 и 2 слоя, там один слой и называется он слой «Категорий». Размерность входного вектора Х от 1 до n, число нейронов m.

n - размерность входного вектора

m - сколько эталонных векторов будет запоминать сеть Хэмминга (ёмкость этой сети).

Входной вектор и первый слой связаны каждый с каждым, т.е. имеет место матрица весов W. А связи находящиеся во втором слое это как раз обратные связи.

Рис. 23

2 названный слой

+ 1 и - е (эпсилон) это весовые коэффициенты

С выхода нейрона есть положительная связь, которая будет фактически усиливать выход самого нейрона и есть связи отрицательные, которые будут подавлять (вот этими отрицательными весовыми коэффициентами) другие нейроны и за счет этого как раз организуется соревнование.

Идея работы сети Хэмминга - это нахождение расстояния Хэмминга от входного вектора до заполненных эталонных векторов (в алгоритме этого не видно, это заложено в структуре сети).

Функционирование:

Умножается входной вектор на матрицу весов, определяем выходы 1 (условного) слоя (Категорий), затем идет работа в слое с обратными связями (2 условный слой Категорий).

Алгоритм:

Сеть выбирает эталонный вектор с минимальным расстоянием Хэмминга до входного вектора и в результате функционирования сети у нас единичным будет только один нейрон(один из m нейронов на выходном слое, тот, который соответствует поданному входному сигналу Х), но это только в том случае у нас сеть за какое-то количество итераций успело найти одного победителя (в NeuralWorks установлено ограничение на количество итераций, а именно 52, на самом деле 50, но все дело видимо в счетчиках итераций). Если же сеть не успела определить одного победителя то мы будем видеть что у нас на выходе не один образ(не один нейрон) единичный, а может быть несколько единичных образов, т.е. сеть будет выдавать несколько победителей

Пример правильного распознавания:



Рис. 24

Обучение сети Хэмминга происходит неитерационно за один проход на основании заданных входных векторов. На этапе инициализации задается матрица весов между входным слоем и слоем категорий, задаются пороговые значения, так же задаются значения эпсилон (отрицательных обратных связей)

Алгоритм функционирования 1 этап

*это i-тая компонента k-го входного вектора

xik

Задаем вес:

Порог k-го входного вектора:



n - размерность входного вектора

Позволяют определять расстояние Хэмминга.

В формуле - минус эпсилон: 0<- е <1/m

m - общее число образов, которое запоминает слой

8. Двунаправленная ассоциативная память

Память человека часто является ассоциативной; один предмет напоминает нам о другом, а этот другой о третьем. Если позволить нашим мыслям, они будут перемещаться от предмета к предмету по цепочке умственных ассоциаций. Кроме того, возможно использование способности к ассоциациям для восстановления забытых образов. Если мы забыли, где оставили свои очки, то пытаемся вспомнить, где видели их в последний раз, с кем разговаривали и что делали. Посредством этого устанавливается конец цепочки ассоциаций, что позволяет нашей памяти соединять ассоциации для получения требуемого образа.

Ассоциативная память Хопфилда является, строго говоря, автоассоциативной, это означает, что образ может быть завершен или исправлен, но не может быть ассоциирован с другим образом. Данный факт является результатом одноуровневой структуры ассоциативной памяти, в которой вектор появляется на выходе тех же нейронов, на которые поступает входной вектор.

Двунаправленная ассоциативная память (ДАП) является гетероассоциативной; входной вектор поступает на один набор нейронов, а соответствующий выходной вектор вырабатывается на другом наборе нейронов. Как и сеть Хопфилда, ДАП способна к обобщению, вырабатывая правильные реакции, несмотря на искаженные входы. Кроме того, могут быть реализованы адаптивные версии ДАП, выделяющие эталонный образ из зашумленных экземпляров. Эти возможности сильно напоминают процесс мышления человека и позволяют искусственным нейронным сетям сделать шаг в направлении моделирования мозга.

Структура ДАП

На рис. приведена базовая конфигурация ДАП. Она выбрана таким образом, чтобы подчеркнуть сходство с сетями Хопфилда и предусмотреть увеличение количества слоев.

Рис. 24. Конфигурация двунаправленной ассоциативной памяти

Входной вектор А обрабатывается матрицей весов W сети, в результате чего вырабатывается вектор выходных сигналов нейронов В. Вектор В затем обрабатывается транспонированной матрицей Wt весов сети, которая вырабатывает новые выходные сигналы, представляющие собой новый входной вектор А. Этот процесс повторяется до тех пор, пока сеть не достигнет стабильного состояния, в котором ни вектор А, ни вектор В не изменяются. Заметим, что нейроны в слоях 1 и 2 функционируют, как и в других парадигмах, вычисляя сумму взвешенных входов и вычисляя по ней значение функции активации F. Этот процесс может быть выражен следующим образом:

B=F(AW),

где В - вектор выходных сигналов нейронов слоя 2,

А - вектор выходных сигналов нейронов слоя 1,

W - матрица весов связей между слоями 1 и 2,

F - функция активации.

Аналогично

A = F(BWt),

где Wt является транспозицией матрицы W.

В качестве активационной функции в простейшем случае используется пороговая функция.

Примем также, что внутри каждого нейрона существует память в слоях 1 и 2 и что выходные сигналы нейронов изменяются одновременно с каждым тактом синхронизации, оставаясь постоянными между этими тактами. Таким образом, поведение нейронов может быть описано следующими правилами:

OUTi(n+l)=l, если NETi (n) > О,

OUTi(n+l)=0, если NETi(n)<0,

OUTi(n + 1) = OUT(n), если NETi(n) = О,



где OUTi(n) представляет собой величину выходного сигнала нейрона i в момент времени n.

Заметим, что в описанных ранее сетях слой 0 не производит вычислений и не имеет памяти; он является только средством распределения выходных сигналов слоя 2 к элементам матрицы Wt .

Функционирование сети

Долговременная память (или ассоциации) реализуется в весовых массивах W и Wt. Каждый образ состоит из двух векторов: вектора А, являющегося выходом слоя 1, и вектора В, ассоциированного образа, являющегося выходом слоя 2. Для восстановления ассоциированного образа вектор А или его часть кратковременно устанавливаются на выходах слоя 1. Затем вектор А удаляется и сеть приводится в стабильное состояние, вырабатывая ассоциированный вектор В на выходе слоя 2. Затем вектор В воздействует через транспонированную матрицу W , воспроизводя воздействие исходного входного вектора А на выходе слоя 1. Каждый такой цикл вызывает уточнение выходных векторов слоя 1 и 2 до тех пор, пока не будет достигнута точка стабильности в сети. Эта точка может быть рассмотрена как резонансная, так как вектор передается обратно и вперед между слоями сети, всегда обрабатывая текущие выходные сигналы, но больше не изменяя их. Состояние нейронов представляет собой кратковременную память, так как оно может быстро изменяться при появлении другого входного вектора. Значения коэффициентов весовой матрицы образуют долговременную память и могут изменяться только на более длительном отрезке времени.

Сеть ДАП функционирует в направлении минимизации функции энергии Ляпунова в основном таким же образом, как и сети Хопфилда. Таким образом, каждый цикл модифицирует систему в направлении энергетического минимума, расположение которого определяется значениями весов.

Обучение сети

Обычно сеть обучается распознаванию множества образов. Обучение производится с использованием обучающего набора, состоящего из пар векторов А и В. Процесс обучения реализуется в форме вычислений; это означает, что весовая матрица вычисляется как сумма произведений всех векторных пар обучающего набора. В символьной форме

W=

Для достижения более высокой производительности используются биполярные векторы. При этом векторная компонента, большая 0, становится 1, а компонента, меньшая или равная 0, становится -1.

Существует взаимосвязь между ДАП и сетями Хопфилда. Если весовая матрица W является квадратной и симметричной, то W =. В этом случае, если слои 1 и 2 являются одним и тем же набором нейронов, ДАП превращается в автоассоциативную сеть Хопфилда.

Емкость памяти

Как и сети Хопфилда, ДАП имеет ограничения на максимальное количество ассоциаций, которые она может точно воспроизвести. Если этот лимит превышен, сеть может выработать неверный выходной сигнал, воспроизводя ассоциации, которым не обучена.

Одна из оценок заключается в том, что количество запомненных ассоциаций не может превышать количества нейронов в меньшем слое. При этом предполагается, что емкость памяти максимизирована посредством специального кодирования, при котором количество компонент со значениями +1 равно количеству компонент со значениями -1 в каждом биполярном векторе. Эта оценка оказалась слишком оптимистичной.

Можно показать, что если L векторов выбраны случайно и представлены в указанной выше форме, и если L меньше чем n/(2 log2 n), где n - количество нейронов в наименьшем слое, тогда все запомненные образы, за исключением «малой части», могут быть восстановлены. Например, если n = 1024, тогда L должно быть меньше 51. Если все образы должны восстанавливаться, L должно быть меньше n/(4 log2 n), то есть меньше 25.

Сеть ДАП может иметь до 2n стабильных состояний, если пороговое значение Т выбирается для каждого нейрона. Такая конфигурация, названная негомогенной ДАП, является расширением исходной гомогенной ДАП, в которой все пороги были нулевыми.

Посредством выбора соответствующего порога для каждого нейрона количество стабильных состояний может быть сделано любым в диапазоне от 1 до 2n, где n есть количество нейронов в меньшем слое. К сожалению, эти состояния не могут быть выбраны случайно; они определяются жесткой геометрической процедурой. Если пользователь выбирает L состояний случайным образом, причем L меньше (0,68)n2/{[log2(n] + 4}2, и если каждый вектор имеет 4 + log2 n компонент, равных +1, и остальные, равные -1, то можно сконструировать негомогенную ДАП, имеющую 98% этих векторов в качестве стабильных состояний. Например, если n = 1024, L должно быть меньше 3637, что является существенным улучшением по сравнению с гомогенными ДАП, но это намного меньше 2 1024 возможных состояния.

Ограничение количества единиц во входных векторах представляет серьезную проблему, тем более, что теория, которая позволяет перекодировать произвольный набор векторов в такой "разреженный" набор, отсутствует. Возможно, однако, что еще более серьезной является проблема некорректной сходимости. Суть этой проблемы заключается в том, что сеть может не производить точных ассоциаций вследствие природы поля притяжения; об ее форме известно очень немногое. Это означает, что ДАП не является ассоциатором по отношению к ближайшему соседнему образу. В действительности она может производить ассоциации, имеющие слабое отношение к входному вектору. Как и в случае гомогенных ДАП, могут встречаться ложные стабильные состояния, и немногое известно об их количестве и природе.

Несмотря на эти проблемы, ДАП остается объектом интенсивных исследований. Основная привлекательность ДАП заключается в ее простоте. Кроме того, она может быть реализована в виде СБИС (либо аналоговых, либо цифровых), что делает ее потенциально недорогой.

Непрерывная ДАП

В предшествующем обсуждении нейроны в слоях 1 и 2 рассматривались как синхронные, каждый нейрон обладает памятью, причем все нейроны изменяют состояния одновременно под воздействием импульса от центральных часов. В асинхронной системе любой нейрон свободен изменять состояние в любое время, когда его вход предписывает это сделать.

Кроме того, при определении функции активации нейрона использовался простой порог, тем самым, образуя разрывность передаточной функции нейронов. Как синхрон-ность функционирования, так и разрывность функций, являются биологически неправдоподобными и совсем необязательными; непрерывные асинхронные ДАП отвергают синхронность и разрывность, но функционируют в основном аналогично дискретным версиям.

Адаптивная ДАП

В версиях ДАП, рассматриваемых до сих пор, весовая матрица вычисляется в виде суммы произведений пар векторов. Эти вычисления полезны, поскольку они демонстрируют функции, которые может выполнять ДАП. Однако это определенно не тот способ, посредством которого производится определение весов нейронов мозга.

Адаптивная ДАП изменяет свои веса в процессе функционирования. Это означает, что подача на вход сети обучающего набора входных векторов заставляет ее изменять энергетическое состояние до получения резонанса. Постепенно кратковременная память превращается в долговременную память, настраивая сеть в результате ее функционирования. В процессе обучения векторы подаются на слой А, а ассоциированные векторы на слой В. Один из них или оба вектора могут быть зашумленными версиями эталона; сеть обучается исходным векторам, свободным от шума. В этом случае она извлекает сущность ассоциаций, обучаясь эталонам, хотя «видела» только зашумленные аппроксимации.

Так как доказано, что непрерывная ДАП является стабильной независимо от значения весов, ожидается, что медленное изменение ее весов не должно нарушить этой стабильности..

Простейший обучающий алгоритм использует правило Хэбба, в котором изменение веса пропорционально уровню активации его нейрона-источника и уровню активации нейрона-приемника:

wij = *(OUTi OUTj),

где wij - изменение веса связи нейрона i с нейроном j в матрицах W или ; - выход нейрона i слоя 1 или 2; - положительный нормирующий коэффициент обучения, меньший 1.

9. Адаптивная резонансная теория. Архитектура сети. Теоремы АРТ

Понимание процесса человеческой памяти представляет собой серьезную проблему; новые образы запоминаются в такой форме, что ранее запомненные не модифицируются и не забываются. Традиционные искусственные нейронные сети оказались не в состоянии решить проблему стабильности-пластичности. Очень часто обучение новому образу уничтожает или изменяет результаты предшествующего обучения. В некоторых случаях это не существенно. Если имеется только фиксированный набор обучающих векторов, они могут предъявляться при обучении циклически. В сетях с обратным распространением, например, обучающие векторы подаются на вход сети последовательно до тех пор, пока сеть не обучится всему входному набору. Если, однако, полностью обученная сеть должна запомнить новый обучающий вектор, он может изменить веса настолько, что потребуется полное переобучение сети.

Сети и алгоритмы APT сохраняют пластичность, необходимую для изучения новых образов, в то же время, предотвращая изменение ранее запомненных образов. Эта способность стимулировала большой интерес к APT, но многие исследователи нашли теорию трудной для понимания. Математическое описание APT является сложным, но основные идеи и принципы реализации достаточно просты для понимания.

Архитектура APT

Адаптивная резонансная теория включает две парадигмы, каждая из которых определяется формой входных данных и способом их обработки. АРТ-1 разработана для обработки двоичных входных векторов, в то время как АРТ-2, более позднее обобщение АРТ-1, может классифицировать как двоичные, так и непрерывные векторы. Далее будем рассматривать только АРТ-1. Для краткости АРТ-1 в дальнейшем будем обозначать как APT.

Сеть APT представляет собой векторный классификатор. Входной вектор классифицируется в зависимости от того, на какой из множества ранее запомненных образов он похож. Свое классификационное решение сеть APT выражает в форме возбуждения одного из нейронов распознающего слоя. Если входной вектор не соответствует ни одному из запомненных образов, создается новая категория посредством запоминания образа, идентичного новому входному вектору. Если определено, что входной вектор похож на один из ранее запомненных векторов с точки зрения определенного критерия сходства, запомненный вектор будет изменяться (обучаться) под воздействием нового входного вектора таким образом, чтобы стать более похожим на этот входной вектор.

Запомненный образ не будет изменяться, если текущий входной вектор не окажется достаточно похожим на него. Таким образом, решается проблема стабильности-пластичности. Новый образ может создавать дополнительные классификационные категории, однако новый входной образ не может заставить измениться существующую память.

Рис. 25. Упрощенная сеть APT

На рис. 25 показана упрощенная конфигурация сети APT, представленная в виде пяти функциональных модулей.

Она включает два слоя нейронов, так называемых «слой сравнения» и «слой распознавания».

Приемник 1, Приемник 2 и Сброс обеспечивают управляющие функции, необходимые для обучения и классификации.

Перед рассмотрением вопросов функционирования сети в целом необходимо рассмотреть отдельно функции модулей; далее обсуждаются функции каждого из них.

Слой сравнения.

Слой сравнения получает двоичный входной вектор Х и первоначально пропускает его неизмененным для формирования выходного вектора С.

На более поздней фазе в распознающем слое вырабатывается двоичный вектор R, модифицирующий вектор С, как описано ниже.

Каждый нейрон в слое сравнения (рис. 26) получает три двоичных входа (0 или I): (1) компонента входного вектора X; (2) сигнал обратной связи Рj -взвешенная сумма выходов распознающего слоя; (3) вход от Приемника 1 (один и тот же сигнал подается на все нейроны этого).

Рис. 26. Упрощенный слой сравнения

Чтобы получить на выходе нейрона единичное значение, как минимум два из трех его входов должны равняться единице; в противном случае его выход будет нулевым. Таким образом, реализуется правило двух третей. Первоначально выходной сигнал G1 Приемника 1 установлен в единицу, обеспечивая один из необходимых для возбуждения нейронов входов, а все компоненты вектора R установлены в 0; следовательно, в этот момент вектор С идентичен двоичному входному вектору X.

Слой распознавания. Слой распознавания осуществляет классификацию входных векторов. Каждый нейрон в слое распознавания имеет соответствующий вектор весов Вj. Только один нейрон с весовым вектором, наиболее соответствующим входному вектору, возбуждается; все остальные нейроны заторможены.

Как показано на рис. 26, нейрон в распознающем слое имеет максимальную реакцию, если вектор С, являющийся выходом слоя сравнения, соответствует набору его весов, следовательно, веса представляют запомненный образ или экземпляр для категории входных векторов. Эти веса являются действительными числами, а не двоичными величинами. Двоичная версия этого образа также запоминается в соответствующем наборе весов слоя сравнения. Этот набор состоит из весов связей, соединяющих определенные нейроны слоя распознавания, один вес на каждый нейрон слоя сравнения.

В процессе функционирования каждый нейрон слоя распознавания- вычисляет свертку вектора собственных весов и входного вектора С. Нейрон, имеющий веса, наиболее близкие вектору С, будет иметь самый большой выход, тем самым выигрывая соревнование и одновременно затормаживая все остальные нейроны в слое.

Как показано на рис. 27, нейроны внутри слоя распознавания взаимно соединены в латерально-тормозящую сеть. В простейшем случае предусматривается, что только один нейрон в слое возбуждается в каждый момент времени (т.е. только нейрон с наивысшим уровнем активации будет иметь единичный выход; все остальные нейроны будут иметь нулевой выход). Эта конкуренция реализуется введением связей с отрицательными весами li,j с выхода каждого нейрона ri на входы остальных нейронов. Таким образом, если нейрон имеет большой выход, он тормозит все остальные нейроны в слое. Кроме того, каждый нейрон имеет связь с положительным весом со своего выхода на свой собственный вход. Если нейрон имеет единичный выходной уровень, эта обратная связь стремится усилить и поддержать его.



Рис. 27. Упрощенный слой распознавания

Рис. 28. Слой распознавания с латеральным торможением

Приемник 2. G2, выход Приемника 2, равен единице, если входной вектор Х имеет хотя бы одну единичную компоненту. Более точно, G2 является логическим ИЛИ от компонента вектора X.

Приемник 1. Как и сигнал G2, выходной сигнал G1 Приемника 1 равен 1, если хотя бы одна компонента двоичного входного вектора Х равна единице; однако если хотя бы одна компонента вектора R равна единице, G1 устанавливается в нуль. Таблица, определяющая эти соотношения:

Таблица 4

ИЛИ от компонент вектора Х	ИЛИ от компонент вектора R	G1
О	О	О
1	0	1
1	1	О
О	1	О

Сброс. Модуль сброса измеряет сходство между векторами Х и С. Если они отличаются сильнее, чем требует параметр сходства, вырабатывается сигнал сброса возбужденного нейрона в слое распознавания.

В процессе функционирования модуль сброса вычисляет сходство как отношение количества единиц в векторе С к их количеству в векторе X. Если это отношение ниже значения параметра сходства, вырабатывается сигнал сброса.

Характеристики (теоремы) сети АРТ

1. Быстрый доступ к предварительно запомненным образам, обусловленный тем, что после стабилизации процесса обучения предъявление одного из обучающих векторов (или вектора с существенными характеристиками категории) будет активизировать требуемый нейрон слоя распознавания без поиска.

2. Устойчивость процесса поиска, так как после определения выигравшего нейрона в сети не будет возбуждений других нейронов в распознающем слое без сигнала сброса.

3. Конечность процесса обучения, обусловленная стабильным набором весов; повторяющиеся последовательности обучающих векторов не будут приводить к циклическому изменению весов.

Сети APT являются интересным и важным видом систем. Они способны решить дилемму стабильности-пластичности и хорошо работают с других точек зрения. Архитектура APT сконструирована по принципу биологического подобия; это означает, что ее механизмы во многом соответствуют механизмам мозга (как мы их понимаем). Однако они могут оказаться не в состоянии моделировать распределенную память, которую многие рассматривают как важную характеристику функций мозга.



10. Адаптивная резонансная теория. Этапы функционирования сети

Рассмотрим более детально пять фаз процесса функционирования APT: инициализацию, распознавание, сравнение, поиск и обучение.

Инициализация. Перед началом процесса обучения сети все весовые векторы Вj и Тj, а также параметр сходства , должны быть установлены в начальные значения.

Веса векторов Вj все инициализируются в одинаковые малые значения:

Bi,j < L/(L - 1 + m) для всех i, j,

где m - количество компонент входного вектора,

L -константа, большая 1 (обычно L = 2).

Эта величина является критической; если она слишком большая, сеть может распределить все нейроны распознающего слоя одному входному вектору. Веса векторов Тj все инициализируются в единичные значения, так что tji =1 для всех j,i

Параметр сходства устанавливается в диапазоне от О до 1 в зависимости от требуемой степени сходства между запомненным образом и входным вектором. При высоких значениях сеть относит к одному классу только очень слабо отличающиеся образы. С другой стороны, малое значение заставляет сеть группировать образы, которые имеют слабое сходство между собой. Может оказаться желательной возможность изменять коэффициент сходства на протяжении процесса обучения, обеспечивая только грубую классификацию в начале процесса обучения, и затем постепенно увеличивая коэффициент сходства для выработки точной классификации в конце процесса обучения.

Распознавание. В начальный момент времени входной вектор отсутствует на входе сети; следовательно, все компоненты входного вектора Х можно рассматривать как нулевые. Тем самым сигнал G2 устанавливается в О и, следовательно, в нуль устанавливаются выходы всех нейронов слоя распознавания. Поскольку все нейроны слоя распознавания начинают работу в одинаковом состоянии, они имеют равные шансы выиграть в последующей конкуренции, Затем на вход сети подается входной вектор X, который должен быть классифицирован. Этот вектор должен иметь одну или более компонент, отличных от нуля, в результате чего и G1, и G2 становятся равными единице. Это «подкачивает» нейроны слоя сравнения, обеспечивая один из двух единичных входов, необходимых для возбуждения нейронов в соответствии с правилом двух третей, тем самым позволяя нейрону возбуждаться, если соответствующая компонента входного вектора Х равна единице. Таким образом, в течение данной фазы вектор S в точности дублирует вектор X.

Далее для каждого нейрона в слое распознавания вычисляется свертка вектора его весов Вj и вектора С (рис. 30). Нейрон с максимальным значением свертки имеет веса, наилучшим образом соответствующие входному вектору. Он выигрывает конкуренцию и возбуждается, одновременно затормаживая все остальные нейроны этого слоя. Таким образом, единственная компонента rj вектора R становится равной единице, а все остальные компоненты становятся равными нулю.

NETj = (Bj*C),

где Вj - весовой вектор, соответствующий нейрону j в слое распознавания; С - выходной вектор нейронов слоя сравнения; в этот момент С равно X; NETj - возбуждение нейрона j в слое распознавания.

F является пороговой функцией, определяемой следующим образом:

OUTj=1, если NETj>T,



OUTj =О, в противном случае,

где Т представляет собой порог.

Принято, что латеральное торможение существует, но игнорируется здесь для сохранения простоты выражений.

В результате, сеть APT запоминает образы в весах нейронов слоя распознавания, один нейрон для каждой категории классификации. Нейрон слоя распознавания, веса которого наилучшим образом соответствуют входному вектору, возбуждается, его выход устанавливается в единичное значение, а выходы остальных нейронов этого слоя устанавливаются в нуль.

...