Архитектура нейронных сетей

Размещено на http://www.allbest.ru/

Архитектура нейронных сетей



1. Особенности обучающихся нейронных сетей

В основе современной теории нейронных сетей лежат множества представлений о работе нервной системы. Основным из них является следующее: правила модификации локальны, т.е. изменение состояния каждого пластического элемента обусловлено только его текущим состоянием и активностью сети в точке ее локализации, а также, возможно, от некоторого диффузионного управляющего сигнала, одинакового для всех пластических элементов. нейронный сеть обучение алгоритм

Дадим краткое описание структурных и функциональных особенностей обучающихся НС, при построении которых реализованы эти принципы.

Пластичность НС

В теории НС предполагается, что поведение системы является результатом взаимодействия многих элементов. Каждый из которых ограничивает действие других и сам ограничивается другими на пути системы к формированию оптимального состояния (наблюдаемого поведения). Знание, определяющее это поведение, распределено в состояниях модификации пластических элементов.

Будем рассматривать вариант НС с синаптической пластичностью (СП). Выделяют три вида СП:

1) появление новых связей;

2) исчезновение существующих связей;

3) модификация.

Активность НС

Единственным выходным сигналом нейрона в процессе обучения является импульсивная активность клетки. Активность определяет синаптическое возбуждение или торможение других нейронов связанных с данным нейроном. Активность всей нейронной системы описывается вектором , где n - общее число нейронов.

Степень взаимодействия элементов определяется матрицей весов их синаптических связей W, компоненты которой w_ij задают величину и знак связи от j-го элемента к i-му. Если j-ый элемент не связан i-ым, то w_ij=0.

Синаптическое возбуждение в i-ом нейроне в момент времени t создается активностью нейронов сети и внешних источников информации

. (4.1)

В дискретном времени активность i-го нейрона a_i в момент времени t+1 задается некоторой неубывающей функцией от синаптического возбуждения - функцией реактивности

. (4.2)

В непрерывном времени связь между активностью нейрона и его синаптическим возбуждением задается некоторым процессом

(4.3)

Режимы работы НС

В зависимости от используемого принципа управления, для сетей функционирующих в дискретном времени различают два режима работы:

- синхронный;

- асинхронный.

В синхронном режиме вычисляется синаптическое возбуждение (4.1) и активность нейронов (4.2) на каждом такте времени для всех нейронов сети.

В асинхронном режиме вычисляется синаптическое возбуждения и активность на каждом такте только одного нейрона, выбранного случайно или в соответствии с заданной последовательностью.

Для сетей с симметричными связями (w_ij=w_ji) и при отсутствии связей нейронов самих на себя (w_ii=0) допустима простая физическая аналогия:

активности каждого элемента ставится в соответствие ориентация одного атома кристалла, а силе синаптической связи между элементами - коэффициент, определяющий вклад одного атома в силовое поле около другого атома.

Тогда по аналогии с энергией кристалла можно ввести понятие энергии нейронной сети:

. (4.4)

Второе слагаемое соответствует вкладу в энергию кристалла внешнего силового поля, которое имитируется в НС внешним синаптическим возбуждением и смещением.

Для сети, работающей в асинхронном режиме, вычисляется изменение энергии сети при изменении активности i-го нейрона:

. (4.5)

Существует проблема попадания сети в локальные минимумы. В локальных минимумах активность сети может стабилизироваться до того, как она достигнет глобального экстремума. Допустим, что первоначально вес взят равным значению в точке А. Если случайные шаги по изменению веса малы, то любые отклонения от точки А увеличивают целевую функцию и будут отвергнуты. Лучшее значение веса, принимаемое в точке В, никогда не будет найдено, и система будет поймана в ловушку локальным минимумом, вместо глобального минимума в точке В. Если же случайные коррекции веса очень велики, то целевая функция будет принимать значения на всем отрезке значений веса. Вес будет меняться так резко, что он никогда не установится в желаемом минимуме.

Необходимо изменять величину шага (колебания поверхности) в течение всего алгоритма нахождения минимума в зависимости от точки поверхности. Т.е. при уменьшении величины шага вблизи точки В сила колебаний должна быть достаточной, чтобы вывести шарик из точки А, но уже не достаточной, чтобы вывести его из точки В.

2. Классификация принципов обучения нейронных сетей

Обучение нейронных сетей - это процесс нахождения оптимальных значений всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными). При этом устанавливаются связи между входными и выходными сигналами НС. Процесс этот носит последовательный характер.

В процессе обучения НС в определенный момент запускается механизм изменения состояния сети.

Рассмотрим обобщенную классификацию подходов к обучению искусственных нейронных сетей.

1. Организация обучения. По данному признаку алгоритмы обучения НС разделяются на 3 класса:

обучение с учителем (наблюдаемое обучение);

самообучение (без учителя);

смешанное обучение.

В алгоритмах обучения с учителем сети предъявляется обучающая выборка (ОВ). Она состоит из конечного множества примеров (обучающих пар), состоящих из наборов входных данных (входных векторов) и желательных выходных сигналов (целевых векторов):



(A_i,D_i), i=1,…,m.

Каждый пример представляет собой задачу одного и того же типа. Если на некоторый входной вектор A_i НС выдает сигнал Y_i, несоответствующий целевому вектору D_i, возникает состояние ошибки (). Сеть по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей, предотвращая повторное появление этой ошибки.

Задача поиска минимума ошибки является задачей безусловной оптимизации. Для ее решения известно множество методов. В теории оптимизации функция ошибки называется целевой функцией. При обучении НС применяются следующие методы теории оптимизации:

1) для небольшого количества параметров -- стабилизированные методы Ньютона, Гаусса-Ньютона, Левенберга-Маркардта;

2) для среднего количества параметров -- квазиньютоновские методы;

3) для большого количества параметров -- метод сопряженных градиентов.

В алгоритмах обучения без учителя сети тоже предъявляется обучающая выборка. Однако она состоит лишь из входных векторов A_i:

(A_i), i=1,…,m.

Выходы НС формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы. При самообучении используется методика автоматического разбиения входных данных на заданное число классов, без указания их характерных признаков.

Среди алгоритмов обучения данного класса существуют алгоритмы: 1) подстраивающие только синаптические веса, 2) изменяющие также и структуру сети, то есть количество нейронов и их взаимосвязи (самоорганизующиеся сети).

При смешанном обучении часть весов синапсов определяется посредством обучения с учителем, в то время как остальная вычисляется с помощью самообучения.

2. Способ предъявления примеров. Примеры в процессе обучения на нейронную сеть можно подавать последовательно (в соответствии с какой-либо схемой) из упорядоченного обучающего множества (упорядоченный способ) либо случайно (случайный способ).

Проход по всем примерам обучающей выборки называется циклом обучения.

3. Способ коррекции весов (режим обучения). По способу коррекции весов различают обучение:

по одиночным примерам;

пакетное обучение (batch update);

обучение с моментом.

3. Характер алгоритма обучения. С точки зрения построения процесса обучения алгоритмы обучения разделяют на две группы:

детерминированные;

стохастические.

В первой из них подстройка весов представляет собой жесткую последовательность действий, во второй - она производится на основе действий, подчиняющихся некоторому случайному процессу.

3. Схемы обучения нейронных сетей

Обучение НС можно рассматривать как непрерывный или как дискретный процесс. В соответствии этим алгоритмы обучения могут быть описаны либо дифференциальными уравнениями, либо конечно-разностными.

В начале обучения веса и пороговые значения нейронов инициализируются случайными величинами. Поэтому ошибка в начале обучения очень велика, и есть смысл вводить большие коррекции параметров. Ближе к концу обучения ошибка значительно снижается, и коррекции должны быть малыми. Чтобы менять длину шагов по параметрам, используют:

метод расписания обучения (learning schedule);

стохастические алгоритмы.

Алгоритмы с расписанием обучения сходятся быстрее, т.к. в начале используются большие коррекции, и дают более точные результаты за счет точной настройки параметров в конце обучения. Здесь преодолеваются локальные минимумы на начальном этапе обучения. Коррекции настолько велики, что параметры "проскакивают" оптимальное значение и сеть попадает в область притяжения другого минимума, а не задерживается в первом найденном минимуме.

Технологии обучения

Если использовать небольшой набор обучающих данных, то при обучении сеть будет слишком близко следовать обучающим данным (переобучаться) и воспринимать не столько структуру данных, сколько содержащиеся в ней помехи. Способность сети не только учиться на обучающем множестве, но и показывать хорошие результаты на новых данных (хорошо предсказывать) называется обобщением.

Стандартный способ обучения НС заключается в том, что сеть обучается на одном из множеств базы данных, а на другом проверяется результат, т.е. проверочное множество для обучения не используется. Первое из этих множеств называют обучающим, второе - тестовым. Качество обобщения данных можно определить, наблюдая за величиной ошибки, вычисленной на тестовом множестве данных.

Если после нескольких итераций обучающего алгоритма ошибка обучения падает почти до нуля, в то время как ошибка обобщения сначала убывает, а потом снова начинает расти, то это признак переобучения, и при росте ошибки обобщения обучение следует прекратить. В данном случае тестовое множество используется при обучении НС для определения момента «ранней остановки», поэтому по окончании обучения следует проверить работу сети еще на одном - третьем множестве (подтверждающем).

Если тестовое множество используется на каждой итерации при обучении НС для определения «ранней остановки», то такой процесс называется обучением с перекрестной проверкой. Переключение между типами множеств (обучающим, тестовым, подтверждающим) во время процедуры обучения может осуществляться вероятностным способом. Такой подход позволяет остановить обучение, когда частота появления ошибок обобщения начнет расти.

Несмотря на все усилия по обучения НС, она все же может не обучаться. Причины этого могут быть в следующем:

1) противоречивость ОВ;

2) нерепрезентативность ОВ;

3) неравномерность ОВ, т.е.

Схема обучения нейронной сети без учителя

Рассмотрим полный алгоритм обучения без учителя, не останавливаясь на конкретных формулах.

1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.

2. На входы сети подается очередной входной образ из обучающей выборки, и сигналы возбуждения распространяются по всем нейронам всех слоев, изменяясь согласно законам функционирования сети.

3. Фиксируются сигналы, выданные теми нейронами, которые считаются выходными.

4. На основании полученных выходных значений нейронов по соответствующим формулам производится изменение весовых коэффициентов:

всех нейронов

либо группы нейронов,

либо единственного нейрона.

5. Осуществляется переход к следующему примеру обучающей выборки, и операции 2-5 повторяются пока выходные значения сети не установятся в стабильном состоянии с заданной точностью.

Схема обучения нейронной сети с учителем

Рассмотрим общую схему обучения нейронной сети в режиме по одиночным примерам, не останавливаясь на конкретных математических алгоритмах.

1. На стадии инициализации всем весовым коэффициентам присваиваются небольшие случайные значения.

2. Из обучающей выборки берется текущий пример (изначально, первый) и его входные параметры (вектор входных сигналов) подаются на входы обучаемой НС. Обычно каждый входной параметр примера подается на один соответствующий входной синапс.

3. Сигналы возбуждения распространяются по всем нейронам всех слоев, изменяясь согласно законам функционирования сети. При этом вектор входных сигналов распространяется по связям между нейронами (прямое функционирование).

4. Фиксируются сигналы, выданные теми нейронами, которые считаются выходными.

5. Вычисляется оценка (ошибка), характеризующая различие между выданным сетью ответом и требуемым ответом, имеющимся в примере (целевым вектором). Оценка вычисляется с помощью соответствующей функции оценки. Чем меньше оценка, тем лучше распознан пример.

6. Если ошибка примера равна нулю, ничего не предпринимается. В противном случае на основании ошибки вычисляются поправочные коэффициенты для каждого синаптического веса матрицы связей, после чего производится подстройка синаптических весов (обратное функционирование).

7. Осуществляется переход к следующему примеру обучающей выборки, и операции 2-7 повторяются.

8. Расчет средней ошибки по всем обучающим примерам.

9. Проверка условия окончания обучения.

В каждом цикле обучения каждый пример имеет свою оценку. Кроме того, вычисляется суммарная оценка множества всех примеров обучающей выборки. Если после выполнения нескольких циклов она равна нулю, обучение считается законченным, в противном случае циклы повторяются.

4. Алгоритмы обучения искусственных НС

Обучение без учителя

Правило Хебба

Правило Хебба. Вес пластического синапса должен определяться степенью корреляции между активностями пре- и постсинаптического нейронов (корреляционный алгоритм). Для дискретного времени оно выглядит так:

, (4.8)

где w_ij(t) - текущее значение синаптического веса; a_i(t) и a_j(t) - активности пост- и пресинаптического нейронов; _i, _j (этта) - некоторые постоянны числа, обеспечивающие смещение средней величины синаптического веса; c(t) - управляющий сигнал, разрешающий или запрещающий обучение сети или контролирующий его скорость. Если сигнал c(t) - бинарный, то он переводит сеть из режима записи в режим воспроизведения и наоборот.

Правило Кохонена

Обучение осуществляется без учителя по принципу «победитель забирает все», т.е. для заданного входного образа активизируется лишь один нейрон. Такие методы относятся к обучению методом соревнования. Вследствие этого нейронные сети Кохонена используют для решения задач классификации входных образов (разбиения на классы).

Эффект этого правила достигается за счет такого изменения сохраненного в сети образца (вектора весов связей победившего нейрона), при котором он становится чуть ближе к входному примеру.

Правило Кохонена. Вектор весов входных синапсов нейрона стремиться стать равным тому вектору активности пресинаптических нейронов, который наиболее интенсивно этот нейрон возбуждает

. (4.12)

В соответствии с данным алгоритмом коррекция вектора весов нейрона-победителя осуществляется в направлении, уменьшающем разность между этим вектором и вектором входного образа A_i. в процессе обучения происходит вращение n-мерного вектора весовых коэффициентов нейрона i W_i=[w_1i,…,w_ni] в направлении входного вектора A_i без существенного изменения его длинны.

Существуют различные модификации правила Кохонена.

1. Если нейрон слоя чаще других выигрывает «соревнование», то его значение выхода искусственно уменьшается или нейрон тормозиться, чтобы дать возможность выиграть другим нейронам.

2. Метод окрестности R. После выбора из слоя n нейрона i с минимальным расстоянием D_i обучается не только этот нейрон, но и его соседи, расположенные в окрестности R. Величина R на первых итерациях очень большая, так что обучаются все нейроны, но с течением времени она уменьшается до нуля. Таким образом, чем ближе конец обучения, тем точнее определяется группа нейронов, отвечающих каждому классу образов.

Механизм латерального торможения в нейрофизиологии был детально исследован применительно к сенсорным системам и, в частности к зрению, где он использовался для повышения контрастности. Исследования показали, что возбуждающий входной сигнал приводит к уменьшению активности соседних клеток в коре головного мозга. Этот эффект в биологических системах проявляет свое действие на расстоянии 100...200 мкм от точки возбуждения или стимуляции, причем в области стимуляции R это действие положительное, а за пределами области -- отрицательное. На более далеких расстояниях (свыше 1 мм) от точки возбуждения снова существует небольшой положительный (стимулирующий) эффект, обусловленный подкорковыми межнейронными связями.

В сети Кохонена используется только положительный стимулирующий эффект, действующий в окрестности выигравшего нейрона. Этим достигается возможность уже на первых шагах обучения выявить группы нейронов, отображающих топологическую карту взаимосвязи входных векторов. С каждой новой итерацией скорость обучения и размер окрестности r уменьшаются, тем самым внутри участков топологической карты выявляются все более мелкие различия. Это, в конечном итоге, приводит к более точной настройке каждого нейрона.

Обучение с учителем

Дельта-правило

Дельта-правило. Стимулом для обучения является рассогласование между некоторым заданным обучающим сигналом и текущей активностью постсинаптического нейрона a_i

. (4.15)

Дельта-правило в виде конечно-разностного уравнения записывается следующим образом



, (4.16)

где _i(t) - ошибка выхода i-го нейрона (постсинаптического), равная разности между i-ой компонентой k-го целевого вектора из множества D и активностью i-го нейрона.

Очевидно, что если >a_i(t), весовые коэффициенты будут увеличены и тем самым уменьшат ошибку. В противном случае они уменьшаться и активность нейрона тоже уменьшиться, приближаясь к компоненте целевого вектора.

Правило обратного распространения ошибки

Если сеть является многослойной, то ошибку для скрытых слоев невозможно задать в явном виде. В этом случае для расчета величины рассогласования используется обобщение Дельта-правила - правило обратного распространения ошибки (Вр-алгоритм). На авторство этого алгоритма претендуют трое ученых: Румелхарт (1986), Паркер (1982), Вербос (1974).

В Вр-алгоритме используются два уравнения для вычисления величины коррекции весов.

Если i-ый нейрон (постсинаптический) является выходным, то используется измененное Дельта-правило с иным методом вычисления ошибки

. (4.21)

Если нейрон является скрытым Дельта-правило преобразуется к следующему виду



, (4.22)

где _p(t) - ошибка для p-го нейрона следующего слоя; w_pi - вес синаптической связи от i-го нейрона к p-му нейрону следующего слоя. Корректировка пороговых величин нейронов выполняется также в обратном направлении

. (4.23)

Здесь также величина ошибки вычисляется исходя из того, в каком слое находится нейрон.

Конечно-разностное уравнение Вр-алгоритма совпадает с соответствующим уравнением Дельта-правила (4.16) за исключением метода расчета ошибки.

Недостатки Вр-алгоритма

1. Паралич сети (блокировка обучения).

2. Попадание сети в локальные минимумы.

3. Переобучение.

4. Медленная сходимость процесса обучения.

Модификации Вр-алгоритма

1. Импульсный метод экспоненциального сглаживания.

Для придания процессу коррекции весов некоторой инерционности Вр-алгоритм дополняется значением изменения веса на предыдущей итерации

, (4.24)

где - коэффициент инерционности (сглаживания), устанавливается от 0 до 1 (обычно около 0,9). Если равен 1, то новая коррекция игнорируется и повторяется предыдущая.

2. Квадратичный метод (квазиньютоновский метод и метод сопряженных градиентов).

Разработан метод ускорения обучения, основанный на вычислении вторых производных для более точной оценки требуемой коррекции весов (Паркер, 1987г.).

3.Использование симметричного диапазона изменения весов.

Симметричный диапазон изменения весов и сигналов в сети (например, от -1 до 1) дает прирост скорости обучения на 30-50% (Сторнетта, Хьюберман, 1987г.). Функция активации при этом должна быть симметричной (например, гиперболический тангенс). Когда выходное значение a_j^(n-1) стремится к нулю, эффективность обучения заметно снижается. При двоичных входных векторах половина входов в среднем будет равна нулю, и веса, с которыми они связаны, не будут обучаться, поэтому область возможных значений выходов нейронов [0,1] желательно сдвинуть в пределы [-0.5,+0.5], что достигается простыми модификациями логистических функций. Например, сигмоидальная функция преобразуется к виду

. (4.25)

4. Использование различных функций вычисления ошибок (для ускорения процесса обучения):

интегральные функции ошибки по всей совокупности обучающих примеров;

функции ошибки целых и дробных степеней.

5. Использование различных процедур определения величины шага (скорости обучения) на каждой итерации:

расписание обучения (с=с(t));

скорость обучения выбирают различной для каждого слоя;

дихотомия;

инерционные соотношения для предотвращения блокировки сети, например,

, (4.26)

где <1 - некоторое положительное число, меньше единицы;

отжиг.

6. Использование различных процедур определения направления шага:

с использованием матрицы производных второго порядка (метод Ньютона и др.);

с использованием направлений на нескольких шагах.

Алгоритм обучения НС с помощью процедуры обратного распространения следующий (при условии, что ошибка вычисляется по единичным примерам).

1. На стации инициализации всем весовым коэффициентам и пороговым значениям присваиваются небольшие случайные значения.

2. На входы сети подается очередной входной образ из ОВ.

3. Сигналы возбуждения распространяются по всем слоям сети в прямом направлении. В процессе прохождения сигнала вычисляются значения активностей постсинаптических нейронов.

4. Вычисляется ошибка сети и значения приращения весовых коэффициентов для всех синаптических связей выходного слоя сети.

5. Корректируются весовые коэффициенты нейронов выходного слоя сети.

6. Выполняется переход к предыдущему слою. Вычисляются значения приращения весов для всех синаптических связей текущего слоя сети (обратное распространение ошибки).

7. Корректируются весовые коэффициенты нейронов текущего скрытого слоя сети.

8. Шаги 6-7 повторяются, пока не будут пройдены все слои НС. Аналогичные вычисления выполняются и для пороговых значений.

9. Шаги 2-9 повторяются для всех примеров ОВ.

10. Рассчитывается суммарная ошибка сети.

11. Если вычисленная ошибка существенна, перейти на шаг 2. В противном случае - конец.

Стохастические алгоритмы

Суть стохастического подхода заключается в изменении весовых коэффициентов сети случайным образом и сохранении тех изменений, которые ведут к уменьшению заданной целевой функции. Под целевой функцией в данном случае понимается величина Е(w)_k для k-го входного образа

. (4.27)

В начале обучения производятся достаточно большие случайные коррекции веса, которые затем постепенно уменьшаются. При этом для исключения «зависания» алгоритма в локальных минимумах должны сохранятся не только те изменения синаптической карты, которые ведут к уменьшению целевой функции, но также изредка и изменения, приводящие к ее увеличению. Такое обучение позволяет сети, в конце концов, стабилизироваться в близи глобального минимума.

Стратегия изменения синаптической карты строится на аналогии с физическими процессами, происходящими при отжиге металла. В расплавленном металле атомы находятся в беспорядочном движении. При понижении температуры атомы стремятся к состоянию энергетического минимума (кристаллизации), т.е., к глобальному минимуму.

Энергетическое состояние НС описывается распределением Больцмана

, (4.28)

где P(E) - плотность распределения энергии сети Е (вероятность того, что система находится в состоянии с энергией Е); k - постоянная Больцмана (выбирается в зависимости от задачи); Т - искусственная температура.

Машина Больцмана

Нейронная сеть называется машиной Больцмана, если она основана на принципах стохастического обучения и скорость изменения искусственной температуры обратно пропорциональна логарифму времени

, (4.29)

где T(t) - искусственная температура на шаге t алгоритма; Т₀ - начальная температура.

Величина случайного шага для машины Больцмана задается распределением Гаусса

, (4.30)

где Р(с) - плотность распределения вероятности величины шага с (вероятность изменения веса на величину с); Т - искусственная температура.

Машина Больцмана характеризуется очень большим временем обучения.

В стохастических алгоритмах случайные изменения могут проводиться:

1) для отдельных весов;

2) всех нейронов слоя в многослойных сетях;

3) для всех нейронов сети одновременно.

Эти модификации алгоритма дают возможность сократить общее число итераций обучения.

Машина Коши

Разработан метод быстрого обучения НС стохастическими алгоритмами, основанный на машине Больцмана. В данном методе при вычислении величины шага распределение Гаусса заменяется на распределение Коши

. (4.32)

Распределение Коши имеет, как показано на рис. 4.14, более длинные «хвосты», увеличивая тем самым вероятность больших шагов. С помощью такого простого изменения максимальная скорость уменьшения температуры становится обратно пропорциональной линейной величине, а не логарифму, как для алгоритма обучения Больцмана

. (4.33)

В данном методе можно не только вычислить вероятность изменения веса Р(с), но и явно задать само приращение веса (шаг 4)

, (4.34)

где - дополнительный коэффициент скорости обучения.

Значение шага обучения с в данном случае вычисляется методом Монте-Карло. На интервале (-/2, /2) (необходимо ограничить функцию тангенса) в соответствии с равномерным законом распределения выбирается случайное число с. Оно подставляется в формулу (4.34) в качестве Р(с), и с помщью текущей температуры вычисляется величина шага.

Размещено на Allbest.ru

...