Многослойные нейронные сети прямого распространения

Размещено на http://www.allbest.ru/

1. Многослойные нейронные сети прямого распространения

сигнал нейрон гиперповерхность

Наиболее распространенный тип нейронных сетей -- персептрон. В дальнейшем его структура была обобщена и получила название многослойной нейронной сети прямого распространения

Рассмотрим многослойную нейронную сеть прямого распространения (МНСПР), структура которой изображена на рис. 1. Она состоит из простых вычислительных элементов (нейронов), которые связаны между собой посредством синаптических связей (синапсов). Ее особенностью является послойная организация нейронов и односторонняя передача сигнала от предыдущего слоя к последующему. Слои нейронов с первого по предпоследний называются скрытыми слоями (промежуточными), а последний слой называется выходным.

Рис. 1. Структура МНСПР

Нейрон представляется, как последовательное соединение сумматора и функции преобразования . На рис. 2 представлена структура j-го нейрона в k-м слое. На его вход поступают сигналы с выходов всех нейронов предыдущего (k-1) слоя, умноженные на соответствующий весовой коэффициент связи (синапс).



Рис. 2. Структура нейрона

Функционирование МНСПР можно описать следующими уравнениями:

-- для первого слоя

, j=1,...,N₁; (1)

-- для промежуточных (скрытых) слоев (для k=2,...,L-1)

, j=1,...,N_k; (2)

-- для последнего (выходного) слоя,

, j=1,...,N_L; (3)

где -- i-й вход, -- i-й выход, -- выход j-го нейрона в k-м слое, -- весовой коэффициент связи i-го нейрона (k-1) слоя с j-ым нейроном k-го слоя, N_k -- количество нейронов в k-м слое, -- функция преобразования j-го нейрона в k-м слое. Приведенные уравнения (1)--(3) применимы только для нейронных сетей, синхронно функционирующих в дискретные моменты времени, когда все нейроны срабатывают одновременно.

Рассмотрим основные функции преобразования, используемые в нейроне и их особенности. Самая простая функция -- линейная, которая описывается уравнением

, (4)

где -- коэффициент усиления нейрона и смещение соответственно.

Применение линейной функции преобразования (рис. 3а) в скрытых слоях ограничивает возможности МНСПР. В этом случае уравнения (1) --(3) значительно упрощаются и их можно записать одним эквивалентным выражением

,

которое соответствует уравнению однослойной НС с матрицей весовых коэффициентов . Поэтому линейное преобразование обычно используется только в нейронах выходного слоя, когда требуется работать в широком или неограниченном диапазоне выходного сигнала.

Использование нелинейных функций преобразования позволяет обеспечить более широкие возможности преобразований входных векторов. Одной из самых простых нелинейных функций является пороговая, которая имеет следующий вид



(5)

где -- порог срабатывания нейрона.

Пороговая функция (рис. 3в) удобна для аппаратной реализации, но существенно ограничивает возможности функционального преобразования НС так как нет гладкости при аппроксимации. Ее использование исключает применение методов обучения нейронной структуры, основанных на алгоритме обратного распространения ошибки, так как в нем требуется, чтобы функция нейрона имела производную по входу в любой точке ее характеристики.

Рис. 3. Функции преобразования в нейроне

Для того чтобы избежать недостатков нейрона с пороговой функцией преобразования используются гладкие сжимающие функции, которые обладают следующими свойствами:

имеют ограниченные значения выходного сигнала, причем

и ;

имеют первую производную по входу для всех значений без разрывов первого рода.

Перечисленным выше требованиям удовлетворяет большое количество функций, но для удобства реализации обучения, желательно выбирать функцию, которая имеет простой вид функционала первой, а иногда, и второй производной по входу и по настраиваемому (изменяемому) параметру нейрона. К таким преобразованиям (рис. 3б) можно отнести следующие сжимающие функции:

удобные для программной реализации

, (6)

, (7)

-- удобные для аппаратной реализации

, (8)

где -- параметры нейрона (крутизна и смещение характеристики соответственно).

Функция преобразования нейронов может быть одной и той же для всех нейронов МНСПР. В этом случае сеть называют однородной (гомогенной). Если же функции преобразования еще зависят от одного или нескольких параметров, значения которых меняются от нейрона к нейрону, то сеть называют неоднородной (гетерогенной). Составление сети из нейронов стандартного вида не является обязательным.



2. Обучение МНСПР

Особенностью нейронных сетей является способность к обучению, которая позволяет им решать задачи, представляющие большие трудности при другом подходе. Существует большое количество разнообразных методов обучения НС

Критерии оценки обучения МНСПР

В процедуре обучения требуется подобрать весовые коэффициенты связей и величины изменяемых параметров нейронов таким образом, чтобы получить желаемое функционирование (преобразование) НС. Обычно желаемое функционирование НС задается с помощью обучающей выборки, которая состоит из примеров. Входной вектор и соответствующий ему желаемый выходной вектор называются примером:

(9)

где n -- номер примера, -- входной вектор, -- желаемый выходной вектор, N_o -- число входов, N_L -- число выходов НС.

При обучении на вход НС подается входной вектор Xⁿ из примера P. В процессе функционирования НС формирует выходной вектор , который сравнивается с заданным желаемым вектором Rⁿ. Критерий оценки функционирования НС по отдельному примеру можно записать в виде следующего функционала:

(10)

Процедура обучения, основанная на критерии оценки (10), заключается в последовательном предъявлении одиночных примеров. С помощью алгоритма оптимизации минимизирующего функцию оценки(10), осуществляется изменение параметров сети, улучшающее ее работу. После завершения процедуры обучения по одному примеру НС с новыми значениями параметров предъявляется следующий пример.

При последовательном предъявлении одиночных примеров обучение происходит медленно и неустойчиво, что объясняется наличием у НС свойства "забывания" на уже обученные примеры на предыдущих шагах. Функция оценки в этом случае может уменьшаться для оного примера, но увеличиваться для других. Возможно длительное колебание функции оценки в ходе обучения, которое не приводит к обучению НС по всем примерам. Ситуация типичная для многокритериальных задач. Поэтому оценку обучения НС лучше производить, используя сразу группу примеров.

Иногда возможно использовать сразу все примеры для обучения. Однако такой подход не всегда применим, и имеет немало проблем:

Всех примеров заранее может не быть или обучающая выборка может расширяться.

Количество примеров для обучения может превышать возможности аппаратной или программной реализации НС.

Формирование функции оценки по всем примерами может порождать сложную гиперповерхность минимизируемой функции (наличие большого числа локальных минимумов, малая крутизна спуска и т.д.).

Поэтому лучше использовать принцип постраничного обучения. Страница -- множество примеров, предъявляемое сети для обучения и на основании которого производится изменение параметров сети.

(11)

где p -- число примеров в странице.

Можно предложить следующие рекомендации по формированию страниц обучающей выборки. Первую страницу рекомендуется формировать из опорных (ключевых) примеров, характеризующих особенности функции, которую должна будет реализовывать обученная НС. Например, если сеть обучают классифицировать образы, то в первую страницу рекомендуется включить наиболее ярких представителей каждого класса.

В ходе обучения объем страницы и разнообразие примеров на ней можно увеличить: совсем необученная сеть слишком медленно учится на больших страницах, а после "начального обучения" появляются возможности для быстрого освоения все больших страниц.

Важно, чтобы каждая страница была достаточно разнообразной, и в ней присутствовали представители разных классов.

Эксперименты показывают, что постраничное обучение в задачах распознавания визуальных образов и классификации дает выигрыш не менее, чем в 10-100 раз при прочих равных условиях.

Выбор направления и шага для изменения параметров сети осуществляется на основании оценки функционирования МНСПР сразу по всем примерам страницы. При работе с данной страницей каждый шаг изменения параметров служит для минимизации функции оценки, которая вычисляется на основании всех примеров данной страницы. Это может быть сумма оценок (средняя оценка), сумма с коэффициентами, средняя квадратичная оценка и т.п.

(12)

(13)

(14)

Весовые коэффициенты для оценок могут назначаться, исходя из субъективного представления о важности данного примера, текущей оценки, скорости, с которой сеть учится решать пример (медленно учится -- можно увеличить коэффициент), и т.п.

При постраничном обучении важно иметь в виду, что не следует переучивать сеть на какой-либо конкретной странице, то есть не следует добиваться хороших результатов по распознаванию примеров, представленных на этой странице. Рекомендуется после того, как достигнуто уменьшение средней оценки на странице вдвое, переходить к следующей странице с тем, чтобы впоследствии вернуться к ней после предъявления всех страниц.

Рекомендуется также включать на каждую страницу как можно более разнообразные примеры, желательно конфликтующие друг с другом. Если нет априорных оценок, конфликтуют данные примеры или нет, то после нескольких тактов обучения об этом можно судить исходя из анализа динамики индивидуальных оценок этих примеров.

Вычисление градиента с помощью метода обратного распространения ошибки

Если выбраны множество обучающих примеров и способ вычисления суммарной оценки, задача обучения нейронной сети превращается в задачу многомерной оптимизации.

Необходимо оговорить сразу, что в процессе обучения и множество обучающих примеров, и способ вычисления оценки могут меняться -- на начальных этапах может быть разумно ограничиться небольшим набором примеров и одним из способом оценивания и в последствии расширяя множество примеров и меняя оценки в ходе обучения. Такая вариация числа примеров в странице и функции оценки применима, когда заданы большое множество обучающих примеров и осуществляется на всех этапах обучения.

Решать задачи оптимизации функции оценки можно различными способами. Существует не мало методов, не использующих производных. Например, алгоритмы изменения параметров в случайном направлении, а также различные модификации этого метода позволяют решать подобные оптимизационные задачи и не требуют значительной дополнительной памяти (по сравнению с процедурой функционирования). Но методы, использующие производные по параметрам (градиент), обычно работают быстрее.

Как указывалось выше, НС имеет большое количество изменяемых параметров и процедура последовательного вычисления вектора градиента требует значительных затрат по времени. Естественно, возникает вопрос: возможно ли использовать НС для вычисления градиента. Рассмотрим способы вычисление производной сложной функций предложенные в работе.

Пусть заданы функции одной переменной . Образуем из них функцию

. (15)

Вычисление F можно представить как результат работы n автоматов, каждый из которых имеет один вход и выдает на выходе значение (рис. 4). Частная производная функции F по входу имеет вид

(16)

Чтобы построить систему автоматов, вычисляющую , надо дополнить исходные автоматы такими функциями, которые вычисляют , и еще цепочкой из n-1 одинаковых автоматов, реализующих произведение 2-х входов. Для пояснения метода обратного распространения необходимо ввести следующие понятия:

прямое функционирование (распространение сигнала от входа к выходу для вычисления значения функции F);

прямое нагруженное функционирование (распространение сигнала от входа к выходу для вычисления значения функции F и частных производных элементарных функций по входу и параметрам);

обратное функционирование (распространение сигнала от выхода ко входу для вычисления всех необходимых частных производных функции по параметрам ).

Реализацию с помощью сети автоматов можно представить в виде, изображенном на рис 5. Сначала происходит прямое нагруженное функционирование, при котором вычисляются и запоминаются значения, и т.д.

Рис. 4. Последовательность автоматов для вычисления сложной функции

Рис. 5. Последовательность автоматов для вычисления производной сложной функции



Для каждого автомата обратного функционирования сформированы по одному значению входа, а у самого правого -- оба. Поэтому он может сработать и начать передачу сигнала справа налево (обратное функционирование). На выходе последнего автомата получим .

Однако при решении минимизационных задач требуется найти вектор градиента по параметрам функции. Рассмотрим функции 2-х переменных , одна из которых входной сигнал, а вторая изменяемый параметр. Для функции 2-х или более переменных следует разбивать их на две группы: изменяемые параметры и входные переменные x. Смысл этого разделения заключается в том, что значения изменяемых параметров хранятся при автомате, а значения входных переменных подаются на автомат. Рассмотрим вычисление частных производных по параметрам с использованием метода обратного распространения для функции

. (17)

Частные производные функции F по параметрам имеют вид

;

; (18)

…

.

Используя метод обратного распространения ошибки схему вычисления частных производных по параметрам можно представить в виде, приведенном на Рис.6. При прямом функционировании вычисляются значения частных производных, и запоминаются для использования при обратном функционировании.

Рис. 6. Схема вычисления частных производных сложной функции

Процесс обратного функционирования заключается в последовательном вычислении цепочки величин двойственных x_i. На вход цепи обратного распространения подается сигнал +1 () и вычисляются по следующим уравнениям

. (19)

В ходе обратного функционирования вычисляются производные , которые являются величинами при i = 1,...,n. Частные производные по параметрам находятся по формуле



. (20)

Переходя к применению метода обратного распространения для НС, определим функции которые используются в ней. При прямом функционировании сигнал в сети проходит через функции преобразования синапсов и функции нейронов. Следовательно, прямое распространение дополнительно необходимо вычислять частные производные функций нейронов и функций синапсов.

При прохождении сигнала через функцию преобразования связи имеем следующие частные производные по входу

(21)

и по весу

(22)

Нелинейное преобразование, осуществляемое в j-м нейроне k-го слоя, которое определятся уравнением (6), имеет частную производную по входу

(23)

и по параметру



(24)

Рис. 7. Схема прямого и обратного функционирования НС для одного нейрона

Структура нейрона с прямым нагруженным и обратным распространением сигнала приведена на рис. 7. Для построения схемы обратного распространения точки ветвления заменяются на сумматоры, а сумматоры заменяются точками ветвления.

В качестве входного вектора для обратного функционирования принимаются величины , равные частной производной функции оценки (10) по выходу нейронной сети

(25)

Дальнейшее распространение сигнала происходит в соответствии с уравнением для k = L-1,...,1



(26)

В процессе обратного распространения вычисляются частные производные функции оценки (2.10) для изменяемых параметров нейронов

(27)

и для весов связей

(28)

на основании которых формируется вектор градиента.

После получения вектора градиента можно проводить изменение весовых коэффициентов связей и параметров нейронов в соответствии с выбранным оптимизационным методом.

Методы обучения МНСПР с использованием вектора градиента

Обучение НС может рассматриваться как задача минимизации функции оценки по параметрам. Это означает, что весь накопленный арсенал методов нелинейного программирования может быть применим для обучения НС. Однако, специфика связана с огромной размерностью задачи обучения. Из-за большой размерности возникает требование ограничения по необходимой памяти. Пусть n --число настраиваемых параметров (веса и параметры нейронов). Если алгоритм требует затрат памяти порядка n², то он вряд ли применим для обучения сетей большой размерности. Поэтому, желательно иметь алгоритмы, которые имеют затраты памяти порядка kn, где k = const.

Обученная НС с приемлемой точностью должна решать все тестовые задачи (или, быть может, почти все с очень малой частью исключений). Поэтому задача обучения становится по существу многокритериальной задачей оптимизации, т.е. надо найти точку общего минимума большего числа функций оценки. Обучение НС исходит из гипотезы о существовании такой точки, основанной на том, что НС имеет очень большое число переменных.

Рассматриваемые градиентные алгоритмы позволяют находить только локальные экстремумы. Однако, на практике обучения нейронных сетей производится на многоэкстремальных целевых функциях (функциях ошибки). Как правило, экстремумов у целевой функции не очень много. Достаточно лишь раз или два "выбить" сеть из локального минимума с большим значением целевой функции для того, чтобы в результате итераций в соответствии с алгоритмом локальной оптимизации сеть оказалась в локальном минимуме со значением целевой функции, близким к нулю. Если после нескольких попыток "выбить" сеть из локального минимума желаемого результата добиться не удается, необходимо увеличить число нейронов во всех слоях с первого по предпоследний. Для того, чтобы "выбить" сеть из локального минимума, синаптическим весам и смещениям случайным образом присваиваются значения из заданного диапазона.

Многочисленные эксперименты по обучению НС показали, что совокупное использование алгоритма локальной оптимизации, процедуры "выбивания" сети из локального минимума и процедуры увеличения числа нейронов приводит к успешному обучению нейронных сетей.

Одномерная оптимизация.

Все пошаговые (итеративные) методы оптимизации состоят из двух важнейших частей: нахождение вектора анти-градиента (направления движения в пространстве настраиваемых параметров), способ получение которого рассмотрен выше, и выбора шага в данном направлении. Методы одномерной оптимизации дают эффективный способ для выбора величины шага. Из огромного количества алгоритмов одномерной оптимизации можно предложить алгоритм параболического приближения, который хорошо зарекомендовал себя при обучении нейронных сетей.

Заметим, что для обучения по отдельным примерам, то есть без постраничной организации, непосредственно применять методы одномерной оптимизации нецелесообразно -- они слишком эффективны (сильны), поэтому давая заметное улучшение на одном обучающем примере, они часто разрушают навыки полученные по предыдущим примерам. При постраничном обучении такого обычно не происходит.

Рассмотрим работу алгоритма подробней. Допустим необходимо обучить следующую нейронную сеть, применив алгоритм обратного распространения ошибки:

На приведенном рисунке использованы следующие условные обозначения:

каждому слою нейронной сети соответствует своя буква, например: входному слою соответствует буква , а выходному - ;

все нейроны каждого слоя пронумерованы арабскими цифрами;

- синаптический вес между нейронами и ;

- выход нейрона .

В качестве активационной функции в многослойных персептронах, как правило, используется сигмоидальная активационная функция, в частности логистическая:

где - параметр наклона сигмоидальной функции. Изменяя этот параметр, можно построить функции с различной крутизной. Оговоримся, что для всех последующих рассуждений будет использоваться именно логистическая функция активации, представленная только, что формулой выше.

Сигмоид сужает диапазон изменения так, что значение лежит между нулем и единицей. Многослойные нейронные сети обладают большей представляющей мощностью, чем однослойные, только в случае присутствия нелинейности. Сжимающая функция обеспечивает требуемую нелинейность. В действительности имеется множество функций, которые могли бы быть использованы. Для алгоритма обратного распространения ошибки требуется лишь, чтобы функция была всюду дифференцируема. Сигмоид удовлетворяет этому требованию. Его дополнительное преимущество состоит в автоматическом контроле усиления. Для слабых сигналов (т.е. когда близко к нулю) кривая вход-выход имеет сильный наклон, дающий большое усиление. Когда величина сигнала становится больше, усиление падает. Таким образом, большие сигналы воспринимаются сетью без насыщения, а слабые сигналы проходят по сети без чрезмерного ослабления.

Целью обучения сети алгоритмом обратного распространения ошибки является такая подстройка ее весов, чтобы приложение некоторого множества входов приводило к требуемому множеству выходов. Для краткости эти множества входов и выходов будут называться векторами. При обучении предполагается, что для каждого входного вектора существует парный ему целевой вектор, задающий требуемый выход. Вместе они называются обучающей парой. Сеть обучается на многих парах.

Алгоритм обратного распространения ошибки следующий:

Инициализировать синаптические веса маленькими случайными значениями.

Выбрать очередную обучающую пару из обучающего множества; подать входной вектор на вход сети.

Вычислить выход сети.

Вычислить разность между выходом сети и требуемым выходом (целевым вектором обучающей пары).

Подкорректировать веса сети для минимизации ошибки (как см. ниже).

Повторять шаги с 2 по 5 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.

Операции, выполняемые шагами 2 и 3, сходны с теми, которые выполняются при функционировании уже обученной сети, т.е. подается входной вектор и вычисляется получающийся выход. Вычисления выполняются послойно. На рис. 1 сначала вычисляются выходы нейронов слоя (слой входной, а значит никаких вычислений в нем не происходит), затем они используются в качестве входов слоя , вычисляются выходы нейронов слоя , которые и образуют выходной вектор сети . Шаги 2 и 3 образуют так называемый «проход вперед», так как сигнал распространяется по сети от входа к выходу.

Шаги 4 и 5 составляют «обратный проход», здесь вычисляемый сигнал ошибки распространяется обратно по сети и используется для подстройки весов.

Рассмотрим подробней 5 шаг - корректировка весов сети. Здесь следует выделить два нижеописанных случая.

Случай 1. Корректировка синаптических весов выходного слоя

Например, для модели нейронной сети на рис. 1, это будут веса имеющие следующие обозначения: и . Определимся, что индексом будем обозначать нейрон, из которого выходит синаптический вес, а - нейрон в который входит:



Введем величину , которая равна разности между требуемым и реальным выходами, умноженной на производную логистической функции активации (формулу логистической функции активации см. выше):

Тогда, веса выходного слоя после коррекции будут равны:

где:

- номер текущей итерации обучения;

- величина синаптического веса, соединяющего нейрон с нейроном ;

(греческая буква «эта») - коэффициент «скорости обучения», позволяет управлять средней величиной изменения весов;

- выход нейрона .

Приведем пример вычислений для синаптического веса :



Случай 2. Корректировка синаптических весов скрытого слоя

Для модели нейронной сети на рис. 1, это будут веса соответствующие слоям и . Определимся, что индексом будем обозначать нейрон из которого выходит синаптический вес, а - нейрон в который входит (обратите внимание на появление новой переменной ):

Введем величину , которая равна:

где:

- сумма от по .

Тогда, веса скрытых слоев после коррекции будут равны:



Приведем пример вычислений для синаптического веса :

Для каждого нейрона в скрытом слое должно быть вычислено и подстроены все веса, ассоциированные с этим слоем. Этот процесс повторяется слой за слоем по направлению к входу, пока все веса не будут подкорректированы.

Появление алгоритма обратного распространения ошибки стало знаковым событием в области развития нейронных сетей, так как он реализует вычислительно эффективный метод обучения многослойного персептрона. Будет неправильно утверждать, что алгоритм обратного распространения ошибки предлагает действительно оптимальное решение всех потенциально разрешимым проблем, однако он развеял пессимизм относительно обучения многослойных машин, воцарившийся в результате публикации Минского в 1969 году.

Размещено на Allbest.ru

...