Введение в экспертные системы

В этом случае матрица G может быть приближенно представлена в виде:

. (3.16)

Псевдообратная матрица для матрицы G находится по формуле:

, (3.17)

где . Тогда вектор весов находится из соотношения:

. (3.18)

На втором этапе при зафиксированных значениях выходных весов возбуждающие сигналы пропускаются по сети до выходного слоя, что позволяет рассчитать величину погрешности для последовательности векторов . Далее происходит возврат к скрытому слою (обратное распространение). По величине погрешности определяется вектор градиента целевой функции относительно конкретных центров и ширины .

Каждая радиальная функция определяется в общем виде как

, (3.19)

где суммарный сигнал нейрона описывается выражением

. (3.20)

При существовании p обучающих пар целевую функцию можно задать в виде

(3.21)

В результате дифференцирования этой функции получим:

, (3.22)

Применение градиентного метода наискорейшего спуска позволяет провести уточнение центров и ширины радиальных функций согласно формулам (3.23) и (3.24):

, (3.23)

. (3.24)

Уточнение нелинейных параметров радиальной функции завершает очередной цикл обучения. Многократное повторение обоих этапов ведет к полному и быстрому обучению сети, особенно когда начальные значения параметров радиальных функций близки к оптимальным значениям.

3.7.3 Применение метода обратного распространения ошибки для радиальных сетей

Обособленный класс алгоритмов обучения радиальных сетей составляют градиентные алгоритмы обучения с учителем, в которых используется алгоритм обратного распространения ошибки. Их основу составляет целевая функция, которая для одной обучающей выборки имеет вид:

(3.25)

Предположим, что применяется самая общая форма гауссовской радиальной функции , соответствующей сети HRBF, в которой

, (3.26)

а матрица имеет произвольную структуру.

Обучение сети с использованием алгоритма обратного распространения ошибки проводится в два этапа. На первом этапе предъявляется обучающая выборка и рассчитываются значения сигналов выходных нейронов сети, после чего рассчитывается фактическое значение целевой функции, заданной выражением (3.25). На втором этапе минимизируется значение этой функции.

Подбор значений параметров можно осуществлять, используя градиентные методы оптимизации независимо от объекта обучения - будь то вес или центр. Независимо от выбираемого метода градиентной оптимизации, необходимо, прежде всего, получить вектор градиента целевой функции относительно всех параметров сети. Для этого необходимо решить систему дифференциальных уравнений, представленную формулами:

(3.27)

Левые части уравнений в системе (3.27) представляют собой частные производные целевой функции по параметрам сети. Аналитические выражения для них сложны и неудобны для практического применения. Поэтому для расчета градиента целесообразно использовать метод потоковых графов, описанный в разделе 2.3.6. Граф сети HRBF представлен на рис.3.4. Тогда аналитические выражения для частных производных можно записать в более простом виде:

(3.28)

(3.29)

(3.30)

(3.31)

где (3.32)

i- индекс нейрона скрытого слоя, i=1,2,…,K;

(3.33)

j- индекс компонента входного вектора x, j=1,2,…,N;

r- индекс переменной в компоненте входного вектора , r=1,2,…,N;

- элементы масштабирующей матрицы Q.

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Рис. 3.5 Структура HRBF-сети, используемая для расчета градиента а) исходная сеть; б) сопряженная сеть

3.8 Методы подбора числа базисных функций

Подбор числа базисных функций, каждой из которых соответствует один скрытый нейрон, считается основной проблемой, возникающей при корректном решении задачи аппроксимации, решаемой радиально-базисной сетью. Семейство сетей RBF является достаточно широким, чтобы равномерно аппроксимировать любую непрерывную функцию на компактном множестве. Теоретический базис построения нейронных сетей на основе радиальных базисных функций дает универсальная теорема об аппроксимации [5].

Пусть - ограниченная, непрерывная и интегрируемая функция, такая, что

. (3.33)

Пусть - семейство сетей RBF, включающих функцию следующего вида:

,

где для Тогда выполняется следующая теорема об универсальной аппроксимации для сетей RBF.

Для любой непрерывной функции найдется сеть RBF с множеством центров и общей шириной , такая, что функция , реализуемая сетью, будет близка к по норме .

Теорема является более строгой, чем необходимо для сетей RBF, так как ядро не обязательно должно удовлетворять условию симметрии.

При подборе числа нейронов в скрытом слое приходится учитывать следующие факторы. Слишком малое число нейронов не позволяет сильно уменьшить погрешность обобщения множества обучающих данных, слишком большое число - увеличивает погрешность выводимого решения на множестве тестирующих данных. Как правило, число базисных функций K составляет определенную долю от объема обучающих данных p.

Наиболее эффективным алгоритмом подбора числа скрытых нейронов считается метод ортогонализации наименьших квадратов, использующий алгоритм ортогонализации Грэма-Шмидта [4].

Отправная точка этого метода - представление задачи обучения в виде линейной адаптации вектора весов сети , направленной на минимизацию значения вектора погрешности е. Для p обучающих выборок вектор ожидаемых значений имеет вид: . При использовании К базисных функций и p обучающих пар реакции скрытых нейронов образуют матрицу G вида (3.15)

, (3.34)

в которой обозначает реакцию i-й радиальной функции на t-ю обучающую выборку, . Если вектор реакций i-й радиальной функции на все обучающие выборки обозначить , то матрицу G можно представить в форме .

При таких обозначениях на каждом этапе обучения будет выполняться линейное равенство

, (3.35)

где w - вектор весов, а - вектор фактической погрешности обучения. Квадрат произведения Gw соответствует ожидаемой энергии, исходящей от сигналов, задаваемых вектором d, которая и подвергается максимизации в процессе обучения.

Метод ортогонализации наименьших квадратов основан на преобразовании векторов gi во множество базисных ортогональных векторов. В процессе обучения матрица раскладывается на произведение матрицы с ортогональными столбцами на верхнетреугольную матрицу с единичными диагональными значениями:

G = QA , (3.36)

где , а матрица Q соответствует условию .

При этом H - диагональная матрица с элементами . Решение зависимости (3.35) методом наименьших квадратов может быть спроецировано в пространство, образуемое ортогональными векторами Если ввести новую векторную переменную b, определенную как

b = Aw, (3.37)

то из уравнения (3.35) получим:

d = QB + e. (3.38)

Приближенное решение уравнения (3.38) методом наименьших квадратов имеет вид:

. (3.39)

Принимая во внимание диагональный характер матрицы Н, можно получить формулу, описывающую i-й компонент вектора :

. (3.40)

Решение, определяющее вектор весов w, находится непосредственно из уравнения (3.37), которое можно переписать в форме .

3.9 Метод ортогонализации Грэма-Шмидта

Ортогонализация матрицы Q, описанная выражением (3.37), может быть проведена различными методами, наиболее эффективным из которых является алгоритм Грэма-Шмидта. В соответствии с этим методом матрица А формируется последовательно, столбец за столбцом с одновременным формированием очередных столбцов ортогональной матрицы Q. На r-м шаге создается столбец , ортогональный ко всем созданным ранее (r-1) столбцам (i =1,2,…,r-1). Процедура повторяется для значений r=2,3,…,K. Математическая модель этой операции имеет вид:

, (3.41)

, (3.42)

, (3.43)

для , r=2,3,…,K. Многократно повторенная процедура ортогонализации позволяет сформировать все ортогональные векторы и матрицу А, на основе которых можно найти вектор весов .

Однако важнейшим достоинством описываемого метода ортогонализации считается возможность селекции векторов с учетом их важности для отображения обучающих данных. В случае априорно определенного количества К радиальных функций, задача заключается в такой расстановке векторов , чтобы отобрать из них первые наиболее значимые в энергетическом плане, при этом, как правило, . Использование в дальнейших вычислениях только радиальных функций означает сокращение количества скрытых нейронов с начального их числа K до .

В качестве начального значения берется K=p. Алгоритм отбора наиболее значимых базисных функций выглядит следующим образом: На первом этапе (r=1) для 1 i K рассчитать

, (3.44)

(3.45)

Предполагается, что для 1 i K, а вектор . На следующих этапах (r 2) для 1 i K, следует провести очередные циклы ортогонализации:

, (3.46)

, (3.47)

а также оценить влияние очередных радиальных функций на суммарное значение энергетической функции путем расчета:

(3.48)

Если наибольший вклад радиальной функции в общую энергию обозначить , т.е. для 1 i K, , тогда очередной выделенный вектор будет соответствовать радиальной функции со следующим по важности вкладом в общую энергию. Этот вектор определяется выражением:

, (3.49)

в котором коэффициент для 1 i r-1.

Процедура выявления наиболее значимых для отображения радиальных функций завершается на этапе r =, в момент выполнения условия

, (3.50)

где 0 < < 1 - это заранее установленный порог толерантности.

В результате выполнения процедуры в сети остается только наиболее значимых радиальных функций, расположенных в ранее определенных центрах. Одновременно вычисляются конкретные составляющие вектора b, на основе которых по формуле (3.28) находятся значения весов w выходного слоя сети.

Еще одно достоинство процесса ортогонализации - возможность избежать неудачной комбинации параметров процесса обучения. Выполнение условия , означает, что соответствующий вектор является линейной комбинацией векторов . Поэтому если в процессе ортогонализации произведение меньше, чем заданное значение, то функцию можно не включать во множество базисных функций.

3.10 Сравнение радиально-базисной сети и многослойного персептрона

Сети RBF и MLP являются примерами нелинейных многослойных сетей прямого распространения. И те и другие являются универсальными аппроксиматорами, однако эти два типа сетей отличаются по некоторым важным аспектам.

Сети RBF (в своей основной форме) имеют один скрытый слой, в то время как многослойный персептрон может иметь большее число скрытых слоев.

Обычно скрытые и выходные нейроны сети MLP используют одну и ту же модель нейрона. Нейроны скрытого слоя сети RBF могут отличаться друг от друга и от нейронов выходного слоя.

Скрытый слой сети RBF является нелинейным, а выходной - линейным. В то же время скрытые и выходной слой сети MLP являются нелинейными. Если сеть MLP используется для решения задач нелинейной регрессии, в качестве выходных нейронов выбираются линейные нейроны.

Аргумент функции активации каждого скрытого нейрона сети RBF представляет собой эвклидову меру между входным вектором и центром радиальной функции. Аргументом функции активации каждого скрытого нейрона сети MLP является скалярное произведение входного вектора и вектора синаптических весов данного нейрона.

Сеть MLP обеспечивает глобальную аппроксимацию нелинейного отображения. Сеть RBF создает локальную аппроксимацию нелинейного отображения.

Аппроксимация нелинейного отображения с помощью многослойного персептрона может потребовать меньшее число параметров, чем для радиально-базисной сети при одинаковой точности вычислений.

4. Сети с самоорганизацией на основе конкуренции

4.1 Сеть Кохонена

Основу самоорганизации нейронных сетей составляет подмеченная закономерность, что глобальное упорядочение сети становится возможным в результате самоорганизующих операций, независимо друг от друга проводящихся в различных локальных сегментах сети. В соответствии с поданными сигналами осуществляется активация нейронов, в результате чего активным оказывается один нейрон в сети (или в группе). Выходной нейрон, который выиграл соревнование, называется нейроном-победителем.

Нейроны в ходе конкурентного процесса, вследствие изменения значений синаптических весов, избирательно настраиваются на различные входные векторы или классы входных векторов. В процессе обучения наблюдается тенденция к росту значений весов, из-за которой создается своеобразная положительная обратная связь: более мощные возбуждающие импульсы - более высокие значения весов - большая активность нейронов.

При этом происходит естественное расслоение нейронов на различные группы, отдельные нейроны или их группы сотрудничают между собой и активизируются в ответ на возбуждение, создаваемое конкретными обучающими векторами, подавляя своей активностью другие нейроны. Можно говорить как о сотрудничестве между нейронами внутри группы, так и о конкуренции между нейронами внутри группы и между различными группами.

Среди механизмов самоорганизации можно выделить два основных класса: самоорганизация, основанная на ассоциативном правиле Хебба, и механизм конкуренции нейронов на базе обобщенного правила Кохонена. В дальнейшем будем рассматривать механизм конкуренции нейронов.

Нейроны помещаются в узлах решетки, обычно одно- или двумерной. Сети более высокой размерности также возможны, но используются достаточно редко. Как правило, это однослойные сети прямого распространения, в которых нейрон соединен со всеми компонентами -мерного входного вектора х так, как это схематично изображено для на рис. 4.1 [4].

Размещено на http://www.allbest.ru/

Рис. 4.1 Структура самоорганизующейся сети Кохонена

Формирование самоорганизующихся сетей начинается с инициализации синаптических весов сети. Обычно синаптическим весам присваиваются малые значения, которые формируются генератором случайных чисел. При такой инициализации сеть изначально не имеет какого-либо порядка признаков входных векторов. После инициализации сети реализуются три основных процесса [5]:

Конкуренция. Для каждого входного вектора нейроны сети вычисляют относительные значения дискриминантной функции.

Кооперация. Победивший нейрон определяет топологическую окрестность группы нейронов, обеспечивая базис для кооперации между ними.

Синаптическая адаптация. Корректировка синаптических весов возбужденных нейронов позволяет увеличить их собственные значения дискриминантных функций по отношению к входным векторам. Корректировка производится таким образом, чтобы выходной сигнал нейрона-победителя усиливался при последующем применении аналогичных входных векторов.

Веса синаптических связей нейронов образуют вектор . После нормализации входных векторов при активации сети вектором в конкурентной борьбе побеждает тот нейрон, веса которого в наименьшей степени отличаются от соответствующих компонентов этого вектора. Для -го нейрона-победителя выполняется соотношение

(4.1)

где обозначает расстояние между векторами и , а - количество нейронов. Вокруг нейрона-победителя образуется топологическая окрестность с определенной энергетикой, уменьшающейся с течением времени. Нейрон-победитель и все нейроны, лежащие в пределах его окрестности, подвергаются адаптации, в ходе которой их векторы весов изменяются в направлении вектора по правилу Кохонена:

(4.2)

для , где - коэффициент обучения -го нейрона на окрестности в t -й момент времени.

Значение уменьшается с увеличением расстояния между -м нейроном и победителем. Веса нейронов, находящихся вне окрестности , не изменяются.

Размер окрестности и коэффициенты обучения нейронов являются функциями, значения которых уменьшаются с течением времени.

В [10] доказано, что адаптация по формуле (4.2) эквивалентна градиентному методу обучения, основанному на минимизации целевой функции

, (4.3)

а представляет собой функцию определения окрестности, изменяющуюся в процессе обучения.

После предъявления двух различных векторов и активизируются два нейрона сети, веса которых наиболее близки к координатам соответствующих векторов.

Эти веса, обозначенные и , могут отображаться в пространстве как две точки. Сближение векторов и вызывает соответствующее изменение в расположении векторов и В пределе равенство выполняется тогда и только тогда, когда и совпадают или практически неотличимы друг от друга.

Сеть, в которой эти условия выполняются, называется топографической картой или картой Кохонена.

4.2 Меры расстояния между векторами и нормализация векторов

Процесс самоорганизации предполагает определение победителя каждого этапа, то есть нейрона, вектор весов которого в наименьшей степени отличается от поданного на вход сети вектора х. В этой ситуации важной проблемой становится выбор метрики, в которой будет измеряться расстояние между векторами х и .

Чаще всего в качестве меры расстояния используются:

эвклидова мера

; (4.4)

скалярное произведение

; (4.5)

мера относительно нормы L1 (Манхэттен)

; (4.6)

мера относительно нормы L?

. (4.7)

При использовании эвклидовой меры разбиение пространства на зоны доминирования нейронов равносильно разбиению на области Вороного. При использовании другой меры формируется другое разделение областей влияния нейронов. Использование скалярного произведения требует нормализации входных векторов, так как в противном случае возможно неравномерное распределение нейронов: в одной области может находиться несколько нейронов, а в другой - ни одного нейрона.

При нормализованных входных обучающих векторах стремящиеся к ним векторы весов нормализуются автоматически. Однако нормализация векторов приводит к тому, что если , то для всех нейронов при фиксированном значении произведение также становится постоянной величиной. Поэтому активация нейрона определяется значением , которое становится общей мерой для всей сети. Следует отметить, что при нормализации вектора весов эвклидова мера и скалярное произведение равнозначны друг другу, так как . Поэтому при . Экспериментальные исследования подтвердили необходимость применения нормализации векторов при малой размерности пространства [4]. Такая нормализация проводится двумя способами:

Переопределение компонентов вектора в соответствии с формулой

. (4.8)

Увеличением размерности пространства на одну координату с таким выбором -го компонента вектора, чтобы выполнялось условие:

. (4.9)

При использовании второго способа возникает необходимость предварительного масштабирования компонентов вектора .

С увеличением размерности входного вектора эффект нормализации становится менее заметным, а при размерности вообще сходит на нет.

4.3 Проблема мертвых нейронов

При инициализации весов сети случайным способом часть нейронов может оказаться в области пространства, в которой отсутствуют данные или их количество ничтожно мало. Эти нейроны имеют мало шансов на победу и адаптацию своих весов, поэтому они остаются мертвыми. Таким образом, входные данные будут интерпретироваться меньшим количеством нейронов, а погрешность интерпретации данных увеличится. Поэтому важной проблемой становится активация всех нейронов сети, которую можно осуществить, если в алгоритме обучения предусмотреть учет количества побед каждого нейрона, а процесс обучения организовать так, чтобы дать шанс победить и менее активным нейронам.

Существуют различные механизмы учета активности нейронов в процессе обучения [4]. Часто используется метод подсчета потенциала pi каждого нейрона, значение которого модифицируется всякий раз после предъявления очередной реализации входного вектора х в соответствии со следующей формулой (в ней предполагается, что победителем стал w-й нейрон):

. (4.10)

Значение коэффициента определяет минимальный потенциал, разрешающий участие в конкурентной борьбе. Если фактическое значение потенциала падает ниже , то i-й нейрон «отдыхает», а победитель ищется среди нейронов, для которых выполняется соотношение

 (4.11)

Максимальное значение потенциала ограничивается на уровне, равном 1. Выбор конкретного значения позволяет установить порог готовности нейрона к конкурентной борьбе. При =0 утомляемость нейронов не возникает, и каждый из них сразу после победы будет готов к продолжению соперничества. При =1 возникает другая крайность, вследствие которой нейроны побеждают по очереди, так как в каждый момент только один из них оказывается готовым к соперничеству. На практике хорошие результаты достигаются при ?0,75.

В другом очень удачном алгоритме обучения количество побед нейрона учитывается при подсчете эффективного расстояния между вектором весов и реализацией обучающего вектора х. Это расстояние модифицируется пропорционально количеству побед данного нейрона в прошлом. Если обозначить количество побед i-го нейрона , такую модификацию можно представить в виде

. (4.12)

Активные нейроны с большим значением штрафуются искусственным завышением этого расстояния. Отметим, что модификация расстояния производится только при выявлении победителя. В момент уточнения весов учитывается фактическое расстояние. Обычно после двух или трех циклов обучения модификация прекращается, что позволяет продолжить «честную» конкуренцию нейронов.

4.4 Алгоритмы обучения без учителя

4.4.1 Алгоритм WTA

Алгоритмы обучения, используемые для обучения нейронных сетей Кохонена, называются алгоритмами обучения без учителя. Подобные алгоритмы применяются в тех случаях, когда нет эталонных выходных значений для входных векторов.

Целью обучения сети с самоорганизацией на основе конкуренции, считается такое упорядочение нейронов, которое минимизирует значение отклонения вектора весов от входного вектора x. При p входных векторах x эта погрешность в эвклидовой метрике может быть выражена в виде:

, (4.13)

где - это вес нейрона-победителя при предъявлении вектора .

Этот подход также называется векторным квантованием (VQ). Номера нейронов-победителей при последовательном предъявлении векторов x образуют так называемую кодовую таблицу. При классическом решении задачи кодирования применяется алгоритм K-усреднений, носящий имя обобщенного алгоритма Ллойда.

Для нейронных сетей аналогом алгоритма Ллойда считается алгоритм WTA (Winner Takes All - победитель получает все). В соответствии с ним после предъявления вектора x рассчитывается активность каждого нейрона. Победителем признается нейрон с самым сильным выходным сигналом, то есть тот, для которого скалярное произведение оказывается наибольшим, что для нормализованных векторов равнозначно наименьшему эвклидову расстоянию между входным вектором и вектором весов нейронов. Победитель получает право уточнить свои веса в направлении вектора x согласно правилу

(4.14)

Веса остальных нейронов уточнению не подлежат. Алгоритм позволяет учитывать усталость нейронов путем подсчета количества побед каждого из них и поощрять элементы с наименьшей активностью для выравнивания их шансов.

Помимо алгоритмов WTA, в которых в каждой итерации может обучаться только один нейрон, для обучения сетей с самоорганизацией широко применяется алгоритмы типа WTM (Winner Takes Most - победитель получает больше), в которых, кроме победителя, уточняют значения своих весов и нейроны из его ближайшего окружения. При этом, чем дальше какой-либо нейрон находится от победителя, тем меньше изменяются его веса. Процесс уточнения вектора весов может быть определен в виде

(4.15)

для всех i нейронов, расположенных в окрестности победителя. В приведенной формуле коэффициент обучения каждого нейрона отделен от его расстояния до предъявленного вектора x функцией . Если определяется в форме

, (4.16)

для w обозначает номер победителя, то мы получаем классический алгоритм WTA. Существует множество вариантов алгоритма WTM, отличающихся, прежде всего формой функции . Для дальнейшего обсуждения выберем классический алгоритм Кохонена и алгоритм нейронного газа.

4.4.2 Алгоритм Кохонена

Алгоритм Кохонена относится к наиболее старым алгоритмам обучения сетей с самоорганизацией на основе конкуренции, и в настоящее время существуют различные его версии [4]. В классическом алгоритме Кохонена сеть инициализируется путем приписывания нейронам определенных позиций в пространстве и связывании их с соседями на постоянной основе. В момент выбора победителя уточняются не только его веса, но также веса и его соседей, находящихся в ближайшей окрестности. Таким образом, нейрон-победитель подвергается адаптации вместе со своими соседями.

, (4.17)

В этом выражении может обозначать как эвклидово расстояние между векторами весов нейрона-победителя и -го нейрона, так и расстояние, измеряемое количеством нейронов.

Другой тип соседства в картах Кохонена- это соседство гауссовского типа, при котором функция определяется формулой

. (4.18)

Уточнение весов нейронов происходит по правилу:

. (4.19)

Степень адаптации нейронов-соседей определяется не только эвклидовым расстоянием между i-м нейроном и нейроном-победителем (w-м нейроном) , но также уровнем соседства . Как правило, гауссовское соседство дает лучшие результаты обучения и обеспечивает лучшую организацию сети, чем прямоугольное соседство.

4.4.3 Алгоритм нейронного газа

Значительно лучшую самоорганизацию сети и ускорение сходимости алгоритма WTM можно получить применением метода, предложенного в [7] и названного авторами алгоритмом нейронного газа из-за подобия его динамики движению молекул газа.

В этом алгоритме на каждой итерации все нейроны сортируются в зависимости от их расстояния до вектора x. После сортировки нейроны размечаются в последовательности, соответствующей увеличению удаленности

, (4.20)

где обозначает удаленность i-го нейрона, занимающего в результате сортировки m-ю позицию в последовательности, возглавляемой нейроном-победителем, которому сопоставлена удаленность . Значение функции соседства для i-го нейрона определяется по формуле

, (4.21)

в которой обозначает очередность, полученную в результате сортировки (=0,1,2,…,K-1), а - параметр, аналогичный уровню соседства в алгоритме Кохонена, уменьшающийся с течением времени. При адаптации подвергается только нейрон-победитель, и алгоритм превращается в обычный алгоритм WTA, но при уточнению подлежат веса многих нейронов, причем уровень уточнения зависит от величины .

Алгоритм нейронного газа напоминает стратегию нечетких множеств, в соответствии с которой каждому нейрону приписывается значение функции принадлежности к окрестности, определенной отношением (4.19).

Для достижения хороших результатов самоорганизации процесс обучения должен начинаться с большого значения , однако с течением времени его величина уменьшается до нуля. Изменение может быть линейным или показательным.

Предложено изменять значение в соответствии с выражением

, (4.22)

где обозначает значение на t-й итерации, а и - принятые минимальное и максимальное значения соответственно. Коэффициент определяет максимальное заданное количество итераций.

Коэффициент обучения i-го нейрона тоже может изменяться как линейно, так и показательно, причем его степенная изменчивость определяется формулой

, (4.23)

в которой обозначает начальное значение коэффициента обучения, - априорно заданное минимальное значение, соответствующее . На практике наилучшие результаты самоорганизации достигаются при линейном изменении .

Для сокращения объема вычислений, необходимых для реализации алгоритма нейронного газа, можно применить определенное упрощение, состоящее в учете при сортировке только нейронов с наиболее значимой величиной функции . При этом используется зависимость (4.20), в соответствии с которой если , то значение .

Алгоритм нейронного газа наряду с алгоритмом WTA, учитывающим активность нейронов, считается одним из наиболее эффективных средств самоорганизации нейронов в сети Кохонена. При соответствующем подборе параметров управления процессом можно добиться очень хорошей организации сети при скорости функционирования, превышающей скорость, достижимую в классическом алгоритме Кохонена.

4.5 Сети встречного распространения

4.5.1 Структура сети

Недостатком сетей с самоорганизацией на основе конкуренции считается сложность отображения пар обучающих данных , поскольку сеть не обладает свойством хорошего аппроксиматора, присущему многослойному персептрону или радиально-базисной сети. Хорошие результаты удается получить при объединении самоорганизующегося слоя и персептронного слоя или слоя Гроссберга. Объединение сети Кохонена и звезды Гроссберга называется сетью встречного распространения [17].

На рис. 4.2 показана упрощенная версия прямого действия сети встречного распространения. На нем иллюстрируются функциональные свойства данной парадигмы. Полная двунаправленная сеть основана на тех же принципах.

Нейроны слоя (0) служат лишь точками разветвления и не выполняют вычислений. Каждый нейрон слоя (0) соединен с каждым нейроном слоя (1), называемого слоем Кохонена, отдельным весом . Эти веса в целом рассматриваются как матрица весов w. Аналогично, каждый нейрон в слое Кохонена соединен с каждым нейроном слоя (2), называемого слоем Гроссберга, весом . Эти веса образуют матрицу весов v.

Сети встречного распространения функционируют в двух режимах: в нормальном режиме, при котором принимается входной вектор x и выдается выходной вектор y; и в режиме обучения, при котором подается входной вектор x и корректируются веса, чтобы получить требуемый эталонный вектор.

Размещено на http://www.allbest.ru/

Рис. 4.2 Сеть встречного распространения без обратных связей

4.5.2 Нормальное функционирование сети встречного распространения

В своей простейшей форме слой Кохонена функционирует по принципу «победитель получает все», то есть для данного входного вектора только один нейрон Кохонена выдает на выходе логическую единицу, все остальные выдают ноль.

Каждый нейрон Кохонена соединён с каждой компонентой входного вектора. Подобно нейронам большинства сетей выход u каждого нейрона Кохонена является просто суммой взвешенных входов. Это может быть выражено следующей формулой:

, (4.24)

где - это выход u i -го нейрона Кохонена,

 (4.25)

или в векторной записи

. (4.26)

Нейрон Кохонена с максимальным значением u является нейроном-победителем. Слой Гроссберга функционирует в сходной манере. Его выход y является взвешенной суммой выходов слоя Кохонена, образующих вектор u. Вектор соединяющих весов, обозначенный через v, состоит из весов . Тогда выход y каждого нейрона Гроссберга есть

, (4.27)

где - выход s-го нейрона Гроссберга, или в векторной форме

, (4.28)

где y - выходной вектор слоя Гроссберга, u - выходной вектор слоя Кохонена, v - матрица весов слоя Гроссберга.

Если слой Кохонена функционирует таким образом, что лишь один элемент вектора u отличен от нуля, то вычисления очень просты. Фактически каждый нейрон слоя Гроссберга лишь выдает величину веса, который связывает этот нейрон с единственным ненулевым нейроном Кохонена.

4.5.3 Структура полной сети встречного распространения

На рис. 4.3 показана структура полной сети встречного распространения. В режиме нормального функционирования предъявляются входные векторы и , и обученная сеть дает на выходе векторы и , являющиеся аппроксимациями и соответственно. Предполагается, что векторы и являются нормализованными единичными векторами, следовательно, выходные векторы также будут нормализованными.

В процессе обучения векторы и подаются одновременно и как входные векторы сети, и как эталонные выходные сигналы.

Вектор используется для обучения выходов , а вектор - для обучения выходов слоя Гроссберга. Гибридная сеть обучается с использованием того же самого метода, который описывался для сети прямого действия. Нейроны Кохонена принимают входные сигналы, как от вектора , так и от вектора , что аналогично ситуации, когда имеется один общий вектор, составленный из векторов и .

В качестве результата получается единичное отображение, при котором предъявление пары входных векторов порождает их копии на выходе. Это не представляется особенно интересным, если не заметить, что предъявление только вектора порождает как выходы , так и выходы . Если F - функция, отображающая в , то сеть аппроксимирует ее. Также, если F обратима, то предъявление только вектора порождает . Уникальная способность порождать функцию и обратную к ней делает сеть встречного распространения полезной в ряде приложений.

Сеть встречного распространения быстро обучается и при правильном использовании может сэкономить значительное количество машинного времени. Она полезна также для быстрого моделирования систем, где большая точность встречного распространения вынуждает отдать ему предпочтение в окончательном варианте, но важна быстрая начальная аппроксимация. Возможность порождать функцию и обратную к ней также нашло применение в ряде систем.

Размещено на http://www.allbest.ru/

Рис. 4.3 Общая структура гибридной сети

4.5.4 Анализ методов обучения сети встречного распространения

Обучение слоя Кохонена реализуется по одному из приведенных выше алгоритмов обучения сетей Кохонена.

Слой Гроссберга обучается относительно просто. Входной вектор, являющийся выходом слоя Кохонена, подается на слой нейронов Гроссберга, при этом выходы слоя Гроссберга вычисляются так же, как при нормальном функционировании. Далее, каждый вес корректируется лишь в том случае, если он соединен с нейроном Кохонена, имеющим ненулевой выход. Величина коррекции веса пропорциональна разности между весом и требуемым выходом нейрона Гроссберга, с которым он соединен. В символьной записи:

, (4.29)

где - выход i-го нейрона Кохонена (только для одного нейрона Кохонена он отличен от нуля); - j-я компонента эталонного вектора выходов, t - номер входного вектора.

Первоначально берется равным ~0,1 и затем постепенно уменьшается в процессе обучения. Отсюда видно, что веса слоя Гроссберга будут сходиться к средним величинам эталонных значений выходов, тогда как веса слоя Кохонена обучаются на средних значениях входов. Обучение слоя Гроссберга - это обучение с учителем, алгоритм располагает эталонным выходом, по которому он обучается. Обучающийся без учителя, самоорганизующийся слой Кохонена дает выходы в недетерминированных позициях. Они отображаются в эталонные выходы слоем Гроссберга.

Для сети встречного распространения рекомендуется нормализовать входные векторы перед тем, как подавать их на вход сети. Нормализация выполняется с помощью деления каждой компоненты входного вектора на длину вектора по формуле (4.8).

Всем весам сети перед началом обучения следует придать начальные значения. Общепринятой практикой при работе с нейронными сетями является присваивание весам небольших случайных значений.

Рандомизация весов слоя Кохонена может породить проблемe мертвых нейронов. Более того, оставшихся весов, дающих наилучшие соответствия, может оказаться слишком мало, чтобы разделить входные векторы на классы, которые расположены близко друг к другу.

Допустим, что имеется несколько множеств входных векторов, все множества сходные, но должны быть разделены на различные классы. Сеть должна быть обучена активировать отдельный нейрон Кохонена для каждого класса. Если начальная плотность весовых векторов в окрестности обучающих векторов слишком мала, то может оказаться невозможным разделить сходные классы.

Наоборот, если несколько входных векторов получены незначительными изменениями из одного и того же образца и должны быть объединены в один класс, то они должны включать один и тот же нейрон Кохонена. Если же плотность весовых векторов очень высока вблизи группы слегка различных входных векторов, то каждый входной вектор может активировать отдельный нейрон Кохонена. Это не является катастрофой, так как слой Гроссберга может отобразить различные нейроны Кохонена в один и тот же выход, однако при этом нейроны Кохонена будут использоваться не рационально.

Наиболее рациональное решение состоит в том, чтобы распределять весовые векторы в соответствии с плотностью входных векторов, которые должны быть разделены. На практике это невыполнимо, однако существует несколько методов приближенного достижения тех же целей.

Одно из решений, известное под названием метода выпуклой комбинации, состоит в том, что все веса приравниваются одной и той же величине:

, (4.30)

где N - число входов и, следовательно, число компонент каждого вектора весов. Благодаря этому все векторы весов совпадают и имеют единичную длину. Каждой же компоненте входа Х придается значение

, (4.31)

где N - число входов.

В начале очень мало, вследствие чего все входные векторы имеют длину, близкую к , и почти совпадают с векторами весов. В процессе обучения сети постепенно возрастает, приближаясь к единице. Это позволяет разделять входные векторы и окончательно приписывает им их истинные значения. Векторы весов отслеживают один или небольшую группу входных векторов и в конце обучения дают требуемую картину выходов. Метод выпуклой комбинации хорошо работает, но замедляет процесс обучения, так как весовые векторы подстраиваются к изменяющейся цели.

Другой подход состоит в добавлении шума к входным векторам. При этом они подвергаются случайным изменениям, приближаясь в конце концов к вектору весов. Этот метод также работоспособен, но работает еще медленнее, чем метод выпуклой комбинации.

Третий метод предлагает начинать работу с присвоения случайных значений весам, но на начальной стадии обучающего процесса подстраивать веса всех нейронов сети. Тем самым векторы весов перемещаются ближе к области входных векторов. В процессе обучения коррекция весов начинает производиться лишь для ближайших к победителю нейронов Кохонена. При этом радиус коррекции постепенно уменьшается, так что, в конце концов, корректируется только вес нейрона-победителя Кохонена.

Еще один метод наделяет каждый нейрон Кохонена «чувством справедливости». Если он становится победителем чаще своей законной доли времени (примерно 1/K, где K - число нейронов Кохонена), он временно увеличивает свой порог, что уменьшает его шансы на выигрыш, давая тем самым возможность обучаться и другим нейронам.

Во многих приложениях точность результата существенно зависит от распределения весов. К сожалению, эффективность различных решений исчерпывающим образом не оценена и остается проблемой.

До сих пор мы обсуждали алгоритм обучения, в котором для каждого входного вектора активировался лишь один нейрон Кохонена. Это называется методом аккредитации. Его точность ограничена, так как выход полностью является функцией лишь одного нейрона Кохонена.

В методе интерполяции целая группа нейронов Кохонена, имеющих наибольшие выходы, может передавать свои выходные сигналы в слой Гроссберга. Число нейронов в такой группе должно выбираться в зависимости от задачи, и убедительных данных относительно оптимального размера группы не имеется. Как только группа определена, ее множество выходов Y рассматривается как вектор, длина которого нормализуется на единицу делением каждого значения Y на корень квадратный из суммы квадратов значений Y в группе. Все нейроны вне группы имеют нулевые выходы.

Метод интерполяции способен устанавливать более сложные соответствия и может давать более точные результаты. По-прежнему, однако, нет убедительных данных, позволяющих сравнить режимы интерполяции и аккредитации.

5. Рекуррентные сети

5.1 Общие положения

Отдельную группу нейронных сетей составляют сети с обратной связью между различными слоями нейронов. Это так называемые рекуррентные сети. Их общая черта состоит в передаче сигналов с выходного либо скрытого слоя во входной слой.

Главная особенность таких сетей - динамическая зависимость на каждом этапе функционирования. Изменение состояния одного нейрона отражается на всей сети вследствие обратной связи типа «один ко многим». В сети возникает переходный процесс, который завершается формированием нового устойчивого состояния, отличающегося в общем случае от предыдущего.

Другой особенностью рекуррентных сетей является тот факт, что для них не подходит ни обучение с учителем, ни обучение без учителя. В таких сетях весовые коэффициенты синапсов рассчитываются только однажды перед началом функционирования сети на основе информации об обрабатываемых данных, и все обучение сети сводится именно к этому расчету.

С одной стороны, предъявление априорной информации можно расценивать, как помощь учителя, но с другой - сеть фактически просто запоминает образцы до того, как на ее вход поступают реальные данные, и не может изменять свое поведение, поэтому говорить о звене обратной связи с учителем не приходится.

Из сетей с подобной логикой работы наиболее известны сеть Хопфилда и сеть Хемминга, которые обычно используются для организации ассоциативной памяти. Ассоциативная память играет роль системы, определяющей взаимную зависимость векторов. В случае, когда на взаимозависимость исследуются компоненты одного и того же вектора, говорят об ассоциативной памяти. Если же взаимозависимыми оказываются два различных вектора, можно говорить о памяти гетероассоциативного типа. Типичным представителем первого класса является сеть Хопфилда, а второго - сеть Хемминга.

Главная задача ассоциативной памяти сводится к запоминанию входных обучающих выборок таким образом, чтобы при представлении новой выборки система могла сгенерировать ответ - какая из запомненных ранее выборок наиболее близка к вновь поступившему образу. Наиболее часто в качестве меры близости отдельных множеств применяется мера Хемминга.

При использовании двоичных значений расстояние Хемминга между двумя векторами и определяется в виде [4]:

. (5.1)

При биполярных значениях элементов обоих векторов расстояние Хемминга рассчитывается по формуле:

. (5.2)

Мера Хемминга равна нулю только тогда, когда . В противном случае она равна количеству битов, на которое различаются оба вектора.

5.2 Сеть Хопфилда

Обобщенная структура сети Хопфилда представляется, как правило, в виде системы с непосредственной обратной связью выхода с входом (рис. 5.1). Характерная особенность такой системы состоит в том, что выходные сигналы нейронов являются одновременно входными сигналами сети:

(5.3)

В классической системе Хопфилда отсутствует связь нейрона с собственным выходом, что соответствует , а матрица весов является симметричной .

Процесс обучения сети формирует зоны притяжения некоторых точек равновесия, соответствующих обучающим данным. При использовании ассоциативной памяти мы имеем дело с обучающим вектором х либо с множеством этих векторов, которые в результате проводимого обучения определяют расположение конкретных точек притяжения.

Сеть Хопфилда состоит из единственного слоя нейронов, число которых является одновременно числом входов и выходов сети. Каждый нейрон связан синапсами со всеми остальными нейронами, а также имеет один входной синапс, через который осуществляется ввод сигнала. В качестве функции активации нейронов сети Хопфилда будем использовать знаковую функцию, хотя для сетей Хопфилда также можно использовать пороговую функцию, линейную функцию с насыщением или сигмоидальные функции активации.

Размещено на http://www.allbest.ru/

Рис. 5.1 Обощенная структура сети Хопфилда

Это означает, что выходной сигнал нейрона определяется функцией:

, (5.4)

где обозначает число нейронов.

Будем считать, что пороговые элементы являются компонентами вектора . Без учета единичных задержек сети, представляющих собой способ синхронизации процесса передачи сигналов, основные зависимости, определяющие сеть Хопфилда, можно представить в виде:

, (5.5)

с начальным условием . В процессе функционирования сети Хопфилда можно выделить два режима: обучения и классификации. В режиме обучения на основе известных обучающих выборок подбираются весовые коэффициенты . В режиме классификации при зафиксированных значениях весов и вводе конкретного начального состояния нейронов возникает переходной процесс, протекающий в соответствии с выражением (5.5) и завершающийся в одном из локальных минимумов, для которого .

При вводе только одной обучающей выборки процесс изменений продолжается до тех пор, пока зависимость (5.5) не начнет соблюдаться для всех нейронов. Это условие автоматически выполняется в случае выбора значений весов, соответствующих отношению

, (5.6)

поскольку только тогда (вследствие биполярных значений элементов вектора всегда выполняется соотношение ). Следует отметить, что зависимость (5.6) представляет собой правило обучения Хебба. При вводе большого числа обучающих выборок для веса подбираются согласно обобщенному правилу Хебба, в соответствии с которым

. (5.7)

Благодаря такому режиму обучения веса принимают значения, определяемые усреднением множества обучающих выборок.

В случае множества обучающих выборок становится актуальным фактор стабильности ассоциативной памяти. Для стабильного функционирования сети необходимо, чтобы реакция -го нейрона на -ю обучающую выборку совпадала с ее -й составляющей . Это означает, что с учетом выражения (5.7) получим

. (5.8)

Если взвешенную сумму входных сигналов -го нейрона обозначить , то можно выделить в ней ожидаемое значение и остаток, называемый диафонией [4]:

. (5.9)

Вследствие применения знаковой функции активации, выполнение условия (5.8) возможно при малых значениях диафонии, не способных изменить знак . Это означает, что, несмотря на определенное несовпадение битов, переходный процесс завершается в нужной точке притяжения. При предоставлении тестовой выборки, отличающейся некоторым количеством битов, нейронная сеть может откорректировать эти биты и завершить процесс классификации в нужной точке притяжения.

Тем не менее, правило Хебба обладает невысокой продуктивностью. Максимальная емкость ассоциативной памяти (число запомненных образцов) при обучении по правилу Хебба с допустимой погрешностью 1%, составляет примерно 14% от числа нейронов сети [4].

Кроме того, при наличии шума, применение правила Хебба приводит к различным неточностям в виде локальных минимумов, далеких от исходного решения.

Поэтому в качестве альтернативы используют методы обучения, основанные на псевдоинверсии.

Идея этого метода состоит в том, что при правильно подобранных весах, каждая поданная на вход выборка генерирует на выходе саму себя, мгновенно приводя к исходному состоянию (зависимость (5.5)) [4]. В матричной форме это можно представить в виде:

, (5.10)

где - матрица весов сети размерностью , а - прямоугольная матрица размерностью , составленная из последовательных обучающих векторов , то есть .

Решение такой линейной системы уравнений имеет вид:

, (5.11)

где знак + обозначает псевдоинверсию. Если обучающие векторы линейно независимы, последнее выражение можно представить в форме:

. (5.12)

Псевдоинверсия матрицы размерностью в этом выражении заменена обычной инверсией квадратной матрицы размерностью .

Дополнительное достоинство выражения (5.12) - возможность записать его в итерационной форме, не требующей расчета обратной матрицы. В этом случае выражение (5.12) принимает вид функциональной зависимости от последовательности обучающих векторов для :

(5.13)

при начальных условиях . Такая форма предполагает однократное предъявление всех обучающих выборок, в результате чего матрица весов принимает значение . Зависимости (5.12) и (5.13) называются методом проекций. Применение метода псевдоинверсии увеличивает максимальную емкость сети Хопфилда, которая становится равной . Модифицированный вариант метода проекций - метод проекций - это градиентная форма алгоритма минимизации целевой функции. В соответствии с этим способом веса подбираются рекуррентно с помощью циклической процедуры, повторяемой для всех обучающих выборок:

. (5.14)

Коэффициент - это коэффициент обучения, выбираемый обычно из интервала [0.7 - 0.9]. Процесс обучения завершается, когда изменение вектора весов становится меньше априорно принятого значения . По завершении подбора весов сети их значения «замораживаются», и сеть можно использовать в режиме распознавания. В этой фазе на вход сети подается тестовый вектор и рассчитывается ее отклик в виде:

 (5.15)

(в начальный момент ), причем итерационный процесс повторяется для последовательных значений вплоть до стабилизации отклика.

В процессе распознавания образа по зашумленным сигналам, образующим начальное состояние нейронов, возникают проблемы с определением конечного состояния, соответствующего одному из запомненных образов. Возможны ошибочные решения. Одной из причин нахождения ошибочных решений является возможность перемешивания различных компонентов запомненных образов и формирования стабильного состояния, воспринимаемого как локальный минимум.

5.3 Сеть Хемминга

Сеть Хемминга - это трехслойная рекуррентная структура, которую можно считать развитием сети Хопфилда, была предложена Р. Липпманом [6]. Она позиционируется как специализированное гетероассоциативное запоминающее устройство. Основная идея функционирования сети состоит в минимизации расстояния Хемминга между тестовым вектором, подаваемым на вход сети, и векторами обучающих выборок, закодированными в структуре сети. Обобщенная структура сети Хемминга представлена на рис. 5.2. [4].

Первый ее слой имеет однонаправленное распространение сигналов от входа к выходу и фиксированные значения весов. Второй слой, MAXNET, состоит из нейронов, связанных обратными связями по принципу «каждый с каждым», при этом в отличие от структуры Хопфилда существует ненулевая связь входа нейрона со своим собственным выходом. Веса нейронов в слое MAXNET постоянны. Разные нейроны связаны отрицательной обратной связью с весом , при этом обычно величина обратно пропорциональна числу образов.

С собственным выходом нейрон связан положительной обратной связью с весом +1. Веса пороговых элементов равны нулю. Нейроны этого слоя функционируют в режиме WTA, при котором в каждой фиксированной ситуации активизируется только один нейрон. Выходной однонаправленный слой формирует выходной вектор, соответствующий входному вектору. Веса нейронов этого слоя подбираются в зависимости от входных обучающих выборок.

Размещено на http://www.allbest.ru/

Рис. 5.2 Обобщенная структура сети Хемминга (M<>N!)

В процессе функционирования сети можно выделить три фазы. В первой из них на вход подается N-элементный вектор х. После предъявления этого вектора на выходах нейронов первого слоя генерируются сигналы, задающие начальные состояния нейронов второго слоя.

Во второй фазе инициировавшие MAXNET сигналы удаляются, и из сформированного ими начального состояния запускается итерационный процесс. Итерационный процесс завершается в момент, когда все нейроны, кроме нейрона-победителя с выходным сигналом равным 1, перейдут в нулевое состояние. Нейрон-победитель становится представителем класса данных, к которому принадлежит входной вектор.

...