Введение в экспертные системы

В третьей фазе этот нейрон посредством весов, связывающих его с нейронами выходного слоя, формирует на выходе сети отклик в виде вектора y, соответствующего возбуждающему вектору х, где х и y биполярные векторы сети со значениями элементов . Входные узлы сети принимают значения, задаваемые аналогичными компонентами вектора х. Нейроны первого слоя рассчитывают расстояние Хемминга между входным вектором х и каждым из закодированных векторов-образцов , образующих веса нейронов первого слоя. Нейроны в слое MAXNET выбирают вектор с наименьшим расстоянием Хемминга, определяя, таким образом, класс, к которому принадлежит предъявленный входной вектор х. Веса нейронов выходного слоя формируют вектор, соответствующий предъявленному входному вектору. При нейронах первого слоя, емкость запоминающего устройства Хемминга также равна , так как каждый нейрон представляет единственный класс.

Веса первого слоя соответствуют очередным векторам-образцам , поэтому для , i=t, то есть веса первого нейрона запоминают компоненты первого входного вектора.

Веса второго нейрона - компоненты второго вектора и т. д. Аналогично веса выходного слоя соответствуют очередным векторам образов , , i=t.

В случае нейронов слоя MAXNET, функционирующих в режиме WTA, веса сети должны усиливать собственный сигнал нейрона и ослаблять остальные сигналы.

Для достижения этого принимается , а также

(5.16)

для . Для обеспечения абсолютной сходимости алгоритма веса должны отличать друг от друга. Р. Липпман в своей работе принял

, (5.17)

где - случайная величина с достаточно малой амплитудой.

Нейроны различных слоев сети Хемминга функционируют по-разному. Нейроны первого слоя рассчитывают расстояния Хемминга между поданными на вход сети вектором и векторами весов отдельных нейронов этого слоя. Значения выходных сигналов этих нейронов определяются по формуле:

, (5.18)

где обозначает расстояние Хемминга между входными векторами и , то есть число битов, на которое различаются эти два вектора. Значение , если , и , если . В остальных случаях значения лежат в интервале [0, 1].

Сигналы нейронов первого слоя становятся начальными состояниями нейронов слоя MAXNET на второй фазе функционирования сети. Задача нейронов этого слоя состоит в определении победителя, то есть нейрона, у которого выходной сигнал наиболее близок к 1. Процесс определения победителя выполняется согласно формуле:

, (5.19)

при начальном значении . Функция активации нейронов слоя MAXNET задается выражением:

. (5.20)

Итерационный процесс (5.19) завершается в момент, когда состояние нейронов стабилизируется, и активность продолжает проявлять только один нейрон, тогда как остальные пребывают в нулевом состоянии. Активный нейрон становится победителем и через веса (s= 1,2,..,N) линейных нейронов выходного слоя представляет вектор , который соответствует вектору , признанному слоем MAXNET в качестве ближайшего к входному вектору .

Важным достоинством сети Хемминга считается небольшое, по сравнению с сетью Хопфилда, число взвешенных связей между нейронами. Так, например, 100-входовая сеть Хопфилда, кодирующая 10 различных векторных классов, должна содержать 10000 взвешенных связей, тогда как аналогичная сеть Хемминга содержит 1100 связей, из которых 1000 весов находятся в первом слое, а 100 - в слое MAXNET [4].

5.4 Рекуррентная сеть Эльмана

Данная рекуррентная сеть представляет собой развитие сетей персептронного типа за счет добавления в них обратных связей. Сеть Эльмана характеризуется частичной рекуррентностью в форме обратной связи между входным и скрытым слоем, реализуемой с помощью единичных элементов запаздывания . Обобщенная структура этой сети представлена на рис. 5.3.

Каждый скрытый нейрон имеет свой аналог в контекстном слое, образующем совместно с внешними входами сети входной слой. Выходной слой состоит из нейронов, однонаправлено связанных только с нейронами скрытого слоя. Обозначим внутренний вектор возбуждения сети (в его состав входит пороговый элемент), состояния скрытых нейронов - , а выходные сигналы сети - . Тогда входной вектор сети в момент времени имеет форму:

(5.21)

Веса синаптических связей первого (скрытого) слоя сети обозначим , а второго (выходного) слоя . Если взвешенную сумму i-го нейрона скрытого слоя обозначить , а его выходной сигнал - , то

; (5.22)

; (5.23)

Веса образуют матрицу синаптических связей скрытого слоя, а - функция активации i-го нейрона скрытого слоя. Аналогично можно обозначить взвешенную сумму s-го нейрона выходного слоя , а соответствующий ему выходной сигнал сети - . Эти сигналы описываются формулами:

; (5.24)

. (5.25)

Размещено на http://www.allbest.ru/

Рис. 5.3 Структура сети Эльмана

В свою очередь, веса образуют матрицу , описывающую синаптические связи нейронов выходного слоя, а - функция активации s-го нейрона выходного слоя.

5.5 Алгоритм обучения рекуррентной сети Эльмана

Для обучения сети Эльмана будем использовать градиентный метод наискорейшего спуска.

Для этого метода необходимо задать формулы, позволяющие рассчитывать градиент целевой функции в текущий момент времени. Целевая функция в момент времени t определяется как сумма квадратов разностей между значениями выходных сигналов сети и их ожидаемыми значениями для всех М выходных нейронов:

(5.26)

При дифференцировании целевой функции относительно весов выходного слоя получаем:

(5.27)

Связи между скрытым и выходным слоем однонаправленные, поэтому:

 (5.28)

С учетом этого факта получим:

(5.29)

При использовании метода наискорейшего спуска веса уточняются по формуле:

, (5.30)

где (5.31)

Формулы уточнения весов скрытого слоя сети Эльмана более сложные по сравнению с персептронной сетью из-за наличия обратных связей между скрытым и контекстным слоями. Расчет компонентов вектора градиента целевой функции относительно весов скрытого слоя реализуется по формулам:

(5.32)

(5.33)

Из определения входного вектора (формула (5.21)) в момент времени следует выражение (5.34):

(5.34)

Это выражение позволяет рассчитать производные целевой функции относительно весов скрытого слоя в момент времени . Следует отметить, что это рекуррентная формула, определяющая производную в момент времени в зависимости от ее значения в предыдущий момент . Начальные значения производных в момент считаются нулевыми:

. (5.35)

Таким образом, алгоритм обучения сети Эльмана можно представить в следующем виде:

Присвоить весам случайные начальные значения, имеющие, как правило, равномерное распределение в определенном интервале (например, между -1 и 1).

Для очередного момента определить состояние всех нейронов сети (сигналы и ). На этой основе можно сформировать входной вектор для произвольного момента .

Определить вектор погрешности обучения для нейронов выходного слоя как разность между фактическим и ожидаемым значениями сигналов выходных нейронов.

Сформировать вектор градиента целевой функции относительно весов выходного и скрытого слоя с использованием формул (5.29), (5.32) и (5.34).

Уточнить значения весов сети согласно правилам метода наискорейшего спуска:

для нейронов выходного слоя сети по формуле

(5.36)

для нейронов скрытого слоя сети по формуле

(5.37)

После уточнения значений весов перейти к пункту 2 алгоритма для расчета в очередной момент времени .

Практические реализации алгоритма обучения сети Эльмана строятся на методе наискорейшего спуска, усиленном моментом. Это значительно повышает эффективность обучения и вероятность достижения глобального минимума целевой функции. При использовании такого подхода уточнение вектора весов в момент времени выполняется в соответствии с формулой:

, (5.38)

где - коэффициент момента, выбираемый из интервала (0, 1). Первое слагаемое этого выражения соответствует обычному методу обучения, второе - учитывает фактор момента, отражающий последнее изменение весов и не зависящий от фактического значения градиента. Чем больше величина , тем большее влияние на подбор весов оказывает слагаемое момента. Его значение существенно возрастает на плоских участках целевой функции и около локального минимума, где значение градиента близко к нулю.

В окрестностях локального минимума фактор момента может вызвать изменение весов, ведущее к росту целевой функции и к выходу из зоны локального минимума с возобновлением поиска глобального минимума.

5.6 Рекуррентный многослойный персептрон (RMLP)

Обобщённая структура рекуррентного многослойного персептрона представлена на рисунке 5.4.

Это динамическая сеть, характеризующаяся запаздываем входных и выходных сигналов, объединяемых во входной вектор сети. Рассуждения будут касаться только одного входного узла и одного выходного нейрона, а также одного скрытого слоя. Такая система реализует отображение:

, (5.39)

где N-1 - число задержек входного сигнала, а P - число задержек выходного сигнала. Пусть K - число нейронов в скрытом слое. Подаваемый на вход вектор имеет вид:

. (5.40)

Допустим, что все нейроны имеют сигмоидальную функцию активации. Обозначим взвешенную сумму сигналов -го нейрона скрытого слоя, а - взвешенную сумму сигналов выходного нейрона. При введённых обозначениях выходные сигналы конкретных нейронов описываются зависимостями:

 (5.41)

(5.42)

(5.43)

(5.44)

5.7 Алгоритм обучения рекуррентного персептрона

Сеть RMLP обучается при помощи градиентных методов. В качестве примера рассмотрим алгоритм наискорейшего спуска. Для упрощения будем рассматривать сеть с одним выходным нейроном. Целевая функция в момент времени t определяется в виде:

(5.45)

При дифференцировании целевой функции относительно произвольного веса выходного слоя получаем:

(5.46)

С учётом зависимостей (5.41) - (5.44) получаем:

, (5.47)

где Производная равна 1 только при , а во всех остальных случаях равна 0. С учетом этого факта получим:

, (5.48)

причём

(5.49)

С учётом зависимостей (5.45) - (5.49) получаем:

(5.50)

Рекуррентная формула (5.50) позволяет рассчитать значение производной в произвольный момент времени по её значениям в предыдущие моменты. Можно предположить, что начальные значения производных от сигналов перед началом обучения равны, то есть:

. (5.51)

При использовании при обучении метода наискорейшего спуска веса выходного слоя уточняются по формуле:

(5.52)

Уточнение весов скрытого слоя происходит аналогичным способом. После расчета производной сигнала относительно веса нейрона скрытого слоя получаем:

, (5.53)

.

Следовательно формула уточнения весов нейронов скрытого слоя принимает вид:

(5.54)

Таким образом, алгоритм обучения сети RMLP можно представить в следующем виде:

Выполнить инициализацию весов нейронов скрытого и выходного слоёв случайным образом.

Для каждого момента при заданном векторе рассчитать состояние всех нейронов сети в соответствии с формулами (5.41) - (5.44).

С помощью зависимостей (5.51) и (5.53) определить значения производных и для всех значений и , соответствующих весам сети с изначально выбранной структурой.

Уточнить веса в соответствии с формулами (5.52) и (5.54), после чего вернуться к п.2 алгоритма.

После уточнения значений весов перейти к пункту 2 алгоритма для расчета в очередной момент времени .

Представленный алгоритм функционирует в режиме «онлайн».

6. Сеть Вольтерри

6.1 Структура сети Вольтерри

Сеть Вольтерри относится к сетям со специализированной структурой. Это динамическая сеть для нелинейной обработки последовательности сигналов, задержанных относительно друг друга. Возбуждением для сети в момент служит вектор , где - количество единичных задержек, а означает длину вектора. В соответствии с определением ряда Вольтерри выходной сигнал генерируется по формуле:

(6.1)

где обозначает входной сигнал, а веса , называемые ядрами Вольтерри, соответствуют реакциям высших порядков. Порядок полинома Вольтерри также называется степенью ряда Вольтерри.

Нелинейная функциональная зависимость Вольтерри является полиномиальным обобщением описания линейного фильтра FIR.

Порядок этого полинома K называется степенью ряда Вольтерри. Пусть целевая функция для одного обучающего вектора выражается формулой:

(6.2)

В этом случае можно минимизировать значение целевой функции градиентными методами, которые сводятся к решению системы дифференциальных уравнений вида:

(6.3)

Для упрощения структуры сети представленное разложение Вольтерри можно записать в следующей форме:

, (6.4)

где используются обозначения и т.д. Каждое слагаемое в квадратных скобках представляет собой линейный фильтр первого порядка, в котором соответствующие веса представляют импульсную реакцию другого линейного фильтра следующего уровня. Количество уровней, на которых создаются фильтры, равно порядку . На рисунке 6.1 показано распространение сигналов по сети Вольтерри, реализующей зависимость (6.4) при ограничении .



Рисунок 6.1 Граф сети Вольтерри

Система представляет собой структуру типичной многослойной однонаравленной динамической нейронной сети. Это сеть с полиномиальной нелинейностью. Подбор весов производится последовательно слой за слоем, причём эти процессы независимы друг от друга, и, увеличение числа весов в слое и числа самих слоёв в незначительной степени сказывается на обусловленности задачи. Это даёт возможность существенно увеличить длину и порядок системы при её практической реализации. Обучение нейронной сети Вольтерри лучше всего приводить с использованием технологии сопряжённых графов.

Для сети, представленной на рисунке 6.1, сопряжённый граф строится без особого труда (рисунок 6.2).



Рисунок 6.2 Сопряженный граф сети Вольтерри

В соответствии с обозначениями, принятыми на рисунках, возбуждением сопряженного графа служит разностный сигнал , где обозначает ожидаемое, а - фактическое значение в выходном узле системы в момент . Формулы для определения конкретных компонентов вектора градиента имеют вид:

 (6.5)

В приведенных формулах сигналы, обозначенные символом ^, соответствуют сопряженному, а остальные - исходному графу системы. После определения конкретных компонентов градиента обучение сети с применением оптимизационного метода наискорейшего спуска может быть сведено к решению дифференциальных уравнений:

(6.6)

где - коэффициент обучения.

Важным достоинством метода сопряженных графов считается простота учета равных значений весов в различных ветвях сети. Симметрия ядер Вольтерри приводит к равенству весов для всех перестановок индексов . Для двухиндексных весов это означает, что . Подобные соотношения можно написать и для трёхиндексных и четырёхиндексных и так далее весов. Анализ обозначений весов сети, изображённой на рисунке 6.1, позволяет найти веса, которые имеют одни и те же значения.

С учетом симметрии ядер Вольтерри выражения, описывающие компоненты градиента относительно весов , могут быть определенным образом модифицированы:

(6.7).

6.2 Применение сети Вольтерри для решения задачи прогнозирования

Схематичное изображение системы прогнозирования с использованием сети Вольтерри представлено на рисунке 6.3.

Размещено на http://www.allbest.ru/

Рисунок 6.3 Схема включения сети Вольтерри для прогнозирования

При использовании обозначений сигналов, приведенных на рисунке 6.3, выходной сигнал фильтра Вольтерри описывается формулой

, (6.8)

в которой обозначает задержанный сигнал .

Решение задачи адаптации весов находится из уравнений (6.4), при этом конкретные компоненты принимают следующий вид:

(6.9)

7. GRNN - сеть

7.1 Описание GRNN - сети

В задачах регрессии имеет место следующая интерпретация выход сети рассматривается как ожидаемое значение модели в данной точке пространства входов. Это ожидаемое значение связано с плотностью вероятности совместного распределения входных и выходных данных.

Метод аппроксимации плотности вероятности с помощью ядерных функций во многом похож на метод радиальных базисных функций, и таким образом приходим к понятиям вероятностной нейронной сети (PNN) и обобщенно-регрессионной нейронной сети (GRNN). PNN-сети предназначены для задач классификации, а GRNN - для задач регрессии. Сети этих двух типов представляют собой реализацию методов ядерной аппроксимации, оформленных в виде нейронной сети.

В точку расположения каждого обучающего наблюдения помещается гауссова ядерная функция. Считается, что каждое наблюдение свидетельствует о некоторой уверенности в том, что поверхность отклика в данной точке имеет определенную высоту, и эта уверенность убывает при отходе в сторону от точки. GRNN-сеть копирует внутрь себя все обучающие наблюдения и использует их для оценки отклика в произвольной точке. Окончательная выходная оценка сети получается как взвешенное среднее выходов по всем обучающим наблюдениям, где величины весов отражают расстояние от этих наблюдений до той точки, в которой производится оценивание (и, таким образом, более близкие точки вносят больший вклад в оценку).

Первый промежуточный слой сети GRNN состоит из радиальных элементов. Второй промежуточный слой содержит элементы, которые помогают оценить взвешенное среднее. Для этого используется специальная процедура. Каждый выход имеет в этом слое свой элемент, формирующий для него взвешенную сумму. Чтобы получить из взвешенной суммы взвешенное среднее, эту сумму нужно поделить на сумму весовых коэффициентов. Последнюю сумму вычисляет специальный элемент второго слоя. После этого в выходном слое производится собственно деление (с помощью специальных элементов "деления"). Таким образом, число элементов во втором промежуточном слое на единицу больше, чем в выходном слое. Как правило, в задачах регрессии требуется оценить одно выходное значение, и, соответственно, второй промежуточный слой содержит два элемента.

Можно модифицировать GRNN-сеть таким образом, чтобы радиальные элементы соответствовали не отдельным обучающим случаям, а их кластерам. Это уменьшает размеры сети и увеличивает скорость обучения. Центры для таких элементов можно выбирать с помощью любого предназначенного для этой цели алгоритма (выборки из выборки, K-средних или Кохонена).

Достоинством сети можно считать определенность структуры сети: сеть фактически вмещает в себя все обучающие данные. С другой стороны, такая структура нейросети и является ее самым большим недостатком: при большом объеме обучающих данных сеть получается очень громоздкой и в результате медленно работающей.

Другой недостаток GRNN сети заключается в том, что она не обладает способностью к экстраполированию данных.

Основное достоинство GRNN сети состоит в том, что выходное значение имеет вероятностный смысл (и поэтому его легче интерпретировать), и в том, что при небольшом объеме входных данных сеть быстро обучается.

При решении реальных задач прогнозирования, как правило, требуется большой объем информации для получения достоверных прогнозов. С этой точки зрения основной недостаток сети - очень большая размерность - является основным критерием, по которому GRNN-сети не используется в задачах прогнозирования.

Реально обобщенно-регрессионную сеть следует использовать при пробных экспериментах (например, когда нужно решить, какие из входных переменных использовать).

7.2 Метод обратного распространения ошибки

Согласно методу наименьших квадратов, минимизируемой целевой функцией ошибки НС является величина:

(7.1)

где - реальное выходное состояние нейрона j выходного слоя N нейронной сети при подаче на ее входы p-го образа; djp - идеальное (желаемое) выходное состояние этого нейрона. Суммирование ведется по всем нейронам выходного слоя и по всем обрабатываемым сетью образам. Минимизация ведется методом градиентного спуска, что означает подстройку весовых коэффициентов следующим образом:

(7.2)

Здесь wij - весовой коэффициент синаптической связи, соединяющей i-ый нейрон слоя n-1 с j-ым нейроном слоя n, - коэффициент скорости обучения, 0<<1. Как показано в [2],

 (7.3)

Здесь под yj, как и раньше, подразумевается выход нейрона j, а под sj - взвешенная сумма его входных сигналов, то есть аргумент активационной функции. Так как множитель dyj/dsj является производной этой функции по ее аргументу, из этого следует, что производная активационной функция должна быть определена на всей оси абсцисс. В связи с этим функция единичного скачка и прочие активационные функции с неоднородностями не подходят для рассматриваемых НС. В них применяются такие гладкие функции, как гиперболический тангенс или классический сигмоид с экспонентой. В случае гиперболического тангенса

(7.4)

Третий множитель sj/wij, очевидно, равен выходу нейрона предыдущего слоя yi(n-1).

Что касается первого множителя в (7.3), он легко раскладывается следующим образом[2]:

(7.5)

Здесь суммирование по k выполняется среди нейронов слоя n+1.

Введя новую переменную

 (7.6)

мы получим рекурсивную формулу для расчетов величин j(n) слоя n из величин k(n+1) более старшего слоя n+1.

(7.7)

Для выходного же слоя

(7.8)

Теперь мы можем записать (7.2) в раскрытом виде:

(7.9)

Иногда для придания процессу коррекции весов некоторой инерционности, сглаживающей резкие скачки при перемещении по поверхности целевой функции, (7.9) дополняется значением изменения веса на предыдущей итерации

(7.10)

где - коэффициент инерционности, t - номер текущей итерации.

Таким образом, полный алгоритм обучения НС с помощью процедуры обратного распространения строится так:

1. Подать на входы сети один из возможных образов и в режиме обычного функционирования НС, когда сигналы распространяются от входов к выходам, рассчитать значения последних. Напомним, что

(7.11)

где M - число нейронов в слое n-1 с учетом нейрона с постоянным выходным состоянием +1, задающего смещение; yi(n-1)=xij(n) - i-ый вход нейрона j слоя n.

yj(n) = f(sj(n)), где f() - сигмоида (7.12)

yq(0)=Iq, (7.13)

где Iq - q-ая компонента вектора входного образа.

2. Рассчитать (N) для выходного слоя по формуле (7.8).

Рассчитать по формуле (7.9) или (7.10) изменения весов w(N) слоя N.

3. Рассчитать по формулам (7.7) и (7.9) (или (7.7) и (7.10)) соответственно (n) и w(n) для всех остальных слоев, n=N-1,...1.

4. Скорректировать все веса в НС

(7.14)

5. Если ошибка сети существенна, перейти на шаг 1. В противном случае - конец.



Рис. 1 Диаграмма сигналов в сети при обучении по алгоритму обратного распространения

Сети на шаге 1 попеременно в случайном порядке предъявляются все тренировочные образы, чтобы сеть, образно говоря, не забывала одни по мере запоминания других. Алгоритм иллюстрируется Рис. 1.

Из выражения (9) следует, что когда выходное значение yi(n-1) стремится к нулю, эффективность обучения заметно снижается. При двоичных входных векторах в среднем половина весовых коэффициентов не будет корректироваться[3], поэтому область возможных значений выходов нейронов [0,1] желательно сдвинуть в пределы [-0.5,+0.5], что достигается простыми модификациями логистических функций. Например, сигмоид с экспонентой преобразуется к виду

(7.15)

Теперь коснемся вопроса емкости НС, то есть числа образов, предъявляемых на ее входы, которые она способна научиться распознавать. Для сетей с числом слоев больше двух, он остается открытым. Как показано в [4], для НС с двумя слоями, то есть выходным и одним скрытым слоем, детерминистская емкость сети Cd оценивается так:

Nw/Ny<Cd<Nw/Nylog(Nw/Ny) (7.16)

где Nw - число подстраиваемых весов, Ny - число нейронов в выходном слое.

Следует отметить, что данное выражение получено с учетом некоторых ограничений. Во-первых, число входов Nx и нейронов в скрытом слое Nh должно удовлетворять неравенству Nx+Nh>Ny. Во-вторых, Nw/Ny>1000. Однако вышеприведенная оценка выполнялась для сетей с активационными функциями нейронов в виде порога, а емкость сетей с гладкими активационными функциями, например - (7.15), обычно больше. Кроме того, фигурирующее в названии емкости прилагательное "детерминистский" означает, что полученная оценка емкости подходит абсолютно для всех возможных входных образов, которые могут быть представлены Nx входами. В действительности распределение входных образов, как правило, обладает некоторой регулярностью, что позволяет НС проводить обобщение и, таким образом, увеличивать реальную емкость. Так как распределение образов, в общем случае, заранее неизвестно, мы можем говорить о такой емкости только предположительно, но обычно она раза в два превышает емкость детерминистскую.

В продолжение разговора о емкости НС логично затронуть вопрос о требуемой мощности выходного слоя сети, выполняющего окончательную классификацию образов. Дело в том, что для разделения множества входных образов, например, по двум классам достаточно всего одного выхода. При этом каждый логический уровень - "1" и "0" - будет обозначать отдельный класс. На двух выходах можно закодировать уже 4 класса и так далее. Однако результаты работы сети, организованной таким образом, можно сказать - "под завязку", - не очень надежны. Для повышения достоверности классификации желательно ввести избыточность путем выделения каждому классу одного или нескольких нейронов в выходном слое, каждый из которых обучается определять принадлежность образа к классу со своей степенью достоверности, например: высокой, средней и низкой. Такие НС позволяют проводить классификацию входных образов, объединенных в нечеткие (размытые или пересекающиеся) множества. Это свойство приближает подобные НС к условиям реальной жизни.

Рассматриваемая НС имеет несколько "узких мест". Во-первых, в процессе обучения может возникнуть ситуация, когда большие положительные или отрицательные значения весовых коэффициентов сместят рабочую точку на сигмоидах многих нейронов в область насыщения. Малые величины производной от логистической функции приведут в соответствие с (7.7) и (7.8) к остановке обучения, что парализует НС. Во-вторых, применение метода градиентного спуска не гарантирует, что будет найден глобальный, а не локальный минимум целевой функции. Эта проблема связана еще с одной, а именно - с выбором величины скорости обучения. Доказательство сходимости обучения в процессе обратного распространения основано на производных, то есть приращения весов и, следовательно, скорость обучения должны быть бесконечно малыми, однако в этом случае обучение будет происходить неприемлемо медленно. С другой стороны, слишком большие коррекции весов могут привести к постоянной неустойчивости процесса обучения. Поэтому в качестве обычно выбирается число меньше 1, но не очень маленькое, например, 0.1, и оно, вообще говоря, может постепенно уменьшаться в процессе обучения. Кроме того, для исключения случайных попаданий в локальные минимумы иногда, после того как значения весовых коэффициентов застабилизируются, кратковременно сильно увеличивают, чтобы начать градиентный спуск из новой точки. Если повторение этой процедуры несколько раз приведет алгоритм в одно и то же состояние НС, можно более или менее уверенно сказать, что найден глобальный максимум, а не какой-то другой.

Существует и иной метод исключения локальных минимумов, а заодно и паралича НС, заключающийся в применении стохастических НС, но о них лучше поговорить отдельно.

8. Нейронные сети с нечёткой логикой

8.1 Математические основы нечётких систем

Понятие нечётких множеств (fuzzy sets) как обобщение чётких множеств было введено Л.Заде в 1965 году. Прчиной создания теории нечётких множеств стала необходимость описания таких явлений и понятий, которые имеют многозначный и неточный характер. Известные до этого математические методы, использовавшие классическую теорию множеств и двузначную логику, не позволяли решать такие проблемы.

Перед формулированием определения нечёткого множества необходимо задать так называемую область рассуждений или пространство рассуждений, которое является чётким множеством. В случае неоднозначного понятия «много денег» большой будет признаваться одна сумма, если мы ограничисся диапазоном [0, 1000 руб.] и совсем другая в диапазоне [0, 1000000 руб.]

Традиционный способ представления элементов множества состоит в применении характеристической функции , которая равна 1, если этот элемент принадлежит множеству , или равна 0 в противном случае. В нечётких системах элемент может частично принадлежать к любому множеству.

Нечётким множеством в некотором непустом пространстве , что обозначается , называется множество пар , где - функция принадлежности нечёткого множества .[5]

Степень принадлежности элемента к множеству , представляющая собой обобщение характеристической функции, называется функцией принадлежности , причём . Значениями функции принадлежности являются рациональные числа из интервала [0,1], где 0 означает отсутствие принадлежности к множеству, а 1 - полную принадлежность. Конкретное значение функции принадлежности называется степенью или коэффициентом принадлежности [6].

Эта степень может быть определена явно функциональной зависимостью , либо дискретно - путём задания конечной последовательности значений в виде:

(8.1)

В теории нечётких множеств, помимо переменных цифрового типа, существуют лингвистические переменные, с приписываемыми им значениями. Пусть переменная обозначает температуру. Можно определить нечёткие множества: «температура, подходящая для купания в Балтийском море», «температура, подходящая для купания в Чёрном море», «температура, подходящая для купания в Средиземном море», характеризуемые функциями принадлежности , , . Определим все три нечётких множества . Пусть . Множество, определяющее подходящую температуру Балтийского моря, можно задать следующим образом:

Множество, определяющее подходящую температуру Чёрного моря, можно задать следующим образом:

Множество, определяющее подходящую температуру Средиземного моря, можно задать следующим образом:

Определения:

Каждое нечёткое множество имеет определённый носитель (support). Носителем множества является подмножество тех элементов , для которых коэффициент принадлежности к не равен нулю, то есть .

Два множества и равны между собой, когда для каждого элемента обоих множеств.

Кардинальное число нечёткого множества равно сумме коэффициентов принадлежности всех элементов к этому множеству, . Это обобщение аналогичного понятия обычных множеств, для которых кардинальное число равно сумме элементов множества.

Нечёткое множество является нормальным, если хотя бы один элемент этого множества имеет коэффициент принадлежности, равный 1.

Сечение нечёткого множества образуется подмножеством , содержащим те элементы множества , для которых (слабое сечение) или (сильное сечение), причём .

Нечёткое множество называется пустым и обозначается тогда и только тогда, когда для каждого .

Нечёткое множество содержится в нечётком множестве , тогда и только тогда, когда для каждого .

8.2 Операции на нечётких множествах

На нечётких множествах можно определить ряд математических операций, являющихся обобщением аналогичных операций, выполняемых на чётких множествах: 1. Логическая сумма множеств

, (8.2)

где знак обозначает оператор .

Пример 8.1.

Пусть даны два нечётких множества и , определённые следующим образом:

Логическая сумма этих множеств равна:

.

2. Логическое произведение множеств

, (8.3)

где знак обозначает оператор . Для данных примера 8.1 множество будет иметь вид:

.

3. Отрицание (дополнение) множества называется множество , с функцией принадлежности

. (8.4)

В отличие от обычных множеств, где отрицание элементов, принадлежащих к множеству, даёт пустое множество, отрицание нечёткого множества определяет непустое множество, состоящее из элементов, функции принадлежности которых, также определены на интервале [0,1].

4. Равенство множеств и .

Нечёткие множества и равны между собой, когда для всех элементов обоих множеств выполняется условие .

5. Операция концентрации множества

. (8.5)

Эта операция часто выполняется при действиях с лингвистическими переменными, в которых она отождествляется с интенсификатором «очень».

6. Операция растяжения множества

. (8.6)

Лингвистическое значение этой операции формулируется как «примерно» или «приблизительно».

7. Алгебраическое произведение двух множеств

. (8.7)

8. Ограниченная сумма двух нечётких множеств

, (8.8)

9. Ограниченная разность двух нечётких множеств

, (8.9)

10. Ограниченное произведение двух нечётких множеств

, (8.10)

11. Нормализация множества

. (8.11)

Следует отметить, что множество считается подмножеством множества , то есть , когда для всех элементов выполняется неравенство: .

Определённые выше операции обладают свойствами ассоциативности, коммутативности и дистрибутивности, которые определяются следующим образом:

ассоциативность: ;

коммутативность: (за исключением ограниченной разности);

дистрибутивность:,

где операторы и обозначают любую операцию на нечётких множествах. Из свойств нечётких множеств следует, что в отличие от произведения обычных множеств логическое произведение множества и его отрицания не обязательно образуют пустое множество, что можно записать в виде:

. (8.12)

Точно также логическая сумма нечёткого множества и его отрицание не образуют полное множества , что можно записать в виде:

. (8.13)

8.3 Меры нечёткости нечётких множеств

Для определения степени нечёткости множества введено понятие меры нечёткости, сводящейся к измерению уровня различия между множеством и его отрицанием .

Наиболее популярной является мера Р. Егера, в соответствии с которой степень нечёткости множества в метрике , обозначаемая , определяется выражением [4]:

, (8.14)

где - это мера расстояния между множествами и , содержащими элементов. Значение соответствует метрике Хемминга, в которой:

, (8.15)

а значение соответствует метрике Евклида, в которой:

. (8.16)

Пример 8.2.

Если нечёткое множество определяется дискретным способом как:

, то принимая во внимание, что

, в соответствии с мерой Егера получаем:

,

.

Другую меру нечёткости предложил Б. Коско [4]. Она основана на понятии кардинального числа множества. В соответствии с этой мерой:

, (8.17)

где обозначает кардинальное число множества . Для множества из примера 8.2 получаем меру Коско, равную:

.

Следует обратить внимание, что обе меры для чётких множеств дают один и тот же нулевой результат, так как в мере Коско , а , что вследствие зависимости (8.14) даёт в результате также .

8.4 Нечёткие правила вывода

Базовое правило вывода типа «если -то» (продукционное правило), называется нечёткой импликацией, принимающей форму:

, (8.18)

где и - это нечёткие множества, идентифицированные через соответствующие функции принадлежности для переменных и . Часть продукционного правила «» называется условием (предпосылкой), а другая часть «» - следствием (заключением). Это обобщённое (нечёткое) правило modus ponens.

Нечёткое рассуждение - это процедура, которая позволяет определить заключение, вытекающее из множества правил «если - то». Такое множество при переменных может принять вид:

. (8.19)

Переменные образуют мерный входной вектор , составляющий аргумент условия, в котором и обозначают величины соответствующего коэффициента принадлежности и . Необходимо обратить внимание на то, что здесь присутствуют индивидуальные функции принадлежности для каждой переменной , и отдельно для . Случайное значение функции принадлежности , где - это вектор , относящееся к условию импликации (уровень активации правила), должно в дальнейшем интерпретироваться с использованием введённых ранее нечётких операций. Существует большое число интерпретаций условия нечёткой импликации, наиболее часто используемые из них:

в форме логического произведения:

, (8.20)

в форме алгебраического произведения:

. (8.21)

Приписывание единственного значения функции принадлежности, описывающей многомерное условие, называется агрегированием предпосылки.

Каждой импликации , определённой выражением (8.19), можно приписать единственное значение функции принадлежности . Наиболее популярные интерпретации также имеют форму логического или алгебраического произведения:

логическое произведение:

, (8.22)

алгебраическое произведение:

. (8.23)

Приписывание единственного значения функции принадлежности всей импликации называется процедурой агрегирования на уровне импликации.

8.5 Система нечёткого вывода Мамдани-Заде

Элементы теории нечётких множеств, правила импликации и нечётких рассуждений образуют систему нечёткого вывода. В ней можно выделить базу данных, содержащую множество используемых в системе нечётких правил и описания функций принадлежности, механизм вывода и агрегирования, который формируется применяемыми правилами нечёткой импликации. Кроме того, если в качестве входных и выходных сигналов системы выступают чёткие величины, то в состав системы должны входить фуззификатор и дефуззификатор. Структура такой системы представлена на рисунке 8.1.

Размещено на http://www.allbest.ru/

Рисунок 8.1 Структура нечёткой системы

Фуззификатор преобразует точное множество входных данных в нечёткое множество, определяемое с помощью значений функций принадлежности, дефуззификатор решает обратную задачу - формирует однозначное решение значения выходной переменной на основании многих нечётких выводов, вырабатываемых исполнительным модулем нечёткой системы. Выходной сигнал модуля вывода может иметь вид нечётких множеств, определяющих изменения выходной переменной. Дефуззификатор преобразует этот диапазон в одно конкретное значение, принимаемое в качестве выходного сигнала всей системы. Так как допускается применение множества нечётких правил, в модуле вывода предусматривается блок агрегирования, чаще всего реализуемый в виде логического сумматора (оператор ). Описанная система вывода называется системой Мамдани - Заде. Как правило, в модели Мамдани - Заде присутствуют следующие операторы [3]:

оператор логического или алгебраического произведения для агрегации всех компонентов вектора условия;

оператор логического или алгебраического произведения для определения значения функции принадлежности для всей импликации ;

оператор логической суммы как агрегатор равнозначных результатов импликации многих правил;

оператор дефуззификации, трансформирующий нечёткий результат в чёткое значение переменной .

8.6 Фуззификатор

Фуззификатор преобразует -мерный входной вектор в нечёткое множество , характеризуемое функцией принадлежности с чёткими переменными. Нечёткие системы могут иметь функции принадлежности произвольной структуры, но наиболее распространёнными являются функции гауссовского типа, а также треугольные и трапецеидальные функции. Обобщённая гауссовская функция с центром радиусом (шириной) и парметром формы кривой определяется формулой:

. (8.24)

Значение =1 соответствует стандартной функции Гаусса, также можно подобрать значения параметра , при которых формула (8.24) будет определять треугольную и трапецеидальную функции. На практике часто используется симметричная треугольная функция:

, (8.25)

где - точка середины основания треугольника, а - половина основания треугольника.

Обобщением треугольной функции является трапецеидальная функция. Если обозначить и соответственно координаты точек начала и конца нижнего основания, - длину верхнего основания, - точку середины нижнего основания, а - угол наклона между боковыми сторонами и нижним основанием, то трапецеидальная функция описывается следующей зависимостью:

 (8.26)

Изменение значения параметра может преобразовать трапецеидальную функцию в треугольную.

8.7 Дефуззификатор

Дефуззификатор трансформирует нечёткое множество в полностью детерминированное точечное решение . Нечёткое множество представляет зависимость как функцию от выходной переменной . Преобразование этого множества в единственное точечное решение возможно следующими наиболее распространёнными способами:

Дефуззификация относительно центра области (если на выходе блока выработки решения формируется k нечётких множеств):

; (8.27)

Дефуззификация относительно среднего центра (если на выходе блока выработки решения формируется k нечётких множеств):

, (8.28)

где обозначает центр -го нечёткого правила, а - значение функции принадлежности, соответствующей этому правилу;

Дефуззификация относительно среднего максимума (если на выходе блока выработки решения формируется 1 нечёткое множество):

, (8.29)

где обозначает количество точек переменной , в которых функция достигает максимального значения. Если функции имеет максимальное значение только в одной точке , то . Если функции достигает свои максимальные значения между и , то

;

Дефуззификация в форме выбора минимального из максимальных значений (левый максимум) (если на выходе блока выработки решения формируется 1 нечёткое множество):

- наименьшее значение , для которого ; (8.30)

Дефуззификация в форме выбора максимального из максимальных значений (правый максимум) (если на выходе блока выработки решения формируется 1 нечёткое множество):

- наибольшее значение ,для которого . (8.31)

На практике чаще всего применяется дефуззификация относительно среднего центра.

8.8 Модель вывода Такаги-Сугено-Канга

Наибольшую популярность среди нечётких систем адаптивного типа приобрела модель вывода Такаги-Сугено-Канга (TSK) [3]. В этой модели функция заключения определяется функциональной зависимостью. Благодаря этому, дефуззификатор на выходе системы не требуется, а модель вывода значительно упрощается. Общая форма модели TSK:

если это И это И…И это , то (8.32)

В векторной записи её можно записать:

если это , то , (8.33)

где - чёткая функция. Условие модели TSK аналогично модели Мамдани-Заде, принципиальное отличие касается заключения, которое представляется в форме функциональной зависимости, чаще всего - в виде полиномиальной функции нескольких переменных.

Классическое представление этой функции - это полином первого порядка:

, (8.34)

в котором коэффициенты - это веса, подбираемые в процессе обучения.

Если в модели TSK используется правил вывода, то выход системы определяется как среднее нормализованное взвешенное значение. Если приписать каждому правилу вес (интерпретируются как в форме алгебраического произведения), то выходной сигнал можно представить в виде:

, (8.35)

или

. (8.36)

Необходимо отметить, что в выражении (8.36) веса отвечают условию нормализации:



Если для каждого -го правила реализуется функция вида (8.34), то можно получить описание выходной функции модели TSK в виде:

, (8.37)

которая линейна относительно всех входных переменных системы для . Веса являются нелинейными параметрами функции , которые уточняются в процессе обучения.

8.9 Модель вывода Цукамото

В модели Цукамото в качестве функций заключения используются монотонные (возрастающие или убывающие) функции [5]. Заключения правил формируются путём обратного преобразования этих функций по полученным значениям предпосылок данных правил:

если это И это И…И это , то (8.38)

где - уровень срабатывания предпосылки правила.

Условие модели Цукамото аналогично модели Мамдани-Заде, принципиальное отличие касается заключения.

Если в модели Цукамото используется правил вывода, то выход системы определяется как среднее взвешенное значение. Если приписать каждому правилу вес (интерпретируются как в форме алгебраического произведения), то выходной сигнал можно представить в виде [5]:

, (8.39)

где - значение аргумента функции , при котором .

8.10 Нечеткая нейронная сеть Ванга-Менделя

Если в модели Мамдани-Заде в качестве агрегатора использовать оператор алгебраического произведения, то дефуззификация относительно среднего центра, приводит к модели Менделя-Ванга [3]. Следует отметить, что состоит из суммы нечетких функций для импликаций всех М правил, образующих систему нечеткого вывода. В модели Мамдани-Заде каждое из этих М правил определяется уровнем активации условия, , тогда как - это значение , при котором величина становится максимальной (либо принимает среднее из максимальных значений). Пусть величина обозначает центр нечеткого множества заключения -го правила вывода. Тогда дефуззификация относительно среднего центра в модели Менделя- Ванга [3], в соответствии с которой:

. (8.40)

Допустим, что существует нечеткая система, описываемая зависимостью (8.40), на вход которой подается последовательность векторов . При использовании фуззификатора в виде обобщенной гауссовской функции выходной сигнал у этой системы определяется по формуле:

, (8.41)

в которой обозначают параметры центра, ширины и формы (условия) -го компонента вектора для -ro нечеткого правила вывода.

Выражение (8.41) определяет непрерывную функцию, которая может использоваться для аппроксимации произвольно заданной непрерывной функции от многих переменных , образующих вектор . При соответствующем подборе параметров условия и заключения , функция (8.41) может аппроксимировать заданную функцию с произвольной точностью . Способность нечёткой системы, характеризующейся рядом нелинейных функций от одной переменной, к аппроксимации нелинейной функции от многих переменных, свидетельствует о возможностях практического применения нечётких систем.

Если использовать в качестве основы дальнейших рассуждений выражение (8.41), можно получить структуру нечеткой сети (рисунок 8.2), определенную Л.Вангом и Дж.Менделем [3].

Рисунок 8.2 Структура нечеткой нейронной сети Ванга-Менделя

Это четырехслойная структура, в которой первый слой выполняет фуззификацию входных переменных, второй - агрегирование значений отдельных переменных в условии i-го правила вывода, третий (линейный) - агрегирование правил вывода (первый нейрон) и генерацию нормализующего сигнала (второй нейрон), тогда как состоящий из одного нейрона выходной слой осуществляет нормализацию, формируя выходной сигнал . Только первый и третий слои являются параметрическими. В первом слое это параметры функции фуззификации , а в третьем слое - веса , интерпретируемые как центр функции принадлежности следствия - того нечеткого правила вывода.

Представленная на рисунке 8.2 сетевая структура реализует функцию аппроксимации (8.40), которую с учетом введенных обозначений можно записать в виде

. (8.42)

8.11 Обучение нечётких нейронных сетей

Для обучения нечётких нейронных сетей используются два вида обучения - с учителем и без учителя. Алгоритмы обучения с учителем основаны на минимизации целевой функции, как правило, функции погрешности. Алгоритмы обучения без учителя, называемые алгоритмами самоорганизации, состоят в группировании (кластеризации) входных данных. Рассмотрим подробнее эти алгоритмы.

При алгоритме с учителем целевая функция погрешности, оценивающая данную конфигурацию сети, задается извне - в зависимости от того, какую цель преследует обучение. Далее сеть начинает постепенно модифицировать свою конфигурацию - состояние всех своих синаптических весов - таким образом, чтобы минимизировать эту функцию. В итоге, в процессе обучения сеть все лучше справляется с возложенной на нее задачей.

Погрешность сети зависит от конфигурации сети - совокупности всех ее синаптических весов. Но эта зависимость не прямая, а опосредованная, так как непосредственные значения весов скрыты от внешнего наблюдателя. Для него сеть - своего рода черный ящик, и оценивать ее работу он может, лишь основываясь на ее поведении, т.е. на том, каковы значения выходов сети при данных входах. Иными словами, в общем виде целевая функция имеет вид:. Здесь - набор примеров (т.е. пар входов-выходов), на которых обучается нейронная сеть, а - реальные значения выходов нейросети, зависящие от конкретных значений ее синаптических весов.

Алгоритм самоорганизации приписывает значения входного вектора к соответствующей группе данных, представляемых центом . Базовая форма алгоритма позволяет точно определять положение центров соответствующих групп данных (кластеров), на которые подразделяется многомерное пространство. Можно также, полученные значения центров использовать при обучении с учителем в качестве начальных значений, что существенно ускоряет процесс обучения и гарантирует сходимость решения. В дальнейшем рассмотрим некоторые алгоритмы обучения нечётких сетей.

8.12 Адаптивный алгоритм обучения нечёткой сети Ванга-Менделя

Важным вопросом обучения сети является подбор начальных значений для параметров нейронной сети. Существует несколько подходов к решению этого вопроса. Так, начальное приближение для весов сети выбирается случайным образом. Вопрос об инициализации центров cj требует более тонкого подхода, так как положение функции в пространстве входных данных тесно связано с классифицирующей способностью сети. Естественно в таком случае ориентироваться на характер обучающих данных, и в качестве начального значения центра функции выбрать среднее арифметическое всех значений входных переменных, т.е. разместить функцию равноудаленно от всех точек пространства входных данных. Дальнейший подбор центров будет произведен при работе адаптивного метода подбора параметров так же, как и общее количество центров.

Адаптивный алгоритм был сформулирован только для гауссовской функции с использованием обобщенной модели Ванга- Менделя [3]. В результате его реализации определяются: количество центров и их расположение в части, соответствующей условиям (множество векторов хt) и заключениям (множество скалярных ожидаемых значений dt). Этот алгоритм можно описать следующим образом.

При старте с первой пары данных (x1, d1) создается первый кластер с центром c1=x1. Принимается, что w1=d1 и что мощность множества L1=1. Пусть r обозначает предельное эвклидово расстояние между вектором х и центром, при котором данные будут трактоваться как принадлежащие к созданному кластеру (то есть максимальный радиус функции). Для сохранения общности решения принимается, что в момент начала обучения существует М кластеров с центрами с1, с2, ..., сM и соответствующие им значения wi и Li (i=1,2,...,М).

После считывания t-ой обучающей пары (xt, dt) рассчитываются расстояния между вектором хt и всеми существующими центрами ||xt-ci|| для i=1, 2, ..., М. Допустим, что ближайший центр -- это сit. В таком случае в зависимости от значения ||хt-сit|| может возникнуть одна из двух ситуаций:

если ||xt-cit||>r, то создается новый кластер cM+1=xt, причем wM+1(t)=dt, LM+1(t)=1.

Параметры созданных до этого кластеров не изменяются, т.е. wi(t)=wi(t-i), Li(t)=Li(t-i) для i= 1, 2, ..., М. Количество кластеров М увеличивается на 1 (М<М+1);

если ||xt-cit||<=r, то данные включаются в it-й кластер, параметры которого следует уточнить в соответствии с формулами:

, (8.43)

, (8.44)

. (8.45)

В другой версии алгоритма фиксируется положение центров сit после инициализации, и их координаты уже не изменяются. Во многих случаях такой прием улучшает результаты адаптации.

...