Типы нейронных сетей

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Введение

перцептрон нейронный сеть архитектура

Вычислительные интеллектуальные (CI) методы, такие как экспертные системы (ES/ЭС), непрерывная логика (FL), искусственные нейронные сети (ANN/ИНС) и генетический алгоритм (GА) широко применяются в энергосистемах, силовой электронике и приводах двигателей. Цель СI методов заключается в росте человеческого или природного интеллекта с помощью компьютера, при этом компьютер может рассуждать разумно, как человек. Система со встроенным вычислительным интеллектом часто обозначают как интеллектуальная система, которая имеет возможности «обучения», «самоорганизации», или «самоадаптации». Вычислительный интеллект обсуждался в течение долгого времени, и возможно, будет обсуждаться всегда. Однако, нельзя отрицать тот факт, что компьютер может быть оснащен адекватным интеллектом, который сможет решать проблемы, затруднительно решающиеся традиционным способом. Поэтому CI методы часто используется в промышленности управления технологическими процессами, обработке изображений, диагностике, медицине, космических технологиях, и системах управления информацией и тд. В то время как ES и FL основаны на правилах и подражают поведению работы человеческого мозга, ANN являются более универсальными по работе и подражают биологической нейронной сети на прямую. История ANN начинается с 1940-х годов, но их продвижение в течение некоторого времени были незначительными, по сравнению с эволюцией современных цифровых вычислительных машин.

С начала 90-х, технология ANN начала привлекать к себе внимание значительной части научного общества. С тех пор эти технология быстро развивается и ее применение расширяется в различных областях. Теория GA (также известная в качестве эволюционных вычислений) была предложена в 1970-х годах, и основана на принципах генетики (или выживание сильнейшего по теории эволюции Дарвина). В основном, она решает задачу оптимизации с помощью эволюционного процесса, что приводит к лучшему решению. Лотфи Заде изобретатель FL, определяет ES как точное вычисление и FL, ANN и GA как приблизительное вычисление.

Среди всех разновидностей CI, ANN имеют максимальное воздействие в области силовой электроники и систем электропитания, как указано в литературных публикациях. Однако литература в этой области чуть больше 10 - 15 лет. На самом деле, эта технология ANN сама продвигается быстрыми темпами и в последние годы ее применение в различных областях также быстро расширяется. Современные передовые интеллектуальные системы часто соединяют в себе нейро, непрерывные и GA методы для улучшения производительности. Основная часть этой главы описывает принципы различных разновидностей локальных сетей и их алгоритмов обучения.

Искусственные нейронные сети (ANN) представляет собой вычислительное устройство, созданное на основе человеческого мозга. Простые блоки обработки называются нейронами (узлами) связаны между собой. Именно эта группа взаимосвязанных искусственных нейронов использует математическую или вычислительную модель для обработки информации, основанной на нейросетевом подходе к задаче вычисления. В большинстве случаев ANN является адаптивной системой, изменения ее структуры основаны на внешней или внутренней информации, которая протекает через сеть. Каждый нейрон принимает входные сигналы с помощью серии соединений, которые приходят из других нейронов или внешнего мира. Соединение имеют весовой коэффициент, связанный с нейроном. С практической точки зрения нейронные сети являются нелинейными инструментами статистического моделирования данных. Они могут быть использованы для моделирования сложных взаимосвязей между входами и выходами или найти структуру данных [77].

1. Топологии нейронной сети

1.1 Биологический нейрон

ANN состоит из ряда искусственных нейронов, которые соединены между собой. Структура искусственного нейрона взята из общего представления биологического нейрона, изображенного на рисунке 1. Нейрон - это процессорный элемент в нервной системе мозга, который принимает и комбинирует сигналы от других подобных нейронов через тысячи входных путей, называемых дендритами.

Рисунок 1. Структура биологического нейрона

Каждый входной сигнал (электрический в природе), протекающий через дендриты, проходит через синапс или соединение синапсов. Соединение синапсов представляет собой бесконечно малый зазор в дендрите, который заполнен жидкостью нейромедиатора, который либо ускоряет, либо замедляет поток сигнала. Эти сигналы накапливаются в ядре, они нелинейно изменены на выходе для введения другим нейронам через ветви аксона, как показано на рисунке. Регулирование полного сопротивления или проводимости в синаптический зазор с жидкостью нейромедиатора вносит свой вклад в «память» или «интеллект» мозга.

Модель искусственного нейрона близко соответствует биологическому нейрону, изображенному на рисунке 1. Обычно, в структуре это операционный усилитель суммирования. Каждый входной сигнал (непрерывная переменная или дискретный импульс) протекает через усиление или вес (синаптический вес или прочность соединения), который может быть положительным или отрицательным, целым числом или дробным. Рисунок 2 иллюстрирует типичный искусственный нейрон, с соединительными весами для w₁, w₂, w₃, и w₄ соответственно. Если значения сигналов для х₁, х₂, х₃ и х₄ размещены на входах в этот узел, как показано на рисунке 3.2, суммарная взвешенная сумма нейрона S равна:

Рисунок 2. Искусственный нейрон с весами подключения

1.2 Функции активации

Наиболее часто используемые типы функций активации, используемые при искусственном нейроне показаны на рисунке 3. Они определены, соответственно, в качестве линейного (биполярного), граничной точки, сигнума, сигмовидной (или лог-сигмовидной) и гиперболической тангенс (или тан-сигмовидной). Другой тип - это гауссова функция, которая часто используется гауссова функция, но не используются здесь. Величина этих функций варьируется от 0 до 1, или от -1 до +1, как указано. Линейная функция может быть однополярной или биполярной.

Рисунок 3. Функции активация искусственных нейронов

От наклона бесконечности, линейная функция переходит к граничной точке или знаковой функции, соответственно. Сигмоидальные и гиперболические тангенциальные функции, как правило, используются в системах, которые являются нелинейными, такие как электронные системы питания. Их математические выражения показана на рисунке 3, где б коэффициент усиления или коэффициент, который регулирует наклон или чувствительность. Обе эти функции дифференцируемы, а производная, максимум при S = 0. Все эти функции подавляются в природе, то есть они ограничивают ответ нейрона между асимптотическими значениями. Заметим, что нелинейная функция активации вносит свой вклад в нелинейные передаточные характеристики нейрона, который позволяет нелинейный ввод-вывод преобразования ANN, как описано ниже. Тем не менее, с линейной функции активации эта нелинейность теряется. Функция активации, которая используется в данном исследовании является сигмовидной функцией.

Расчет выполняется любым одним простым нейроном, а сложное поведение возникает, когда нейроны соединены друг с другом, образуя сеть. Вместо того, чтобы явно программировать их с определенным алгоритмом обработки данных, нейронные сети имеют возможность учиться из данных, представленных им. Обучение в нейронной сети происходит путем модификации соединения весов между узлами.

1.3 Обучение в нейронных сетях

Любая нейронная сеть требует алгоритм обучения, чтобы определить или аппроксимировать процесс. Есть три основных класса обучения: под контролем, без присмотра и обучение с подкреплением.

Контролируемое обучение

У подконтрольного обучения, процесс начинается с данными учителей (или обучающих данных из процесса или растений), которые представляют собой примеры желаемой модели поведения. Данный учитель используется для обучения ANN такие, что ANN аппроксимирует данные учителя. Когда ANN обучен, затем получают входную последовательность, ANN должен генерировать выходной сигнал, который напоминает фактический вывод исходной системы, если был поставлен некоторый вход. Обычно используется функция затрат, которой является среднеквадратичная ошибка, которая пытается минимизировать среднюю ошибку между выходом ANN и целевым значением. Минимизация этой затраты - функция с использованием градиентных методов снижения для класса нейронных сетей под названием многослойного перцептрона, что приводит к хорошо известному алгоритму обратного распространения для обучения нейронные сети [82]. Задачи, которые находятся в пределах примера контролируемого обучения, есть распознавание образов (также известный как классификации) и регрессии (также известный как функция приближения).

Неконтролируемое обучение

В отличие от подконтрольного обучения, целью неконтролируемого обучения является выявление образца или особенности в исходных данных без помощи учителя, в основном выполняя группирование входного пространства. В неконтролируемом обучении [83], учитывая некоторые данные х, чтобы свести к минимуму функцию затрат, она может быть любой функцией х данных и выход ANN g (х). Функция затрат зависит от поставленной задачи и некоторых априорных допущений (неявные свойства модели, ее параметры и наблюдаемые переменные).

Обучение с подкреплением

В этом методе, учитель только указывает на правильность вычисленного значения входа. Информация предоставляется для помощи сети в процессе обучения. Награда дается за правильный вычисленный ответ и штраф за неправильный.

Неконтролируемое обучение и обучение с подкреплением, не рассматриваются в данной диссертации, так как это было бы неуместно для предполагаемого применения.

2. Нейросетевые архитектуры

Нейронные сети бывают во многих формах и, следовательно, не существует универсального общепринятого определения. Их можно было бы охарактеризовать как биологически вдохновленные модели, которые, как правило, состоят из простых вычислительных блоков, соединенных каким-либо образом, A.Г. Хайкин [77]. Структура соединений между нейронами и вычисление, какую роль выполняет нейрон варьируется между различными нейронными моделями. Базовое моделирование нейронной сети особенно эффективно, когда рассматриваемое явление или процесс является слишком сложным, или неизвестен порядок, чтобы смоделировать аналитически. В таком случае, цель состоит в том, чтобы построить модель в нейронной сети, которая будет фиксировать основные свойства процесса, с помощью наблюдаемых и предварительно известных данных.

Структура биологической нейронной сети до сих пор до конца не понятны, поэтому было предложено много топологий ANN. ANN, как правило, классифицируются в качестве прямой и обратной связи или периодических моделей. При прямой связи сигналы идут только в прямом направлении, в то время как в рекуррентной (периодической) нейронной сети (RNN), сигналы могут протекать как в прямом направлении, так и в обратном или в поперечном направлении.

ANN могут быть определены как статические или динамические, в зависимости от того какой является система, которой они подражают, статической или динамической. ANN характеризуются свойством преобразования ввода-вывода. Для статического преобразования прямая связь ANN является предпочтительной, в то время как для динамического или временного преобразования - RNN. Ниже перечислены несколько нейронных сетевых архитектур Хайкина [77], а также некоторые более поздние из них.

Характеристикой нейронной сети является то, что, когда обучение правильно, преобразование, сформированное в сети может иметь некоторую способность для обобщения полученных за обучение данных. Кроме того, типичным для нейронных сетей и связанных с ними алгоритмов обучения, является то, что они устойчивы к избыточным входным переменным или отсутствующим значениям во время обучения. Нейронные сети особенно полезны для классификации и регрессии проблем, которые терпимы к некоторой неточности, есть много обучающих доступных данных, но данные соответствующие эвристическим правилам (например, те, которые могут быть применены в экспертной системе) не могут легко применяться.

Много различных типов нейронных сетей, таких как многослойный перцептрон нейронной сети (MLPN), предложенный Д. Румельхартом и др. в 1986 г. [78], радиальные базовые функции сети (RBFN), предложенные Л. Орром и др. в 1996 году [79], были доказаны универсальной функцией приближения по Cybenko и др. [80] и Уайта и др. [81]. Универсальная функция приближения свойственная нейронной сети означает, что практически любая конечномерная вектор-функция в сжатом множестве может быть приближена с произвольной точностью, если есть достаточное количество данных и достаточное количество вычисленных ресурсов. Подробное описание всех топологий ANN выходит за рамки данной диссертации. Поэтому обсуждаются только несколько топологий, которые являются наиболее важными для предлагаемого применения. В данный момент, около 90% приложений ANN используют структуру прямой связи, в частности MLPN является самым популярным. Описание этой топологии представлено в следующем разделе.

3. Многослойный перцептрон нейронной сети

Многослойные нейронные сети с прямой связью, также известные как многослойный персептрон нейронной сети (MLPN), являются структурой, в которой нейроны собраны в слои, связь между слоями потока только в одном направлении - от входного слоя к выходному слою, как это показано на рисунке 4. Связи между нейронами в одном слое нет. Кроме того, между входным и выходным слоями могут быть расположены один или несколько скрытых слоев. Потоки данных входят в сеть через входной слой, проходят через скрытый слой (слои) и, вытекают из сети через выходной слой.

Эти структуры являются также статическими, поэтому преобразование между входом и выходом есть статическая функция. На практике это также означает, что сеть не имеет памяти, где она может хранить контекстную информацию из прошлого. Таким образом, входная сеть должна содержать всю необходимую контекстную информацию, нужную для преобразования выхода.

MLPN представляет собой нелинейную модель, состоящую из числа нейронов, организованных в несколько слоев, образующих отображение у = g (х, W, V) между входом х и выходом у, которые регулируются весом W и V. Это преобразование, с определенной структурой и весом, образует статическую нелинейную функцию. Сложность сети MLPN может быть изменена с почти линейной модели к нелинейной модели путем изменения числа слоев, количества нейронов в каждом слое, а значения весов.

Поэтому сеть имеет простую интерпретацию формы ввода-вывода модели с сетевыми весами, как свободными параметрами. Три слоя MLPN с входом х и выходом у, соединены между собой по весу матрицы W и V и выходной ошибки е₀, как показано на рисунке 4.

Рисунок 4. Структура сети MLPN

Оценка параметров модели осуществляется с помощью алгоритма, во время которого используются обучающие данные, чтобы постепенно оптимизировать параметры (или веса) в MLPN сети. Другими словами, алгоритм обучение реализует метод исследования, который оценивает значения для параметров MLPN.

Наклон спуска оптимизации является одним из методов оценки значения параметров MLPN. Наклон погрешности между установкой и выходным значением MLPN вычисляется из текущих значений. Затем значения параметров MLPN исправляются в направлении наклона, таким образом, MLPN постепенно приводят к оптимальным значениям параметров. Общей проблемой оптимизации наклона спуска есть трудность в оценке MLPN, которые находятся в локальном или в глобальном минимуме. Применяемые алгоритмы на практике включают в себя различные методы, которые пытаются предотвратить попадание в локальные минимумы.

Рисунок 5. Схема обучения для MLPN

MLPN могут быть обучены для определения или приближения любого желаемого непрерывного вектора преобразования функции F (.) процесса или устройства, как показано на рисунке 5 в заданном диапазоне. Алгоритм обучения обратного распространения основан на оптимизации наклонного спуска как наиболее широко используемого рассмотренного алгоритма обучения для MLPN. Этот новаторский алгоритм был предложен Вербосом в 1974 году [82], [84] и был разработан Харлеем, Бартоном, Венайягамурти и др. [85], [86].

Функция g (., W, V) представляет собой приближение MLPN функции устройства F (.) в его определениях весов W и V. Целью обучения является изменение W и V так, что функция MLPN g (., W, V) приближает искомую функцию F (.), чтобы ошибка е₀ между требуемой выходной функцией у и выхода MLPN у' стала минимальна. Два типа рассмотренных алгоритмов обучения основаны на изменении весов W и V. Первый тип известен как стохастический или онлайн-обучение, где веса корректируются после каждого показа модели (структуры). Здесь случайным образом выбран следующий шаблон ввода из обучающей выборки, чтобы предотвратить любое смещение, которое может произойти из-за последовательностей, в которых модели (структуры) встречаются в обучающем наборе. Второй тип известен как серия или офлайн-обучение, где изменения веса накапливаются и используются для корректировки весов только после того, как были представлены все учебные модели. Повторяющееся онлайн-обучение (COST) требуется всякий раз, когда F (.) есть изменяющаяся во времени нелинейная функция и g (., W, V) должна отслеживать F (.). Обобщенные уравнения для обратного распространения обучения с СОТ приведены в следующих разделах.

4. Нейронные сети для динамических систем

MLPN, как обсуждалось в предыдущем разделе, может дать только статический вход-выход нелинейного (или линейного) преобразования. Во многих приложениях ANN требуются быть динамичными; то есть, они должны следовать примеру динамической системы с временным поведением, такому как опознание нелинейной изменяющейся во времени функции. Поэтому для динамической сети нужны свойства хранения.

5. Рекурентная нейронная сеть (RNN)

Одними из наиболее важных возможностей человеческого мозга является его способность помнить и принимать базовые решения во время нынешних или предыдущих состояний любого процесса. Способность хранить информацию о состоянии позволяет выполнять символическую обработку задач, на подобии рассуждения.

RNN - усовершенствованные MLPN сети, которые характеризуются циклическими траекториями между нейронами. Вопреки сети с прямой связью, RNN - сети с двунаправленным потоком данных. В то время как сети с прямой связью распространяют данные линейно от входа к выходу, RNN распространяют данные от более поздних стадий обработки к более ранним стадиям. В РНК нынешнее состояние активации является функцией предыдущего состояния активации, а также данных входов. По сути дела, возвратные соединения позволяют хранить информацию из прошлого входа и прошлого состояния сети. Добавление обратной связи с предварительной активации привносит форму памяти для процесса. Это повышает возможности сети в ознакомлении временных последовательностей без радикального изменения учебного процесса.

Простой периодической сетью (SRN) является изменение в MLPN, которую иногда называют «сетью Эльмана», так как ее изобрел Джефф Эльман [89]. Структура SRN показана на рисунке 6. Трехслойную сеть используют с добавлением набора «контекстных нейронов» к входному слою. Соединения в скрытом слое этих контекстных нейронов происходит с единичной задержкой. На каждом шаге, вход передает обычным методом прямой сети, а затем по правилу обучения (обычно обратного распространения) происходит изменение веса. Соединения обратной связи приходят в контекстные нейроны, всегда сохраняя копии предыдущих значений скрытых блоков (так как они распространяются по соединениям по правилу обучения). Таким образом, сеть улучшает возможности памяти.

Рисунок 6. Структура RNN

Известным методом контролируемого обучения RNN, который предложен в литературе и наиболее распространен в использовании - это алгоритм обучения обратного распространения во времени (BPTT). BPTT - это адаптация известного метода обучения обратного распространения был описан в предыдущем разделе. Алгоритм BPTT также был предложен Полом Дж. Вербосом [90].

Заключение

перцептрон нейронный сеть архитектура

Нейронные сети являются хорошей функцией аппроксимации. Они особенно эффективны при решении нелинейных отношений между параметрами. Эта глава ознакомила с архитектурой нейронной сети и алгоритмами, доступными для использования в системе питания приложения. Каждая архитектура и алгоритм имеет свои достоинства и недостатки.

Эта справочная информация о нейронных сетей создает основу для использования универсального приближение свойств нейронных сетей, чтобы предложить новый метод для различия нагрузок вклада гармоник и источников способствовавших гармоник.

Размещено на Allbest.ru