Искусственные сети

Размещено на http://allbest.ru/

Московский Государственный Открытый Университет имени В.С. Черномырдина

Кафедра «Информационные системы и измерительные технологии»

Курсовой проект

по дисциплине «Интеллектуальные средства измерения»

На тему: «Искусственные сети»

Принял: Хлебородова В.М

Выполнила: Казанова Г.Н.

Москва 2012

Содержание

Введение

1. Нейрон элемента

2. Искусственные нейронные сети

2.1 Сети с прямыми связями

2.2 Сети с симметричными связями

2.3 Сети с литеральным торможением

3. Расширенная модель искусственного нейрона

4. Обучение нейронной сети

4.1 Алгоритм обратного распространения ошибки

4.2 Обучение "без воспитателя"

5. Нейрокомпьютеры

Заключение

Список использованной литературы

Введение

После двух десятилетий почти полного забвения интерес к искусственным нейронным сетям быстро вырос за последние несколько лет. Специалисты из таких далеких областей, как техническое конструирование, философия, физиология и психология, заинтригованы возможностями, предоставляемыми этой технологией, и ищут приложения им внутри своих дисциплин. Это возрождение интереса было вызвано как теоретическими, так и прикладными достижениями. Неожиданно открылись возможности использования вычислений в сферах, до этого относящихся лишь к области человеческого интеллекта, возможности создания машин, способность которых учиться и запоминать удивительным образом напоминает мыслительные процессы человека, и наполнения новым значительным содержанием критиковавшегося термина «искусственный интеллект».

Искусственные нейронные сети индуцированы биологией, так как они состоят из элементов, функциональные возможности которых аналогичны большинству элементарных функций биологического нейрона. Эти элементы затем организуются по способу, который может соответствовать (или не соответствовать) анатомии мозга. Несмотря на такое поверхностное сходство, искусственные нейронные сети демонстрируют удивительное число свойств присущих мозгу. Например, они обучаются на основе опыта, обобщают предыдущие прецеденты на новые случаи и извлекают существенные свойства из поступающей информации, содержащей излишние данные. Несмотря на такое функциональное сходство, даже самый оптимистичный их защитник не предположит, что в скором будущем искусственные нейронные сети будут дублировать функции человеческого мозга. Реальный «интеллект», демонстрируемый самыми сложными нейронными сетями

1. Нейрон элемента

Индивидуальный нейрон является сложным, имеет свои составляющие, подсистемы и механизмы управления и передает информацию через большое количество электрохимических связей. Насчитывают около сотни разных классов нейронов. Вместе нейроны и соединения между ними формируют недвоичный, нестойкий и несинхронный процесс, отличающийся от процесса вычислений традиционных компьютеров. Искусственные нейросети моделируют лишь главнейшие элементы сложного мозга, вдохновляющий ученых и разработчиков к новым путям решения проблемы.

В настоящее время нейроны разделяют на три большие группы: рецепторные, промежуточные и эффекторные. Рецепторные нейроны предназначены для ввода сенсорной информации в мозг. Они преобразуют воздействие окружающей среды на органы чувств (свет - на сетчатку глаза, звук - на ушную улитку) в электрические импульсы на выходе своих аксонов. Эффекторные нейроны передают приходящие к ним электрические сигналы исполнительным органам, например мышцам, также через специальные синапсы своих аксонов. Промежуточные нейроны образуют центральную нервную систему и предназначены для обработки информации, полученной от рецепторов и при передаче управляющих воздействий на эффекторы.

На нейроподобный элемент поступает набор входных сигналов x1, x2, ..., xM (или входной вектор X), представляющий собой выходные сигналы других нейроподобных элементов. Каждый входной сигнал умножается на соответствующий вес связи w1, w2, ..., wM - аналог эффективности синапса. Вес связи является скалярной величиной, положительной для возбуждающих и отрицательной для тормозящих связей. Взвешенные весами связей входные сигналы поступают на блок суммации, соответствующий телу клетки, где осуществляется их алгебраическая суммация и определяется уровень возбуждения нейроподобного элемента S:



Рис. 1.1.

(1.1)

Выходной сигнал нейрона y определяется путем пропускания уровня возбуждения S через нелинейную функцию f:

(1.2)

где q - некоторое постоянное смещение (аналог порога нейрона). Обычно используются простейшие нелинейные функции: бинарная на рисунке 1а.

Рисунок 1 - а) бинарная функция; б) сигмоидная функция

(1.3)

или сигмоидная (рисунок 1б)

(1.4)

В такой модели нейрона пренебрегают многими известными характеристиками биологического прототипа, которые некоторые исследователи считают критическими. Например, в ней не учитывают нелинейность пространственно-временной суммации, которая особенно проявляется для сигналов, приходящих по возбуждающим и тормозящим синапсам, различного рода временные задержки, эффекты синхронизации и частотной модуляции, рефрактерность и т.п. Несмотря на это нейроподобные сети, построенные на основе таких простых нейроподобных элементов, демонстрируют ассоциативные свойств, напоминающие свойства биологических систем.

2. Искусственные нейронные сети

Нейронная сеть представляет собой совокупность нейронных элементов, определенным образом соединенных друг с другом и с внешней средой. Входной вектор (координирующий входное воздействие или образ внешней среды) подается на сеть путем активации входных нейронных элементов. Множество выходных сигналов нейронов сети y1, y2, ...,yN называют вектором выходной активности, или паттерном активности нейронной сети. Веса связей нейронов сети удобно представлять в виде матрицы W, где w ij - вес связи между i- и j-м нейронами. В процессе функционирования (эволюции состояния) сети осуществляется преобразование входного вектора в выходной, т.е. некоторая переработка информации, которую можно интерпретировать, например, как функцию гетеро- или автоассоциативной памяти. Конкретный вид выполняемого сетью преобразования информации обусловливается не только характеристиками нейронных элементов, но и особенностями ее архитектуры, т.е. той или иной топологией межнейронных связей, выбором определенных подмножеств нейронных элементов для ввода и вывода информации или отсутствием конкуренции, направлением и способами управления и синхронизации информационных потоков между нейронами и т.д.

Искусственные нейронные сети могут менять свое поведение в зависимости от внешней среды. Этот фактор в большей степени, чем любой другой, ответствен за тот интерес, который они вызывают. После предъявления входных сигналов (возможно, вместе с требуемыми выходами) они самонастраиваются, чтобы обеспечивать требуемую реакцию. Было разработано множество обучающих алгоритмов, каждый со своими сильными и слабыми сторонами.

Некоторые из искусственных нейронных сетей обладают способностью извлекать сущность из входных сигналов. Например, сеть может быть обучена на последовательность искаженных версий буквы А. После соответствующего обучения предъявление такого искаженного примера приведет к тому, что сеть породит букву совершенной формы. В некотором смысле она научится порождать то, что никогда не видела.

Искусственные нейронные сети являются важным расширением понятия вычисления. Они обещают создание автоматов, выполняющих функции, бывшие ранее исключительной прерогативой человека. Машины могут выполнять скучные, монотонные и опасные задания, и с развитием технологии возникнут совершенно новые приложения. Теория искусственных нейронных сетей развивается стремительно, но в настоящее время она недостаточна, чтобы быть опорой для наиболее оптимистических проектов. В ретроспективе видно, что теория развивалась быстрее, чем предсказывали пессимисты, но медленнее, чем надеялись оптимисты, - типичная ситуация. Сегодняшний взрыв интереса привлек к нейронным сетям тысячи исследователей. Резонно ожидать быстрого роста нашего понимания искусственных нейронных сетей, ведущего к более совершенным сетевым парадигмам и множеству прикладных возможностей.

2.1 Сети с прямыми связями

Прямой персептрон. В середине 50-х годов была предложена одна из первых моделей нейронных сетей, которая вызвала большой интерес из-за своей способности обучаться распознаванию простых образов. Эта модель - персептрон - состоит из бинарных нейроподобных элементов и имеет простую топологию, что позволило достаточно полно проанализировать ее работу и создать многочисленные физические реализации. Типичный персептрон состоит из трех основных компонент:

- матрицы бинарных входов r1, r2, ..., rn (сенсорных нейронов или "сетчатки", куда подаются входные образы);

- набора бинарных нейроподобных элементов x1, x2, ..., xm (или предикатов в наиболее общем случае) с фиксированными связями к подмножествам сетчатки ("детекторы признаков");

- бинарного нейроподобного элемента с модифицируемыми связями к этим предикатам ("решающий элемент").

На самом деле число решающих элементов выбирают равным количеству классов, на которое необходимо разбить предъявляемые персептрону образы.

Таким образом, модель персептрона характеризуется наличием только прямых связей, один из слоев которых является модифицируемым. В простейшем случае, когда n = m и xi = ri, детекторы признаков могут рассматриваться как входной слой. Тогда персептрон становится одним бинарным нейроподобным элементом. Это классическая модель М-входового нейрона, приведенная на рис. 1.1, или простой персептрон Розенблатта. В общем случае каждый элемент xi может рассматриваться как булева функция, зависящая от некоторого подмножества сетчатки. Тогда величина выходных сигналов этих обрабатывающих элементов является значением функции xi, которое равно 0 или 1.

Устройство реагирует на входной вектор генерацией выходного сигнала y решающего элемента по формуле (1.3). Таким образом, персептрон формирует гиперплоскость, которая делит многомерное пространство x1, x2, ..., xm на две части и определяет, в какой из них находится входной образ, выполняя таким образом, его классификацию. Возникает вопрос, как определить значения весов, чтобы обеспечить решение персептроном конкретной задачи.

2.2 Сети с симметричными связями

Ансамблевые нейронные сети. Минский и Пейперт отмечали, что недостатки простых персептронов можно преодолеть как с помощью многослойных сетей (см. выше), так и введением в сеть обратных связей, допускающих циркуляцию сигналов по замкнутым контурам. Использовать свойства такого рода сетей для моделирования функций мозга еще в 1949 г. предложил Хебб.

Согласно взглядам Хебба нервные клетки мозга соединены друг с другом большим количеством прямых и обратных возбуждающих связей и образуют нейронную сеть. Каждый нейрон осуществляет пространственно-временную суммацию приходящих к нему сигналов от возбуждающих, определяя потенциал на своей мембране. Когда потенциал на мембране превышает пороговое значение, нейрон возбуждается. Нейрон обладает рефрактерностью и усталостью. Эффективность связей может изменяться в процессе функционирования сети, повышаясь между одновременно возбужденными нейронами. Это приводит к объединению нейронов в клеточные ансамбли - группы клеток, которые чаще всего возбуждались вместе, и к обособлению ансамблей друг от друга. При возбуждении достаточной части ансамбля он возбуждается целиком. Различные ансамбли могут пересекаться: один и тот же нейрон может входить в разные ансамбли. Электрическая активность мозга обусловлена последовательным возбуждением отдельных ансамблей.

Идеи Хебба оказали большое воздействие на представления о работе мозга и послужили основой для создания нейронных моделей долговременной памяти. Действительно, ансамблевую нейронную сеть можно рассматривать как структуру, реализующую функции распределенной ассоциативной памяти. Формирование ансамблей в такой сети соответствует запоминанию образов (признаков, объектов, событий, понятий), закодированных паттерном активности нейронов, а сформированные ансамбли являются их внутренним представлением. Процесс возбуждения всего ансамбля при активации части его нейронов можно интерпретировать как извлечение запомненной информации по ее части - ключу памяти.

Модель памяти на основе ансамблевой нейронной сети обладает некоторыми свойствами, присущими биологической памяти, таким, как ассоциативность, распределенность, параллельность, устойчивость к шуму и сбоям, надежность. Проводятся также структурные аналоги между ансамблевыми моделями нейронных сетей и строением коры головного мозга. Имеются экспериментальные данные о синаптической пластичности, постулированной Хеббом.

Модель ансамблиевой сети состоит из большого количества нейронов, каждый из которых обычно соединен со всеми другими элементами сети. Входной образ подается на сеть путем активации нужных нейроподобных элементов. Обучение ансамблиевой сети описано в параграфе .

Сеть Хопфилда. Хотя многочисленные результаты моделирования демонстрировали стабильность ансамблевых сетей с обратными связями и хеббовским правилом обучения (эволюцию сети к устойчивому состоянию), отсутствие математического обоснавания такого поведения препятствовало их популярности.

В 1982 г. американский биофизик Джон Хопвилд опубликовал статью, где поведение модели полносвязной сети бинарных нейроподобных элементов с симметричными связями (w ij = w ji). элементы функционировали в асинхронном режиме, т.е. каждый нейрон в случайные моменты времени с некоторой средней частотой определял свое состояние с правилом (1.3). Это позволило описать поведение сети ка релаксационный процесс, при котором минимизируется функция (гамильтониан) модели.

Машина Больцмана представляет собой стохастический вариант сети Хопфилда. Бинарные нейроподобные элементы (блоки) трактуются здесь представители элементарных гипотез, а веса - как слабые парные взаимоограничения между ними. Положительный вес связи указывает, что две гипотезы стремятся поддерживать друг друга, а отрицательный - на их несовместимость. Симметрия связей позволяет проанализировать поведение сети с использованием энергетической функции (гамильтониана). Энергию определенного паттерна активности можно интерпретировать как степень нарушения ограничений, присутствующих в проблемной области, со стороны конкретной комбинации гипотез или как стоимостную функцию, которая должна быть минимизирована для решения оптимизационной задачи. Существует возможность, однако, попадания сети в локальный мимнимум, что крайне не желательно для оптимизационных задач. Чтобы сеть могла выбраться из локального энергетического минимума, в машине Больцмана применяется вероятностное правило срабатывания блоков:

, (2.1)

где pi - вероятность нахождения i-го блока в единичном состоянии;

P (x) - сигмоидная функция (рис. 1.2. б);

T - параметр, аналогичный температуре. При T® 0 это правило переходит в правило срабатывания детерминированных элементов (1.3), а при повышении температуры увеличивается вероятность перехода системы в состояние с большей энергией.

нейронный сеть биологический искусственный

2.3 Сети с латеральным торможением

Карты признаков Кохонена. Обычно в качестве входных образов в моделях ассоциативной памяти используются некоторые внутренние представления сенсорной информации, прошедшей, как считается, необходимую предобработку. Один из нейросетевых вариантов такой переработки предложен Кохоненом. Его алгоритм формирует одно- или двумерную карту "карту" признаков путем нелинейного "сплющивания" многомерного сигнального пространства. При этом предполагается, что такое отображение должно сохранять топологические отношения, существующие между входными сигналами.

Структура нейронной сети, в которой реализуется формирование карт признаков, приведена на рис. 2.1. Нейроны, имеющие сигмоидную характеристику, расположены в виде одно- и двумерного слоя по аналогии со слоистым строением коры. На каждый нейрон поступают два вида связей: mij, которые интерпретируются как связи от сенсорных входов или из других областей, и w jk - латеральные связи от нейронов одного слоя, характер которых зависит от расстояния между нейронами. Функция взаимодействия нейронов одного слоя имеет вид "мексиканской шляпы" (рис. 2.2.), что соответствует некоторым нейробиологическим данным. Близко расположенные нейроны возбуждают друг друга, с увеличением расстояния возбуждение сменяется торможением, а затем опять появляются слабые возбуждающие связи, которые по-видимому, выполняют ассоциативные функции и в данной модели не используются.

Эффект наличия латеральных связей с радиусом действия порядка размеров сети проявляется в следующем. Если на каждый нейрон подать (например, через связи от сенсорных входов mij) имеющий небольшой максимум случайный сигнал Si, то в процессе релаксации сети осуществляется повышение его контрасности. В результате вокруг первоначального максимума образуется "пузырек" выходной активности нейронов (рис. 2.3.).

Рисунок 2.3 - "пузырек" выходной активности нейронов

Входные сигналы полностью определяют процесс самоорганизации сети, т.е. в ней реализован алгоритм обучения без учителя. Латеральные связи w jk в модели считаются постоянными, и все адаптивные эффекты происходят только в матрице входных связей М.

Теория адаптивного резонанса. Пожалуй, одна из самых развитых и продуманных с биологической точки зрения концепций нейросетевой обработки информации предложена в работах Гроссберга. Ее стержнем является модель нейронной сети и алгоритмы теории адаптивного резонанса, которая была разработана в начале 70-х годов и детализирована в 80-х.

Нейронная система теории адаптивного резонанса способна обучаться распознаванию образов различной степени сложности. Она относит входной образ к одному из классов в зависимости от того, на какой образ из запомненных образов он больше всего похож. Если входной образ не соответствует ни одному из запомненных, создается новый класс путем его запоминания. Если найден образ, с определенным "допуском" соответствующий входному, то он модифицируется так, чтобы стать еще больше похожим на входной.

3. Расширенная модель искусственного нейрона

Углубленные представления относительно строения биологического нейрона позволяют представить модель технического нейрона в расширенном виде, детализированная структура которого приведена на рис.3, где:

1. сумматор, моделирующий функции тела биологического нейрона

2. функциональный преобразователь, который выполняет роль аксонного бугорка

3. возбуждающий синапс

4. тормозящий синапс

5. входной сигнал

6. дихотомическое разветвление входного сигнала (дихотомия разделение на двое - греческое)

7. выходной сигнал

8. дихотомическое разветвление выходного сигнала

9. прямая связь, соответствующая аксодендритной связи между биологическими нейронами

10.обратная (аксосоматичная) связь.

Рисунок 3 - Расширенная модель нейронного элемента

Основанием для детализации модели нейронного элемента можно считать установление новых фактов в области нейрофизиологии, в частности

1. Наличие нескольких мест синаптического контакта.

2. Дихотомическое разветвление дендритов разных порядков, отвечающих в технических аналогах логическим операциям "И", "ИЛИ", "Исключающее ИЛИ", выделение максимального или минимального сигнала.

3. Разные диаметры стволовых дендритов, ветвей, непосредственно прилегающих к телу нейрона, причем величина диаметра определяет степень важности информации, проходящей через дендрит.

4. Наличие "дорожек" на поверхности сомы, проходящих от главных ствольных дендритов к аксону, обуславливает наличие параллельных путей обработки информации и предоставляет возможность применения логических операций над сигналами, поступающими от разных стволовых дендритов.

5. Особенности функционирования аксонного бугорка; именно аксонный бугорок устанавливает передаточную функцию нейрона, которая имеет более сложную форму, чем принятые в нейросетевых технологиях сигмоидальные или линейные передаточные функций.

6. Наличие дихотомического разветвления аксона; в узлах разветвления происходит управление прохождением сигнала, зависящего от соотношения диаметров разных ветвей аксона; при математическом моделировании эти особенности можно реализовать с помощью логических операций.

Углубленные знания относительно строения биологического нейрона, как эффективного преобразующего инструмента, можно рассматривать как источник базовых идей и концепций по созданию новых парадигм нейросетей не только в настоящем времени, но и на отдаленную перспективу.

4. Обучение нейронной сети

Одно из важнейших свойств нейроподобной сети - способность к самоорганизации, самоадаптации с целью улучшения качества функционирования. Это достигается обучением сети, алгоритм которого задается набором обучающих правил. Обучающие правила определяют, каким образом изменяются связи в ответ на входное воздействие. Обучение основано на увеличении силы связи (веса синопса) между одновременно активными нейронами. Таким образом, часто используемые связи усиливаются, что объясняет феномен обучения путем повторения и привыкания. Математически это правило можно записать так:

(1.5)

где w ij(t) и w ij(t+1) - значение связи от i-го к j-му нейрону соответственно до и после его изменения, a - скорость обучения. В настоящее время существует множество разнообразных обучающих правил (алгоритмов обучения). Некоторые из них приведены ниже.

4.1 Алгоритм обратного распространения ошибки

"Back propagation" (алгоритм обратного распространения ошибки).

Этот алгоритм является обобщением одной из процедур обучения простого персептрона, известной как правило Уидроу - Хоффа (или дельта-правило), и требует представления обучающей выборки. Выборка состоит из набора пар образов, между которыми надо установить соответствие, и может рассматриваться как обширное задание векторной функции, область определения которой - набор входных образов, а множество значений - набор выходов.

Перед началом обучения связям присваиваются небольшие случайные значения. Каждая итерация процедуры состоит из двух фаз. Во время первой фазы на сеть подается входной вектор (образ) путем установки в нужное состояние входных элементов. Затем входные сигналы распространяются по сети, порождая некоторый выходной вектор. Для работы алгоритма требуется, чтобы характеристика вход - выход нейроподобных элементов была неубывающей и имела ограниченную производную. Обычно для этого используют сигмоидную нелинейность вида (1.4).

Полученный выходной вектор сравнивается с требуемым. Если они совпадают, обучения не происходит. В противном случае вычисляется разница между фактическими и требуемыми выходными значениями, которая передается последовательно от выходного слоя к входному. На основании этой информации об ошибке производится модификация связей с обобщенным дельта-правилом.

4.2 Обучение без "воспитателя"

Обучение без "воспитателя" возможно например в сетях адаптивного резонанса. Происходит сравнение входного образа с имеющимися в памяти сети шаблонами. Если нет подходящего шаблона, с которым можно было бы отождествить исследуемый образ, то создается новый шаблон, содержащий в себе этот входной образ. В дальнейшем новый шаблон используется наравне с другими.

5. Нейрокомпьютеры

Термин "нейрокомпьютер" употребляется для обозначения всего спектра работ в рамках подхода к построению систем искусственного интеллекта, основанного на моделировании элементов, структур, взаимодействий и функций различных нервной системы. Так как в настоящее время исследования в этой области ведутся в основном на уровне моделей нейронных сетей, то понимание термина "нейрокомпьютеры" сужают, ставя знак равенства между ним и нейронными сетями.

В зависимости от способа реализации моделей нейронных сетей выделяют 4 уровня нейрокомпьютеров.

Теоретический. Работы, в которых в той или иной форме (математической, алгоритмической, словесной и т.д.) представлено описание моделей нейронных сетей.

Программный. Модели нейронных сетей, программно реализованные на обычных последовательных компьютерах.

Программно-аппаратный. Сопроцессоры для ускорения моделирования нейронных сетей.

Аппаратный. Физически реализованные модели нейронных сетей.

Специфичность нейросетевых операций, а также сверхпараллельность структуры и функционирования моделей нейронных сетей чрезвычайно замедляют их реализацию на обычных последовательных компьютерах. Потребность в выполнении большого объема исследовательских работ и быстром функционировании появившихся прикладных систем привели к появлению специализированных вычислительных устройств для эффективного моделирования нейронных сетей - нейрокомпьютеров в узком смысле слова. Такая трактовка, соответствующая уровням 2 и 3 по приведенной классификации, получила широкое распространение.

Заключение

Сегодня машины с последовательной архитектурой достаточно успешно решают двухмерные и трехмерные задачи в реальном времени. По крайнем мере, мы можем смотреть кино на компьютере, осуществляя распаковку изображений в реальном масштабе времени. Закроем глаза на графический ускоритель и будем считать это достижением только последовательного процессора. Возьмем на, себя смелость утверждать, что последовательные машины даже в будущем не смогут эффективно решать четырехмерные задачи и задачи большей размерности. За возможность решения двухмерных задач мы уже платим вентилятором на процессоре. Для решения трехмерных задач потребуется водяное охлаждение, четырехмерные задачи последовательные одномерные машины никогда не смогут решать в реальном масштабе времени.

Совершенно иначе дело обстоит с высокопараллельными нейросетевыми вычислительными машинами. Они, видимо, могут решать задачи любой размерности. Это легко показать на примере естественных нейронных сетей.

Из этого факта вытекает весьма важный прогноз на будущее. После того, как мы научимся не только делать, но и эффективно программировать нейрокомпьютеры, их численность будет на два порядка больше численности последовательных машин.

Одновременно с одной последовательной машиной, управляющей всем на глобальном уровне, искусственный интеллект должен состоять на 97% из множества высокопараллельных специализированных нейросетевых машин, имеющих множество входов и выходов, предназначенных для решения множества частных специализированных задач.

Список использованной литературы

1. Сайт «Искусственный интеллект»

2. А.В. Васильев «Искусственный интеллект» 2006г.

3. Учебное пособие - (База необходимых знаний для подготовки бакалавров, дипломированных специалистов, магистров) - М. :

Издательство МГОУ, 2005

Размещено на Allbest.ru

...