Введение в экспертные системы

Размещено на http://www.allbest.ru/

1. Введение в экспертные системы

1.1 Основные понятия

Экспертные системы (ЭС) как самостоятельное направление в искусственном интеллекте (ИИ) сформировалось в конце 1970-х годов. История ЭС началась с сообщения японского комитета по разработке ЭВМ пятого поколения, в котором основное внимание уделялось развитию «интеллектуальных способностей» компьютеров с тем, чтобы они могли оперировать не только данными, но и знаниями.

Область исследования ЭС называется инженерией знаний. Этот термин был введён Е. Фейгенбаумом и в его трактовке означает «привнесение принципов и инструментария из области искусственного интеллекта в решение трудных прикладных проблем, требующих знаний экспертов. Не каждую систему, основанную на знаниях, можно рассматривать как экспертную. Экспертная система должна быть способна в определённой степени объяснять своё поведение и свои решения пользователю [1].

Таким образом, экспертные системы предназначены для решения неформализованных задач, то есть задач, решаемых с помощью неточных знаний, которые являются результатом обобщения многолетнего опыта работы и интуиции специалистов.

Неформализованные знания обычно представляют собой эвристические приемы и правила. ЭС обладают следующими особенностями (всеми сразу или частично) [2]:

задачи не могут быть представлены в числовой форме;

исходные данные и знания о предметной области обладают неоднозначностью, неточностью, противоречивостью;

цели нельзя выразить с помощью чётко определённой целевой функции;

не существует однозначного алгоритмического решения задачи;

алгоритмическое решение существует, но его нельзя использовать по причине большой размерности пространства решений и ограничений на ресурсы.

ЭС охватывают самые разные предметные области, среди которых преобладают медицина, бизнес, производство, проектирование и системы управления.

Для классификации ЭС используются следующие признаки:

способ формирования решения;

способ учёта временного признака;

вид используемых данных и знаний;

число используемых источников знаний.

По способу формирования решения ЭС можно разделить на анализирующие и синтезирующие. В системах первого типа осуществляется выбор решения из множества известных решений на основе анализа знаний, в системах второго типа решение синтезируется из отдельных фрагментов знаний.

В зависимости от способа учёта временного признака ЭС делятся на статические и динамические. Статические ЭС предназначены для решения задач с неизменяемыми в процессе решения данными и знаниями, а динамические ЭС допускают такие изменения.

По видам используемых данных и знаний различают ЭС с детерминированными и неопределёнными знаниями. Под неопределённостью знаний понимаются их неполнота, ненадёжность, нечёткость.

ЭС могут создаваться с использованием одного или нескольких источников знаний.

В соответствии с перечисленными признаками можно выделить четыре основных класса ЭС: классифицирующие, доопределяющие, трансформирующие и мультиагентные [2].

Классифицирующие ЭС решают задачи распознавания ситуаций. Основным методом формирования решений в них является дедуктивный логический вывод.

Доопределяющие ЭС используются для решения задач с не полностью определенными данными и знаниями. В таких ЭС возникают задачи интерпретации нечётких знаний и выбора альтернативных направлений поиска в пространстве возможных решений. В качестве методов обработки неопределенных знаний могут использоваться байесовский вероятностный подход, коэффициенты уверенности, нечеткая логика.

Трансформирующие ЭС относятся к синтезирующим динамическим ЭС, которые реализуют повторяющееся преобразование знаний в процессе решения задачи. В ЭС данного класса используются различные способы обработки знаний:

генерация и проверка гипотез;

логика предположений и умолчаний;

использование метазнаний для устранения неопределенности в ситуациях.

Мультиагентные системы - это динамические ЭС, основанные на интеграции разнородных источников знаний, которые обмениваются между собой полученными результатами в процессе решения задач. Системы данного класса имеют следующие возможности:

реализация альтернативных рассуждений на основе использования различных источников знаний и механизма устранения противоречий;

распределённое решение задач, разделяемых на параллельно решаемые подзадачи с самостоятельными источниками знаний;

применение различных стратегий вывода заключений в зависимости от типа решаемой задачи;

обработка больших массивов информации из базы данных (БД);

использование математических моделей и внешних процедур для имитации развития ситуаций.

Для формирования полноценной ЭС необходимо, как правило, реализовать в ней следующие функции:

функции решения задач, позволяющие использовать специальные знания в проблемной области (при этом может потребоваться обеспечить работу в условиях неопределённости);

функции взаимодействия с пользователем, которые, в частности, позволяют объяснить намерения и выводы системы в процессе решения задачи и по завершении этого процесса.

1.2 Проектирование экспертных систем

Первые ЭС были статического типа. Типичная статическая ЭС должна включать следующие компоненты [2]:

базу знаний (БЗ);

базу данных (рабочую память);

решатель (интерпретатор);

систему объяснений;

компоненты приобретения знаний;

интерфейс с пользователем.

БЗ ЭС предназначена для хранения долгосрочных данных, описывающих рассматриваемую область, и правил, описывающих целесообразные преобразования данных этой области.

БД ЭС служит для хранения текущих данных решаемой задачи.

Решатель формирует последовательность применения правил и осуществляет их обработку, используя данные из рабочей памяти и знания из БЗ.

Система объяснений показывает, каким образом система получила решение задачи, и какие знания при этом использовались. Это облегчает тестирование системы и повышает доверие пользователя к полученному результату.

Компоненты приобретения знаний необходимы для заполнения ЭС знаниями в диалоге с пользователем-экспертом, а также для добавления и модификации заложенных в систему знаний.

К разработке ЭС привлекаются специалисты из разных предметных областей, а именно:

эксперты той проблемной области, к которой относятся задачи, решаемые ЭС;

инженеры по знаниям, являющиеся специалистами по разработке интеллектуальных информационных систем (ИИС);

программисты, осуществляющие реализацию ЭС.

Любая ЭС должна иметь, по крайней мере, два режима работы:

режим приобретения знаний;

режим консультаций.

В режиме приобретения знаний эксперт наполняет ЭС знаниями, которые позволят ЭС в дальнейшем решать конкретные задачи из описанной проблемной области. Эксперт описывает проблемную область в виде совокупности данных об объектах и правил, определяющих взаимные связи между данными, и способы манипулирования данными.

В режиме консультаций пользователь ЭС сообщает системе конкретные данные о решаемой задаче и стремится получить с её помощью результат. При этом входные данные о задаче поступают в рабочую память. Решатель на основе данных из БД и правил из БЗ формирует решение.

Динамические ЭС, наряду с компонентами статических ЭС, должны содержать:

подсистему моделирования внешнего мира;

подсистему связи с внешним окружением.

Подсистема моделирования необходима для прогнозирования, анализа и адекватной оценки состояния внешней среды.

Изменения окружения решаемой задачи требуют изменения хранимых в ЭС знаний, для того чтобы отразить временную логику происходящих в реальном мире событий.

1.3 Типы решаемых задач

ЭС могут решать следующие задачи [2]:

анализа и синтеза. В задаче анализа задана модель сущности и требуется определить неизвестные характеристики модели. В задаче синтеза задаются условия, которым должны удовлетворять характеристики «неизвестной» модели сущности, требуется построить модель этой сущности;

статические или динамические. Если ЭС явно не учитывает фактор времени и / или не изменяет в процессе решения знания об окружающем мире, то ЭС решает статические задачи, в противном случае - динамические (работающие в реальном масштабе времени). Обычно выделяют следующие системы реального времени: псевдореального времени, «мягкого» реального времени и «жёсткого» реального времени. Системы псевдореального времени получают и обрабатывают данные, поступающие из внешних источников.

ЭС могут решать следующие типы задач:

интерпретации данных - процесса определения смысла данных;

диагностики - процесса соотнесения объекта с некоторым классом объектов и / или обнаружения неисправностей;

мониторинга - непрерывной интерпретации данных в реальном масштабе времени и контроле допуска их параметров;

проектирования - создания ранее не существовавшего объекта и подготовки спецификаций на создание объектов с заранее определёнными свойствами;

прогнозирования - предсказания последствий некоторых событий или явлений на основе анализа имеющихся данных;

планирования - построения планов действий объектов, способных выполнять некоторые функции;

обучения каким-либо дисциплинам или предметам;

управления - поддержки определённого режима деятельности системы;

поддержки принятия решений.

Задачи интерпретации данных, диагностики, поддержки принятия решений относятся к задачам анализа, задачи проектирования, планирования и управления - к задачам синтеза, остальные задачи - комбинированного типа.

1.4 Инструментальные средства разработки экспертных систем

Классификация инструментальных средств разработки ЭС обычно производится по следующим параметрам [2]:

уровень используемого языка;

парадигмы программирования и механизмы реализации;

способ представления знаний;

механизмы вывода и моделирование;

средства приобретения знаний;

технологии разработки.

Уровень используемого языка:

традиционные (в том числе и объектно-ориентированные) языки программирования;

специальные языки программирования (LISP, PROLOG, РЕФАЛ);

инструментальные средства, содержащие часть компонентов ЭС (предназначены для разработчиков ЭС);

среды разработки общего назначения, содержащие все компоненты ЭС, но не имеющие описания конкретных проблемных сред;

проблемно-ориентированные среды разработки (для решения определённого класса задач или имеющие знания о типах предметных областей).

Парадигмы программирования:

процедурное программирование;

программирование, ориентированное на данные;

программирование, ориентированное на правила;

объектно-ориентированное программирование;

логическое программирование.

Способ (модели) представления знаний:

продукционные правила;

фреймы (объекты);

логические формулы;

семантические сети;

нейронные сети.

Механизмы вывода и моделирования:

Моделирование процесса получения решения:

построение дерева вывода на основе обучающей выборки и выбор маршрута на дереве вывода в режиме решения задачи;

компиляция сети вывода из специфических правил в режиме приобретения знаний и поиск решения на сети в режиме решения задачи;

генерация сети вывода и поиск решения в режиме решения задачи, при этом генерация сети вывода осуществляется в ходе выполнения сопоставления, определяющей пары «правило-совокупность данных», на которых условия этого правила удовлетворяются;

в режиме решения задачи ЭС осуществляет выработку правдоподобных предположений (при отсутствии достаточной информации для решения), выполнение рассуждений по обоснованию предположений, генерацию альтернативных сетей вывода, поиск решения в сетях вывода;

построение сети вывода на основе обучающей выборки и поиск решения на выходах сети в режиме решения задачи;

Механизмы поиска решения:

двунаправленный поиск, поиск от данных к целям, поиск от целей к данным;

«поиск в ширину», «поиск в глубину».

Механизмы генерации предположений и сети вывода:

генерация в режиме приобретения знаний, генерация в режиме решения задачи;

операция сопоставления применяется ко всем правилам и всем типам сущностей в каждом цикле механизма вывода, используются различные средства сокращения правил и/ или сущностей.

Механизм вывода для динамических сред дополнительно содержит планировщик, управляющий деятельностью ЭС в соответствии с приоритетами; средства получения оптимального решения в условиях ограниченности ресурсов; систему поддержания истинности значений переменных, изменяющихся во времени.

Средства приобретения знаний:

Уровень приобретения знаний:

формальный язык;

ограниченный естественный язык;

язык пиктограмм и изображений;

естественный язык и язык изображений;

Тип приобретаемых знаний:

данные в виде таблиц, содержащих значения входных и выходных атрибутов, по которым индуктивными методами строится дерево вывода;

специализированные правила;

общие и специализированные правила;

данные в виде таблиц, содержащих значения входных и выходных векторов, по которым строится сеть вывода.

Тип приобретаемых данных:

атрибуты и значения;

объекты;

классы структурированных объектов и их экземпляры, получающие значения атрибутов путём наследования.

1.5 Нечёткие знания в экспертных системах

При разработке ИИС знания о конкретной предметной области, для которой создаётся система, редко бывают полными и абсолютно достоверными. Знания, которыми заполняются ЭС, получаются в результате опроса экспертов, мнения которых субъективны. Даже числовые данные, полученные в ходе экспериментов, имеют статистические оценки достоверности, надёжности, значимости и так далее.

Смысл термина нечёткость многозначен. Основными компонентами нечётких знаний можно считать следующие понятия[2]:

недетерминированность выводов;

многозначность;

ненадёжность;

неполнота;

неточность.

Недетерминированность выводов - это характерная черта большинства систем ИИ. Недетерминированность означает, что заранее путь решения конкретной задачи в пространстве её состояний определить невозможно. Поэтому методом проб и ошибок выбирается некоторая цепочка логических заключений, а в случае если она не приводит к успеху, организуется перебор с возвратом для поиска другой цепочки. Для решения подобных задач предложено множество эвристических алгоритмов, например, алгоритм А*.

Многозначность интерпретации - обычное явление в задачах распознавания графических образов, понимания естественного языка. Устранение многозначности достигается с помощью циклических операций фильтрации.

Ненадёжность знаний и выводов означает, что для оценки их достоверности нельзя применить двухбалльную шкалу (1 - абсолютно достоверные; 0 - недостоверные знания). Для более тонкой оценки применяется вероятностный подход, основанный на теореме Байеса, использование коэффициентов уверенности, использование нечётких выводов на базе нечёткой логики. Неполнота знаний и немонотонная логика. При добавлении знаний в БЗ возникает опасность получения противоречивых выводов, если система знаний не является полной. Как известно, формальная логическая система, основанная на логике предикатов первого порядка, является полной, при этом новые факты не нарушают истинность ранее полученных выводов. Это свойство логических выводов называется монотонностью. К сожалению, реальные знания в ЭС редко бывают полными, поэтому в качестве средств обработки неполных знаний, для которых необходимы немонотонные выводы, разрабатываются методы немонотонной логики. Известна немонотонная логика Макдермотта и Доула, логика умолчания Рейтера, немонотонная логика Маккарти. Для организации логических выводов в интеллектуальных системах с неполными знаниями вместо традиционной дедукции применяется абдукция. Абдукцией называется процесс формирования объясняющей гипотезы на основе заданной теории и имеющихся наблюдений (фактов). Неточность знаний. Числовые данные могут быть неточными, при этом существуют оценки такой неточности (доверительный интервал, уровень значимости, степень адекватности и так далее). Лингвистические знания тоже могут быть неточными. Для учёта неточности лингвистических знаний используются нечёткая логика и нечёткие выводы, основанные на теории нечётких множеств, предложенной Л.Заде в 1965 году.

2. Введение в нейронные сети

2.1 Основные свойства нейронных сетей

Исследования по искусственным нейронным сетям связаны с тем, что способ обработки информации человеческим мозгом принципиально отличается от методов, применяемых обычными цифровыми компьютерами. Мозг представляет собой чрезвычайно сложный, нелинейный, параллельный компьютер. Он обладает способностью организовывать свои структурные компоненты, называемые нейронами, так, чтобы они могли выполнить конкретные задачи (такие как распознавание образов, обработку сигналов органов чувств, моторные функции) во много раз быстрее, чем могут позволить самые быстродействующие компьютеры. Мозг имеет совершенную структуру, позволяющую строить собственные правила на основе опыта. Опыт накапливается с течением времени.

Понятие развития нейронов мозга связано с понятием пластичности мозга - способностью настройки нервной системы в соответствии с окружающей средой. Аналогично в искусственных нейронных сетях производится настройка искусственных нейронов и формируется структура нейронной сети. В общем случае нейронная сеть представляет машину, моделирующую способ обработки мозгом конкретной задачи. Эта сеть обычно реализуется с помощью электронных компонентов или моделируется программой.

Таким образом, можно дать следующее определение нейронных сетей, выступающих в роли адаптивной машины [3]:

нейронная сеть - это громадный распределенный параллельный процессор, состоящий из элементарных единиц обработки информации, накапливающих экспериментальные знания и представляющих их для последующей обработки. Нейронная сеть сходна с мозгом с двух точек зрения:

знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения;

для накопления знаний применяются связи между нейронами, называемые синаптическими весами.

Процедура настройки синаптических весов называется алгоритмом обучения.

Наиболее существенными свойствами нейронных сетей являются:

Нелинейность. Поскольку искусственные нейроны могут быть линейными и нелинейными, то нейронные сети позволяют воспроизводить сложные зависимости, как линейные, так и нелинейные. Нейронные сети реализуют нелинейность особого вида, так как она распределена по сети. Кроме того, нейронные сети справляются с "проклятием размерности", которое не позволяет моделировать нелинейные зависимости в случае большого числа переменных.

Параллельная обработка информации. Благодаря этой способности при большом количестве межнейронных связей достигается значительное ускорение процесса обработки информации. Во многих ситуациях становится возможной обработка сигналов в реальном масштабе времени.

Обучение на примерах. Одной из популярных парадигм обучения является обучение с учителем. Такой способ обучения предполагает изменение синаптических весов на основе набора учебных примеров. Каждый пример состоит из входного сигнала и соответствующего ему ожидаемого выходного сигнала. Нейронная сеть модифицирует синаптические веса для минимизации разности ожидаемого выходного сигнала и реального выходного сигнала, формируемого нейронной сетью. Таким образом, нейронная сеть обучается на примерах, представляющих собой таблицу соответствий вход-выход для конкретной задачи.

Адаптивность (adaptivity). Нейронные сети обладают способностью адаптировать свои синаптические веса к изменениям окружающей среды. Нейронные сети могут быть легко переучены для работы в нестационарной среде. Для того, чтобы использовать все достоинства адаптивности, основные параметры системы должны быть достаточно стабильными, чтобы не учитывать внешние помехи, и достаточно гибкими, чтобы обеспечить реакцию на существенные изменения среды.

Нечувствительность к ошибкам (fault tolerance). Очень большое количество межнейронных соединений приводит к тому, что сеть становится нечувствительной к ошибкам, возникающим в отдельных контактах. Функции поврежденных соединений принимают на себя другие элементы, в результате в деятельности сети не наблюдаются заметные нарушения. Только серьезные повреждения структуры нейронных сети существенно влияют на ее работоспособность.

Способность к обобщению полученных знаний. Сеть обладает чертами искусственного интеллекта. Натренированная на ограниченном множестве обучающих примеров, она обобщает накопленную информацию и вырабатывает ожидаемую реакцию применительно к данным, не обрабатывавшимся в процессе обучения.

Единообразие анализа и проектирования. Нейронные сети являются универсальным механизмом обработки информации. Одно и то же проектное решение нейронной сети может быть использовано в разных предметных областях. Это свойство проявляется из-за нескольких причин:

нейроны являются стандартными составными частями любой нейронной сети;

можно использовать одни и те же алгоритмы обучения в различных нейросетевых приложениях;

на основе интеграции целых модулей могут быть построены модульные сети.

Наличие перечисленных свойств вызвало в последние годы огромный рост интереса к нейронным сетям и существенный прогресс в их исследовании. Искусственные нейронные сети используются для аппроксимации функций, классификации и распознавания образов, прогнозирования, идентификации, оценивания и ассоциативного управления.

2.2 Биологические основы нейронных сетей

Искусственные нейронные сети возникли на основе знаний о функционировании нервной системы живых существ.

Мозг представляется сетью нервных клеток. Он получает информацию, анализирует ее и выдает соответствующие решения. Нервная клетка, сокращенно называемая нейроном, является основным элементом нервной системы. У нейрона есть тело, называемое сомой, внутри которого располагается ядро. Из сомы нейрона выходят отростки двух видов: многочисленные тонкие, густо ветвящиеся дендриты и более толстый, расщепляющийся на многочисленные нервные окончания - колатералы, аксон (рис.2.3) [4].

Выходной сигнал клетки передается через аксон при помощи колатералов. Колатералы контактируют с сомой и дендритами других нейронов, образуя каналы связи выходных сигналов клетки с входами других клеток, которые называются синапсами. Синапсы могут находиться как на дендритах, так и непосредственно в теле клетки.

Передача сигналов внутри нервной системы - это очень сложный электрохимический процесс.

С большим упрощением можно считать, что передача нервного импульса между двумя клетками основана на выделении особых химических субстанций, называемых нейромедиаторами, которые формируются под влиянием поступающих от синапсов раздражителей.

Эти субстанции воздействуют на клеточную мембрану, вызывая изменение ее энергетического потенциала, причем величина этого изменения пропорциональна количеству нейромедиатора, попадающего на мембрану.

Синапсы отличаются друг от друга размерами и возможностями концентрации нейромедиатора.

Размещено на http://www.allbest.ru/

Рис. 2.3 Упрощенная структура биологической нервной клетки

Поэтому импульсы одинаковой величины, поступающие на входы нервной клетки через различные синапсы, могут в разной степени изменять ее энергетический потенциал. Мерой изменения потенциала считается уровень поляризации мембраны, зависящий от суммарного количества нейромедиатора, выделенного на всех синапсах.

В результате поступления входных импульсов на конкретные синапсы происходит изменение электрического потенциала клетки. Если отклонение от состояния электрического равновесия невелико, клетка возвращается в исходное состояние и на ее выходе сигнал не регистрируется. В этом случае считается, что уровень изменения потенциала ниже порога ее срабатывания. Если суммарное изменение потенциала превысило порог активации клетки, значение выходного сигнала начинает нарастать, приобретая характер нервного импульса, пересылаемого аксоном на другие нейроны, подключенные к данной клетке (рис.2.4). Величина этого сигнала не зависит от степени превышения порога срабатывания.

Количество взаимодействующих друг с другом нервных клеток в человеческом мозге оценивается, как 1011 . Каждая нервная клетка выполняет функцию суммирования весовых коэффициентов входных сигналов и сравнивает полученную сумму с пороговым значением. Каждый нейрон имеет свои веса и свои пороговые значения. Громадное количество нейронов и межнейронных связей (до 1000 входов в каждый нейрон) приводит к тому, что ошибка в срабатывании отдельного нейрона остается незаметной в общей массе взаимодействующих клеток.

Следует отметить, что ни одна современная технология не позволяет построить искусственную нейронную сеть, близкую по масштабам к нейронной сети мозга. Однако изучение и копирование биологических нервных систем, позволяет надеяться на создание нового поколения электронных устройств, имеющих аналогичные характеристики.

2.3 Модель МакКаллока - Питса

Из приведенных выше рассуждений следует, что каждый нейрон суммирует с соответствующими весами сигналы, приходящие от других нейронов, выполняет нелинейную решающую функцию и передает результат связанным с ним другим нейронам. В простейших моделях нейронов выходной сигнал принимает двоичные значения: 0 или 1. Значение 1 соответствует превышению порогового уровня, значение 0 - в противном случае. Одна из первых моделей нейрона была предложена Дж. МакКаллоком и У. Питсом в 1943 году [5]. Структурная схема этой модели представлена на рис. 2.5.

Сигналы xj на входе синапсов j (j = 1,2,…,N), связанные с нейроном i, суммируются с учетом соответствующих синаптических весов wij (первый индекс относится к нейрону, а второй к синапсу), после чего результат сравнивается с пороговым значением wi0 . Пороговое значение отражает увеличение или уменьшение входного сигнала, подаваемого на функцию активации. Выходной сигнал нейрона yi определяется при этом зависимостью

(2.1)

Размещено на http://www.allbest.ru/

Рис. 2.5 Модель нейрона МакКаллока-Питса

Аргументом функции выступает суммарный сигнал

. (2.2)

Коэффициенты в формуле (2.1) представляют веса синапсов. Положительные значения соответствует синапсам, повышающим потенциал, отрицательные значения - синапсам, понижающим потенциал, свидетельствует об отсутствии связи между i-м и j-м нейронами.

Модель МакКаллока - Питса - это дискретная модель, в которой состояние нейрона в момент (t+1) рассчитывается по значению его входных сигналов в момент времени t.

Функция f(ui) называется функцией активации. В модели МакКаллока - Питса это пороговая функция вида:

. (2.3)

В общем случае эта функция активации описывается следующим выражением:

(2.4)

где b и c - некоторые постоянные. На практике чаще всего используют две пары постоянных b и c: первая (-1,1); вторая - (0,1). Первая пара коэффициентов определяет так называемую симметричную пороговую функцию, вторая - смещенную.

2.4 Персептрон

Ф. Розенблатт в 1958 году ввел понятие персептрона как первой модели обучения с учителем [6]. Обучение персептрона требует наличие учителя и состоит в таком подборе весов ,чтобы выходной сигнал был наиболее близок к заданному значению . При таком способе обучения, каждой обучающей выборке, представленной вектором x поставлено в соответствии ожидаемое значение на выходе i-го нейрона.

Наиболее популярный метод обучения персептрона, называемый правилом персептрона, состоит в подборе весовых коэффициентов по следующему алгоритму:

при первоначально выбранных (как правило, случайным образом) значениях весов на вход нейрона подается обучающий вектор x и рассчитывается значение выходного сигнала . По результатам сравнения значения с заданным значением уточняются значения весов;

если совпадает с ожидаемым значением , то весовые коэффициенты wij не изменяются;

если =0 , а соответствующее значение =1 , то значения весов уточняются по формуле

,

где (t+1) - это номер текущего цикла, а t - номер предыдущего цикла;

если =1, а соответствующее значение =0 , то значения весов уточняются по формуле

,

где (t+1) - это номер текущего цикла, а t - номер предыдущего цикла;

По завершении уточнения весов предоставляются очередной обучающий вектор x и связанное с ним значение , и значения весов уточняются заново. Этот процесс повторяется для всех обучающих выборок, пока не будут минимизированы различия между всеми значениями и соответствующими им значениями .

Правило персептрона представляет собой частный случай (если сигналы принимают только двоичные значения 0 и 1) предложенного позже правила Видроу-Хоффа [7], используемого для подбора весов нейронов разного типа:

, (2.5)

. (2.6)

Аналогичные соотношения используются при подборе веса порогового элемента , для которого входной сигнал всегда равен 1:

. (2.7)

Минимизация различий между фактическими реакциями нейрона и ожидаемыми значениями может быть представлена как минимизация функции погрешности, чаще всего определяемой как минимум квадратичного отклонения:

, (2.8)

где p означает количество обучающих примеров (выборок). Такая минимизация для персептрона проводится по методу безградиентной оптимизации. Эффективность метода при большом количестве обучающих выборок невелика, а количество циклов обучения и длительность быстро возрастают, причем без гарантии достижения минимума целевой функции. Устранить эти недостатки можно только в случае применения непрерывной функции активации, при которой целевая функция E также становится непрерывной, что дает возможность использовать градиентные методы минимизации.

2.5 Сигмоидальный нейрон

Нейрон сигмоидального типа имеет структуру, подобную модели МакКаллока-Питса, с той разницей, что функция активации является непрерывной и может быть выражена в виде сигмоидальной униполярной или биполярной функции [4]. Структура нейрона представлена на рис. 2.6.

Входные сигналы (j=1,2,…,N) суммируются с учетом соответствующих весов (сигнал поступает в направлении от узла j к узлу i) в сумматоре, после чего результат сравнивается с пороговым значением . Выходной сигнал нейрона yi определяется при этом зависимостью

. (2.9)

Аргументом функции выступает суммарный сигнал

Функция f(ui), называемая функцией активации, относится к классу непрерывных, монотонно возрастающих и дифференцируемых функций. Нейрон сигмоидального типа использует сигмоидальную униполярную (логистическую) или сигмоидальную биполярную (гиперболический тангенс) функцию активации.

Размещено на http://www.allbest.ru/

Рис. 2.6 Модель сигмоидального нейрона

Униполярная функция, как правило, представляется формулой

, (2.10)

тогда как биполярная функция задается в виде (2.11) или (2.12):

. (2.11)

(2.12)

Графики сигмоидальных функций при k=1 представлены на рис. 2.7.

Отметим, что, как правило, современные компьютеры вычисляют функцию гиперболического тангенса быстрее, чем логистическую. Другое преимущество функции гиперболического тангенса состоит в том, что она изменяется в диапазоне от -1 до +1. Часто бывает необходимо нормировать обучающий набор данных таким образом, чтобы среднее значение было равно 0 при единичном стандартном отклонении.

Такая нормировка возможна только с функцией активации, которая способна принимать отрицательные значения. И наконец, нечетная функция, такая, как гиперболический тангенс, обеспечивает более быстрое обучение, чем несимметричная логистическая функция.

В этих формулах параметр k подбирается пользователем. Его значение влияет на форму функции активации. При малых значениях k график функции достаточно пологий, по мере роста значения k крутизна графика увеличивается.

Размещено на http://www.allbest.ru/

Рис. 2.7 Графики сигмоидальных функций: а - логистическая; б - гиперболический тангенс

При k > ? сигмоидальная функция превращается в пороговую функцию, идентичную функции активации персептрона. На практике чаще всего для упрощения используется значение k =1.

Важным свойством сигмоидальной функции является ее дифференцируемость. Для униполярной функции имеем

, (2.13)

тогда как для биполярной функции

. (2.14)

И в первом, и во втором случае график изменения производной относительно переменной x имеет колоколообразную форму, а его максимум соответствует значению x=0.

Сигмоидальный нейрон, как правило, обучается с учителем.

При обучении с учителем предполагается, что помимо входных сигналов, составляющих вектор x, известны также и ожидаемые выходные сигналы нейрона , составляющие вектор d. В подобной ситуации подбор весовых коэффициентов должен быть организован так, чтобы фактические выходные сигналы нейрона принимали бы значения, как можно более близкие к ожидаемым значениям . Ключевым элементом процесса обучения с учителем является знание ожидаемых значений выходного сигнала нейрона.

При обучении с учителем производится минимизация целевой функции, которая для единичного обучающего кортежа <x, d> i-го нейрона определяется в виде

(2.15)

где

. (2.16)

Применение непрерывной функции активации позволяет использовать при обучении градиентные алгоритмы. Проще всего реализовать метод наискорейшего спуска, в соответствии с которым уточнение вектора весов проводится в направлении отрицательного градиента целевой функции, при этом i-я составляющая градиента имеет вид:

(2.17)

(2.18)

Если ввести обозначение , то значения весовых коэффициентов могут быть уточнены дискретным способом в соответствии с формулой 2.19.

(2.19)

В данной формуле коэффициент - это коэффициент обучения, значение которого либо выбирают эмпирически из интервала (0,1), либо при помощи решения разностного уравнения, представленного формулой 2.20.

 (2.20)

В данной формуле коэффициент выступает в роли аналогичной значению .

Формулы 2.19 и 2.20 определяют алгоритм обучения.

На эффективность обучения оказывает сильное влияние подбор коэффициентов обучения. В существующих алгоритмах обучения его величина может быть задана константой или переменной, значение которой в процессе обучения изменяется адаптивным способом либо подбирается на каждом шаге по принципу направленной минимизации целевой функции от одной переменной в направлении наискорейшего уменьшения значений этой целевой функции.

Необходимо подчеркнуть, что применение градиентного метода обучения гарантирует достижение только локального минимума. В случае полимодальной целевой функции, найденный локальный минимум может быть достаточно далек от глобального минимума. Для таких случаев может оказаться результативным обучение с моментом или разбросом. В этом методе процесс уточнения весов определяется не только информацией о градиенте функции, но также и фактическим трендом изменений весов. Приращение весов можно задать следующим математическим выражением:

, (2.21),

в котором первый член соответствует обычному методу наискорейшего спуска, а второй член (момент), отражает последнее изменение весов и не зависит от фактического значения градиента.

Значение коэффициента момента Ь, как правило, выбирается из интервала (0,1).

С ростом значения Ь увеличивается влияние момента на подбор весов.

2.6 Нейрон типа WTA

В соответствии с принципами функционирования биологических нейронов созданы различные математические модели, которыми в большей или меньшей степени реализуются свойства природной нервной клетки. Обобщенная схема, составляющая основу большинства таких моделей, восходит к представленной на рисунке 2.5 модели МакКаллока-Питса, содержащий сумматор взвешенных входных сигналов и нелинейный блок выработки выходного сигнала нейрона, функционально зависящего от выходного сигнала сумматора. Однако, существуют и другие модели нейронов существенно отличающиеся от модели МакКаллока-Питса.

Рассмотрим более подробно нейроны типа WTA (winner takes all - победитель получает все) [4]. Эти нейроны имеют входной модуль в виде стандартного сумматора, рассчитывающего сумму входных сигналов с соответствующими весами . Выходной сигнал i-го сумматора определяется согласно формуле:

(2.22)

Группа конкурирующих между собой нейронов получает одни и те же входные сигналы . Выходные сигналы нейронов сравниваются между собой, и по результатам сравнения победителем признается нейрон, значение выходного сигнала у которого оказалось наибольшим. Нейрон-победитель вырабатывает на своем выходе состояние 1, а остальные нейроны переходят в состояние 0. Для обучения нейронов типа WTA не требуется учитель. На начальном этапе случайным образом выбираются весовые коэффициенты каждого нейрона, нормализуемые относительно 1. После подачи первого входного вектора x определяется победитель этапа. Победивший нейрон переходит в состояние 1, что позволяет провести уточнение весов его входных линий по следующему правилу:

(2.23)

Проигравшие нейроны не изменяют свои весовые коэффициенты.

Схема соединения нейронов типа WTA изображена на рис.2.8.

На функционирование нейронов типа WTA оказывает существенное влияние нормализация входных векторов и весовых коэффициентов. Выходной сигнал i-го нейрона может быть описан векторным отношением:

(2.24)

Поскольку , значение выходного сигнала определяется углом между векторами x и w. Поэтому победителем оказывается нейрон, вектор весов которого оказывается наиболее близким текущему обучаемому вектору.

Размещено на http://www.allbest.ru/

Рис. 2.8 Схема соединения нейронов типа WTA

В результате победы нейрона уточняются его весовые коэффициенты, значения которых приближаются к значениям вектора x. Проигравшие нейроны не изменяют свои веса. Следствием такой конкуренции становится самоорганизация процесса обучения.

2.7 Звезды Гроссберга

Рассмотрим конфигурации входных и выходных звезд Гроссберга [4]. Нейроны типа инстар и оутстар - это взаимодополняющие элементы. Инстар адаптирует веса сигналов, поступающих на сумматор нейрона, к своим входным сигналам, а оутстар согласовывает веса выходящих из нейронов связей с узлами, в которых формируются значения выходных сигналов.

Нейрон в форме входной звезды (инстар) имеет N входов , которым соответствуют веса , и один выход , являющийся взвешенной суммой входов. Входная звезда обучается выдавать сигнал на выходе всякий раз, когда на входы поступает определенный вектор. Таким образом, входная звезда является детектором совокупного состояния своих входов (рис. 2.9).

,

В качестве функции активации часто используется линейная функция, тогда .

Процесс обучения представляется в следующей итерационной форме:

, (2.25)

где - коэффициент обучения, значение которого, как правило, выбирается из интервала (0,1). Если принять , то уже после первой итерации обучения. Ввод нового вектора вызовет адаптацию весов к его компонентам и «забывание» предыдущих значений. При инстар принимает усреднённое значение обучающих векторов.

Входные данные должны быть нормированы, то есть . При этом

.

Размещено на http://www.allbest.ru/

Рис. 2.9 Структурная схема входной звезды (инстара)

Инстар обучается как с учителем, так и без учителя. Если применяется обучение с учителем, то выходные значения являются эталонными значениями .

Выходная звезда Гроссберга (оутстар) выполняет противоположную функцию - функцию командного нейрона, выдавая на выходах определенный вектор, необходимый связанным с ним нейронам, при поступлении сигнала на вход. Структурная схема оутстара представлена на рис. 2.10.

Нейрон этого типа имеет один вход и M выходов с весами . i-ый нейрон-источник высылает свой выходной сигнал взаимодействующим с ним нейронам, выходные сигналы которых обозначены (j = 1, 2, …, M). Оутстар, как правило, является линейным нейроном. Обучение состоит в таком подборе его весов , чтобы выходные сигналы оутстара были равны ожидаемым значениям взаимодействующих с ним нейронов.

Размещено на http://www.allbest.ru/

Рис. 2.10 Структурная схема выходной звезды (оутстара)

Обучение оутстара согласно правилу Гроссберга проводится в соответствии с выражением

, (2.26)

в котором - это коэффициент обучения, а - выходной сигнал i-го нейрона, выступающего в роли источника. В режиме распознавания в момент активизации нейрона-источника оутстар будет генерировать сигналы, соответствующие ожидаемым значениям .

2.8 Функции активации нейронов

Вид функции активации во многом определяет функциональные возможности нейронной сети и метод обучения этой сети. Перечень наиболее известных функций активации представлен в таблице 2.1.

Табл. 2.1 Примеры функций активации

Название	Формула	Область значений
Линейная
Полулинейная
Линейная с насыщением
Логистическая
Гиперболический тангенс
Рациональная
Синусоидальная
Экспоненциальная
Гаусса
Пороговая
Модульная
Знаковая (сигнатурная)
Квадратичная

экспертный нейрон персептрон

3. Многослойный персептрон

3.1 Структура многослойного персептрона

В настоящее время наиболее часто используемой архитектурой нейросети является многослойный персептрон (MLP), который представляет собой обобщение однослойного персептрона.

Обычно сеть состоит из множества входных узлов, которые образуют входной слой; одного или нескольких скрытых слоев вычислительных нейронов и одного выходного слоя. Входной сигнал распространяется по сети в прямом направлении от слоя к слою. Многослойные персептроны успешно применяются для решения разнообразных сложных задач. При этом обучение с учителем выполняется с помощью такого популярного алгоритма, как алгоритм обратного распространения ошибки.

Многослойный персептрон имеет три отличительных признака:

Каждый нейрон имеет нелинейную функцию активации. Данная функция должна быть гладкой (то есть всюду дифференцируемой). Самой популярной гладкой функцией активации является сигмоидальная функция.

Сеть содержит один или несколько слоев скрытых нейронов. Эти нейроны позволяют сети обучаться решению сложных задач, последовательно извлекая наиболее важные признаки из входного вектора.

Сеть обладает высокой степенью связности, реализуемой посредством синаптических соединений.

Структура многослойного персептрона с двумя скрытыми слоями изображена на рис. 3.1 [3]. Показанная на рисунке сеть является полносвязной, что характерно для многослойного персептрона. Это значит, что каждый нейрон любого слоя связан со всеми нейронами предыдущего слоя. Сигнал передается по сети в прямом направлении слева направо.

Размещено на http://www.allbest.ru/

Рис. 3.1 Структура многослойного персептрона с двумя скрытыми слоями

Для многослойного персептрона выделяют два типа сигналов:

Функциональный сигнал - это входной сигнал сети, передаваемый в прямом направлении по всей сети. Такой сигнал достигает конца сети в виде выходного сигнала. В каждом нейроне, через который передается этот сигнал, вычисляется некоторая функция от взвешенной суммы его входов с поправкой в виде порогового элемента - единичного сигнала с весовым коэффициентом wio.

Сигнал ошибки - берет своё начало на выходе сети и распространяется в обратном направлении от слоя к слою. Вычисляется каждым нейроном на основе функции ошибки, представленной в той или иной форме.

Выходные нейроны составляют выходной слой сети. Остальные нейроны относятся к скрытым слоям. Первый скрытый слой получает данные из входного слоя. Результирующий сигнал первого скрытого слоя, в свою очередь, поступает на следующий скрытый слой и так далее, до самого конца сети.

В сетях подобного типа используются, в основном, сигмоидальные нейроны. Такую сеть легко можно интерпретировать как модель вход-выход, в которой веса и пороговые значения являются свободными параметрами модели. Такая сеть может моделировать функцию практически любой степени сложности, причем число слоев и число нейронов в каждом слое определяют сложность функции.

В многослойных сетях эталонные значения выходных сигналов известны, как правило, только для нейронов выходного слоя, поэтому сеть невозможно обучить, руководствуясь только величинами ошибок на выходе нейросети.

Один из вариантов решения этой проблемы - разработка учебных примеров для каждого слоя нейросети, что является очень трудоемкой операцией и не всегда осуществимо.

Второй вариант - динамическая подстройка весовых коэффициентов синапсов, в ходе которой выбираются, как правило, наиболее слабые связи и изменяются на малую величину в ту или иную сторону, а сохраняются только те изменения, которые повлекли уменьшение ошибки на выходе всей сети. Очевидно, что данный метод "тыка", несмотря на свою кажущуюся простоту, требует громоздких рутинных вычислений.

И, наконец, третий, более приемлемый вариант - распространение сигналов ошибки от выходов нейросети к ее входам, в направлении, обратном прямому распространению сигналов в обычном режиме работы. Этот алгоритм обучения нейросети получил название процедуры обратного распространения. Разработка алгоритма обратного распространения для определения весов в многослойном перcептроне сделала эти сети наиболее популярными у исследователей и пользователей нейронных сетей.

Основными достоинствами многослойного персептрона являются простота в использовании, гарантированное получение ответа после прохода данных по слоям, хорошо апробированные и широко применяемые алгоритмы обучения, способность моделирования функции любой степени сложности.

С другой стороны, существует множество спорных вопросов при проектировании сетей прямого распространения. Например, сколько скрытых слоев необходимо для решения данной задачи, сколько следует выбрать нейронов в каждом слое, как сеть будет реагировать на данные, не включенные в обучающую выборку, и какой размер обучающей выборки необходим для достижения "хорошей" обобщающей способности сети.

3.2 Структура двухслойной сигмоидальной нейронной сети

На рис. 3.2 представлена сеть с одним скрытым слоем. Все последующие рассуждения относятся к сетям именно такого типа. Обозначения сигналов и весов также будут соответствовать этому рисунку. Веса нейронов скрытого слоя пометим верхним индексом (1), а выходного слоя - верхним индексом (2). Выходные сигналы нейронов скрытого слоя обозначим (i=0, 1, 2,…, K), а выходного слоя (s=1, 2, …, M).

Пусть функция активации нейронов задана в сигмоидальной униполярной или биполярной форме. Для упрощения описания будем использовать расширенное обозначение входного вектора сети в виде , где соответствует единичному сигналу порогового элемента.

Размещено на http://www.allbest.ru/

Рис. 3.2 Обобщенная структура двухслойной сигмоидальной нейронной сети

С вектором x связаны два выходных вектора сети: вектор фактических выходных сигналов и вектор ожидаемых выходных сигналов .

Цель обучения состоит в подборе таких значений весов и для двух слоев сети, чтобы при заданном входном векторе x получить на выходе значения сигналов , которые с требуемой точностью будут совпадать с ожидаемыми значениями для s=1, 2, …, M.

Если рассматривать единичный сигнал порогового элемента как один из компонентов входного вектора x, то веса пороговых элементов можно добавить в векторы весов соответствующих нейронов обоих слоев. При таком подходе выходной сигнал i-го нейрона скрытого слоя удается описать функцией

, (3.1)

в которой индекс 0 соответствует сигналу и весам пороговых элементов, причем , . В выходном слое s-ый нейрон вырабатывает выходной сигнал, определяемый как

. (3.2)

Из формулы (3.2) следует, что на значение выходного сигнала влияют веса обоих слоев, тогда как сигналы, вырабатываемые в скрытом слое, не зависят от весов выходного слоя.

Для того чтобы сеть можно было применять в дальнейшем, ее прежде надо обучить на полученных ранее данных, для которых известны и значения входных параметров, и правильные ответы на них. Это обучение состоит в подборе весов межнейронных связей, обеспечивающих наибольшую близость ответов сети к известным правильным ответам.

Определение числа промежуточных слоев и числа элементов в них является важным вопросом при конструировании многослойного персептрона.

3.3 Градиентные методы обучения многослойного персептрона

3.3.1 Основные положения градиентных алгоритмов обучения сети

Задачу обучения нейронной сети будем рассматривать, как требование минимизировать априори определенную целевую функцию E(w). При таком подходе можно применять для обучения алгоритмы, которые в теории оптимизации считаются наиболее эффективными. К ним, без сомнения, относятся градиентные алгоритмы, чью основу составляет выявление градиента целевой функции. Они связаны с разложением целевой функции E(w) в ряд Тейлора в ближайшей окрестности точки имеющегося решения w. В случае целевой функции от многих переменных () такое представление связывается с окрестностью ранее определенной точки (в частности, при старте алгоритма это исходная точка ) в направлении p. Подобное разложение описывается универсальной формулой вида

(3.3)

где - это вектор градиента, а симметричная квадратная матрица является матрицей производных второго порядка, называемой гессианом.

В выражении (3.3) p играет роль направляющего вектора, зависящего от фактических значений вектора w. На практике чаще всего рассчитываются три первых члена ряда (3.3), а последующие члены ряда просто игнорируются. При этом зависимость (3.3) может считаться квадратичным приближением целевой функции E(w) в ближайшей окрестности найденной точки w с точностью, равной локальной погрешности отсеченной части , где h= ||p||. Для упрощения описания значения переменных, полученных в t-ом цикле, будем записывать с нижним индексом t. Точкой решения будем считать точку, в которой достигается минимум целевой функции E(w) и , а гессиан ) является положительно определенным.

В процессе поиска минимального значения целевой функции направление поиска p и шаг h подбираются таким образом, чтобы для каждой очередной точки выполнялось условие . Поиск минимума продолжается, пока норма градиента не упадет ниже априори заданного значения допустимой погрешности либо пока не будет превышено максимальное время вычислений (количество итераций).

Универсальный оптимизационный алгоритм обучения нейронной сети можно представить в следующем виде (будем считать, что начальное значение оптимизируемого вектора известно и составляет ) [4]:

Проверка сходимости и оптимальности текущего решения . Если точка отвечает градиентным условиям остановки процесса - завершение вычислений. В противном случае перейти к п.2.

Определение вектора направления оптимизации для точки .

Выбор величины шага в направлении , при котором выполняется условие .

Определение нового решения , а также соответствующих ему значений и , а если требуется - то и , и возврат к п.1.

3.3.2 Подбор коэффициента обучения

После правильно выбранного направления , в градиентных алгоритмах обучения, следует определить новую точку решения , в которой будет выполняться условие . Необходимо подобрать такое значение , чтобы новое решение лежало как можно ближе к минимуму функции E(w) в направлении . Грамотный подбор коэффициента оказывает огромное влияние на сходимость алгоритма оптимизации к минимуму целевой функции. Чем сильнее величина отличается от значения, при котором E(w) достигает минимума в выбранном направлении , тем большее количество итераций потребуется для поиска оптимального решения. Слишком малое значение не позволяет минимизировать целевую функцию за один шаг и вызывает необходимость повторно двигаться в том же направлении. Слишком большой шаг приводит к «перепрыгиванию» через минимум функции и фактически заставляет возвращаться к нему.

...