Характеристика основных методик построения и расчета нейронных сетей

Размещено на http://www.allbest.ru

Размещено на http://www.allbest.ru

Характеристика основных методик построения и расчета нейронных сетей



1. История развития нейронных сетей. Определение нейронной сети, достоинства и недостатки, свойства ИНС

Исторический аспект

Людей всегда интересовало их собственное мышление. Обсуждение этого вопроса, протекавшее в горячих спорах философов и теологов с физиологами и анатомами, принесло мало пользы, так как сам предмет весьма труден для изучения.

Значительного прогресса в этой области достигли нейробиологи и нейроанатомы. В процессе накопления ими знаний выяснилось, что мозг имеет ошеломляющую сложность. Сотни миллиардов нейронов, каждый из которых соединен с сотнями или тысячами других, образуют систему, далеко превосходящую наши самые смелые мечты о суперкомпьютерах. Лучшее понимание функционирования нейрона и картины его связей позволило исследователям создать математические модели для проверки своих теорий. Эксперименты теперь могут проводиться на цифровых компьютерах без привлечения человека или животных, что решает многие практические и морально-этические проблемы. В первых же работах выяснилось, что эти модели не только повторяют функции мозга, но и способны выполнять функции, имеющие свою собственную ценность. Поэтому возникли и остаются в настоящее время две взаимно обогащающие друг друга цели нейронного моделирования: первая - понять функционирование нервной системы человека на уровне физиологии и психологии и вторая - создать вычислительные системы (искусственные нейронные сети), выполняющие функции, сходные с функциями мозга. Именно эта последняя цель и будет предметом курса лекций.

Параллельно с прогрессом в нейроанатомии и нейрофизиологии психологами были созданы модели человеческого обучения. Одной из таких моделей, оказавшейся наиболее плодотворной, была модель Д.Хэбба, который в 1949г. предложил закон обучения, явившийся стартовой точкой для алгоритмов обучения искусственных нейронных сетей. Дополненный сегодня множеством других методов он продемонстрировал ученым того времени, как сеть нейронов может обучаться.

В пятидесятые и шестидесятые годы группа исследователей, объединив эти биологические и физиологические подходы, создала первые искусственные нейронные сети. Выполненные первоначально как электронные сети, они были позднее перенесены в более гибкую среду компьютерного моделирования, сохранившуюся и в настоящее время. Первые успехи вызвали взрыв активности и оптимизма. Минский. Розенблатт, Уидроу и другие разработали сети, состоящие из одного слоя искусственных нейронов. Часто называемые персептронами, они были использованы для такого широкого класса задач, как предсказание погоды, анализ электрокардиограмм и искусственное зрение. В течение некоторого времени казалось, что ключ к интеллекту найден, и воспроизведение человеческого мозга является лишь вопросом конструирования достаточно большой сети.

Но эта иллюзия скоро рассеялась. Сети не могли решать задачи, внешне весьма сходные с теми, которые они успешно решали. С этих необъяснимых неудач начался период интенсивного анализа. Минский, используя точные математические методы, строго доказал ряд теорем, относящихся к функционированию сетей.

Его исследования привели к написанию книги («Персептроны», Мир, 1971), в которой он вместе с Пейпертом доказал, что используемые в то время однослойные сети теоретически не способны решить многие простые задачи, в том числе реализовать функцию «Исключающее ИЛИ» (на выходе единица, когда только один из входов равен единице). Блеск и строгость аргументации Минского, а также его престиж породили огромное доверие к книге - ее выводы были неуязвимы. Разочарованные исследователи оставили поле исследований ради более обещающих областей, а правительства перераспределили свои субсидии, и искусственные нейронные сети были забыты почти на два десятилетия.

Тем не менее, несколько наиболее настойчивых ученых, таких как Кохонен, Гроссберг, Андерсон продолжили исследования. Наряду с плохим финансированием и недостаточной оценкой ряд исследователей испытывал затруднения с публикациями. Поэтому исследования, опубликованные в семидесятые и в начале восьмидесятых годов, разбросаны в массе различных журналов, некоторые из которых малоизвестны. Постепенно появился теоретический фундамент, на основе которого сегодня конструируются наиболее мощные многослойные сети. Оценка Минского оказалась излишне пессимистичной, многие из поставленных в его книге задач решаются сейчас сетями с помощью стандартных процедур.

За последние несколько лет теория стала применяться в прикладных областях, и появились новые корпорации, занимающиеся коммерческим использованием этой технологии. Нарастание научной активности носило взрывной характер. В 1987 г. было проведено четыре крупных совещания по искусственным нейронным сетям и опубликовано свыше 500 научных сообщений - феноменальная скорость роста.

Итак, в 80-х годах наблюдается экспоненциальный рост интереса к нейронным моделям и созданию на их основе нейрокомпьютеров.

Это объясняется следующими факторами:

- нейробиологи стали лучше понимать, каким образом осуществляется обработка информации в природе;

- снижение стоимости компьютеров и расширение доступа к ним позволили детально анализировать модели;

- трудности с реализацией логических систем искусственного интеллекта, создаваемых в рамках японского проекта ЭВМ 5-го поколения;

- появление принципиально новых идей в отношении организации памяти и обучения нейросетей ("Нейропарадигмы");

- заметное отставание темпов роста производительности ЭВМ от стремительного увеличения потребности в высокопроизводительных вычислениях.

Последнее стимулировало интенсификацию исследований в области параллельных вычислений и многопроцессорных систем. ИНС как естественные высокопараллельные системы, способные решать сложные неформализованные задачи, снова оказались в центре внимания ученых. Ключевую роль при этом сыграла работа Д.Хопфилда, сулившая радикальное решение проблемы обучения, бывшей камнем преткновения для персептрона.

- возрос интерес к параллельным вычислениям и аналоговым микросхемам высокой степени интеграции, позволяющим реализовать функции нейроноподобных схем.

В период 1983-86 гг. работы в области ИНС принимают характер настоящего бума. В США, Японии и странах ЕЭС разворачиваются крупные государственные программы исследований, ставящие целью создание к 1995 г. опытных образцов и освоение до 2000 г. массового производства нейрокомпьютеров - ЭВМ нового поколения на основе ИНС. Вот наиболее известные из этих программ:

США - программа DARPA - Управления перспективного планирования НИР военного применения - 1987-1995 гг. - 400 млн. долл.;

Япония - программа Human Frontier (граница) - 1988-1996 гг. - 1 триллион иен (6,6 млрд. долл.);

ЕЭС - программа BRAIN (Basic Research on Adaptive Inteligence - Базовые исследования адаптивного интеллекта) - 1988-1996 гг. - 1,2 млн. долл. ежегодно.

Уже в 1987 г. в США состоялись две международные конференции по нейронным сетям, на одной из которых было представлено около 400, а на второй - более 150 докладов. Проведение таких международных форумов по ИНС становится регулярным, а их число вскоре достигает нескольких десятков в год. На наиболее представительной из последних конференций, ICNN-96 (США), было представлено более 500 докладов. В Европе только за сентябрь 1997 г. на конференциях EUFIT-97 (Германия) и ICIAP (Италия) прочитано около сотни докладов по ИНС.

Атмосферу нейрокомпьютерного бума, охватившую мир в конце 80-х, характеризует высказывание президента США Буша, который в связи с бурным развитием ИНС назвал 90-е годы "десятилетием мозга". Государственная поддержка и обильное финансирование разработок привело к быстрому формированию целой исследовательской индустрии, созданию и организации массового производства необходимого аппаратного и программного оснащения: нейрокомпьютеров и нейроакселераторов для ПЭВМ, нейрочипов и нейропрограмм, учебных курсов на CD-ROM и т.п. Уже к 1992 г. только в США более 150 компаний специализировалось на выпуске различной нейропродукции, раскупаемой университетами и лабораториями, занятыми выполнением исследовательских программ.

По оценкам компании Business Communications Company Inc., в конце 1992 г. объем мирового рынка нейрокомпьютеров составлял $120 млн. (аппаратное обеспечение) и $50 млн. (программное обеспечение). Предсказывалось, что к 2000-му году он вырастет до $790 и $260 млн. соответственно.

2. Основные постановки задач, решаемых нейронными сетями. Области применения

Типовые постановки задач

Предполагается, что нейронные сети будут использоваться для задач, объединенных тремя признаками:

1. Известно, как эти задачи решаются людьми.

2. Могут быть представлены примеры выполнения задачи.

3. Каждая задача включает ассоциацию объектов одного множества с объектами другого множества.

Нейронные сети предпочтительнее при решении задач, для которых не существует формализованного алгоритма или решение по алгоритму занимает слишком много времени, а также при обработке нечеткой и неполной информации.

Нейросетевой nодход к решению плохо формализуемых задач прогнозирования, распознавания, классификации показал свою эффективность на практически важных проблемах. Безусловно, это "узкий" класс математических постановок практически важных задач. Представим типовые постановки этих задач.

1. Распознавание образов

Задача состоит в отнесении входного набора данных, представляющего распознаваемый объект, к одному из заранее известных классов. В число этих задач входит распознавание рукописных и печатных символов при оптическом вводе в ЭВМ, paспознавание типов клеток крови, распознавание речи и другие.

2. Кластеризация данных

Задача состоит в группировке входных данных по присущей им "близости". Алгоритм определения близости данных (определение расстояния между векторами, вычисление коэффициента корреляции и другие способы) закладывается в нейросеть при ее построении. Сеть кластеризует данные на заранее неизвестное число кластеров. Наиболее известные применения кластеризации связаны с сжатием данных, анализом данных и поиском в них закономерностей.

3. Аппроксимация функций

Имеется набор экспериментальных данных {( X1,Yl) , . . (Xn, Yn) }, представляющий значения Yi неизвестной функции от аргумента Xi, i=1,..,n. Требуется найти функцию, аппроксимирующую неизвестную и удовлетворяющую некоторым критериям. Эта задача актуальна при моделировании сложных систем и создании систем управления сложными динамическими объектами.

4. Предсказание

Имеется набор {у(tl),у(t2),...,у(tn)} значений у, представляющих поведение системы в моменты времени t1, ..., tn. Требуется по предыдущему поведению системы предсказать ее поведение y(t n+1) в момент времени t n+1. Эта задача актуальна для управления складскими запасами, систем принятия решений.

5. Оптимизация

Цель этих задач: найти решение NP-полной проблемы, удовлетворяющее ряду ограничений и оптимизирующее значение целевой функции. К числу таких задач относится, например, задача коммивояжера. Задача формулируется следующим образом: для некоторой группы городов с заданными расстояниями между ними требуется найти кратчайший маршрут с посещением каждого города и с возвращением в исходную точку.

6. Ассоциативная память

Эта память позволяет считывать содержимое по частичному или искаженному представлению входных данных. Основная область применения - мультимедийные базы данных.

Области применения

Наверное, в каждой предметной области, при ближайшем рассмотрении, можно найти постановки нейросетевых задач.

1. Экономика и бизнес:

Предсказание рынков, автоматический дилинг, оценка риска невозврата кредитов, предсказание банкротств, оценка стоимости недвижимости, выявление пере- и недооцененных компаний, автоматическое рейтингование, оптимизация портфелей, оптимизация товарных и денежных потоков, автоматическое считывание чеков и форм, безопасность транзакций по пластиковым карточкам.

Программное обеспечение компании RETEK, дочерней фирмы HNC Software, - лидер среди крупных продавцов с оборотом свыше $1 млрд. Ее последний продукт января 1998 года Retek Predictive Enterprise Solution включает развитые средства нейросетевого анализа больших потоков данных, характерных для крупной розничной торговли. Он также содержит прогнозный блок, чтобы можно было заранее просчитать последствия тех или иных решений.

2. Медицина:

Обработка медицинских изображений, мониторинг состояния пациентов, диагностика, факторный анализ эффективности лечения, очистка показаний приборов от шумов.

Группа НейроКомп из Красноярска (под руководством Александра Николаевича Горбаня) совместно с Красноярским межобластным офтальмологическим центром им. Макарова разработали систему ранней диагностики меланомы сосудистой оболочки глаза. Этот вид рака составляют почти 90% всех внутриглазных опухолей, и легко диагностируется лишь на поздней стадии. Метод основан на косвенном измерении содержания меланина в ресницах. Полученные данные спектрофотометрии, а также общие характеристики обследуемого (пол, возраст и др.) подаются на входные синапсы 43-нейронного классификатора. Нейросеть решает, имеется ли у пациента опухоль, и если да, то определяет ее стадию, выдавая, кроме этого, процентную вероятность своей уверенности

3. Авионика:

Обучаемые автопилоты, распознавание сигналов радаров, адаптивное пилотирование сильно поврежденного самолета.

Компания McDonnell Douglas Electronic Systems разработала автоматический переключатель режимов полета в реальном масштабе времени в зависимости от вида повреждения самолета. Данные от 20 сенсорных датчиков и сигналов от пилота используются нейросетью для выработки около 100 аэродинамических параметров полета. Сильной стороной является возможность сети адаптироваться к непредсказуемым аэродинамическим режимам, таким как потеря части крыла и т.д.

4. Связь:

Сжатие видеоинформации, быстрое кодирование-декодирование, оптимизация сотовых сетей и схем маршрутизации пакетов.

Нейросети уже продемонстрировали коэффициент сжатия 120:1 для черно-белого видео. Цветное видео допускает примерно вдвое большую степень сжатия 240:1 за счет специальной схемы кодирования цветов.

5. Интернет:

Ассоциативный поиск информации, электронные секретари и агенты пользователя в сети, фильтрация информации, адресная реклама, адресный маркетинг для электронной торговли.

Фирма Autonomy отделилась от родительской фирмы Neurodynamics в июне 1996 года с уставным капиталом $45 млн. и идеей продвижения на рынок Интернета электронных нейросетевых агентов. Согласно ее пресс-релизу, первоначальные вложения окупились уже через год. Компания производит семейство продуктов AGENTWARE, создающих и использующих профили интересов пользователей в виде персональных автономных нейроагентов. Такие компактные нейроагенты (<1 Кб) могут представлять пользователя в любом из продуктов компании. Например, агенты могут служить в качестве нейросекретарей, фильтруя поступающую по информационным каналам информацию. Они также могут постоянно находиться на сервере провайдера, или посылаться для поиска в удаленных базах данных, осуществляя отбор данных на месте. В будущем, когда эта технология получит достаточное распространение, она позволит снизить нагрузку на трафик Сети.

6. Автоматизация производства:

Оптимизация режимов производственного процесса, комплексная диагностика качества продукции, мониторинг и визуализация многомерной диспетчерской информации, предупреждение аварийных ситуаций, робототехника.

Ford Motors Company внедрила у себя нейросистему для диагностики двигателей после неудачных попыток построить экспертную систему, т.к. хотя опытный механик и может диагностировать неисправности он не в состоянии описать алгоритм такого распознавания. На вход нейросистемы подаются данные от 31 датчика. Нейросеть обучалась различным видам неисправностей по 868 примерам. “После полного цикла обучения качество диагностирования неисправностей сетью достигло уровня наших лучших экспертов, и значительно превосходило их в скорости.“ (Marko K, et. al. , Ford Motors Company, Automative Control Systems Diagnostics, IJCNN 1989)

7. Политические технологии:

Анализ и обобщение социологических опросов, предсказание динамики рейтингов, выявление значимых факторов, объективная кластеризация электората, визуализация социальной динамики населения.

Уже упоминавшаяся ранее группа НейроКомп из Красноярска довольно уверенно предсказывает результаты президентских выборов в США на основании анкеты из 12 вопросов. Причем, анализ обученной нейросети позволил выявить пять ключевых вопросов, ответы на которых формируют два главных фактора, определяющих успех президентской кампании.

8. Безопасность и охранные системы:

Системы идентификации личности, распознавание голоса, лиц в толпе, распознавание автомобильных номеров, анализ аэрокосмических снимков, мониторинг информационных потоков, обнаружение подделок.

Многие банки используют нейросети для обнаружения подделок чеков. Корпорация Nestor (Providence, Rhode Island) установила подобную систему в Mellon Bank, что по оценкам должно сэкономить последнему $500.000 в год. Нейросеть обнаруживает в 20 раз больше подделок, чем установленная до нее экспертная система. (Tearing up the Rules, Banking Technology, ноябрь 1993)

9. Ввод и обработка информации:

Обработка рукописных чеков, распознавание подписей, отпечатков пальцев и голоса, ввод в компьютер финансовых и налоговых документов.

Разработанные итальянской фирмой RES Informatica нейросетевые пакеты серии FlexRead, используются для распознавания и автоматического ввода рукописных платежных документов и налоговых деклараций. В первом случае они применяются для распознавания не только количества товаров и их стоимости, но также и формата документа. В случае налоговых деклараций распознаются фискальные коды и суммы налогов.

10. Геологоразведка:

Анализ сейсмических данных, ассоциативные методики поиска полезных ископаемых, оценка ресурсов месторождений.

Нейросети используются фирмой Amoco для выделения характерных пиков в показаниях сейсмических датчиков. Надежность распознавания пиков - 95% по каждой сейсмо-линии. По сравнению с ручной обработкой скорость анализа данных увеличилась в 8 раз. (J.Veezhinathan & D.Wadner, Amoco, First Break Picking, IJCNN, 1990)

Обилие приведенных выше применений нейросетей - не рекламный трюк. Просто нейросети - это не что иное, как новый инструмент анализа данных. И лучше других им может воспользоваться именно специалист в своей предметной области. Основные трудности на пути еще более широкого распространения нейротехнологий - в неумении широкого круга профессионалов формулировать свои проблемы в терминах, допускающих простое нейросетевое решение. Для этого, прежде всего, нужно четко представлять себе основные особенности нейросетевой обработки информации - парадигмы ИНС.



3. Основы ИНС. Биологический прототип. Искусственный нейрон. Функции активации

Биологический прототип

Нервная система человека, построенная из элементов, называемых нейронами, имеет ошеломляющую сложность. Около 1011 нейронов участвуют в примерно 1015 передающих связях, имеющих длину метр и более. Каждый нейрон обладает многими качествами, общими с другими элементами тела, но его уникальной способностью является прием, обработка и передача электрохимических сигналов по нервным путям, которые образуют коммуникационную систему мозга.

Рис. 1. Биологический нейрон.

На рис. 1 показана структура пары типичных биологических нейронов. Дендриты идут от тела нервной клетки к другим нейронам, где они принимают сигналы в точках соединения, называемых синапсами. Принятые синапсом входные сигналы подводятся к телу нейрона, здесь они суммируются, причем одни входы стремятся возбудить нейрон, другие - воспрепятствовать его возбуждению. Когда суммарное возбуждение в теле нейрона превышает некоторый порог, нейрон возбуждается, посылая по аксону сигнал другим нейронам.

Искусственный нейрон

Искусственный нейрон имитирует в первом приближении свойства биологического нейрона. На рис. 2 представлена его модель.

Рис. 2. Искусственный нейрон.

Здесь множество входных сигналов обозначенных X1, Х2, ... , Хn, поступает на искусственный нейрон. Эти входные сигналы, в совокупности обозначаемые вектором Х, соответствуют сигналам, приходящим в синапсы биологического нейрона. Каждый сигнал умножается на соответствующий вес w1, w2, ..., wn, и поступает на суммирующий блок, обозначенный ?. Каждый вес соответствует “силе” одной синаптической связи. (Множество весов в совокупности обозначим вектором W.) Суммирующий блок, соответствующий телу биологического элемента, складывает взвешенные входы, создавая выход, названный NET. В векторных обозначениях это может быть записано следующим образом:

NET = X * W (1)

Сигнал NET далее, как правило, преобразуется активационной функцией F и дает выходной нейронный сигнал OUT.

Активационные функции

Активационная функция может быть обычной линейной функцией:

OUT = K (NET), (2)

где К- постоянная,

пороговой функцией:

OUT=1, если NET>T,

OUT=0 - в остальных случаях, (3)

где T- некоторая постоянная пороговая величина,

или же функцией, более точно моделирующей нелинейную передаточную характеристику биологического нейрона и представляющей нейронной сети большие возможности.

На рис. 2 блок, обозначенный F, принимает сигнал NET и выдает сигнал OUT. Если блок F сужает диапазон изменения величины NET так, что при любых значениях NET значения OUT принадлежат некоторому конечному интервалу, то F называется «сжимающей» функцией. В качестве «сжимающей» функции часто берется логистическая или «сигмоидальная» (S-образная) функция, показанная на рис. 3.

Рис. 3. Сигмоидальная логистическая функция

Эта функция математически выражается как

F(x) = 1 / ( 1+e-x ) (4)



Таким образом,

OUT = 1 / ( 1+e-NET ) (5)

По аналогии с электронными системами активационную функцию можно считать нелинейной усилительной характеристикой искусственного нейрона. Коэффициент усиления вычисляется как отношение приращения величины OUT к вызвавшему его небольшому приращению величины NET. Он выражается наклоном кривой при определенном уровне возбуждения и изменяется от малых значений при больших отрицательных возбуждениях (кривая почти горизонтальна) до максимального значения при нулевом возбуждении и снова уменьшается, когда возбуждение становится большим положительным.

Другой широко используемой активационной функцией является гиперболический тангенс. По форме она сходна с логистической функцией и часто применяется в качестве математической модели активации нервной клетки.

OUT = th (x) (6)

Рис. 4. Гиперболический тангенс OUT = th (NET)



Подобно логистической функции гиперболический тангенс является S-образной функцией, но он симметричен относительно начала координат, и в точке NET = 0 значение выходного сигнала OUT равно нулю (см. рис. 4). Гиперболический тангенс принимает значения разных знаков, что бывает выгодно для ряда сетей.

Рассмотренная простая модель искусственного нейрона игнорирует многие свойства своего биологического двойника. Например, она не принимает во внимание задержки во времени, которые воздействуют на динамику системы. Входные сигналы сразу же порождают выходной сигнал. И, что более важно, она не учитывает синхронизирующей функции биологического нейрона.

Несмотря на эти ограничения, сети, построенные из этих нейронов, обнаруживают свойства, сильно напоминающие биологическую систему.

Однослойные искусственные нейронные сети

Хотя один нейрон и способен выполнять простейшие процедуры распознавания, сила нейронных вычислений проистекает от соединений нейронов в сетях. Простейшая сеть состоит из группы нейронов, образующих слой, как показано на рис. 5.

Рис. 5. Однослойная нейронная сеть



Вершины- круги служат для распределения входных сигналов. Они не выполняют каких-либо вычислений и поэтому не считаются слоем. Каждый элемент из множества входов Х отдельным весом соединен с каждым искусственным нейроном. А каждый нейрон выдает взвешенную сумму входов в сеть. В искусственных и биологических сетях многие соединения могут отсутствовать, все соединения показаны в целях общности. Могут иметь место так же соединения между выходами и входами элементов в слое.

Удобно считать веса элементами матрицы W(m*n). Таким образом, вычисление выходного вектора NET сводится к матричному умножению NET=X*W, где NET и X- векторы- строки.

Многослойные искусственные нейронные сети

Более крупные и сложные нейронные сети обладают, как правило, и большими вычислительными возможностями. Многослойные сети могут образовываться каскадами слоев. Выход одного слоя является входом для последующего. Многослойные сети могут привести к увеличению вычислительной мощности лишь в том случае, если активационная функция между слоями будет нелинейной. Вычисление выхода слоя заключается в умножении входного вектора на первую весовую матрицу с последующим умножением (если отсутствует нелинейная активационная функция) результирующего вектора на вторую весовую матрицу. Следовательно, любая многослойная линейная сеть может быть заменена эквивалентной однослойной сетью.



Рис. 6. Многослойная нейронная сеть

4. Классификация нейронных сетей. Парадигмы нейронных сетей.

Классификация нейронных сетей

Классификация нейронных сетей обычно производится по двум признакам:

- по типу обучения;

- по архитектуре связей.

1. Типы обучения нейросети

Таблица 1. Сравнение режимов обучения нейросетей

Вид обучения:	С "учителем"	С "подкреплением"	Без "учителя"
Что подается в качестве обучающих примеров	Набор пар входов-выходов	Оценка выходов сети	Только набор входных значений
Что требуется от сети	Найти функцию, обобщающую примеры, в случае дискретных - классифицировать входы. В целом - научиться реагировать схожим образом в схожих ситуациях.	Научиться заданной “правильной” линии поведения.	Найти закономерности в массиве данных, отыскать порождающую данные функцию распределения, найти более компактное описание данных.



Способ обучения, при котором действительный выход нейросети сравнивают с эталонным, называют обучением с учителем. Сеть обучается на наборе примеров (пар входов-выходов).

Иногда выходная информация известна не полностью. Например, вместо эталонных ответов известно лишь хуже или лучше данная конфигурация сети справляется с задачей (вспомним детскую игру “холоднее-горячее”). Этот тип обучения называют обучением с подкреплением (reinforcement learning).

Вообще говоря, возможен и такой режим обучения, когда желаемые значения выходов вообще неизвестны, и сеть обучается только на наборе входных данных:

Такой режим обучения сети называют обучением без учителя. В этом случае сети предлагается самой найти скрытые закономерности в массиве данных. Так, избыточность данных допускает сжатие информации, и сеть можно научить находить наиболее компактное представление таких данных, т.е. произвести оптимальное кодирование данного вида входной информации.

2. Архитектура связей

На способ обработки информации решающим образом сказывается наличие или отсутствие в сети петель обратных связей. Если обратные связи между нейронами отсутствуют (т.е. сеть имеет структуру последовательных слоев, где каждый нейрон получает информацию только с предыдущих слоев), обработка информации в сети однонаправлена. Входной сигнал обрабатывается последовательностью слоев, и ответ получается через число тактов, равное числу слоев.

Наличие же обратных связей может сделать динамику нейросети (называемой в этом случае рекуррентной) непредсказуемой. В принципе, сеть может "зациклиться" и не выдать ответа никогда. Вообще говоря, то, что нейроны в рекуррентных сетях помногу раз принимают участие в обработке информации, позволяет таким сетям производить более разнообразную и глубокую обработку информации. Но в этом случае следует принимать специальные меры к тому, чтобы сеть не зацикливалась (например, использовать симметричные связи, как в сети Хопфилда, или принудительно ограничивать число итераций).

Таблица 2. Сравнение архитектур связей нейросетей

Сравнение сетей:	Без обратных связей (многослойные)	С обратными связями
Преимущества	Простота реализации. Гарантированное получение ответа после прохождения данных по слоям.	Минимизация размеров сети - нейроны многократно участвуют в обработке данных. Меньший объем сети облегчает процесс обучения.
Недостатки	Требуется большее число нейронов для алгоритмов одного и того же уровня сложности. Следствие - большая сложность обучения.	Требуются специальные условия, гарантирующие сходимость вычислений.

Нейропарадигмы

Структура нейронной сети и используемый алгоритм обучения в совокупности называются нейропарадигмой.

Общие свойства нейропарадигм:

1. Коннекционизм

Отличительной чертой нейросетей является глобальность связей. Базовые элементы искусственных нейросетей - искусственные нейроны - изначально нацелены на работу с широкополосной информацией. Каждый нейрон нейросети, как правило, связан со всеми нейронами предыдущего слоя обработки. В этом основное отличие искусственных нейронов от базовых элементов последовательных ЭВМ - логических вентилей, имеющих лишь два входа. В итоге, универсальные процессоры имеют сложную архитектуру, основанную на иерархии модулей, каждый из которых выполняет строго определенную функцию. Напротив, архитектура нейросетей проста и универсальна. Специализация связей возникает на этапе их обучения под влиянием конкретных данных.

Типичный искусственный нейрон производит простейшую операцию - взвешивает значения своих входов со своими же локально хранимыми весами и производит над их суммой нелинейное преобразование. Нелинейность разрушает линейную суперпозицию и приводит к тому, что возможности нейросети существенно выше возможностей отдельных нейронов.

2. Локальность и параллелизм вычислений

Массовый параллелизм нейровычислений, необходимый для эффективной обработки образов, обеспечивается локальностью обработки информации в нейросетях. Каждый нейрон реагирует лишь на локальную информацию, поступающую к нему в данный момент от связанных с ним таких же нейронов, без апелляции к общему плану вычислений, обычной для универсальных ЭВМ. Таким образом, нейросетевые алгоритмы локальны, и нейроны способны функционировать параллельно.

3. Программирование: обучение, основанное на данных

Отсутствие глобального плана вычислений в нейросетях предполагает и особый характер их программирования. Оно также носит локальный характер: каждый нейрон изменяет свои “подгоночные параметры” - синаптические веса - в соответствии с поступающей к нему локальной информацией об эффективности работы всей сети как целого. Режим распространения такой информации по сети и соответствующей ей адаптации нейронов носит характер обучения. Такой способ программирования позволяет эффективно учесть специфику требуемого от сети способа обработки данных, ибо алгоритм не задается заранее, а порождается самими данными - примерами, на которых сеть обучается. Именно таким образом в процессе самообучения биологические нейросети выработали столь эффективные алгоритмы обработки сенсорной информации.

4. Универсальность обучающих алгоритмов

Привлекательной чертой является единый принцип обучения нейросетей - минимизация эмпирической ошибки. Функция ошибки, оценивающая данную конфигурацию сети, задается извне - в зависимости от того, какую цель преследует обучение. Но далее сеть начинает постепенно модифицировать свою конфигурацию - состояние всех своих синаптических весов - таким образом, чтобы минимизировать эту ошибку. В итоге, в процессе обучения сеть все лучше справляется с возложенной на нее задачей. Не вдаваясь в математические тонкости, образно этот процесс можно представить себе как поиск минимума функции ошибки E(w), зависящей от набора всех синаптических весов сети w.

Поведение ИНС определяется структурой межнейронных связей, весами синаптических входов и величиной порогов нейронов. Даже в небольших сетях, содержащих несколько десятков нейронов, учесть взаимное влияние этих факторов практически невозможно. Поэтому, начиная с персептрона, основное внимание создателей ИНС уделялось разработке и совершенствованию методов их обучения. Из-за отсутствия надежной теории обучения эти разработки носили в основном эвристический характер и получили название нейропарадигм.

В настоящее время исследуются 50 моделей нейронных сетей, различающихся законами обучения, топологией соединений, характеристиками вычислительных узлов.

5. Персептрон. Персептронная представляемость.

Персептрон--простая нейронная сеть, состоящая из одного слоя искусственных нейронов.



Рис. 7

Рис. 8

Кругами обозначен входной слой, квадратами - выходной. Казалось бы, слоя два, НО т.к. входной слой не имеет активационной функции и вообще скорее формальное обозначение входа сети то считается что слой один. Алгоритм работы очень заключается в том, что входной вектор умножается на матрицу весов и на выходе применяется какая то активационная функция.

Для общего развития из вики: персептрона был предложен Фрэнком Розенблаттом в 1958 году и впервые реализован в виде электронной машины «Марк-1» в 1960 году. Он стал одной из первых моделей нейросетей, а «Марк-1» -- первым в мире нейрокомпьютером.

6. Обучение персептрона.

При обучении персептрона стоит учитывать, что не все функции можно реализовывать, используя один слой. Такие функции называют линейно неразделимыми. Примером такой функции является “Исключающее или”.

Рис. 9

В лекции это все подробно описано с точки зрения математики, но если кратко вся суть заключается в том, что однослойные сети (с двумя входами) как бы делят числовую плоскость одной линией разделяя ее на две части. При этом по одну сторону должны остаться точки, значения активационной функции которых ниже порога, а с другой выше. Но линейно неразделимые функции так поделить не получиться, что видно на рисунке. Точки A1 и A0 должны быть расположены с одной стороны черты, а B0 и B1 с другой. Как бы мы не поворачивали эту линию сделать таким образом у нас не получиться.

Если входов 3, то плоскость заменяется на объемное пространство которое мы делим плоскостью. В случае 4 и более входов представить такое невозможно, но тем не менее сколько бы входов не было у нашей однослойной сети линейно неразделимые функции она реализовывать не сможет. Для решения таких функций нужно увеличивать количество слоев.

В случае если необходимая нам функция является линейно разделимой, нам нужно найти веса для вектора весов. Розенблатт сформулировал метод для нахождения весов в своем алгоритме обучения персептрона вместе с доказательством того, что персептрон может быть обучен всему, что он может реализовывать. Сам алгоритм очень прост - это алгоритм обучения с учителем, в котором персептрон обучают, подавая множество образов по одному на его вход и подстраивая веса до тех пор, пока для всех образов не будет достигнут требуемый выход.

Этот метод обучения может быть подытожен следующим образом:

1. Подать входной образ и вычислить Y.

2. а. Если выход правильный, то перейти на шаг 1;

б. Если выход неправильный и равен нулю, то добавить все входы к соответствующим им весам; или

в. Если выход неправильный и равен единице, то вычесть каждый вход из соответствующего ему веса.

3. Перейти на шаг 1.

Важное обобщение алгоритма обучения персептрона, называемое дельта-правилом, переносит этот метод на непрерывные входы и выходы. Чтобы понять, как оно было получено, шаг 2 алгоритма обучения персептрона может быть сформулирован в обобщенной форме с помощью введения величины д, которая равна разности между требуемым или целевым выходом Т и реальным выходом А

д = Т - А.

Случай, когда д =0, соответствует шагу 2а, когда выход правилен и в сети ничего не изменяется. Шаг 2б соответствует случаю д > 0, а шаг 2в случаю д < 0.

В любом из этих случаев персептронный алгоритм обучения сохраняется, если д умножается на величину каждого входа х. и это произведение добавляется к соответствующему весу. С целью обобщения вводится коэффициент «скорости обучения», который умножается на д, что позволяет управлять средней величиной изменения весов.

Трудности с алгоритмом обучения персептрона

1. Может оказаться затруднительным определить, выполнено ли условие разделимости для конкретного обучающего множества. Кроме того, во многих встречающихся на практике ситуациях входы часто меняются во времени и могут быть разделимы в один момент времени и неразделимы в другой.

2. В доказательстве алгоритма обучения персептрона ничего не говорится также о том, сколько шагов требуется для обучения сети. Мало утешительного в знании того, что обучение закончится за конечное число шагов, если необходимое для этого время сравнимо с геологической эпохой. Кроме того, не доказано, что персептронный алгоритм обучения более быстр по сравнению с простым перебором всех возможных значений весов, и в некоторых случаях этот примитивный подход может оказаться лучше.

7. Сеть обратного распространения (алгоритм обучения).

Обратное распространение - это систематический метод для обучения многослойных искусственных нейронных сетей.

В качестве основного строительного блока в сетях обратного распространения используется обычная модель искусственного нейрона, а в качестве активационной функции -сигмоидальная функция

OUT = 1/(1- e-NET) (10)

Эта функция удобна, т.к. имеет простую производную, что используется при реализации алгоритма обратного распространения:

? OUT/?NET = OUT (1-OUT)



Рис. 10

Кругами обозначен входной слой, квадратами скрытый и выходной слои, где вычисляются OUT и NET

Алгоритм обучения:

Это то, что она спрашивала по 1й лабе.

Целью обучения сети является такая подстройка ее весов, чтобы приложение некоторого множества входов приводило к требуемому множеству выходов. При обучении предполагается, что для каждого входного вектора существует парный ему целевой вектор, задающий требуемый выход. Вместе они называются обучающей парой. Это обучение с учителем.

Общее описание

1. Выбрать очередную обучающую пару из обучающего множества; подать входной вектор на вход сети.

2. Вычислить выход сети.

Шаги 1 и 2 называют «проход вперед», так как сигнал распространения по сети от входа к выходу.

3. Вычислить разность между выходом сети и требуемым выходом (целевым вектором обучающей пары).

4. Подкорректировать веса сети так, чтобы минимизировать ошибку.

Повторять шаги с 1 по 4 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.

Шаги 3, 4 составляют «обратный проход», здесь вычисляемый сигнал ошибки распространяется обратно по сети и используется для подстройки весов.

Рис. 11

Подстройка весов выходного слоя:

Выход нейрона слоя k , вычитаясь из целевого значения (T), дает сигнал ошибки. Он умножается на производную сжимающей функции [OUT*(1-OUT)], вычисленную для этого нейрона слоя k, давая, таким образом, величину дqk.

Затем дqk умножается на величину OUT нейрона j, из которого выходит рассматриваемый вес. Это произведение, в свою очередь, умножается на коэффициент скорости обучения з (обычно от 0.01 до 1), и результат прибавляется к весу. Такая же процедура выполняется для веса от нейрона скрытого слоя к нейрону в выходном слое.

Следующие уравнения иллюстрируют это вычисление:

Подстройка весов скрытого слоя:

При проходе вперед нейрон передает входной сигнал нейронам в выходном слое через соединяющие их веса. Во время обучения эти веса функционируют в обратном порядке, пропуская величину ошибки от выходного слоя назад к скрытому слою. Каждый из этих весов умножается на величину дqk нейрона, к которому он присоединен в выходном слое. Величина дpj, необходимая для нейрона скрытого слоя, получается суммированием всех таких произведений и умножением на производную сжимающей функции



Когда значение д p,j получено, веса, питающие первый скрытый уровень, могут быть подкорректированы с помощью уравнений подстройки весов выходного слоя, где индексы модифицированы в соответствии со слоем.

8. Разновидности сетей обратного распространения. Трудности обучения сети обратного распространения.

Добавление нейронного смещения.

Во многих случаях желательно наделять каждый нейрон обучаемым смещением. Это позволяет сдвигать начало отсчета логической функции, давая эффект, аналогичный подстройке порога персептронного нейрона, и приводит к ускорению процесса обучения. Эта возможность может быть легко введена в обучающий алгоритм с помощью добавляемого к каждому нейрону веса, присоединенного к +1. Этот вес обучается так же, как и все остальные веса, за исключением того, что подаваемый на него сигнал равен +1, а не выходу нейрона предыдущего слоя.

Импульс.

Метод, названный импульсом, заключается в добавлении к коррекции веса члена, пропорционального величине предыдущего изменения веса. Как только происходит коррекция, она «запоминается» и служит для модификации всех последующих коррекций. Уравнения коррекции модифицируются следующим образом:

где a - коэффициент импульса, обычно устанавливается около 0,9.

Используя метод импульса, сеть стремится идти по дну узких оврагов поверхности ошибки (если таковые имеются), а не двигаться от склона к склону. Этот метод, по-видимому, хорошо работает на некоторых задачах, но дает слабый или даже отрицательный эффект на других.

Экспоненциальное сглаживание.

Метод, основанный на экспоненциальном сглаживании, может иметь преимущество в ряде приложений.

Затем вычисляется изменение веса

где a коэффициент сглаживания, варьируемый и диапазоне от 0,0 до 1,0. Если a равен 1,0, то новая коррекция игнорируется и повторяется предыдущая. В области между 0 и 1 коррекция веса сглаживается величиной, пропорциональной a. По-прежнему, h является коэффициентом скорости обучения, служащим для управления средней величиной изменения веса.

Трудности обучения сети обратного распространения.

Паралич сети

В процессе обучения сети значения весов могут в результате коррекции стать очень большими величинами. Это может привести к тому, что все или большинство нейронов будут функционировать при очень больших значениях OUT, в области, где производная сжимающей функции очень мала. Так как посылаемая обратно в процессе обучения ошибка пропорциональна этой производной, то процесс обучения может практически замереть. В теоретическом отношении эта проблема плохо изучена. Обычно этого избегают уменьшением размера шага h, но это увеличивает время обучения. Различные эвристики использовались для предохранения от паралича или для восстановления после него, но пока что они могут рассматриваться лишь как экспериментальные.

Локальные минимумы

Обратное распространение использует разновидность градиентного спуска, т.е. осуществляет спуск вниз по поверхности ошибки, непрерывно подстраивая веса в направлении к минимуму. Поверхность ошибки сложной сети сильно изрезана и состоит из холмов, долин, складок и оврагов в пространстве высокой размерности. Сеть может попасть в локальный минимум (неглубокую долину), когда рядом имеется гораздо более глубокий минимум. В точке локального минимума все направления ведут вверх, и сеть неспособна из него выбраться. Статистические методы обучения могут помочь избежать этой ловушки, но они медленны. Существует метод, объединяющий статистические методы машины Коши с градиентным спуском обратного распространения и приводящий к системе, которая находит глобальный минимум, сохраняя высокую скорость обратного распространения.

Размер шага

Доказательство сходимости процесса обучения предполагает, что коррекции весов бесконечно малы. Ясно, что это неосуществимо на практике, так как ведет к бесконечному времени обучения. Размер шага должен браться конечным, и в этом вопросе приходится опираться только на опыт. Если размер шага очень мал, то сходимость слишком медленная, если же очень велик, то может возникнуть паралич или постоянная неустойчивость.

Временная неустойчивость

Если сеть учится распознавать буквы, то нет смысла учить Б, если при этом забывается А. Процесс обучения должен быть таким, чтобы сеть обучалась на всем обучающем множестве без пропусков того, что уже выучено. Необходимые изменения весов должны вычисляться на всем множестве, а это требует дополнительной памяти; после ряда таких обучающих циклов веса сойдутся к минимальной ошибке. Этот метод может оказаться бесполезным, если сеть находится в постоянно меняющейся внешней среде, так что второй раз один и тот же вектор может уже не повториться. В этом случае процесс обучения может никогда не сойтись.

9. Сеть встречного распространения. Структура сети. Обучение слоев Кохонена и Гроссберга.

В сети встречного распространения объедены два алгоритма:

Самоорганизующаяся карта Кохонена.

Звезда Гроссберга.

Структура сети

Сеть представляет собой неоднородную структуру, т.к. в слое Кохонена активационная функция WTA («winner take all» - победитель получает всё), а в слое Гроссберга нет активационной функции.

Слои:

Входной слой размерностью .

Слой Кохонена размерностью сколько образов нужно запомнить.

Слой Гроссберга размерностью .

Рис. 12



Слой Кохонена на выходе имеет значения или 0 или 1. В программной реализации нет умножения (так ускоряет обучение), там через условие, если равняется 1, то прибавляем, иначе ничего не делаем.

Обучение сети

Сначала обучается слой Кохонена, а потом обучается слой Гроссберга.

По лк (немного обозначения попроще, но не факт)

Обучение слоя Кохонена - обучение «без учителя».

1. Нормализация входного вектора

Где -ая компонента входного вектора . размерность входного вектора.

2. Присваивание начальных значений весовым коэффициентам

3. Вычисление весового коэффициента:

Где вес от входного слоя к слою Кохонена. ( старое (предыдущее) значение веса, новое значение веса)

выход входного слоя.

коэффициент скорости обучения. Обычно, сначала , а потом уменьшается.

коррекция веса, которая стремится к 0.

Веса слоя Кохонена обучаются на средних значениях входах

4. Выполняется ли критерий сходимости ? если выполняется, то к следующему пункту; иначе обратно к шагу 3.

Обучение слоя Гроссберга - обучение «с учителем».

5. Вычисление весового коэффициента:

Где вес связи от -ого нейрона слоя Кохонена к -ому нейрону слоя Гроссберга. ( новое значение веса, старое (предыдущее) значение веса)

желаемый выход -ого нейрона слоя Гроссберга.

коэффициент скорости обучения.

выход-ого нейрона слоя Кохонена.

Веса слоя Гроссберга будут сходиться к средним величинам от желаемых выходов.

6. Выполняется ли критерий сходимости ? если выполняется, то конец обучения; иначе к шагу 5.

Алгоритм обучения:

Обучение слоя Кохонена - обучение «без учителя».

1. Нормализация входного вектора - представление вектора в виде единичного вектора -мерного пространства:

Где -ая компонента входного вектора ( до нормализации, после). размерность входного вектора.

2. Присваивание начальных значений весовым коэффициентам.

3. Вычисление весового коэффициента:



Где вес связи от -ого нейрона входного слоя к -ому нейрону слоя Кохонена.

итерация ( старое значение веса, новое значение веса).

выход -ого нейрона входного слоя.

коэффициент скорости обучения. Обычно, сначала , а потом уменьшается.

коррекция веса, которая стремится к 0.

Веса слоя Кохонена обучаются на средних значениях входах

4. Выполняется ли критерий сходимости

?

если выполняется, то к следующему пункту; иначе обратно к шагу 3.

Обучение слоя Гроссберга - обучение «с учителем».

5. Вычисление весового коэффициента:

Где вес связи от -ого нейрона слоя Кохонена к -ому нейрону слоя Гроссберга.

желаемый выход -ого нейрона слоя Гроссберга.

коэффициент скорости обучения. Обычно, сначала , а потом уменьшается. выход -ого нейрона слоя Кохонена.

Веса слоя Гроссберга будут сходиться к средним величинам от желаемых выходов.

6. Выполняется ли критерий сходимости

?

если выполняется, то конец обучения;

иначе к шагу 5.

Геометрическая интерпретация процесса обучения слоя Кохонена.

При обучении слоя Кохонена на вход подается входной вектор , и вычисляются его скалярные произведения с векторами весов, связанными со всеми нейронами Кохонена . Вес нейрона с максимальным скалярным произведением выставляется в единицу. Так как скалярное произведение, является мерой сходства между входным вектором и вектором весов, то процесс обучения состоит в выборе нейрона Кохонена с весовым вектором, наиболее близким к входному вектору, и дальнейшем приближении весового вектора к входному. Сеть самоорганизуется таким образом, что данный нейрон Кохонена имеет максимальный выход для данного входного вектора. Уравнение, описывающее процесс обучения имеет следующий вид:

Где вектор новых весовых коэффициентов.

вектор старых весовых коэффициентов.

входной вектор.



Рис. 13

Сначала находится вектор , для этого проводится отрезок из конца в конец . Затем этот вектор укорачивается умножением его на скалярную величину , меньшую единицы, в результате чего получается вектор изменения . Окончательно новый весовой вектор является отрезком, направленным из начала координат в конец вектора . Отсюда можно видеть, что эффект обучения состоит во вращении весового вектора в направлении входного вектора.

Назначение сети

Используется для кластеризации данных, т.к. слабо отличающиеся образы объединяет в одну группу.

Алгоритм функционирования

1 Подать входной вектор

2. Вычисление выходов слоя Кохонена до применения активационной функции:



где выход -ого нейрона слоя Кохонена до применения активационной функции.

размерность входного вектора.

-ая компонента входного вектора

вес связи от -ого нейрона входного слоя к -ому нейрону слоя Кохонена

2. Вычисление активационной функции:

выход ?ого нейрона слоя Кохонена после применения активационной функции.

активационная функция WTA (если значение выхода нейрона максимальное среди всех, то значение этого нейрона равно 1, а остальное равняются 0).

количество нейронов в слое Кохонена (количество запоминаемых образов).

3. Вычисление выходов слоя Гроссберга

где выход ?ого нейрона слоя Гроссберга

вес связи от -ого нейрона слоя Кохонена к -ому нейрону слоя Гроссберга

10. Сеть встречного распространения. Предварительная обработка входных векторов. Выбор начальных значений весовых коэффициентов.

Слои:

Входной слой размерностью .

Слой Кохонена размерностью сколько образов нужно запомнить.

Слой Гроссберга размерностью .

Структура сети

Рис. 14

Предварительная обработка входных векторов (нормализация)

Нормализация входного вектора - представление вектора в виде единичного вектора -мерного пространства:

где

-ая компонента входного вектора ( до нормализации, после).

размерность входного вектора.

Если спросят, может понадобиться это (геометрическая интерпретация).

Методы выбора начальных значений весовых коэффициентов в процессе обучения

1. Случайные значения.

...