Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Министерство образования и науки Российской Федерации

Федеральное государственное бюджетное образовательное учреждение
высшего профессионального образования

«Псковский государственный университет»

Кафедра Вычислительной Техники

Контрольная работа №1

по учебной дисциплине

«ИНТЕЛЛЕКТУАЛЬНЫЕ СИСТЕМЫ»

на тему: «Нейронные сети»

Вариант № 5.

Выполнил студент:

Лашкевич А.М.

Проверил:

Бруттан Ю.В.

Псков

2017



СОДЕРЖАНИЕ

нейронный сеть обучение сигнал

ЗАДАНИЕ

1. ИСТОРИЯ РАЗВИТИЯ НЕЙРОННЫХ СЕТЕЙ

2. СТРОЕНИЕ БИОЛОГИЧЕСКОЙ НЕЙРОННОЙ СЕТИ

3. ИСКУССТВЕННЫЙ НЕЙРОН

4. ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ

4.1 Общие положения и виды обучения нейронных сетей

4.2 Детерминистский алгоритм обучения нейронных сетей

4.3 Стохастические методы обучения нейронных сетей

5. АРХИТЕКТУРА НЕЙРОННЫХ СЕТЕЙ

5.1 Классификация нейронных сетей

5.2 Сети прямого распространения сигнала

5.3 Рекуррентные сети

6. ОБЛАСТИ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

ВЫВОД

СПИСОК ЛИТЕРАТУРЫ

ЗАДАНИЕ

Написать реферат (объёмом 20 печатных страниц формата А4) на тему в соответствии с вариантом. Варианты заданий контрольной работы представлены в таблице 1.

Таблица 1

Вариант	Номер последней цифры зачетной книжки	Тема контрольной работы
1	1, 5	Экспертные системы
2	2, 4	Разработка естественно-языковых интерфейсов
3	3, 6	Распознавание образов
4	7, 9	Интеллектуальные роботы
5	8, 0	Нейронные сети



1. ИСТОРИЯ РАЗВИТИЯ НЕЙРОННЫХ СЕТЕЙ

С появлением современной электроники, начались попытки аппаратного воспроизведения процесса мышления. Первый шаг был сделан в 1943 г. с выходом статьи нейрофизиолога Уоррена Маккалоха и математика Уолтера Питтса про работу искусственных нейронов и представления модели нейронной сети на электрических схемах.

1949 г. - опубликована книга Дональда Хебба "Организация поведения", где исследована проблематика настройки синаптических связей между нейронами.

1950-е гг. - появляются программные модели искусственных нейронных сетей. Первые работы проведены Натаниелом Рочестером из исследовательской лаборатории IBM. И хотя дальнейшие реализации были успешными, эта модель потерпела неудачу, поскольку бурный рост традиционных вычислений оставил в тени нейронные исследования.

1956 г. - Дартмутский исследовательский институт искусственного интеллекта обеспечил подъем искусственного интеллекта, в частности, нейронных сетей. Стимулирование исследований искусственного интеллекта разделилось на два направления: промышленные применения систем искусственного интеллекта (экспертные системы) и моделирование мозга.

1958 г. - Джон фон Нейман предложил имитацию простых функций нейронов с использованием вакуумных трубок.

1959 г. - Бернард Видроу и Марсиан Хофф разработали модели ADALINE и MADALINE (Множественные Адаптивные Линейные Элементы (Multiple ADAptive LINear Elements)). MADALINE действовала, как адаптивный фильтр, устраняющий эхо на телефонных линиях. Эта нейронная сеть до сих пор в коммерческом использовании.

Нейробиолог Френк Розенблатт начал работу над перцептроном. Однослойный перцептрон был построен аппаратно и считается классической нейронной сетью. Тогда перцептрон использовался для классификации входных сигналов в один из двух классов. К сожалению, однослойный перцептрон был ограниченным и подвергся критике в 1969 г., в книге Марвина Мински и Сеймура Пейперта "Перцептроны".

Ранние успехи, способствовали преувеличению потенциала нейронных сетей, в частности в свете ограниченной в те времена электроники. Чрезмерное ожидание, процветающее в академическом и техническом мире, заразило общую литературу этого времени. Опасение, что эффект "мыслящей машины" отразится на человеке, все время подогревалось писателями, в частности, серия книг Айзека Азимова про роботов показала последствия на моральных ценностях человека, в случае возможности интеллектуальных роботов выполнять функции человека.

Эти опасения, объединенные с невыполненными обещаниями, вызвали множество разочарований специалистов, подвергших критике исследования нейронных сетей. Результатом было прекращение финансирования. Период спада продолжался до 80-х годов.

1982 г. - к возрождению интереса привело несколько событий. Джон Хопфилд представил статью в национальную Академию Наук США. Подход Хопфилда показал возможности моделирования нейронных сетей на принципе новой архитектуры.

В то же время в Киото (Япония) состоялась Объединенная американо-японская конференция по нейронным сетям, которые объявили достижением пятой генерации. Американские периодические издания подняли эту историю, акцентируя, что США могут остаться позади, что привело к росту финансирования в области нейронных сетей.

С 1985 г. Американский Институт Физики начал ежегодные встречи - "Нейронные сети для вычислений".

1989 г. - на встрече "Нейронные сети для обороны" Бернард Видров сообщил аудитории о начале четвертой мировой войны, где полем боя являются мировые рынки и производства.

1990 г. - Департамент программ инновационных исследований защиты малого бизнеса назвал 16 основных и 13 дополнительных тем, где возможно использование нейронных сетей.

Сегодня, обсуждение нейронных сетей происходят везде. Перспектива их использования кажется довольно яркой, в свете решения нетрадиционных проблем и является ключом к целой технологии. На данное время большинство разработок нейронных сетей принципиально работающие, но могут существовать процессорные ограничения. Исследования направлены на программные и аппаратные реализации нейронных сетей. Компании работают над созданием трех типов нейрочипов: цифровых, аналоговых и оптических, которые обещают быть волной близкого будущего.



2. СТРОЕНИЕ БИОЛОГИЧЕСКОЙ НЕЙРОННОЙ СЕТИ

Искусственные нейронные сети были созданы по образу и подобию биологических нейронных сетей. Биологическая нейронная сеть - это структура нервной системы человека, состоящая из нейронов, соединенных между собой своеобразными отростками, способными передавать сигнал.

Нейрон состоит из тела нейрона, дендритов, аксона и синапсов. Сигнал поступает на дендрит нейрона, который пройдя тело нейрона, если сигнал достаточно сильный, переходит на аксон. Аксон является связующей частей двух нейронов. Также на рисунке 2.1 отображены синапсы, которые влияют на силу сигнала, изменяя его в определенное количество раз. При условии, что вес всех сигналов превосходит порог реакции нейрона, нейрон передает импульс следующему нейрону или группе нейронов.

Рис. 2.1. Схема нейрона

Соединение множества таких нейронов, действующих друг на друга, называют нейронной сетью.



3. ИСКУССТВЕННЫЙ НЕЙРОН

История создания искусственных нейронов уходит своими корнями в 1943 год, когда шотландец МакКаллок и англичан Питтс создали теорию формальных нейронных сетей, а через пятнадцать лет Розенблатт изобрёл искусственный нейрон (перцептрон), который впоследствии и лёг в основу нейрокомпьютера. Иногда перцептроном называют любую нейронную сеть слоистой структуры, однако здесь и далее под перцептроном понимается только сеть, состоящая из нейронов с активационными функциями единичного скачка (бинарная сеть).

Несмотря на существенные различия, отдельные типы нейронных сетей обладают несколькими общими чертами.

Во-первых, основу каждой нейронной сети составляют относительно простые, в большинстве случаев - однотипные, элементы (ячейки), имитирующие работу нейронов мозга. Далее под нейроном будет подразумеваться искусственный нейрон, то есть ячейка нейронной сети. Каждый нейрон характеризуется своим текущим состоянием по аналогии с нервными клетками головного мозга, которые могут быть возбуждены или заторможены. Он обладает группой синапсов - однонаправленных входных связей, соединенных с выходами других нейронов, а также имеет аксон - выходную связь данного нейрона, с которой сигнал (возбуждения или торможения) поступает на синапсы следующих нейронов. Общий вид нейрона приведен на рисунке 3.1. Каждый синапс характеризуется величиной синаптической связи или ее весом , который по физическому смыслу эквивалентен электрической проводимости.

Рис. 3.1 Искусственный нейрон

Текущее состояние нейрона определяется, как взвешенная сумма его входов по формуле 3.1:

(3.1)

Формула 3.2 выхода нейрона описывает функцию его состояния:

y = f(s) (3.2)

Формула 3.3 описывает нелинейную функцию f, которая называется активационной и может иметь различный вид. Одной из наиболее распространенных является нелинейная функция с насыщением, так называемая логистическая функция или сигмоид (т.е. функция S-образного вида):

(3.3)

При уменьшении a сигмоид становится более пологим, в пределе при a=0 вырождаясь в горизонтальную линию на уровне 0.5, при увеличении a сигмоид приближается по внешнему виду к функции единичного скачка с порогом T в точке x=0. Из выражения для сигмоида очевидно, что выходное значение нейрона лежит в диапазоне [0,1]. Одно из ценных свойств сигмоидной функции - простое выражение для ее производной, изображенной на формуле 3.4:

(3.4)

Следует отметить, что сигмоидная функция дифференцируема на всей оси абсцисс, что используется в некоторых алгоритмах обучения. Кроме того она обладает свойством усиливать слабые сигналы лучше, чем большие, и предотвращает насыщение от больших сигналов, так как они соответствуют областям аргументов, где сигмоид имеет пологий наклон.

Возвращаясь к общим чертам, присущим всем нейронным сетям, стоит отметить принцип параллельной обработки сигналов, который достигается путем объединения большого числа нейронов в так называемые слои и соединения определенным образом нейронов различных слоев, а также, в некоторых конфигурациях, и нейронов одного слоя между собой, причем обработка взаимодействия всех нейронов ведется послойно.

Теоретически число слоев и число нейронов в каждом слое может быть произвольным, однако фактически оно ограничено ресурсами компьютера или специализированной микросхемы, на которых обычно реализуется нейронная сеть. Чем сложнее нейронная сеть, тем масштабнее задачи, подвластные ей.

Выбор структуры нейронной сети осуществляется в соответствии с особенностями и сложностью задачи. Для решения некоторых отдельных типов задач уже существуют оптимальные, на сегодняшний день, конфигурации. Если же задача не может быть сведена ни к одному из известных типов, разработчику приходится решать сложную проблему синтеза новой конфигурации. При этом, он руководствуется несколькими основополагающими принципами:

возможности сети возрастают с увеличением числа ячеек и плотности связей между ними и числом выделенных слоев;

введение обратных связей, наряду с увеличением возможностей сети поднимает вопрос о ее динамической устойчивости;

сложность алгоритмов функционирования сети (в том числе, например, введение нескольких типов синапсов - возбуждающих, тормозящих и др.) также способствует усилению мощи нейронной сети.

Вопрос о необходимых и достаточных свойствах сети для решения того или иного рода задач представляет собой целое направление нейрокомпьютерной науки. Так как проблема синтеза нейронной сети сильно зависит от решаемой задачи, дать общие подробные рекомендации затруднительно. В большинстве случаев оптимальный вариант получается на основе интуитивного подбора.



4. ОБУЧЕНИЕ НЕЙРОННОЙ СЕТИ

4.1 Обучение нейронных сетей

Процесс функционирования нейронной сети, то есть сущность действий, которые она способна выполнять, зависит от величин синаптических связей, поэтому, задавшись определенной структурой, отвечающей какой-либо задаче, разработчик сети должен найти оптимальные значения всех переменных весовых коэффициентов (некоторые синаптические связи могут быть постоянными).

Этот этап называется обучением нейронной сети, и от того, насколько качественно он будет выполнен, зависит способность сети решать поставленные перед ней проблемы во время эксплуатации. На этапе обучения кроме параметра качества подбора весов важную роль играет время обучения. Как правило, эти два параметра связаны обратной зависимостью и их приходится выбирать на основе компромисса.

Обучение нейронной сети может вестись с учителем или без него. В первом случае сети предъявляются значения как входных, так и желательных выходных сигналов, и она по некоторому внутреннему алгоритму подстраивает веса своих синаптических связей. Во втором случае выходы нейросети формируются самостоятельно, а веса изменяются по алгоритму, учитывающему только входные и производные от них сигналы.

Существует великое множество различных алгоритмов обучения, которые делятся на два больших класса: детерминистские и стохастические. В первом из них подстройка весов представляет собой жесткую последовательность действий, во втором - она производится на основе действий, подчиняющихся некоторому случайному процессу.



4.2 Детерминистский алгоритм обучения нейронных сетей

Детерминистский алгоритм очень похож на обучение ребенка алфавиту. Показав ребенку изображение буквы "А", мы спрашиваем его: "Какая это буква?" Если ответ неверен, мы сообщаем ребенку тот ответ, который мы хотели бы от него получить: "Это буква А". Ребенок запоминает этот пример вместе с верным ответом, то есть в его памяти происходят некоторые изменения в нужном направлении. Мы будем повторять процесс предъявления букв снова и снова до тех пор, когда все 33 буквы будут твердо запомнены. Такой процесс называют "обучение с учителем".

При обучении нейронной сети действия совершенно аналогичные. Имеется некоторая база данных, содержащая примеры (набор рукописных изображений букв). Предъявляя изображение буквы "А" на вход нейронной сети, мы получаем от нее некоторый ответ, не обязательно верный. Нам известен и верный (желаемый) ответ - в данном случае нам хотелось бы, чтобы на выходе нейронной сети с меткой "А" уровень сигнала был максимален. Обычно в качестве желаемого выхода в задаче классификации берут набор (1, 0, 0, ...), где 1 стоит на выходе с меткой "А", а 0 - на всех остальных выходах. Вычисляя разность между желаемым ответом и реальным ответом сети, мы получаем 33 числа - вектор ошибки. Алгоритм обратного распространения ошибки - это набор формул, который позволяет по вектору ошибки вычислить требуемые поправки для весов нейронной сети. Одну и ту же букву (а также различные изображения одной и той же буквы) мы можем предъявлять нейронной сети много раз. В этом смысле обучение скорее напоминает повторение упражнений в спорте - тренировку.

После многократного предъявления примеров веса нейронной сети стабилизируются, причем нейронная сеть дает правильные ответы на все (или почти все) примеры из базы данных. В таком случае говорят, что "нейронная сеть выучила все примеры", "нейронная сеть обучена", или "нейронная сеть натренирована". В программных реализациях можно видеть, что в процессе обучения величина ошибки (сумма квадратов ошибок по всем выходам) постепенно уменьшается. Когда величина ошибки достигает нуля или приемлемого малого уровня, тренировку останавливают, а полученную нейронную сеть считают натренированной и готовой к применению на новых данных.

Важно отметить, что вся информация, которую нейронная сеть имеет о задаче, содержится в наборе примеров. Поэтому качество обучения нейронной сети напрямую зависит от количества примеров в обучающей выборке, а также от того, насколько полно эти примеры описывают данную задачу. Так, например, бессмысленно использовать нейронную сеть для предсказания финансового кризиса, если в обучающей выборке кризисов не представлено. Считается, что для полноценной тренировки нейронной сети требуется хотя бы несколько десятков (а лучше сотен) примеров.

4.3 Стохастические методы обучения нейронных сетей

Стохастические методы обучения выполняют псевдослучайные изменения величин весов, сохраняя те изменения, которые ведут к улучшениям. На рисунке 4.3.1 изображена типичная сеть, где нейроны соединены с помощью весов.

Рис. 4.3.1 Типичная схема нейронной сети

Выход нейрона является здесь взвешенной суммой его входов, которая преобразована с помощью нелинейной функции. Для обучения сети могут быть использованы следующие процедуры:

1. Выбрать вес случайным образом и подкорректировать его на небольшое случайное число. Предъявить множество входов и вычислить получающиеся выходы.

2. Сравнить эти выходы с желаемыми выходами и вычислить величину разности между ними. Общепринятый метод состоит в нахождении разности между фактическим и желаемым выходами для каждого элемента обучаемой пары, возведение разностей в квадрат и нахождение суммы этих квадратов. Целью обучения является минимизация этой разности, часто называемой целевой функцией.

3. Выбрать вес случайным образом и подкорректировать его на небольшое случайное значение. Если коррекция помогает (уменьшает целевую функцию), то сохранить ее, в противном случае вернуться к первоначальному значению веса.

4. Повторять шаги с 1 по 3 до тех пор, пока сеть не будет обучена в достаточной степени.

Этот процесс стремится минимизировать целевую функцию, но может попасть, как в ловушку, в неудачное решение. На рис. 4.3.2 показано, как это может происходить в системе с единственным весом.

Рис. 4.3.2. График целевой функции с локальной ошибкой

Допустим, что первоначально вес взят равным значению в точке A. Если случайные шаги по весу малы, то любые отклонения от точки A увеличивают целевую функцию и будут отвергнуты. Лучшее значение веса, принимаемое в точке B, никогда не будет найдено, и система будет поймана в ловушку локальным минимумом вместо глобального минимума в точке B. Если же случайные коррекции веса очень велики, то, как точка A, так и точка B будут часто посещаться, но то же самое будет верно и для каждой другой точки. Вес будет меняться так резко, что он никогда не установится в желаемом минимуме.

Полезная стратегия для избегания подобных проблем состоит в больших начальных шагах и постепенном уменьшении размера среднего случайного шага. Это позволяет сети вырываться из локальных минимумов и в то же время гарантирует окончательную стабилизацию сети.

Ловушки локальных минимумов досаждают всем алгоритмам обучения, основанным на поиске минимума (включая персептрон и сети обратного распространения), и представляют серьезную и широко распространенную трудность, которую часто игнорируют. Стратегия коррекции весов, вынуждающая веса принимать значение глобального оптимума в точке B, вполне возможна.

Обучение нейронных сетей - сложный и наукоемкий процесс. Алгоритмы обучения нейронных сетей имеют различные параметры и настройки, для управления которыми требуется понимание их влияния.



5. АРХИТЕКТУРА НЕЙРОННЫХ СЕТЕЙ

5.1 Классификация нейронных сетей

Архитектура нейронной сети - способ организации и связи отдельных элементов (нейронов). Архитектурные отличия самих нейронов заключаются главным образом в использовании различных активационных (возбуждающих) функций. По архитектуре связей нейронные сети можно разделить на два класса: сети прямого распространения и рекуррентные сети.

Классификация искусственных нейронных сетей по их архитектуре приведена на рисунке 5.1.1.

Рис. 5.1.1. Классификация нейронных сетей по типу архитектуры

Искусственная нейронная сеть может рассматриваться как направленный граф с взвешенными связями, в котором искусственные нейроны являются узлами. По архитектуре связей искусственные нейронные сети могут быть сгруппированы в два класса: сети прямого распространения, в которых графы не имеют петель, и рекуррентные сети, или сети с обратными связями.

Таблица 5.1.1. Сравнение сетей прямого и рекуррентного типа

	Сети прямого распространения (без обратных связей)	Рекуррентные сети (с обратными связями)
Преимущества	Простота реализации. Гарантированная (математически доказанная) сходимость вычислений.	Меньший по сравнению с сетями прямого распространения объем сети (по количеству нейронов).
Недостатки	Быстрый рост числа нейронов с увеличением сложности задачи.	Необходимость использования дополнительных условий, обеспечивающих сходимость вычислений.

5.2 Сети прямого распространения сигнала

Сеть прямого распространения сигнала (сеть прямой передачи) - нейронная сеть без обратных связей (петель). В такой сети обработка информации носит однонаправленный характер: сигнал передается от слоя к слою в направлении от входного слоя нейронной сети к выходному. Выходной сигнал (ответ сети) гарантирован через заранее известное число шагов (равное числу слоев). Сети прямого распространения просты в реализации, хорошо изучены. Для решения сложных задач требуют большого числа нейронов.

Таблица 5.1.1. Сравнительная таблица многослойного персепторна и RBF-сети

Многослойный персептрон	RBF-сети
Граница решения представляет собой пересечение гиперплоскостей	Граница решения - это пересечение гиперсфер, что задает границу более сложной формы
Сложная топология связей нейронов и слоев	Простая 2-слойная нейронная сеть
Сложный и медленно сходящийся алгоритм обучения	Быстрая процедура обучения: решение системы уравнений + кластеризация
Работа на небольшой обучающей выборке	Требуется значительное число обучающих данных для приемлемого результат
Универсальность применения: кластеризация, аппроксимация, управление и прочее	Как правило, только аппроксимация функций и кластеризация

Сеть каскадной корреляции - это специализированная многослойная нейронная конструкция, в которой подбор структуры сети происходит параллельно с ее обучением путем добавления на каждом этапе обучения одного скрытого нейрона.

Адаптивный линейный элемент (Адаптивный линейный нейрон или ADALINE) - частный случай линейного классификатора или искусственной нейронной сети с одним слоем. Схема работы ADALINE несколько напоминает работу биологического нейрона.

5.3 Рекуррентные сети

Рекуррентная сеть (сеть с обратными связями) - многослойная нейронная сеть, имеющая хотя бы один слой, выходные сигналы с которого поступают на этот же слой или на один из предыдущих слоев. В рекуррентной сети нейроны многократно участвуют в обработке каждой входной информации, что позволяет использовать некоторые динамические свойства нейросети. Использование обратных связей сокращает объем нейронной сети. На основе рекуррентных сетей разработаны различные модели ассоциативной памяти.

Сеть Хопфилда (адресуемая по содержанию ассоциативная память, модель Хопфилда) - нейронная сеть, состоящая из одного слоя нейронов, каждый из которых связан синапсами со всеми остальными нейронами, а также имеет один вход и один выход. Все нейроны используют жесткую пороговую функцию активации и могут давать на выходе два значения: -1 (заторможен) и +1 (возбужден). В модели используется принцип хранения информации как динамически устойчивых аттракторов. В процессе настройки сети уменьшается энергетическая функция, достигая локального минимума (аттрактора), в котором энергетическая функция сохраняет постоянное значение.

Сети Хопфилда отличаются следующими признаками:

1. наличие обратных связей, идущих с выходов сетей на их входы по принципу "со всех на все";

2. расчет весовых коэффициентов нейронов проводится на основе исходной информации лишь перед началом функционирования сети, и все обучение сети сводится именно к этому расчету без обучающих итераций;

3. при предъявлении входного вектора, сеть "сходиться" к одному из запомненных в сети эталонов, представляющих множество равновесных точек, которые являются локальными минимумами функции энергии, содержащей в себе всю структуру взаимосвязей в сети.

Сеть Хемминга (Классификатор по минимуму расстояния Хемминга) - нейронная сеть ассоциативной памяти, принцип работы которой основан на вычислении расстояния Хемминга от входного вектора до всех векторов-образцов, известных сети. Сеть выбирает образец с наименьшим расстоянием Хемминга до входного вектора и выход, соответствующий этому образцу активизируется. Если сеть Хопфилда может восстанавливать зашумленные образы, то сеть Хемминга лишь указывает на соответствие входного образа одному из известных ей классов, а сам образ в ходе работы сети теряется.

В случае если необходимо определить номер эталона, ближайший к предъявленному входному вектору, может быть использована сеть Хэмминга. Преимущество этой сети по сравнению с сетью Хопфилда являются меньшие затраты на память и объем вычислений.

Сеть Кохонена (SOM) состоит из одного слоя настраиваемых весов и функционирует в духе стратегии, согласно которой победитель забирает все, т.е. только один нейрон возбуждается, остальные выходы слоя подавляются. Сеть Кохонена осуществляет классификацию входных векторов в группы схожих, подстраивая веса таким образом, что входные образы, принадлежащие одному классу, будут активировать один и тот же выходной нейрон. Одно из важнейших свойств обучающей сети Кохонена - способность к обобщению. Вектор каждого из нейронов сети заменяет группу соответствующих ему классифицируемых векторов.

Сеть Элмана - один из видов рекуррентной сети, которая получается из многослойного перцептрона, введением обратных связей, только связи идут не от выхода сети, а от выходов внутренних нейронов. Это позволяет учесть предысторию наблюдаемых процессов и накопить информацию для выработки правильной стратегии управления. Эти сети могут применяться в системах управления движущимися объектами, так как их главной особенностью является запоминание последовательностей.

Сети адаптивного резонанса (ART сети)-- разновидность искусственных нейронных сетей основанная на теории адаптивного резонанса Стивена Гроссберга и Гейла Карпентера. Основная идея заключается в том, что распознавание образов является результатом нисходящих ожиданий и восходящей сенсорной информации. Причем нисходяще ожидания принимают форму припоминаемых прототипов или образцов, которые затем сравниваются с реально наблюдаемыми свойствами объекта. Это сравнение лежит в основании меры категориальной принадлежности. Когда разница между ожиданием и наблюдаемым не превышает определенный порог («бдительность») наблюдаемый объект считается принадлежащим к определенной категории. Таким образом, система предлагает решение проблемы пластичности/стабильности, то есть проблемы приобретения нового знания без нарушения уже существующего.

Машина Больцмана -- вид стохастической рекуррентной нейронной сети, изобретенной Джеффри Хинтоном и Терри Сейновски в 1985 году. Машина Больцмана может рассматриваться как стохастический генеративный вариант сети Хопфилда.

Эта сеть использует для обучения алгоритм имитации отжига и оказалась первой нейронной сетью, способной обучаться внутренним представлениям, решать сложные комбинаторные задачи. Несмотря на это, из-за ряда проблем, машины Больцмана с неограниченной связностью не могут использоваться для решения практических проблем. Если же связность ограничена, то обучение может быть достаточно эффективным для использования на практике.

Нейронная сеть с временной задержкой (TDNN) представляет собой искусственную нейронную сетевую архитектуру, основной целью которой является классификация паттернов в инвариантном режиме, то есть без явного предварительного определения начальной и конечной точки шаблона. Первоначально TDNN предлагалось классифицировать фонемы в речевых сигналах для автоматического распознавания речи, где автоматическое определение точных сегментов или границ признаков затруднено или невозможно. TDNN распознает фонемы и их основные акустические/фонетические особенности, независимо от сдвигов во времени.

Входной сигнал дополняется запаздывающими копиями в качестве других входов, нейронная сеть является инвариантом сдвига во времени, поскольку она не имеет внутреннего состояния.



6. ОБЛАСТИ ПРАКТИЧЕСКОГО ПРИМЕНЕНИЯ ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЕЙ

В каждой предметной области при ближайшем рассмотрении можно найти постановки задач для нейронных сетей. Вот список отдельных областей, где решение такого рода задач имеет практическое значение уже сейчас.

Экономика и бизнес: прогнозирование временных рядов (курсов валют, цен на сырьё, спроса, объемов продаж,..), автоматический трейдинг (торговля на валютной, фондовой или товарной бирже), оценка рисков невозврата кредитов, предсказание банкротств, оценка стоимости недвижимости, выявление переоцененных и недооцененных компаний, рейтингование, оптимизация товарных и денежных потоков, считывание и распознавание чеков и документов, безопасность транзакций по пластиковым картам.

Медицина и здравоохранение: постановка диагноза больному (диагностика заболеваний), обработка медицинских изображений, очистка показаний приборов от шумов, мониторинг состояния пациента, прогнозирование результатов применения разных методов лечения, анализ эффективности проведённого лечения.

Авионика: обучаемые автопилоты, распознавание сигналов радаров, адаптивное пилотирование сильно поврежденного самолета, беспилотные летательные аппараты.

Связь: сжатие видеоинформации, быстрое кодирование-декодирование, оптимизация сотовых сетей и схем маршрутизации пакетов.

Интернет: ассоциативный поиск информации, электронные секретари и автономные агенты в интернете, фильтрация и блокировка спама, автоматическая рубрикация сообщений из новостных лент, адресные реклама и маркетинг для электронной торговли, распознавание полностью автоматизированного публичного теста Тьюринга для различения компьютеров и людей (CAPTCHA).

Автоматизация производства: оптимизация режимов производственного процесса, контроль качества продукции, мониторинг и визуализация многомерной диспетчерской информации, предупреждение аварийных ситуаций.

Робототехника: распознавание сцены, объектов и препятствий перед роботом, прокладка маршрута движения, управление манипуляторами, поддержание равновесия.

Политологические и социологические технологии: предсказание результатов выборов, анализ опросов, предсказание динамики рейтингов, выявление значимых факторов, кластеризация электората, исследование и визуализация социальной динамики населения.

Безопасность, охранные системы: распознавание лиц; идентификация личности по отпечаткам пальцев, голосу, подписи или лицу; распознавание автомобильных номеров, мониторинг информационных потоков в компьютерной сети и обнаружение вторжений, обнаружение подделок, анализ данных с видео датчиков и разнообразных сенсоров, анализ аэрокосмических снимков.

Ввод и обработка информации: распознавание рукописных текстов, отсканированных почтовых, платежных, финансовых и бухгалтерских документов, распознавание речевых команд, речевой ввод текста в компьютер.

Геологоразведка: анализ сейсмических данных, ассоциативные методики поиска полезных ископаемых, оценка ресурсов месторождений.

Компьютерные и настольные игры: создание нейроигроков в шашки и шахматы (подтверждённые игрой с людьми рейтинги - на уровне мастеров и международных мастеров), выигрыш у чемпионов Европы и мира. В среднем лучшее, чем у человека, прохождение почти полусотни старых классических игр с Атари (Понг, Пакман, и т.п.).



ВЫВОД

Искусственные нейронные сети -- это мощный, но при этом нетривиальный прикладной инструмент. Они являются важным расширением понятия вычисления. Нейронные сети обещают создание автоматов, выполняющих функции, бывшие ранее исключительной прерогативой человека. Машины могут выполнять рутинные, монотонные и опасные задания, и с развитием технологии возникнут совершенно новые приложения.

Теория искусственных нейронных сетей развивается стремительно, но в настоящее время она недостаточна, чтобы быть опорой для наиболее оптимистических проектов. В ретроспективе видно, что теория развивалась быстрее, чем предсказывали пессимисты, но медленнее, чем надеялись оптимисты. Сегодняшний взрыв интереса привлек к нейронным сетям тысячи исследователей. Резонно ожидать быстрого роста понимания искусственных нейронных сетей, ведущего к более совершенным сетевым парадигмам и множеству прикладных возможностей.



СПИСОК ЛИТЕРАТУРЫ

1. Борисов Е. С. Основные модели и методы теории искусственных нейронных сетей. Научная публикация от 19 октября 2005 г.

2. Фролов А.А., Муравьев И.П. Информационные характеристики нейронных сетей. М.: Наука, 2005, 160 с.

3. Фон Нейман Дж. Теория самовоспроизводящихся автоматов. М.: Мир, 2001, 382 с.

4. Минский М., Пейперт С. Перцептроны./ Минский М. Мир, 2001. 234 с.

5. Короткий С., Нейронные сети: Основные положения. СПб, 2002. 357 с.

6. В. В. Круглов, В. В. Борисов Искусственные нейронные сети. Теория и практика.

7. NeuroPro [Электронный ресурс] : нейронные сети, методы анализа данных: от исследований до разработок и внедрений. 2017. URL: http://neuropro.ru/neu7.shtml (дата обращения: 20.12.2017).

8. WikiPedia [Электронный ресурс] : свободная энциклопедия. 2017. URL: https://ru.wikipedia.org (дата обращения: 20.12.2017).

Размещено на Allbest.ru

...