Анализ алгоритмов обучения нейронных сетей

Размещено на http://www.allbest.ru/

Анализ алгоритмов обучения нейронных сетей

Манукян А.К., магистрант

2 курс, факультет "Информатика и вычислительная техника" Донской Государственный Технический Университет Россия, г. Ростов-на-Дону

Научный руководитель: Жуков Александр Игоревич, кандидат технических наук, доцент кафедры "Кибербезопасность информационных систем" Донской Государственный Технический Университет Россия, г. Ростов-на-Дону

Аннотации

В данной статье будет проведен анализ алгоритмов обучения нейронных сетей. Будут приведены последовательность действий при обучении этими алгоритмами, а также их достоинства и недостатки.

Ключевые слова: нейронная сеть, алгоритм обратного распространения ошибок, многослойная нейронная сеть.

Annotation: This article will analyze algorithms of neural networks training. The sequence of actions during training by these algorithms, and also their advantages and disadvantages will be given.

Keywords: Neural network, algorithm of reverse propagation of errors, multilayer neural network сеть нейронный алгоритм

В настоящее время информационные технологии развиваются невероятной скоростью. Основной тенденцией последнего десятилетия является разработка в области искусственного интеллекта. Данная сфера активно продвигается в современном обществе. Такие крупные IT компании как Google, Apple ведут свои разработки в части распознавания текста, голоса, образа.

Одна из технологий, позволяющих проводить обнаружение и распознавание образов, построена на нейронных сетях.

Актуальность темы нейронных сетей заключается в решении задач на оптимизацию процессов. Благодаря чему, система нейронной сети и процесс обучения позволяют найти оптимальное и эффективное решение.

Нейронная сеть - это система связанных и взаимодействующих друг с другом искусственных нейронов. Нейронная сеть сходна с мозгом с двух точек зрения:

1. знания поступают в нейронную сеть из окружающей среды и используются в процессе обучения;

2. для накопления знаний применяются связи между нейронами, называемые синаптическими весами.

Для накопления знаний и корректных вычислений, сеть должна пройти этап обучения. Существует два типа обучения:

1. обучение с учителем;

2. обучение без учителя.

Процесс обучения сети осуществляется по-разному в зависимости от поставленного алгоритма обучения.

В настоящее время используют несколько вариантов алгоритмов обучения нейронных сетей:

- сопряженных градиентов;

- обратное распространение;

- Квази-Ньютоновский;

- псевдо-обратный;

- обучение Кохонена;

- Левенберга-Маркара;

- векторный квантователь;

- метод К-ближайших соседям (ККЫ);

- установка явных отклонений.

В рамках статьи будут рассмотрены три алгоритма обучения: обратного распространения ошибки, обучение Кохонена и метод К-ближайших соседям (КЩ).

Обучение Кохонена, называют также сетями Кохонена, решают задачи обучения без учителя, когда задаются только сами объекты хг-, и требуется выделить обособленные "плотные сгустки" объектов - кластеры, и научиться относить новые объекты к этим кластерам.

При обучении Кохонена на вход подается входной вектор и вычисляются его скалярные произведения с векторами весов, связанными со всеми нейронами Кохонена. Нейрон с максимальным значением скалярного произведения объявляется "победителем" и его веса подстраиваются [1].

Алгоритм обучения сети Кохонена выглядит следующим образом, приведен на рисунке 1:

1. Подаются исходные данные на входы.

2. Нахождение выхода каждого нейрона

3. Определение нейрона-победителя, т.е. веса которого в меньшей степени отличаются от соответствующих компонентов входного вектора

4. Корректировка весов нейрона-победителя по правилу Кохонена

где х - входной вектор, к - номер цикла обучения, (к)- коэффициент скорости обучения і-го нейрона в к-ом цикле обучения

5. Перейти в пункт 1, если обучение не завершено

Рисунок 1 - Алгоритм обучения Кохонена

Достоинства алгоритма:

- устойчивость к зашумленным данным;

- быстрое обучение.

Недостатки алгоритма:

- эвристичность алгоритма обучения;

- предопределенность числа кластеров.

Алгоритм обратного распространения ошибки - градиентный алгоритм обучения многослойной нейронной сети, основанный на минимизации среднеквадратичной ошибки на выходах сети.

Обучение алгоритмом обратного распространения ошибки предполагает два прохода по всем слоям сети: прямого и обратного. При прямом проходе входной вектор подается на входной слой нейронной сети, после чего распространяется по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого, в результате чего формируется сигнал ошибки. Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей. Синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому [2].

Последовательность действий алгоритма обратного распространения ошибки выглядит следующим образом, изображена на рисунке 2:

1. инициализировать синаптические веса;

2. выбрать очередную обучающую пару из обучающего множества, подать входной вектор на вход сети;

3. вычислить выход сети;

4. вычислить разность между выходом сети и требуемым выходом;

5. подкорректировать веса сети так, чтобы минимизировать ошибку;

6. повторять шаги с 2 по 5 для каждого вектора обучающего множества до тех пор, пока ошибка на всем множестве не достигнет приемлемого уровня.

Рисунок 2 - Алгоритм обратного распространения ошибки

Достоинства:

- является самым применяемым в обучении НС;

- имеет простую реализацию.

Недостатки:

- длительный процесс обучения;

- возможность быстрой сходимости, т.е. попадание в локальный оптимум.

Метод ближайших соседей (kNN - k Nearest Neighbours) - метод решения задач классификации и задач регрессии, основанный на поиске ближайших объектов с известными значения целевой переменной [3]. Является одним из самых простых алгоритмов классификации, приведен на рисунке 3:

1. подается обучающая выборка

2. вычислить расстояние до каждого из объектов обучающей выборки

3. отобрать k объектов обучающей выборки, расстояние до которых минимально

4. расчет и возвращение наиболее часто встречающегося среди k ближайших соседей класса.

Рисунок 3 - Метод ближайших соседей

Достоинства алгоритма:

- простота реализации;

- параметр k можно оптимизировать по критерию скользящего контроля.

Недостатки алгоритма:

- высокая сложность одного прогноза;

- проклятие размерности.

Нейронные сети применяются в огромном количестве развивающихся автоматизированных технологиях. В данной статье были рассмотрены три алгоритма обучения нейронной сети. В результате обзора выделены достоинства и недостатки этих алгоритмов. Для дальнейшего анализа и реализации были выбраны обучение Кохонена и алгоритм обратного распространения ошибки

Список литературы

1. Зяенцев Я. Нейронные сети: основные модели. Учебное пособие. Воронежский государственный университет, 1999.

2. С. Хайкин. Нейронные сети: полный курс, 2е издание.: Пер. с англ. М. Издательский дом "Вильямс", 2006. 1104 с.: ил. Парал. тит. англ.

Bishop C. M. Neural Networks for Pattem Recognition. Oxford University Press Inc., 2003

Размещено на Allbest.ru