Выбор начального приближения как средство ускорения итерационной процедуры обучения формального нейрона

Размещено на http://www.allbest.ru/

УДК 519.688

Байкальский государственный университет экономики и права

Выбор начального приближения как средство ускорения итерационной процедуры обучения формального нейрона

П.М. Климов

Ю.С. Шелкунова

В настоящее время интенсивно расширяется сфера использованию нейронных сетей при решении практических задач в различных областях человеческой деятельности. При решении задачи классификации, распознавания образов, сжатия-восстановления данных, прогнозирования, управления и принятия решений часто используют нейронные сети [1]. И если математическая модель формального нейрона достаточно широко исследована и описана [2, 3], то практическая реализация требует дополнительных исследований, поскольку вопросы, связанные с ускорением обучения, актуальны при решении практических задач. Действительно, решения той или иной практической задачи чаще всего необходимо получить в заранее ограниченный интервал времени, что требует снижения затрат на обучение нейрона или выявление наиболее значимых примеров для обучения.

В соответствии с [3] формальный нейрон представлен следующей математической моделью:

,

где - выходной сигнал;

- сигналы на входах;

- вес i-той связи;

- начальное возбуждение нейрона;

- функция активации нейрона.

1Климов Петр Михайлович, студент 3 курса ФЭМ БГУЭП

Klimov Peter, a third year student of the Faculty of Economics and Management of the Baikal National University of Economics and Law.

2Шелкунова Юлия Сергеевна, студентка 4 курса МФИ ВСГАО,

Shelkunova Julia, a fourth year student of the Faculty of Mathematics, Physics and Informatics of the East Siberian State Academy of Education.

В настоящее время используется широкий набор функций активации [3], среди которых пороговая функция (1) была предложена одной из первых:

,

где и некоторые постоянные, чаще всего это пары {-1, 1} или {0, 1}. Поскольку данная функция не имеет первой производной, то градиентные методы ускорения сходимости процедуры обучения при использовании данной функции неприемлемы. В связи с этим часто применяются либо гиперболический тангенс [3], либо логистическая (сигмоидальная) функция:

Вычисление данных функций по сравнению с расчетом пороговой функции требует больших вычислительных затрат. Поскольку предлагаемые методы ускорения сходимости процедуры обучения неприемлемы при использовании пороговой функции, то требуется более детальное рассмотрения процедуры обучения при использовании данной функции.

Процесс обучения нейрона приводит к настройке весов связей. При обучении с учителем на входы нейрона подается набор сигналов обучающей выборки и на основании расхождения получаемого и желаемого результата производится корректировка весов [2]. Правило, основанное на коррекции значений весов в зависимости от значения ошибки, называется правилом обучения на основе коррекции ошибок и в обобщенном виде его именуют дельта-правилом. В общем виде алгоритм обучения можно записать:

;

;

.

Данная процедура является итерационной и выполняется до тех пор, пока значение величины Delta не станет равным нулю для всего набора примеров. Естественно, число необходимых итераций зависит от начального приближения или начальных значений и . Действительно, если начальное приближение соответствует итерации k {, }, а конечное решение итерации m {,}, то для достижения этого решения, начиная с данного приближения, понадобится не m итераций а (m-k). Поскольку решение - это гиперплоскость, разделяющая два множества, то начальное приближение должно располагаться между этими множествами.

В соответствии с этим предположением можно модернизировать алгоритм обучения нейрона, смещая центр координат в центр поисковой области (осуществим перенос системы отсчета в центр поисковой области). Введя корректирующую величину , для входящих сигналов нейрона преобразуем математическую модель (2) нейрона к виду:

.

Обозначив сумму как , перепишем алгоритм обучения нейрона в виде:

;

;

.

После проведения обучения нейрона необходимо выполнить корректировку весового коэффициента W0, осуществляя перенос системы отчета в исходное состояние: формальный нейрон итерационный обучение

.

Проверка ускорения сходимости итерационной процедуры, используемой при обучении нейрона, была проведена на тестовых примерах. В таблице представлен один из вариантов тестового набора входных сигналов используемый для обучения нейрона.

Исходные данные для обучения нейрона

Геометрическое расположение исследуемых данных, представленных в таблице, проиллюстрировано на рис. 1. Точки, расположенные в правом верхнем углу, относятся к первому множеству (ожидаемый результат работы нейрона - не активен, на выходе не формируется сигнал). Ниже и правее располагаются точки из второго множества, при попадании в это множество нейрон должен перейти в активное (возбужденное) состояние и перевести выход в логическое состояние «1».

Рис. 1. Иллюстрация исходных данных для обучения нейрона

При проведении расчетов корректирующие коэффициенты изменялись синхронно и лежали в диапазоне [4, 0], для расчета центра области использовалось выражение:

;

.

Расстояние до центра исследуемой области находилось на основании расчета середины области (3) по формуле:

.

При обучении нейрона использовались начальные значения весовых коэффициентов, равные 0,5. Результаты исследования зависимости числа необходимых для обучения итераций от расстояния до центра исследуемой области для примера, данного в таблице, представлены на рис. 2.

Рис. 2. Зависимость количества итераций от расстояния до центра исследуемой области по выражению (4)

При проведении численных экспериментов по обучению нейрона на различных тестовых примерах было выявлено, что количество итераций, необходимых для обучения нейрона, существенно возрастает при удалении точек обучающей выборки от центра координат.

Проведенные исследования показали, что смещение точки отсчета в предполагаемую область расположения решения существенно увеличивает скорость обучения нейрона. Предложенное изменение классического алгоритма обучения нейрона позволяет ускорить процесс обучения нейрона без существенных затрат на поиск оптимальных итерационных коэффициентов.

Библиографический список

1. Калан Р. Основные концепции нейронных сетей; пер. с англ. М.: ИД «Вильямс», 2001. 288 с.

2. Комарцова Л. Г., Максимов А. В. Нейрокомпьютеры: учеб. пособие для вузов, 2-е изд., перераб. и доп. М.: Изд-во МГТУ им. Н.Э. Баумана, 2004. 400 с.

3. Хайкин С. Нейронные сети: полный курс, 2-е изд.; пер. с англ. М.: ИД «Вильямс», 2006. 1104 с.

Аннотация

Рассмотрен алгоритм, позволяющий существенно ускорить процесс обучения формального нейрона с использованием выбора начального приближения. Показано, что при смещении начального приближения в центр поисковой области скорость сходимости итерационного процесса обучения существенно возрастает.

Ключевые слова: нейрон, обучение, итерация.

Authors of the article consider the algorithm with a choice of initial approximation that allows the essential acceleration of the process of formal neuron training. It is shown that the displacement of initial approximation in the center of the region of search essentially increases the speed of convergence of iterative training process.

Keywords: neuron, training, iteration.

Размещено на Allbest.ru