Формализация модульного принципа обучения искусственных нейронных сетей (ИНС)
Число итераций, необходимых для обучения искусственных нейронных сетей. Распознавание образов интеллектуальной системой. Повышение качества и гибкости обучения структуры сети. Эффективность модульного принципа в плане уменьшения количества итераций.
| Рубрика | Программирование, компьютеры и кибернетика |
| Вид | статья |
| Язык | русский |
| Дата добавления | 15.07.2020 |
| Размер файла | 20,6 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http: //www. allbest. ru/
Тамбовский государственный университет им. Г.Р. Державина, Тамбов, Россия
Формализация модульного принципа обучения искусственных нейронных сетей (ИНС)
В.П. Рыков
Искусственные нейронные сети, в сущности, пытаются упрощенно имитировать работу мозга, однако, в нем, при поступлении какой-либо новой информации, не происходит переобучения всей системы нейронов и связей [1]. Изменениям подвергаются лишь отдельные части нейронной сети. В случае же ИНС, при поступлении новых данных, приходится осуществлять переобучение всей сети полностью, что, может привести к лишним временным затратам.
Модульный принцип подразумевает обучение искусственных нейронных сетей отдельными частями, что несколько приближает работу ИНС к работе реального объекта - мозга. Данное обстоятельство позволяет существенно повысить контроль за обучением, а также, в ряде случаев, значительно сэкономить время, необходимое для настройки нейронной сети.
Т.о., для уже упомянутой выше ситуации, когда, при добавлении новых данных, не требуется пересчета значений всех весовых коэффициентов, число итераций, необходимых для обучения, безусловно, будет ниже, чем число итераций, необходимое для переобучения всей структуры ИНС.
искусственный нейронный сеть итерация
(1)
где Pfull - число итераций, необходимое для переобучения всей сети; Ppart - число итераций, необходимое для переобучения части сети.
Аналогичная ситуация складывается при использовании конструктивного метода подбора структуры ИНС, когда, имея уже настроенные элементы сети, при добавлении к ним новых звеньев (нейронов и связей), обучению подвергаются лишь вновь добавленные модули.
Помня о том, что искусственная нейронная сеть обучается при помощи специальных алгоритмов, то данный эффект можно представить следующим образом:
(2)
где A - обозначение алгоритма обучения, необходимое для переобучения всей сети; nw(full) - число весовых коэффициентов всей нейронной сети; nw(part) - число весовых коэффициентов обучаемого модуля.
В частности, для метода полного сканирования:
(3)
где l - длина отрезка поиска весовых коэффициентов; h - шаг поиска.
Следует отметить значимый факт, связанный с практическим использованием модульного принципа обучения: модульный принцип может быть эффективным, как с точки зрения минимизации времени обучения, так и с точки зрения повышения качества и гибкости обучения структуры искусственной нейронной сети полностью.
Взглянем на модульный принцип с точки зрения минимизации времени обучения, т.е. - уменьшения количества итераций, необходимых для обучения сети. Число итераций, необходимое для обучения ИНС полностью, не будет равным числу итераций, необходимых при обучении с использованием модульного принципа. Пусть нейронная сеть состоит из M модулей, тогда получим:
(4)
где A - алгоритм обучения сети полностью; Apart - алгоритм обучения модуля (отдельное обозначение введено, так как каждый из модулей можно обучать различными алгоритмами).
В ряде случаев, используя модульный принцип, можно добиться того, что количество итераций, необходимое для обучения будет значительно ниже, чем количество итераций при использовании классического подхода, т.е. - при обучении сеть полностью:
(5)
Отметим, что для минимизации времени обучения ИНС, структуру сети необходимо корректно декомпозировать на модули [2], а также - корректно обучать каждый из модулей, используя, модель и методику модульного принципа [3]. Эффективность модульного принципа, в плане уменьшения количества итераций, была проверена на практике [4].
Говоря о гибкости обучения, то использование модульного принципа позволяет существенно повысить контроль за обучением. К данному обстоятельству относятся следующие возможности:
1. Возможность варьирования методов и параметров обучения для каждого из модулей ИНС;
2. Возможность использования нежестких модулей;
3. Возможность не переобучать всю ИНС, имея уже настроенные веса, при добавлении новых звеньев. Таким образом, конструктивный метод подбора структуры сети становится более удобным.
Итак, идея модульного принципа обучения искусственных нейронных сетей, на сегодняшний день, является актуальной и обладает весомой практической ценностью, в частности, существенно упрощает использование ИНС на практике и позволяет добиться более высокой эффективности по сравнению с классическим подходом
Литература
1. Арзамасцев А.А., Зенкова Н.А. Искусственный интеллект и распознавание образов: учеб. пособие. Тамбов, 2010.
2. Рыков В.П. О вариантах декомпозиции искусственных нейронных сетей для дальнейшего обучения с использованием модульного принципа // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 1421-1422.
3. Рыков В.П. Автоматизированная технология модульного принципа обучения и самоорганизации искусственных нейронных сетей // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 4. С. 1428-1430.
4. Рыков В.П. Тестирование модульного подхода к обучению искусственных нейронных сетей на примере аффинного шифрования // Вестник Тамбовского университета. Серия Естественные и технические науки. Тамбов, 2013. Т. 18. Вып. 1. С. 188-192.
Размещено на Allbest.ru
...Подобные документы
Искусственные нейронные сети как одна из широко известных и используемых моделей машинного обучения. Знакомство с особенностями разработки системы распознавания изображений на основе аппарата искусственных нейронных сетей. Анализ типов машинного обучения.
дипломная работа [1,8 M], добавлен 08.02.2017Понятие искусственного нейрона и искусственных нейронных сетей. Сущность процесса обучения нейронной сети и аппроксимации функции. Смысл алгоритма обучения с учителем. Построение и обучение нейронной сети для аппроксимации функции в среде Matlab.
лабораторная работа [1,1 M], добавлен 05.10.2010Рост активности в области теории и технической реализации искусственных нейронных сетей. Основные архитектуры нейронных сетей, их общие и функциональные свойства и наиболее распространенные алгоритмы обучения. Решение проблемы мертвых нейронов.
реферат [347,6 K], добавлен 17.12.2011Обзор и анализ распространенных искусственных нейронных сетей. Функциональное назначение слоев сети, алгоритмы обучения. Описание функциональных возможностей разработанной программной системы. Анализ исследовательской эксплуатации и возможных применений.
дипломная работа [1,3 M], добавлен 19.05.2011Понятие и свойства искусственных нейронных сетей, их функциональное сходство с человеческим мозгом, принцип их работы, области использования. Экспертная система и надежность нейронных сетей. Модель искусственного нейрона с активационной функцией.
реферат [158,2 K], добавлен 16.03.2011Особенности нейронных сетей как параллельных вычислительных структур, ассоциируемых с работой человеческого мозга. История искусственных нейронных сетей как универсального инструмента для решения широкого класса задач. Программное обеспечение их работы.
презентация [582,1 K], добавлен 25.06.2013Создание программного средства, осуществляющего распознавание зрительных образов на базе искусственных нейронных сетей. Методы, использующиеся для распознавания образов. Пандемониум Селфриджа. Персептрон Розенблатта. Правило формирования цепного кода.
дипломная работа [554,8 K], добавлен 06.04.2014Диагностический анализ изучения алгоритмов обучения нейронных сетей "с учителем". Сбор входных и выходных переменных для наблюдений и понятие пре/пост процессирования. Подготовка и обобщение многослойного персептрона, модель обратного распространения.
курсовая работа [249,3 K], добавлен 22.06.2011Общие сведения о принципах построения нейронных сетей. Искусственные нейронные системы. Математическая модель нейрона. Классификация нейронных сетей. Правила обучения Хэбба, Розенблатта и Видроу-Хоффа. Алгоритм обратного распространения ошибки.
дипломная работа [814,6 K], добавлен 29.09.2014Изучение архитектуры искусственных нейронных сетей, способов их графического изображения в виде функциональных и структурных схем и программного представления в виде объектов специального класса network. Неокогнитрон и инвариантное распознавание образов.
курсовая работа [602,6 K], добавлен 12.05.2015Принципы и система распознавание образов. Программное средство и пользовательский интерфейс. Теория нейронных сетей. Тривиальный алгоритм распознавания. Нейронные сети высокого порядка. Подготовка и нормализация данных. Самоорганизующиеся сети Кохонена.
курсовая работа [2,6 M], добавлен 29.04.2009История развития, применение искусственных нейронных сетей. Распознавание образов в сети. Сжатие данных и ассоциативная память. Проектирование экспертной системы, позволяющей диагностировать заболевания органов пищеварения. Программная реализация системы.
курсовая работа [744,0 K], добавлен 05.02.2016Первое систематическое изучение искусственных нейронных сетей. Описание элементарного перцептрона. Программная реализация модели распознавания графических образов на основе перцептрона. Интерфейс программы, основные окна. Составление алгоритма приложения.
реферат [100,5 K], добавлен 18.01.2014Сущность и функции искусственных нейронных сетей (ИНС), их классификация. Структурные элементы искусственного нейрона. Различия между ИНС и машинами с архитектурой фон Неймана. Построение и обучение данных сетей, области и перспективы их применения.
презентация [1,4 M], добавлен 14.10.2013Способы применения технологий нейронных сетей в системах обнаружения вторжений. Экспертные системы обнаружения сетевых атак. Искусственные сети, генетические алгоритмы. Преимущества и недостатки систем обнаружения вторжений на основе нейронных сетей.
контрольная работа [135,5 K], добавлен 30.11.2015Нейрокомпьютеры и их применение в современном обществе. Некоторые характеризующие нейрокомпьютеры свойства. Задачи, решаемые с помощью нейрокомпьютеров. Типы искусственных нейронов. Классификация искусственных нейронных сетей, их достоинства и недостатки.
курсовая работа [835,9 K], добавлен 17.06.2014Описание технологического процесса напуска бумаги. Конструкция бумагоделательной машины. Обоснование применения нейронных сетей в управлении формованием бумажного полотна. Математическая модель нейрона. Моделирование двух структур нейронных сетей.
курсовая работа [1,5 M], добавлен 15.10.2012Анализ применения нейронных сетей для прогнозирования ситуации и принятия решений на фондовом рынке с помощью программного пакета моделирования нейронных сетей Trajan 3.0. Преобразование первичных данных, таблиц. Эргономическая оценка программы.
дипломная работа [3,8 M], добавлен 27.06.2011Возможности программ моделирования нейронных сетей. Виды нейросетей: персептроны, сети Кохонена, сети радиальных базисных функций. Генетический алгоритм, его применение для оптимизации нейросетей. Система моделирования нейронных сетей Trajan 2.0.
дипломная работа [2,3 M], добавлен 13.10.2015Различные методы решения задачи классификации. Нейросетевые парадигмы, методы обучения нейронных сетей, возникающие при этом проблемы и пути их решения. Описание программной реализации классификатора, его функциональные возможности и результаты обучения.
дипломная работа [1,0 M], добавлен 28.12.2015
