Об эволюционном алгоритме формирования нейросетевой системы подавления

Размещено на http://www.allbest.ru/

Сибирский государственный аэрокосмический университет имени академика М.Ф. Решетнёва, Красноярск

Сибирский федеральный университет, Красноярск

Об эволюционном алгоритме формирования нейросетевой системы подавления

Л.В. Липинский (lipinskiyl@mail.ru)

И.С. Лыткин (lytkinis@yandex.ru)

М.Е. Семенкина (semenkina88@mail.ru)

Аннотация

нейросетевой шум информационный подавление

В работе предлагается использовать нейросетевые технологии для подавления шума в информационных сигналах. Нейронные сети автоматически формируются и настраиваются эволюционным алгоритмом. Показано, что эволюционный алгоритм позволяет получить надежные системы подавления шума.

Введение

В современном мире существует огромное количество источников и приемников информационных сигналов, таких как проводной, беспроводной Интернет, различные точки доступа, огромный спектр радиоволн, источники мобильной связи и т.д. Все эти источники подвержены различного рода шумам и помехам, которые связаны и с взаимным влиянием сигналов и с влиянием внешних факторов, обуславливающим рассогласование линии передачи, резонансные явления и т.п. [Скляр, 2004]

Теоретической основой фильтрации шумов является спектральный анализ, алгоритмической основой которого являются быстрые преобразования Фурье. Применение спектрального анализа и классических фильтров требует аккуратной настройки множества параметров, что делает очень трудным осуществление автоматизации проектирования систем шумоподавления. Все это приводит к необходимости поиска новых подходов. Одним из таких подходов могло бы стать использование интеллектуальных информационных технологий, интенсивно развиваемых последние два десятилетия [Рутковская и др., 2004].

На сегодняшний момент существует несколько методов подавления шумов: экранирование и заземление, фильтрация сигналов, подавление помех адаптивными фильтрами, метод вейвлет-анализа сигналов, и др.

Все они имеют определенные ограничения и некоторые недостатки (требование априорной информации о сигнале или шуме, сложная структура технологии, дорогостоящее оборудование, сложный математический аппарат, высокие требования к квалификации разработчиков, и т.п.).

Для смягчения этих ограничений и устранения недостатков необходимо создавать системы подавления шумов, которые:

1. Не требуют изменения внешней среды, а работают с сигналом, как он есть.

2. Не требуют априорной информации о сигнале или шуме.

3. Не требуют дорогостоящего оборудования.

4. Не требуют высокой квалификации разработчика.

5. Могут проектироваться в автоматизированном режиме.

Эволюционные методы (ЭМ) способны производить поиск, в том числе и в сложном пространстве, где решение представляет собой иерархическую структуру или комбинаторную схему. При этом не используются априорных сведений об оптимизируемой функции, что существенно расширяет область применения таких методов. Другим известным методом интеллектуального анализа данных являются нейросетевые модели. Нейронные сети (НС) способны обрабатывать большие объемы данных, устойчивы к зашумлению, адаптируются к изменениям условий задачи.

В данной работе предлагается использовать эволюционный алгоритм, автоматически формирующий нейросетевую систему подавления шума.

1. Эволюционный алгоритм автоматического формирования нейросетевой системы подавления шума

Создание и подготовка нейросетевых моделей к работе, как правило, состоит из двух основных этапов: выбор структуры НС (в т.ч. и настройка пороговых значений активационных функций) и настройка весовых значений связей нейронов. Причем, с поступлением новых данных или изменением других условий задачи нейросетевые модели могут адаптироваться путем подстройки коэффициентов.

При создании НС исследователи стремятся получить минимальную архитектуру. Свойство обобщения такой сети, как правило, выше, результат более предсказуемый, и меньше времени требуется на обработку сигналов. Для формирования таких нейронных сетей предлагается использовать эволюционный алгоритм, в котором структура нейронной сети настраивается генетическим алгоритмом (ГА), а весовые коэффициенты и пороговые значения функций активации - ГА с последующим локальным спуском [Семенкина и др., 2009].

1.1 Настройка структуры нейронной сети

Для формирования структуры НС генетическим программированием (ГП) необходимо определить терминальное и функциональное множество. В задаче формирования структуры НС за терминальное множество удобно выбирать нейроны или блоки нейронов, соединенных между собой определенным образом. Тогда в функциональное множество войдут операторы, объединяющие эти нейроны и их блоки в сети. Выбранный метод кодирования должен удовлетворять двум условиям: замкнутости и достаточности.

Условие замкнутости требует, чтобы при любой комбинации функциональных и терминальных элементов, получались допустимые решения. Для удовлетворения этих требований в функциональное множество можно включить два оператора: постановку терминальных элементов в слой и связывание терминальных элементов межслойными связями.

Условие достаточности требует, чтобы терминальных элементов и функциональных операторов было достаточно для решения поставленной задачи. Для удовлетворения этого условия в терминальное множество включают большое количество различных функций активации и их комбинаций.

1.2 Оптимизация весовых коэффициентов и пороговых значений функции активации

Для оптимизации весовых коэффициентов предлагается использовать ГА с последующим локальным спуском. Как показывают исследования, ГА уже на первых итерациях сосредотачивает индивидов в зонах локальных экстремумов. Локальный спуск удобнее производить алгоритмом сопряженных градиентов. Данный алгоритм сравним по эффективности с методами второго порядка, хотя использует производную первого порядка. Численное вычисление производной расширяет область применения данного метода оптимизации коэффициента и на нейронные сети с произвольной структурой.

2. Результаты исследования

Полное исследование всех типов постановок задач фильтрации шума в рамках данной работы представляется невозможным, поэтому исследования проводились при следующих ограничениях:

· Исследуемые сигналы являются периодическими гармоническими сигналами.

· Исследуемый шум является широкополосным постоянным шумом (белый шум).

· За основу реализуемой модели взят метод спектрального анализа сигнала.

После предварительного изучения существующих интеллектуальных информационных технологий было установлено, что наиболее подходящей для начальных исследований технологией являются искусственные нейронные сети, благодаря их способности самообучаться решению поставленной задачи и адаптироваться к изменяющимся внешним воздействиям.

Для предварительной адаптации нейросетевой технологии к задаче подавления шумов использовалась программная среда MATLAB® Neural Network Toolbox™.

Входные данные для обучения нейронной сети представляют собой спектр зашумленного гармонического периодического тестового сигнала. Тестовым сигналом является синусоида частотой 100Гц и амплитудой 1. Шум - широкополосный постоянный, средняя мощность шума равна 4.

Исходя из специфики решаемой задачи, для сравнительного анализа были выбраны 4 структуры нейронных сетей, доступных в Matlab: каскадная сеть прямого распространения; Элмановская сеть; сеть прямого распространения с обратным распространением ошибки; авторегрессионные динамически обучаемые нейронные сети.

Для каждой структуры изменялись:

количество скрытых слоев

количество нейронов на скрытом слое

функции обучения сети

функция активации всех нейронов

Результаты сравнения приведены в табл. 1.

На основе анализа были выбраны наиболее эффективные структуры, которые выделены жирным шрифтом в табл. 1. Лучшими по эффективности вариантами можно считать элмановскую сеть и сеть прямого распространения с обратным распространением ошибки. В то же время последняя имеет в два раза меньшее время обучения и более простую структуру, что существенно с точки зрения практической реализации. Поэтому можно полагать, что лучшим вариантом нейронной сети, решающей задачу подавления шума, в нашем случае нужно считать сеть прямого распространения с обратным распространением ошибки, обладающую следующими характеристиками: 1 скрытый слой, 5 нейронов на слое, функция активации - двуполярная сигмоида, среднее время обучения - 1 сек., ошибка обучения - 0,01, среднее отношение сигнал/шум - -9,2 dB до обучения и 16,3 dB после обучения, средняя дисперсия обработанного сигнала - 0,0179, количество ложных срабатываний - 55.

Табл. 1.

Для работы программной системы [Липинский и др., 2007], генерирующей нейронные сети произвольной структуры с помощью алгоритма ГП, были выбраны следующие установки:

· Время работы алгоритма - 4 поколения, по 20 индивидов.

· Вид селекции - турнирная, участвуют 3 индивида.

· Начальная глубина деревьев - 3. Создаются методом полного роста.

· Подстройка весов ГА - 100 индивидов на 10 поколений, турнирная селекция, 5 индивидов в турнире, двухточечное скрещивание, точность поиска 0,0001, интервал [-2, 2].

В результате экспериментов установлено, что при каждом прогоне удается получать эффективную НС, успешно решающую задачу подавления шума. Типичная получаемая структура представлена на рис. 1.

Рис. 1. Вид нейронной сети, автоматически сгенерированной алгоритмом ГП (F1(S) - пороговая активационная функция, F2(S) - однополярная сигмоида)

Характеристики сети: среднее отношение сигнал/шум - -9,2dB (до обработки), 19,8dB (после обработки), средняя дисперсия обработанного сигнала относительно эталонного - 0,0163, количество ложных срабатываний (отношение сигнал/шум меньше 10дБ) - 20.

Можно сделать вывод, что автоматически сгенерированная сеть является наиболее эффективной среди рассмотренных, поскольку имеет самую простую структуру и наилучшие результаты обработки сигнала.

Заключение

В данной работе предложен подход к решению задачи подавления шумов на основе ИНС, выполнено автоматическое генерирование структуры НС с помощью алгоритма ГП, проведен статистический анализ полученных результатов, и обоснована возможность практического применения нейросетевого метода подавления шумов в системах цифровой связи.

Список литературы

[Липинский и др., 2007] Липинский Л.В., Семенкин Е.С. Система эволюционного формирования нейросетевых моделей сложных систем // Компьютерные учебные программы и инновации, 2007, №7.

[Семенкина и др., 2009] Семенкина М.Е., Семенкин Е.С. Алгоритм генетического программирования с обобщенным оператором множественной рекомбинации // Компьютерные учебные программы и инновации, 2009, № 2.

[Скляр, 2004] Скляр Б. Цифровая связь. Теоретические основы и практическое применение. - M.: Диалектика, Вильямс, 2004.

[Рутковская и др., 2004] Рутковская Д., Пилиньский М., Рутковский Л. Нейронные сети, генетические алгоритмы и нечеткие системы: пер. с польск. - М.: Горячая линия - Телеком, 2004.

Размещено на Allbest.ru