Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Разработка программы распознавания модуляции радиосигнала в сложной помеховой обстановке

Аннотация

В данной работе рассматривалась возможность использования нейронных сетей для создания программы, которая определяет тип модуляции сигнала в сложной помеховой обстановке. На первом этапе создавались выборки сигналов с различными уровнями шума. На втором этапе нейронные сети с различными функциями активации обучались на данных выборках. На третьем этапе наиболее эффективные конфигурации обучались на сигналах с шумом. Используя полученные конфигурации, была написана программа.

Введение

В настоящее время нейронные сети становятся все более популярными для решения различных типов задач. Нейронные сети стали использовать и для работы с сигналами. Нас интересует возможность определения типа модуляции сигнала с помощью нейронной сети. Мы постоянно сталкиваемся с сигналами в повседневной жизни: радио, сотовая связь, телевидение, интернет, спутниковая связь. Большинство сигналов при передачи подвергаются модулированию - процессу изменения параметров несущего сигнала с использованием модулирующего сигнала.

Предварительные исследования показывают, что нейронные сети являются одним из немногих подходов к повышению эффективности работы с сигналами. По этой причине исследования в этой области выходят на первый план. Возможность использования нейронных сетей для распознавания типа модуляции сигнала рассматривалась в различных работах. В одном случае использовалась сверточная нейронная сеть с различным количеством слоев и перцептроном на постобработке 1.. Данная статья показывает возможность представления сигналов в виде изображений. Сверточные нейронные сети имеют большой недостаток: у них большое количество параметров для обучения. Требуются большие мощности для обучения таких сетей. В другой работе использовался подход one-class one-network (OCON) 2.. Для каждого типа модуляции создавалась своя нейронная сеть. Если нужно добавить новый тип, то не нужно переобучать уже имеющиеся сети. Есть также и варианты включения демодулятора в структуру нейронной сети 3.. Однако во всех этих случаях процент точности распознавания был меньше 90%. Также данные исследования не рассматривают случаи с высоким числом позиционности и не рассматривается работа при высоком уровне шума. На этих моментах и заострено внимание в этой работе.

1.Принципы передачи информации с помощью сигналов

Допустим нам надо передать некоторую информацию с помощью сигнала. Первым шагом будет представление информационного потока в виде последовательностей бит. Чтобы передать данную последовательность в виде сигнала, нужно взять некоторое колебание и подвергнуть его модуляции - изменению одного или нескольких параметров несущего колебания в зависимости от передаваемой информации 4.. Сигнал можно представить в суммы синфазной (I) и квадратурной (Q) частей:

Где и представляют собой уровни амплитуды, а - несущая частота. Виды модуляции различают по типу изменения несущего колебания. Можно изменять амплитуду (амплитудная модуляция), фазу (фазовая модуляция) и частоту (частотная модуляция). Возможно изменение сразу нескольких параметров. К примеру, амплитудно-фазовая модуляция изменяет как амплитуду, так и фазу несущего сигнала. Остается вопрос - как закодировать битовый поток в виде уровней IQ амплитуд. Для этого нужно воспользоваться сигнальным созвездием - представлением всевозможных амплитуд на IQ плоскости и соответствующей битовой кодировкой для каждой точки. Для кодировки используется код Грея 5.. Его отличительная особенность состоит в том, что соседние значения различны только в одном бите, что дает низкий уровень ошибок при большом шуме 6..

Пример сигнального созвездия с кодами Грея для 16-позиционной квадратурной амплитудной модуляции.



Получив уровни амплитуды, мы можем модулировать сигнал для дальнейшей передачи. Получив после передачи сигнал перед нами встает вопрос - как заново получить битовый поток. Для этого сигнал нужно подвергнуть демодуляции - процессу обратному модуляции. Рассмотрим еще раз представление сигнала:

В случаях с фазовыми и амплитудно-фазовыми видами модуляции нам известен сам сигнал и его несущие составляющие. Наша задача найти и . Умножим поочередно сигнал на косинус и синус и используем тригонометрические преобразования:

Мы видим, что полученные сигналы представляют собой уровни амплитуды, на которые наложено дополнительное колебание. Используя фильтр низких частот, мы можем убрать эти колебание и получить нужные нам уровни амплитуды 7.. Для того чтобы воспользоваться сигнальными созвездиями и кодами Грея для декодирования сигнала нам нужно знать тип модуляции. Именно этой части и посвящена данная работа.

2.Обзор видов модуляции

PSK

Фазовая модуляция (Phase-shift keying, PSK) представляет собой вид модуляции, при котором меняется фаза сигнала 8.. Фазовая модуляция используется в беспроводных сетях. К примеру, в сетях Wi-Fi 9..

Сигнальное созвездие PSK сигналов представляет собой концентрическую окружность, на которой с равными промежутками расположены сигнальные точки. Сигнал M-позиционной фазовой модуляции можно представить в виде:

Где: - уровень амплитуды (он постоянен), - несущая частота, - число позиционности, .

BPSK

Двоичная фазовая модуляция представляет собой наиболее простой тип модуляции среди фазовых и амплитудно-фазовых видов. При двоичной фазовой модуляции фаза модулируемого сигнала смещается на или радиан. Тогда для двоичного нуля получаем:



А для двоичной единицы получаем:

Таким образом для двоичной фазовой модуляции формула сигнала вырождается до:

Данный тип модуляции наиболее помехоустойчивый среди всех фазовых и амплитудно-фазовых типов модуляций, но при этом имеющий наименьшую скорость передачи данных. Также это единственный тип модуляции, в котором у всех сигнальных точек квадратурная часть сигнала равна нулю.

Сигнальное созвездие:

QPSK

Квадратурная фазовая модуляция позволяет передавать два бита на символ и соответственно имеет вдове большую скорость передачи данных. Также распространена версия QPSK сигнальное созвездие которого повернуто на .

Сигнальное созвездие:



8-PSK

8-позиционная PSK является типом фазовой модуляции с самым высоким порядком который используется в реальной жизни. Фазовая модуляция более высокого порядка не используется по причине более низкой помехоустойчивости по сравнению с типами модуляции использующих как фазовое, так и амплитудное изменение сигнала.

Сигнальное созвездие:

16-PSK

Данный тип рассмотрен только для проверки возможности детектирования нейронной сетью.

Сигнальное созвездие:



APSK

Амплитудно-фазовая модуляция (Amplitude and phase-shift keying, APSK) представляет собой вид цифровой модуляции, при котором изменяется как амплитуда, так и фаза модулируемого сигнала. По сути, данный вид модуляции объединяет как амплитудную модуляцию, так и фазовую модуляцию. Амплитудно-фазовую модуляцию можно рассматривать как подтип квадратурной амплитудной модуляции, но в отличии от последнего требует меньшее количество уровней амплитуды при одинаковом числе позиционности. Данный вид модуляции распространен в цифровом спутниковом телевещании. Цифровое спутниковое телевещание описывается стандартом DVB-S2. В этом же стандарте описаны типы амплитудно-фазовой модуляции с числом позиционности 16 и 32. Вышедший в 2014 году стандарт DVB-S2X добавил типы амплитудно-фазовой модуляции с числами позиционности 64, 128, 256 10.. Сигнальное созвездие APSK сигналов представляет собой комбинацию концентрических окружностей разного радиуса. Сигнал M-позиционной амплитудно-фазовой модуляции можно представить в виде:

Где: - уровни амплитуды, - несущая частота, - число сигнальных точек на окружности с радиусом , .

16-APSK

Стандарт DVB-S2X описывает два основных варианта реализации 16-позиционного типа APSK. В обоих случаях сигнальное созвездие состоит из двух концентрических окружностей. Разница в распределении сигнальных точек по этим окружностям: конфигурации 4+12 и 8+8. В данной работе был использован вариант с конфигурацией 8+8. Радиус первой окружности - 1. Радиус второй окружности - 3.

Сигнальное созвездие:

32-APSK

Для 32-позиционной APSK стандарт DVB-S2X так же описывает два варианта реализации. В первом случае используются три концентрические окружности с конфигурацией 4+12+16. Во втором случае используются четыре концентрические окружности с конфигурацией 4+8+4+16. В данной работе был выбран вариант с конфигурацией 4+12+16. Радиус первой окружности - 1. Радиус второй окружности - 3. Радиус третей окружности - 5.

Сигнальное созвездие:



64-APSK

Для 64-позиционной APSK стандарт DVB-S2X предлагает три основных варианта реализации. Во всех трех случаях используются четыре концентрические окружности с конфигурациями 8+16+20+20, 16+16+16+16 и 4+12+20+28 соответственно. В данной работе был выбран вариант с конфигурацией 16+16+16+16 и радиусами 3, 5, 7, 9 соответственно.

Сигнальное созвездие:

128-APSK

Для 128-позиционной APSK стандарт DVB-S2X описывает только один вариант реализации с конфигурацией 16+16+16+16+16+48. Этот вариант и используется в работе. Радиусы 3, 5, 7, 9, 11, 13.

Сигнальное созвездие:



256-APSK

Для 256-позиционного APSK стандарт DVB-S2X так же описывает один вариант реализации с конфигурацией 32+32+32+32+32+32+32+32. Этот вариант и используется в работе. Радиусы 5, 7, 9, 11, 13, 15, 17, 19.

Сигнальное созвездие:

QAM

Квадратурная амплитудная модуляция (Quadrature amplitude modulation, QAM) представляет собой разновидность амплитудной модуляции, при которой две несущие модулируются по амплитуде со сдвигом по фазе на радиан и затем складываются 11.. В результате разности фаз в несущие сигналы находятся в квадратуре - отсюда и название. Один сигнал называется синфазным - I. Второй сигнал называется квадратурным - Q. Результирующий сигнал, состоящий из комбинации I и Q, содержит изменения как амплитуды, так и фазы. По этой причине квадратурную амплитудную модуляцию можно рассмотреть, как смесь амплитудной и фазовой модуляции. Результирующий сигнал можно представить в виде:

Где: и - синфазная и квадратурная составляющие, представляющие собой уровни амплитуды, - несущая частота.

Квадратурная амплитудная модуляция используется во многих сферах связанными с цифровой передачей данных. QAM существует в двух видах - аналоговом и цифровом.

Аналоговая версия QAM используется в телевизионных системах PAL и NTSC. Так же QAM может использоваться для стерео-радио. Для стерео необходимо два канала. Каждый канал модулируется своей несущей.

Цифровые форматы QAM все чаще используются для передачи данных в системах радиосвязи начиная от сотовой связи и заканчивая LTE, 5g и Wi-Fi. В этих областях использование QAM будет только возрастать.

Квадратурная амплитудная модуляция пользуется популярности по двум основным причинам.

Во-первых, если сравнивать QAM и амплитудную модуляцию, то для равенства по пропускной способности, амплитудной модуляции требуется в два раза большая полоса частот, что в наше время при сильной загруженности большинства диапазонов частот, является очень расточительным.

Во-вторых, QAM позволяет выдавать более высокую скорость передачи данных по сравнению с схемами использующие амплитудную и фазовую модуляции.

Сигнальное созвездие квадратурной амплитудной модуляции представляет собой сетку квадратного типа с равным расстоянием между сигнальными точками. Полный квадрат будет получаться с числом позиционности вида . В остальных случаях будет получаться квадрат со срезанными углами.

Используя форматы модуляции более высокого порядка с большим числом точек, можно передавать больше битов на символ. Недостатком же является меньшее расстояние между точками, следовательно большая восприимчивость к шуму. Поэтому использование QAM высоких порядков возможно только при высоком соотношении сигнал/шум.

8-QAM

Как правило, 16-QAM это формат QAM с наименьшим числом позиционности, который встречается в реальной жизни. Это связано с тем, что 2-QAM это тоже самое что двоичная фазовая модуляция (BPSK), а 4-QAM это тоже самое что квадратурная фазовая модуляция (QPSK). Формат 8-QAM встречается редко по той причине, что обладает практически такой же помехоустойчивостью что и 16-QAM, но при этом обладает меньшой скоростью передачи данных. Это следствие прямоугольной формы сигнального созвездия.

Сигнальное созвездие:



16-QAM

Сигнальное созвездие:

32-QAM

Сигнальное созвездие:

64-QAM

Сигнальное созвездие:

128-QAM

Сигнальное созвездие:

256-QAM

Сигнальное созвездие:



Нейросетевая постановка задачи

Требуется распознать тип модуляции сигнала зная его вид модуляции. Сигнал представлен в виде отсчетов синфазной и квадратурной частей. В данной работе было решено использовать 16 отсчетов для каждого сигнала. В итоге имеем входной вектор нейронной сети будет размерностью 32: . Соответственно входной слой нейронной сети 12. будет состоять из 32 нейронов. На выходе нейронная сеть должна выдавать вероятность принадлежности сигнала к одному из типов модуляции. Для задач классификации в качестве выходного слоя используют функцию Softmax. Softmax - это обобщение логистической функции для многомерного случая. 13. Функция преобразует вектор A размерности N в вектор B той же размерности. Каждый элемент вектора B лежит в интервале 0,1.. Сумма всех элементов вектора B равна единице. Элементы вектора B рассчитываются по формуле . В итоге размерность выходного вектора будет равна количеству классов которая должна определять нейронная сеть. К примеру, в случае с PSK размерность выходного вектора будет равна четырем. Вектор-учитель будет представлять из себя вектор, где значение элемента, которому соответствует тип модуляции сигнала, будет равно единице, а остальные элементы будут равны нулю. К примеру, если взять сигнал 8-PSK то его вектор-учитель будет вида: . Остается вопрос с количеством скрытых слоев и количеством нейронов в них. Было решено использовать конфигурацию с двумя скрытыми слоями по 32 нейрона в каждом. Для получения работающей нейронной сети осталось создать обучающие выборки, выбрать функции активации и обучить нейронную сеть.

Создание обучающих выборок

Для создания обучающей выборки потребовалось написать генератор отсчетов сигнала. Для генерирования сигнала с нужным типом модуляции на вход генератору подается множество, соответствующее сигнальному созвездию данного типа модуляции. Далее генератор случайных чисел выбирает пар (в данном случае ) синфазной и квадратурной частей сигнала. В случае если нужно добавить в сигнал шум, то ГСЧ генерирует число из заданного диапазона уровня шума и угол, на который итоговое отклонение будет повернуто относительно горизонтали. В итоге было создано 30 выборок с различными типами модуляций и различным уровнем шума.

№ выборки	Типы модуляции входящие в выборку	Уровень шума (в единицах амплитуды)	Количество сигналов в выборке
1	QPSK, 16-PSK	0	10000
2	QPSK, 16-PSK	{-0.1, 0.1}	10000
3	QPSK, 16-PSK	{-0.25, 0.25}	10000
4	QPSK, 16-PSK	{-0.5, 0.5}	10000
5	QPSK, 16-PSK	{-1, 1}	10000
6	BPSK, QPSK, 8-PSK, 16-PSK	0	10000
7	BPSK, QPSK, 8-PSK, 16-PSK	{-0.1, 0.1}	10000
8	BPSK, QPSK, 8-PSK, 16-PSK	{-0.25, 0.25}	10000
9	BPSK, QPSK, 8-PSK, 16-PSK	{-0.5, 0.5}	10000
10	BPSK, QPSK, 8-PSK, 16-PSK	{-1, 1}	10000
11	16-APSK, 64-APSK, 256-APSK	0	10000
12	16-APSK, 64-APSK, 256-APSK	{-0.1, 0.1}	10000
13	16-APSK, 64-APSK, 256-APSK	{-0.25, 0.25}	10000
14	16-APSK, 64-APSK, 256-APSK	{-0.5, 0.5}	10000
15	16-APSK, 64-APSK, 256-APSK	{-1, 1}	10000
16	16-APSK, 32-APSK, 64-APSK, 128-APSK, 256-APSK	0	10000
17	16-APSK, 32-APSK, 64-APSK, 128-APSK, 256-APSK	{-0.1, 0.1}	10000
18	16-APSK, 32-APSK, 64-APSK, 128-APSK, 256-APSK	{-0.25, 0.25}	10000
19	16-APSK, 32-APSK, 64-APSK, 128-APSK, 256-APSK	{-0.5, 0.5}	10000
20	16-APSK, 32-APSK, 64-APSK, 128-APSK, 256-APSK	{-1, 1}	10000
21	16-QAM, 64-QAM, 256-QAM	0	10000
22	16-QAM, 64-QAM, 256-QAM	{-0.1, 0.1}	10000
23	16-QAM, 64-QAM, 256-QAM	{-0.25, 0.25}	10000
24	16-QAM, 64-QAM, 256-QAM	{-0.5, 0.5}	10000
25	16-QAM, 64-QAM, 256-QAM	{-1, 1}	10000
26	8-QAM, 16-QAM, 32-QAM, 64-QAM, 128-QAM, 256-QAM	0	10000
27	8-QAM, 16-QAM, 32-QAM, 64-QAM, 128-QAM, 256-QAM	{-0.1, 0.1}	10000
28	8-QAM, 16-QAM, 32-QAM, 64-QAM, 128-QAM, 256-QAM	{-0.25, 0.25}	10000
29	8-QAM, 16-QAM, 32-QAM, 64-QAM, 128-QAM, 256-QAM	{-0.5, 0.5}	10000
30	8-QAM, 16-QAM, 32-QAM, 64-QAM, 128-QAM, 256-QAM	{-1, 1}	10000

Обзор функций активации

Одним из важнейших аспектов любой нейронной сети является функция активации, которая привносит в сеть нелинейность. Вектор входных данных умножается на матрицу весов. Затем полученный вектор суммируется. Полученное число подается на вход функции активации. Функция активации выдает выходной сигнал искусственного нейрона. В данной работе было рассмотрено восемь из наиболее часто встречающихся функций активации.

ReLU

“Выпрямитель” (Rectifier) является наиболее часто используемой функцией активации в моделях глубокого обучения. Функция возвращает 0, если она получает какие-либо отрицательные входные данные, но для любого положительного значения она возвращает это значение обратно. Нейроны с данной функцией активации называются ReLU (rectified linear unit) 14..

Соответственно формула данной функции выглядит так:

График данной функции:

Удивительно, что такая простая функция, которая состоит из двух линейных частей, может позволить модели так хорошо учитывать нелинейности и взаимодействия, но функция ReLU прекрасно работает в большинстве случаев и в результате очень широко используется.

Важным свойством любой функции активации является ее нелинейность. Функция является нелинейной, если наклон не постоянен. Таким образом, функция ReLU будет нелинейной около 0, но угловой коэффициент всегда равен 0 для отрицательных значений и 1 для положительных значений. Это довольно ограниченный тип нелинейности, но есть две особенности в строении нейронных сетей, которые позволяют нам создавать много разных типов нелинейностей из того, как мы комбинируем нейроны с данной функцией активации.

Во-первых, в большинстве случаев нейроны имеют смещение. Смещение -- это константа, которая определяется во время обучения модели. В качестве примера рассмотрим отдельный нейрон. Сумму входных данных умноженных на вектор весов назовем . Возьмем в качестве смещения некоторое число . Тогда выход нейрона будет . В таком случае, если меньше , то выход нейрона будет равен 0, а угловой коэффициент будет равен 0. Если больше , то выход нейрона будет равен , а угловой коэффициент будет равен 1. Таким образом благодаря смещению мы можем менять точку изменения углового коэффициента.

Во-вторых, нейронные сети состоят из множества нейронов. Каждый нейрон (даже в пределах одного слоя) может иметь различное значение для своего смещения. Таким образом каждый нейрон может изменять точку изменения углового коэффициента для одинакового входа.

В итоге, когда мы используем несколько нейронов и/или слоев, то мы получаем комбинированную функцию, которая изменяет угловой коэффициент во многих точках. По мере добавления большего количества нейронов в каждом слое, уровень нелинейности будет только расти.

ELU

Функция активации Exponential Linear Unit (ELU) является дальнейшем развитием ReLU. Исследования показывают, что использование этой функции позволяет, как правило, быстрее получить требуемый результат и дает более точный итоговый результат. В отличие от других функций активации, ELU имеет дополнительный фиксированный параметр , который должен быть положительным числом 15..

Формула данной функции:

График (при ):



ELU очень похож на ReLU, кроме отрицательных входов. Обе функции дают идентичный выход для неотрицательных входных данных. С другой стороны, ELU медленно сглаживается до тех пор, пока его выход не станет равным , тогда как ReLU резко сглаживается.

Таким образом, ELU является сильной альтернативой ReLU в качестве функции активации в нейронных сетях. В отличие от ReLU, ELU может давать отрицательные результаты.

SELU

Искусственные нейронные сети обучаются методом обратного распространения ошибки. Основная идея заключается в том, что сеть обновляет свои веса и смещения в направлении, указанном градиентами. Потенциальная проблема с обратным распространением состоит в том, что градиенты могут стать слишком маленькими. Когда ваша сеть страдает от исчезающих градиентов, веса не будут корректироваться, и обучение останавливается. Нейронные сети с большим количеством слоев при обучении перемножают множество градиентов. Если градиенты близки к нулю, то результат умножения стремится к нулю. Это, в свою очередь, подталкивает другие градиенты ближе к нулю и так далее.

Рассмотренная выше функция ReLU заменяет отрицательные значения на ноль и оставляет положительные значения без изменений. Градиент этой функции активации настолько прост, насколько это возможно. Это ноль для значений меньше нуля, и единица для положительных. По этой причине ReLU предотвращает исчезновение градиентов. Градиентов близких к нулю нет, следовательно проблемы с затуханием градиентов нет.

Тем не менее, существует потенциальная проблема с ReLU: нейрон с этой функцией активации может попасть в мертвое состояние. Может возникнуть ситуация, при которой изменение весов настолько велико, а результат на следующей итерации настолько мал, что функция активации застревает с левой стороны от нуля. Уязвимая ячейка больше не может способствовать изучению сети, и ее градиент остается нулевым. Если это происходит со многими нейронами в вашей сети, то мощность обученной сети остается ниже ее теоретических возможностей. Проблемы с исчезающими градиентами больше нет, но теперь есть проблема с умирающими ReLU.

Один из вариантов решения этой проблемы это нормализация выхода функции активации, но есть и другой подход - функция активации, которая выводит уже нормализованные значения.

Одна из таких функций это SELU?(scaled exponential linear units) 16..

Ее формула:

SELU -- это своего рода ELU, но с небольшим уклоном. В ней есть два фиксированных параметра и . Они не являются гиперпараметрами для принятия решений.

Если данные масштабированы, то для получения нулевого среднего значения и единичного среднего отклонения, значения параметров и должны составлять и соответственно.

График функции при данных значениях параметров и :



Softsign

Softsign это еще одна нелинейная функция 17..

Ее формула:

Ее график:

В качестве функции активации ее можно рассматривать как альтернативу гиперболическому тангенсу. Обе функции масштабируют выход в диапазоне .

Softplus

Для работы алгоритма обратного распространения ошибки нужно знать производную функции активации. По этой причине одно из важных свойств функции активации это ее дифференцируемость. Например, функции скачкообразного (ступенчатого) типа абсолютно бесполезны для обратного распространения ошибки, так как не имеют значимой производной. Поэтому функции активации сигмоидального и гиперболического типа пользуются большой популярностью. Одна из таких функций - softplus 18..

ЕЕ формула:

ЕЕ график:

Данная функция имеет интересную производную. Найдем ее:

При внимательном рассмотрении видно, что производная функции softplus это сигмоида. О ней мы поговорим ниже.

Hardtanh

Кусочно-заданная функция hardtanh - это функция активации на основе гиперболического тангенса 19..

Формула:



График:

Hardsigmoid

Еще одна кусочно-заданная функция активации это hardsigmoid. Она является обобщением сигмоидальной функции. Так как функция состоит из трех линейных частей то её гораздо проще и быстрее вычислить чем обычную сигмоиду.

Формула:

График:



Sigmoid

Сигмоидальная функция преобразует любое действительное число из диапазона в диапазон 20.. Посмотрим на её формулу:

И ее график:

Эта функция дифференцируема, найдем ее производную:

Здесь мы находим интересную особенность: производная сигмоидальной функции выражается через саму сигмоидальную функцию. Это позволяет производить более быстрые вычисления при работе алгоритма обратного распространения ошибки.

Сигмоидальная функция монотонна, но ее производная не монотонна.

Также сигмоидальная функция используется в логистической регрессии. С ее помощью решается задача классификации с двумя классами.

Обучение нейронных сетей

Обучение и выбор лучшей конфигурации нейронной сети для каждого из трех рассматриваемых видов модуляции происходило в два этапа.

На первом рассматривалась выборки с типами модуляции с четной степенью позиционности. В начале обучение происходило на выборке с не зашумленными сигналами. Для обучения выбиралось 2000 сигналов из выборки. Максимальное количество раундов обучения равнялось 32, а размер группы данных равнялся 16. Из 64 полученных нейронных сетей выбиралось 10 конфигураций с лучшей точностью распознавания. Затем выбранные конфигурации обучались на выборках с зашумленными сигналами.

На втором этапе рассматривались выборки как с четными, так и с нечетными степенями. Как и на первом этапе, в начале обучение происходило на не зашумленных сигналах с такими же параметрами обучения и выбиралось 10 лучший конфигураций. Для улучшения точности распознавания выбранные конфигурации обучались с другими параметрами обучения. Для обучения выбиралось 7000 сигналов из выборки. Максимальное количество раундов обучения равнялось 48, а размер группы данных равнялся 32. Затем вновь, как и на первом этапе, выбранные конфигурации обучались на выборках с зашумленными сигналами.

PSK, M=2^(2n)

Без шума

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ReLU	ReLU	0,899125
2	ReLU	ELU	0,94225
3	ReLU	SELU	0,93875
4	ReLU	SoftSign	0,926375
5	ReLU	SoftPlus	0,941125
6	ReLU	HardTanh	0,9275
7	ReLU	HardSigmoid	0,932625
8	ReLU	Sigmoid	0,9425
9	ELU	ReLU	0,955875
10	ELU	ELU	0,96125
11	ELU	SELU	0,9575
12	ELU	SoftSign	0,954875
13	ELU	SoftPlus	0,955
14	ELU	HardTanh	0,95425
15	ELU	HardSigmoid	0,954375
16	ELU	Sigmoid	0,9545
17	SELU	ReLU	0,927875
18	SELU	ELU	0,9365
19	SELU	SELU	0,92825
20	SELU	SoftSign	0,920625
21	SELU	SoftPlus	0,9355
22	SELU	HardTanh	0,914625
23	SELU	HardSigmoid	0,943875
24	SELU	Sigmoid	0,943625
25	SoftSign	ReLU	0,747375
26	SoftSign	ELU	0,7265
27	SoftSign	SELU	0,706375
28	SoftSign	SoftSign	0,71725
29	SoftSign	SoftPlus	0,74875
30	SoftSign	HardTanh	0,71125
31	SoftSign	HardSigmoid	0,74
32	SoftSign	Sigmoid	0,73
33	SoftPlus	ReLU	0,835125
34	SoftPlus	ELU	0,906625
35	SoftPlus	SELU	0,895
36	SoftPlus	SoftSign	0,9085
37	SoftPlus	SoftPlus	0,925375
38	SoftPlus	HardTanh	0,905
39	SoftPlus	HardSigmoid	0,90325
40	SoftPlus	Sigmoid	0,910125
41	HardTanh	ReLU	0,74475
42	HardTanh	ELU	0,724625
43	HardTanh	SELU	0,722125
44	HardTanh	SoftSign	0,70775
45	HardTanh	SoftPlus	0,762
46	HardTanh	HardTanh	0,7075
47	HardTanh	HardSigmoid	0,742625
48	HardTanh	Sigmoid	0,7295
49	HardSigmoid	ReLU	0,782125
50	HardSigmoid	ELU	0,8015
51	HardSigmoid	SELU	0,800375
52	HardSigmoid	SoftSign	0,795375
53	HardSigmoid	SoftPlus	0,805875
54	HardSigmoid	HardTanh	0,798375
55	HardSigmoid	HardSigmoid	0,804
56	HardSigmoid	Sigmoid	0,799625
57	Sigmoid	ReLU	0,73925
58	Sigmoid	ELU	0,804375
59	Sigmoid	SELU	0,79575
60	Sigmoid	SoftSign	0,802875
61	Sigmoid	SoftPlus	0,794125
62	Sigmoid	HardTanh	0,790875
63	Sigmoid	HardSigmoid	0,79
64	Sigmoid	Sigmoid	0,773875

Десять лучших конфигураций

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ELU	ELU	0,96125
2	ELU	SELU	0,9575
3	ELU	ReLU	0,955875
4	ELU	SoftPlus	0,955
5	ELU	SoftSign	0,954875
6	ELU	Sigmoid	0,9545
7	ELU	HardSigmoid	0,954375
8	ELU	HardTanh	0,95425
9	SELU	HardSigmoid	0,943875
10	SELU	Sigmoid	0,943625

С шумом {-0.1, 0.1}

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ELU	ELU	0,925125
2	ELU	SELU	0,942625
3	ELU	ReLU	0,90575
4	ELU	SoftPlus	0,936625
5	ELU	SoftSign	0,93875
6	ELU	Sigmoid	0,9465
7	ELU	HardSigmoid	0,937875
8	ELU	HardTanh	0,938875
9	SELU	HardSigmoid	0,916625
10	SELU	Sigmoid	0,925

С шумом {-0.25, 0.25}

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ELU	ELU	0,929125
2	ELU	SELU	0,944875
3	ELU	ReLU	0,92125
4	ELU	SoftPlus	0,93725
5	ELU	SoftSign	0,951125
6	ELU	Sigmoid	0,95175
7	ELU	HardSigmoid	0,9495
8	ELU	HardTanh	0,94625
9	SELU	HardSigmoid	0,907375
10	SELU	Sigmoid	0,919125

С шумом {-0.5, 0.5}

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ELU	ELU	0,934375
2	ELU	SELU	0,936125
3	ELU	ReLU	0,919875
4	ELU	SoftPlus	0,936125
5	ELU	SoftSign	0,940375
6	ELU	Sigmoid	0,945375
7	ELU	HardSigmoid	0,9395
8	ELU	HardTanh	0,93975
9	SELU	HardSigmoid	0,91275
10	SELU	Sigmoid	0,92075

С шумом {-1, 1}

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ELU	ELU	0,884375
2	ELU	SELU	0,88725
3	ELU	ReLU	0,86225
4	ELU	SoftPlus	0,885
5	ELU	SoftSign	0,89975
6	ELU	Sigmoid	0,904375
7	ELU	HardSigmoid	0,898
8	ELU	HardTanh	0,896625
9	SELU	HardSigmoid	0,876625
10	SELU	Sigmoid	0,885875

Итог

Падение точности распознавания заметно только при максимальном уровне шума. Лучший результат при максимальном уровне шума показывает конфигурация ELU/Sigmoid с 90% точности распознавания.

PSK, M=2^n

Без шума

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ReLU	ReLU	0,618125
2	ReLU	ELU	0,69225
3	ReLU	SELU	0,713875
4	ReLU	SoftSign	0,69625
5	ReLU	SoftPlus	0,738375
6	ReLU	HardTanh	0,692375
7	ReLU	HardSigmoid	0,71025
8	ReLU	Sigmoid	0,71425
9	ELU	ReLU	0,751625
10	ELU	ELU	0,79775
11	ELU	SELU	0,794875
12	ELU	SoftSign	0,7845
13	ELU	SoftPlus	0,789875
14	ELU	HardTanh	0,7765
15	ELU	HardSigmoid	0,8
16	ELU	Sigmoid	0,787
17	SELU	ReLU	0,712375
18	SELU	ELU	0,748
19	SELU	SELU	0,726625
20	SELU	SoftSign	0,737
21	SELU	SoftPlus	0,74925
22	SELU	HardTanh	0,707375
23	SELU	HardSigmoid	0,759875
24	SELU	Sigmoid	0,766375
25	SoftSign	ReLU	0,5765
26	SoftSign	ELU	0,57
27	SoftSign	SELU	0,575125
28	SoftSign	SoftSign	0,563
29	SoftSign	SoftPlus	0,5785
30	SoftSign	HardTanh	0,57425
31	SoftSign	HardSigmoid	0,58
32	SoftSign	Sigmoid	0,55875
33	SoftPlus	ReLU	0,632125
34	SoftPlus	ELU	0,68575
35	SoftPlus	SELU	0,7
36	SoftPlus	SoftSign	0,6935
37	SoftPlus	SoftPlus	0,702625
38	SoftPlus	HardTanh	0,6535
39	SoftPlus	HardSigmoid	0,670125
40	SoftPlus	Sigmoid	0,685875
41	HardTanh	ReLU	0,557625
42	HardTanh	ELU	0,56525
43	HardTanh	SELU	0,56575
44	HardTanh	SoftSign	0,554375
45	HardTanh	SoftPlus	0,574875
46	HardTanh	HardTanh	0,54225
47	HardTanh	HardSigmoid	0,56175
48	HardTanh	Sigmoid	0,565125
49	HardSigmoid	ReLU	0,5725
50	HardSigmoid	ELU	0,632375
51	HardSigmoid	SELU	0,629375
52	HardSigmoid	SoftSign	0,622375
53	HardSigmoid	SoftPlus	0,63275
54	HardSigmoid	HardTanh	0,620125
55	HardSigmoid	HardSigmoid	0,622625
56	HardSigmoid	Sigmoid	0,6205
57	Sigmoid	ReLU	0,55775
58	Sigmoid	ELU	0,616375
59	Sigmoid	SELU	0,633375
60	Sigmoid	SoftSign	0,605
61	Sigmoid	SoftPlus	0,617875
62	Sigmoid	HardTanh	0,60075
63	Sigmoid	HardSigmoid	0,578875
64	Sigmoid	Sigmoid	0,568625

Десять лучших конфигураций

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ELU	HardSigmoid	0,8
2	ELU	ELU	0,79775
3	ELU	SELU	0,794875
4	ELU	SoftPlus	0,789875
5	ELU	Sigmoid	0,787
6	ELU	SoftSign	0,7845
7	ELU	HardTanh	0,7765
8	SELU	Sigmoid	0,766375
9	SELU	HardSigmoid	0,759875
10	ELU	ReLU	0,751625

Обучение с другими параметрами

№	Первая функция активации	Вторая функция активации	Точность распознавания
1	ELU	HardSigmoid	0,947333
2	ELU	ELU	0,964
3	ELU	SELU	0,958333
4	ELU	SoftPlus	0,948333
5	ELU	Sigmoid	0,949
6	ELU<...

Подобные документы

• Анализ преобразования сигналов и разработка структурной схемы системы передачи информации

  Анализ структурной схемы системы передачи информации. Помехоустойчивое кодирование сигнала импульсно-кодовой модуляции. Характеристики сигнала цифровой модуляции. Восстановление формы непрерывного сигнала посредством цифро-аналогового преобразования.
  
  курсовая работа [2,6 M], добавлен 14.11.2017
  

• Распознавание образов с помощью нейронных сетей в MatLab

  Определение и виды искусственных нейронных сетей. Функция активации. Биологический нейрон. Персептрон как инструмент для классификации образов. Классификация объектов с помощью нейронной сети. Нормализация входных сигналов. Алгоритм работы в MatlabR2009b.
  
  курсовая работа [349,7 K], добавлен 17.03.2016
  

• Принципы модуляции при передаче аналоговых сигналов. Амплитудная, частотная и фазовая модуляции. Их характеристики

  Дискретные способы модуляции, основанные на дискретизации непрерывных процессов как по амплитуде, так и по времени. Преимущество цифровых методов записи, воспроизведения и передачи аналоговой информации. Амплитудная модуляция с одной боковой полосой.
  
  реферат [1,7 M], добавлен 06.03.2016
  

• Амплитудная, частотная модуляции

  Основные принципы работы составных элементов системы связи. Основные задачи оптимизации систем передачи информации. Основные схемы модуляции. Сокращение избыточности источника и помехоустойчивое кодирование. Образование импульсно-амплитудной модуляции.
  
  курсовая работа [427,5 K], добавлен 10.12.2012
  

• Амплитудная модуляция

  Использование модуляции для определения требуемых свойств каналов, сокращения избыточности модулированных сигналов, расчета потенциальной помехоустойчивости и электромагнитной совместимости различных систем передачи информации. Виды амплитудной модуляции.
  
  контрольная работа [767,1 K], добавлен 31.03.2013
  

• Метод частотной модуляции радиотехнического сигнала

  Радиотехнический сигнал: понятие и принципы реализации, классификация и разновидности, сферы практического применения. Представление сигнала и спектр. Виды модуляции радиотехнического сигнала и его основные параметры, анализ. Частотные модуляторы.
  
  контрольная работа [710,3 K], добавлен 15.05.2012
  

• Разработка и исследование системы распознавания мультимедийных приложений на базе нейронных сетей

  Рассмотрение принципов организации Deep Packet Inspection в телекоммуникации. Проведение исследований нейронных сетей. Выбор оптимальной модели для решения задач классификации мультимедийного трафика. Изучение вопросов безопасности жизнедеятельности.
  
  дипломная работа [1,0 M], добавлен 22.06.2015
  

• Разработка функциональных узлов цифровой системы передачи

  Виды модуляции в цифровых системах передачи. Сравнение схем модуляции. Обоснование основных требований к системе связи. Влияние неидеальности параметров системы на характеристики ЦСП. Разработка функциональной схемы цифрового синтезатора частот.
  
  курсовая работа [3,3 M], добавлен 11.03.2012
  

• Расчёт характеристик сигналов и каналов связи

  Анализ основных положений теории сигналов, оптимального приема и модуляции сигналов. Обзор способов повышения верности передаваемой информации. Расчёт интервала дискретизации сигнала и разрядности кода. Согласование источника информации с каналом связи.
  
  курсовая работа [217,1 K], добавлен 07.02.2013
  

• Разработка квазиоптимальной, по критерию минимума, вероятности ошибки системы связи

  Зависимость помехоустойчивости от вида модуляции. Схема цифрового канала передачи непрерывных сообщений. Сигналы и их спектры при амплитудной модуляции. Предельные возможности систем передачи информации. Структурная схема связи и её энергетический баланс.
  
  контрольная работа [1,2 M], добавлен 12.02.2013
  

• Разработка системы передачи данных и управляющих сигналов между подводным аппаратом и судном-носителем

  Обзор методов кодирования информации и построения системы ее передачи. Основные принципы кодово-импульсной модуляции. Временная дискретизация сигналов, амплитудное квантование. Возможные методы построения приемного устройства. Расчет структурной схемы.
  
  дипломная работа [823,7 K], добавлен 22.09.2011
  

• Телекоммуникационные системы и технические способы защиты

  Принципы построения систем передачи информации. Характеристики сигналов и каналов связи. Методы и способы реализации амплитудной модуляции. Структура телефонных и телекоммуникационных сетей. Особенности телеграфных, мобильных и цифровых систем связи.
  
  курсовая работа [6,4 M], добавлен 29.06.2010
  

• Демодулятор сигналов КАМ-4

  Разработка функциональной схемы модулятора. Анализ способа передачи. Представление сигнала цифровой модуляции. Обзор устройств и разработка функциональной схемы демодулятора. Описание модулятора и демодулятора. Особенности формирования сигнала КАМ-4.
  
  курсовая работа [401,0 K], добавлен 19.11.2012
  

• Классификация римских цифр на основе нейронных сетей

  Понятие и применение нейронных сетей, особенности классификации искусственных нейронных сетей по Терехову. Решение задачи классификации римских цифр на основе нейронной сети. Составление блок-схемы алгоритма обучения нейронной сети и анализ ее качества.
  
  дипломная работа [603,9 K], добавлен 14.10.2010
  

• Разработка каналообразующего устройства передачи дискретной информации

  Расчёт количества позиций модуляции; использование формулы Крампа для определения вероятности битовой ошибки для фазовой модуляции. Основные методы построения структурной схемы самосинхронизирующегося скремблера, кодера и каналообразующего устройства.
  
  практическая работа [150,1 K], добавлен 13.11.2012
  

• Разработка возбудителя для осуществления канального кодирования и модуляции сигнала по стандарту DVB-T

  Основные параметры и тактико-технические характеристики цифрового телевизионного передатчика. Организация интерактивной системы в наземном цифровом телевещании. Разработка возбудителя для канального кодирования и модуляции сигнала по стандарту DVB-T.
  
  дипломная работа [5,7 M], добавлен 06.06.2014
  

• Характеристики сигналов в каналах связи

  Общие сведения о модуляции. Расчёт автокорреляционной функции кодового сигнала и его энергетического спектра. Принципы преобразования сигналов в цифровую форму. Согласование источника информации с каналом связи. Расчёт спектральных характеристик сигналов.
  
  курсовая работа [2,0 M], добавлен 07.02.2013
  

• Основы построения систем и сетей передачи данных

  Модели структур многополюсных информационных сетей. Параметры и характеристики дискетного канала. Помехоустойчивость приема единичных элементов при различных видах модуляции. Краевые искажения в дискретных каналах. Методы синтеза кодеров и декодеров.
  
  курсовая работа [2,2 M], добавлен 05.01.2013
  

• Частотная модуляция

  Специфика сигналов с частотной модуляцией. Спектры сигналов различных индексов модуляции. Факторы передачи сигналов с паразитной амплитудной модуляцией. Особенности приемников частотно-модулированного сигнала. Классификация ограничителей, их действие.
  
  презентация [306,0 K], добавлен 12.12.2011
  

• Определение основных характеристик цифровой системы передачи сообщений методом импульсной кодовой модуляции

  Разработка структурной схемы системы связи, предназначенной для передачи данных для заданного вида модуляции. Расчет вероятности ошибки на выходе приемника. Пропускная способность двоичного канала связи. Помехоустойчивое и статистическое кодирование.
  
  курсовая работа [142,2 K], добавлен 26.11.2009
  

• главная
• рубрики
• по алфавиту
• вернуться в начало страницы
• вернуться к началу текста
• вернуться к подобным работам