Применение алгоритма слепого разделения помех на основе минимизации взаимной информации в опорных каналах многоканального адаптивного компенсатора

Размещено на http://www.allbest.ru/

Институт радиоэлектроники и информационных технологий-РТФ УрФУ им. первого Президента РФ Б.Н. Ельцина

ПРИМЕНЕНИЕ АЛГОРИТМА СЛЕПОГО РАЗДЕЛЕНИЯ ПОМЕХ НА ОСНОВЕ МИНИМИЗАЦИИ ВЗАИМНОЙ ИНФОРМАЦИИ В ОПОРНЫХ КАНАЛАХ МНОГОКАНАЛЬНОГО АДАПТИВНОГО КОМПЕНСАТОРА

А.Е. Манохин

В [1,2] решалась задача повышения скорости сходимости адаптивного алгоритма наименьших квадратов (МНК) при многоканальной адаптивной компенсации помех с использованием предварительного слепого разделения помех в опорных каналах с помощью алгоритмов Жуттена-Эро и DUET.

Эти алгоритмы имеют следующие особенности: алгоритм Жуттена-Эро работоспособен при когерентности однотипных помех в опорном канале приема, алгоритм DUET -- если помехи, приходящие в опорный канал, имеют различные задержки, но претерпевают одинаковые линейные преобразования в канале распространения (т.е. сворачиваются с одной и той же импульсной характеристикой). Если помехи в каналах проходят различные пути распространения до прихода в точку приема, то указанные алгоритмы неработоспособны.

Постановка задачи

Необходимо найти тип нейронной сети и синтезировать «слепой» алгоритм, учитывающий при разделении импульсные характеристики каналов, по которым распространяются разделяемые помехи в опорном канале многоканального адаптивного компенсатора.

Рис. 1. Рекуррентная нейронная сеть с обратными связями в виде фильтров.

Представим коэффициенты смешивания фильтрами с коэффициентами передачи Hi(z) (рис. 1), которые моделируют канальные импульсные характеристики. Тогда в искусственной нейронной сети (ИНС) в цепях обратной связи коэффициенты необходимо заменить фильтрами с коэффициентами передачи Wi(z) (рис. 1).

В качестве критерия разделения в [3,4,5] предлагается использовать меру Кульбака-Лейблера. Эта мера показывает близость двух распределений. Если распределения полностью совпадают, то мера Кульбака-Лейблера принимает нулевое значение. Частным случаем этой меры является критерий минимума взаимной информации -- самым простой в реализации и обладающий хорошими свойствами сходимости [3].

Взаимная информация выходов нейронной сети может быть выражена:

где H(yi) -- энтропии оцениваемых после разделения сигналов с выходов yi;

H(y) -- взаимная энтропия процессов на выходах нейронной сети;

m -- число выходов нейронной сети (количество разделяемых процессов).

Внимательно анализируя (1) и учитывая суть слепого разделения сигналов, можно заметить, что при полном их разделении на соответствующих выходах нейронной сети будут присутствовать только процессы с искомыми распределениями, а взаимная информация по всем выходам будет равна нулю и соответственно сумма их энтропий будет минимальна, что эквивалентно минимизации функционала [5]:

,

где Иi(yi) -- функции плотности вероятности разделяемых процессов;

E -- оператор усреднения.

Запишем сигналы выходов рекуррентной нейронной сети (рис. 1) в векторно-матричной форме следующим образом:

где Wp -- p-ая разделяющая матрица W, имеющая нулевые диагональные элементы (wii=0) и зависящая от сдвига на p отсчетов суммируемых сигналов в цепи обратной связи ИНС; L -- число весовых коэффициентов фильтров в цепи обратной связи нейронной сети; ф -- время, измеряемое в отсчетах.

Дифференциал функционала (2):

,

где f(y) -- вектор-столбец производных от функций логарифмической плотности вероятности (функций активации).

Из выражения (3) найдем дифференциал вектора выходных сигналов по разделяющей матрице:

.

Упрощение выражения (5) связано с тем, что на малые изменения выходных сигналов влияют только малые изменения элементов матриц Wp.

Обычный градиентный поиск элементов разделяющих матриц приводит к следующему выражению:

,

где м(ф) -- коэффициент адаптации алгоритма, который также может зависеть от времени.

Градиент функционала (2) с учетом выражений (4) и (5) равен:

.

Усреднение заменим на скользящее среднее и получаем алгоритм градиентного поиска коэффициентов p-разделяющих матриц:

где -- матрица взаимной корреляции функции активации от выходных сигналов и выходных сигналов ИНС; м0 -- произвольно выбираемый коэффициент меньше единицы.

Расчет скорости сходимости без предварительного разделения помех Время сходимости без предварительного разделения помех (для смеси из двух процессов) определяется по постоянной времени обучающей кривой для многоканального адаптивного фильтра через отношение собственных значений корреляционной матрицы помех [2]:

где f1 и f2 -- значения первых отсчетов нормированных автокорреляционных функций разделяемых процессов; k -- СКО помех в каналах (k<1).

Необходимо отметить, что значение первого отчета нормированных автокорреляционных (по крайней мере, монотонно убывающих) функций процессов f1 и f2 влияют на их эффективную ширину полосы: чем оно меньше, тем шире полоса процесса.

На рис. 2 изображены зависимости скорости адаптации фильтров от соотношения помех на опорных входах компенсатора при разных значениях первых отсчетов нормированных автокорреляционных функций, которые показывают, что наихудший случай для сходимости -- два процесса с более узкой полосой, наилучший -- два процесса с более широкой полосой.

Рис. 2. Зависимости скорости адаптации фильтров от соотношения помех на опорных входах компенсатора при разных значениях автокорреляционных функций:

f1=0.995, f2=0.981 (сплошная), f1=0.981, f2=0.368 (точечная), f1=0.368, f2=0.36 (штриховая)

Компьютерное моделирование алгоритма слепого разделения помех на основе минимизации взаимной информации

Алгоритм (8) представлен в среде Mathcad на рис. 3 (N -- объем выборки, L -- размеры фильтров в цепях обратной связи ИНС). В качестве функции активации в [6] рекомендовано для процессов с отрицательным эксцессом использовать функцию f(y)=y3, для положительного эксцесса -- функцию f(y)=tanh(y).

Рис. 3. Программная реализация алгоритма (8)

Для разделения моделируется аддитивная смесь из двух процессов с параметрами, отображенными в таблице 1.

Таблица 1. Параметры помех, действующих в опорном канале

Соотношение мощностей помех в смеси qin=0.5 дБ. В качестве передаточных функций канала использовался КИХ-фильтр с 32 весовыми коэффициентами и с экспоненциальными импульсными характеристиками:

; .

Результаты компьютерного моделирования алгоритма (8) отображены на рисунках 4-6 и в таблице 2.

Рис. 4. Зависимость дисперсии выходных сигналов нейронной сети от времени (для смеси №1)

Рис. 5. Зависимость дисперсии выходных сигналов нейронной сети от времени (для смеси №2)

Рис. 6. Зависимость дисперсии выходных сигналов нейронной сети от времени (для смеси №3)

Таблица 2. Результаты моделирования алгоритма слепого разделения на основе минимизации взаимной информации

Анализ результатов разделения в таблице 2 показывает, что наилучшее разделение алгоритмом на основе минимизации взаимной информации выполняется для аддитивной смеси фазоманипулированных меандром сигналов. адаптивный многоканальный компенсатор квадрат

При этом, в ходе эксперимента установлено, что чем более узкополосными являются сигналы в смеси, тем быстрее сходимость алгоритма слепого разделения и тем эффективнее разделение сигналов.

В таблице 3 отображены результаты расчета выигрыша в скорости сходимости многоканального компенсатора при использовании предварительного разделения помех алгоритмом на основе минимизации взаимной информации. Выигрыш вычисляется по формуле:

где фlms -- время сходимости алгоритма наименьших квадратов без предварительного разделения помех в опорных каналах (определяется по рис. 2 или ф. 9, подставляя qin= 0.5 дБ);

фbss -- время сходимости алгоритма слепого разделения сигналов на основе минимизации взаимной информации (берется из таблицы 2);

фlms_bss -- время сходимости алгоритма наименьших квадратов c предварительным разделением помех в опорных каналах (определяется по рис. 2 или ф. 9, подставляя qout из таблицы 2).

Таблица 3. Расчет выигрыша в скорости адаптации фильтров трехканального адаптивного компенсатора при использовании предварительного разделения помех в опорных каналах

Таким образом, выигрыш в скорости сходимости приходится на смесь из двух фазоманипулированных сигналов и составляет почти 29 раз, что демонстрирует преимущество предварительного разделения. Если хотя бы один сигнал более широкополосный по сравнению с другим, то целесообразность применения предварительного разделения помех (при соотношении их мощностей в опорных каналах qin=0.5 дБ) отсутствует.

Покажем, в каком диапазоне значений должно находиться соотношение мощностей помех в опорных каналах qin, чтобы выигрыш от предварительного разделения широкополосных помех, по крайней мере, существовал, т.е. был больше единицы. Предположим, что отношение мощностей помех после разделения и скорость сходимости алгоритма разделения останутся на том же уровне, как и в предыдущих расчетах. Построим зависимости выигрыша G от отношения мощностей помех до их разделения qin (рис. 7), используя формулы (9) и (11). Анализируя рисунок 7 можно отметить, что выигрыш от предварительного разделения фазоманипулированного меандром и фазомодулированного белым гауссовым шумом сигналов получается при отношении их мощностей в опорных каналах до разделения менее 0.42 дБ, а фазомодулированных белым гауссовым шумом сигналов с разными несущими частотами -- менее 0.07 дБ.

Рис. 7. Зависимости выигрыша в скорости сходимости при использовании предварительного разделения помех
(смесь №2 -- красная линия; смесь №3 -- синяя линяя) в опорных каналах от отношения их мощностей до разделения

Выводы

1. Использование алгоритма слепого разделения на основе минимизации взаимной информации позволяет увеличить скорость сходимости алгоритма адаптации наименьших средних квадратов в многоканальном адаптивном компенсаторе не менее чем в 28 раз, что значительно превосходит модифицированный алгоритм Жуттена-Эро и алгоритм DUET (при том же соотношении мощностей помех в опорных каналах 0.5 дБ).

2. Установлено, что выигрыш в предварительном разделении помех тем больше, чем меньше ширина полосы помех, действующих в опорных каналах.

3. Дополнительное преимущество алгоритма слепого разделения на основе минимизации взаимной информации перед алгоритмами DUET и Жуттена-Еро состоит в том, что разделяются помехи, имеющие не только разные задержки и уровни, но и подвергнутые различным линейным преобразованиям в канале распространения.

Литература

1. Манохин А.Е. Многоканальный адаптивный компенсатор со слепым разделением помех в опорных каналах // Журнал радиоэлектроники. 2014.

2. Манохин А.Е. Многоканальная адаптивная компенсация узкополосных помех с их предварительным слепым разделением в опорных каналах // Журнал радиоэлектроники. 2015.

3. J.F. Cardoso, “Blind signal separation: statistical principles,” Proceeding of the IEEE, vol. 10, no. 9, pp.2009-2025, 1998.

4. Цифровая обработка сигналов и изображений в радиофизических приложениях. / Под ред. В.Ф. Кравченко. -- М. : ФИЗМАТЛИТ, 2007. -- 544 с.

5. A.Cichoki and S.Amari, Adaptive Blind Signal and Image Processing: Learning Algorithms and Applications, John Wiley & Sons, 2002.

6. S. Amari, S. Douglas, A. Cichocki, H. Yang, “Multichannel blind deconvolution and equalization using the natural gradient,” Proc. 1st IEEE Workshop Signal Processing Adv. Wireless Commun., Paris, France, pp. 101-104, Apr. 1997.

Аннотация

В работе решается задача предварительного разделения помех в опорных каналах адаптивного многоканального компенсатора на основе алгоритма минимизации взаимной информации. В результате этого, во-первых, увеличивается скорость сходимости адаптивного алгоритма наименьших квадратов, а во-вторых, разделяются помехи, имеющие не только разные задержки и уровни, но и подвергнутые различным линейным преобразованиям в канале распространения. При этом выигрыш в скорости сходимости при использовании алгоритма слепого разделения на основе минимизации взаимной информации составляет не менее 28 раз.

Ключевые слова: слепое разделение сигналов, многоканальный адаптивный компенсатор, алгоритм слепого разделения на основе минимизации взаимной информации, скорость сходимости.

In the work the problem of multichannel adaptive cancelling disturbances with their preliminary separation in reference channels is decided. A kind of the canceller is an application of blind separation algorithm by minimizing mutual information. As a result, first, convergence rate is increased, and second, disturbances separate even if to be exposed by different linear transformations in a channel. The gain of convergence rate equals not less than 28 times.

Key words: blind sources separation, multichannel adaptive canceller, algorithm by minimizing mutual information, convergence rate.

Размещено на Allbest.ru