Анализ и обработка сигналов

Рис.8.3. Амплитудный модулятор шумоподобного сигнала: 1 - генератор ШС; 2 - управляемый ключ (первый АМ); 3 - второй АМ

Рис.8.4. Временные диаграммы, поясняющие работу амплитудного модулятора ШС

Генератор 1 выдает шумоподобную последовательность , определяемую периодическим двоичным кодовым словом. Для иллюстрации работы схемы (см. рис.8.4) это слово выбрано равным коду Баркера длиной 7 символов: 1010001. Длительность импульса шумоподобной последовательности ) равна . Она меньше длительности импульса информационной последовательности b(t) в раз. Положение управляемого ключа 2 определяется элементом информационного кодового слова: если этот элемент равен 1, то ключ замкнут, а если равен 0, то - разомкнут. Ширина спектра ШС определяется шириной импульса. Если форма этого импульса имеет прямоугольный вид, то ширина спектра ШС равна . Она в раз больше ширины спектра информационной двоичной кодовой последовательности.

Произведение длительности ШС на ширину спектра ШС называется базой сигнала. База ШС



(8.4)

где N - длина кодового слова шумоподобной последовательности. В рассматриваемом нами примере N = 7.

В некоторых случаях ШС непосредственно поступает в канал, а в других - преобразуется в

АМ радиосигнал при помощи 2-го АМ.

На рис.8.5, 8.6 приведены структурная схема фазового модулятора ШС и временные диаграммы, поясняющие его работу. В зависимости от символа передаваемого кодового слова 1 или 0 меняется знак ШС на выходе переключателя 2.

Рис.8.5. Фазовый модулятор шумоподобного сигнала:

1 - генератор ШС;

2 - управляемый переключатель (первый ФМ);

3 - второй ФМ

Так же, как и при АМ сигнал или поступает в канал непосредственно, или преобразуется с помощью модулятора 3 в ФМ радиосигнал. База ФМ ШС сигнала равна базе АМ ШС



Рис.8.6. Диаграммы, поясняющие работу фазового модулятора ФМ

На рис.8.7 приведена структурная схема модулятора ШС по форме для

Рис.8.7. Модулятор шумоподобного сигнала по форме: 1 - тактовый генератор; 2,3,4 - 1-й,2-й и - й генераторы ШС; 5 - источник дискретных сообщений; 6 - управляемый переключатель; 7 - фазовый модулятор

Поясним его работу на примере использования симплексного кода длиной в 7 символов. Код из N слов называется симплексным, если скалярное произведение любой пары слов этого кода равно N - четное и равно - N - нечетное.

В табл.8.2 приведены кодовые слова симплексного кода над алфавитом 1, -1 для N =7.Для этого кода скалярное про-

Импульсы с выхода тактового генератора определяют длительность единичного интервала ШС, а также и длительность единичного интервала двоичных кодовых комбинаций на выходе источника дискретных сообщений.

В модуляторе производится модуляция косинусоидальной несущей шумоподобными сигналами. В рассматриваемой схеме применена фазовая модуляция. Скорость передачи информации ШС с модуляцией по форме , если любому ШС соответствует равновероятное двоичное число блока источника сообщения. С ростом числа ШС скорость передачи увеличивается.

Рис.8.8. Спектры сигналов

Ширина спектра ШС на выходе управляемого переключателя определяется шириной спектра элементарного импульса. Для прямоугольноговидеоимпульса эта ширина равна где N - база ШС. С ростом базы ширина его спектра увеличивается. На рис.8.8 приведены спектральные плотности узкополосного сигнала (первая зависимость) и ШС (вторая и третья зависимости). Сигналы имеют одинаковые энергии, а их базы определяются неравенством . При приеме узкополосного сигнала 1 в полосе шумоподобные сигналы 2,3 создают помеху тем большей мощности, чем меньше их база. С увеличением этой базы интенсивность спектральных компонент ШС 3 в полосе уменьшается, так как его энергия остается постоянной , а спектральные компоненты ШС распределяются в большем диапазоне. При дальнейшем увеличении базы ШС его спектральные компоненты могут уменьшиться настолько, что их интенсивность будет намного меньше флуктуационного шума входных цепей приемника, осуществляющего прием сигнала 1. Помеха, создаваемая ШС, оказывается пренебрежимо малой. Этот пример показывает возможность совмещения в одном и том же частотном диапазоне как обычных систем, так и систем с ШС.

Детектирование шумоподобных сигналов

Рис.8.9. Когерентный детектор ШС с модуляцией по форме: 1,4,6 - перемножители; 2,5,7 - ФНЧ; 3 - преобразователь номера канала в двоичный код

Рис 8.10. Временные диаграммы, поясняющие детектирование АМ ШС

Цель детектирования та же, что и для простых сигналов - выделение модулирующего сигнала. Основным способом детектирования ШС является когерентный. Детектор АМ и ФМ шумоподобного сигнала вляется одноканальным. Детектор модулированного по форме ШС более сложный. Он является многоканальным (рис. 8.9). При детектировании принимаемый модулированный ШС умножается или на одну копию ШС переносчика при АМ и ФМ (рис.8.10) или на модуляции ШС по форме (рис. 8.11) .Далее результат фильтруется одним или несколькими фильтрами нижних частот (рис.8.9).

Напряжение на выходе ФНЧ в схеме рис.8.9 определяет символ 0 или 1 передаваемого информационного кодового слова. Напомним, что символ “0” передается при АМ ШС отсутствием, а символ “1” - наличием ШС (рис.8.10, a). Перемножение опорного ШС (рис.8.10, б) на нулевое значение принимаемого ШС (рис.8.10, в) дает символ “0”, а перемножение опорного ШС на неравные нулю значения принимаемого ШС и фильтрация результата дает символ “1”. В детекторе (рис.8.9) неравное нулю напряжение на выходе одного из ФНЧ (рис.8.11, г) однозначно связано с двоичным кодовым словом передаваемого информационного блока. В передатчике от этого слова зависит форма ШС.

Рис. 8.11. Временные диаграммы, поясняющие детектирование модулированных по форме ШС

Поясним сказанное на конкретном примере. Пусть слово 00 связано с формой ШС, показанной на рис.8. 11, а, слово 01 - формой ШС, показанной на рис.8.11, в. Остальным двум словам 10 и 11 в нашем примере будут соответствовать еще две формы ШС. Таким образом в рассматриваемом примере длина передаваемого кодового блока выбрана равной 2, а число форм ШС выбрано равным 4. Когерентный детектор распознает передаваемые формы. Пусть передается форма, соответствующая кодовому слову 00 (рис.8.11, а). На перемножители всех каналов детектора одновременно с принимаемым ШС подаются отличающиеся друг от друга опорные ШС, причем опорный сигнал на первом перемножителе совпадает по форме со входным ШС. В этом случае на выходе ФНЧ первого канала будет не нулевое напряжение (рис.8.11, г), а на выходах ФНЧ остальных каналов напряжения будут равны нулю.

При передаче ШС, соответствующих кодовому слову 01, на входе детектора будет присутствовать сигнал, совпадающий по форме с (рис. 8.11, в).Тогда не равное нулю напряжение будет на выходе второго ФНЧ, а на выходах остальных ФНЧ напряжения будут нулевые и т.д.

Преобразованием номера канала, на выходе которого наблюдается не равное нулю напряжение, в двоичный код, получают кодовое слово передаваемого информационного блока.

Когерентное детектирование шумоподобных радиосигналов принципиально не отличается от рассмотренного выше детектирования на видеочастоте, но его реализация становится более сложной.

При приеме как видео-, так и радиосигналов нужно подстраивать параметры опорных ШС под параметры принимаемого сигнала. Такими параметрами являются: тактовая частота, задержка опорных сигналов, несущая частота.

Устройство, с помощью которого обеспечивается совпадение тактовых частот принимаемого и опорного сигналов, называется устройством тактовой синхронизации.

Устройства, обеспечивающие совпадение опорных ШС во времени и по несущей частоте называются соответственно устройствами поиска и слежения по времени задержки ШС и по несущей частоте. Устройства тактовой синхронизации, поиска и слежения входят в состав блока формирования опорного сигнала.

20. Основные положения линейной теории сигналов

Система связи является многоканальной, если она обеспечивает передачу нескольких сообщений по одной общей линии связи. Многоканальная передача сообщений позволяет приблизить скорость передачи информации к пропускной способности линий связи (кабельных, волоконно-оптических, радио и т. д.), которая намного больше производительности источника сообщений. Очевидно, что суммарная производительность нескольких независимых источников должна быть меньше пропускной способности линии C, т.е.

где - производительность k-го источника; N- число источников.

Улучшается также и такой важный показатель, как стоимость W строительства и эксплуатации одного канало-километра линии связи:

где V- стоимость строительства и эксплуатации системы в целом; L- длина линии в км; N- число каналов в системе.

Стоимость строительства и эксплуатации , где - части стоимости, приходящиеся соответственно на линейные сооружения и аппаратуру. В последнее время стоимость аппаратуры возрастает. Если положить, что то и

Если в одноканальной системе стоимость аппаратуры , то

где стоимость одного канало-километра линии в одноканальной системе. В этом случае многоканальная система выигрывает по параметру в раз.

Структурная схема системы многоканальной передачи информации.

На рис. 9.1 приведена укрупненная структурная схема многоканальной системы связи. Первичные сигналы обычно имеющие одинаковые спектральные плотности, преобразуются в формирователе 1 в групповой сигнал:

где - канальные сигналы, однозначно связанные с первичными сигналами число первичных сигналов.

Ширина спектра группового сигнала по сравнению с шириной спектра первичных сигналов увеличивается не менее чем в N раз. Расширение ширины спектра нежелательно главным образом по двум причинам:

1) Из-за ограниченности частотного диапазона линии связи;

2) Из-за возрастания сложности аппаратуры, следовательно, и ее стоимости.

Однако расширение ширины спектра является неизбежной платой за возможность разделения канальных сигналов.

Передатчик служит для согласования группового сигнала с параметрами линии связи. С этой целью групповой сигнал преобразуется в линейный u_л(t).

В приемнике линейный сигнал u_л^*(t) преобразуется в групповой u^*(t). В селекторе канальных сигналов, который является многоканальным приемником, из группового сигнала выделяются канальные сигналы u_i^*(t), i=1,2,…,N. Эти сигналы затем преобразуются в первичные сигналы a_i^*(t), i=1,2,…,N. Если работу k-го канального приемника описать линейным оператором L_k, то сигнал на его выходе при отсутствии помех в линии связи

Для разделения сигналов нужно выполнить условия:

[(t)] = (9.2)

0,

Если записать сигнал k-го канала в виде

где - функция переносчика; - некоторый коэффициент, отображающий передаваемое сообщение, то выражение (9.2) можно записать также в виде:



[(t)] = (9.3)

0,

В частном случае откликом на сигнал может быть некоторое число однозначно связанное с При выполнении условий (9.2) идеальное k-е приемное устройство реагирует только на сигнал и не откликается на остальные, т.е. обладает свойством избирательности.

21. Фазовое разделение сигналов

Фазовое разделение сигналов строится с использованием различия сигналов по фазе.

Пусть информация в N каналах передается изменением амплитуды непрерывных косинусоидальных сигналов с одинаковой несущей частотой щ₀. Требуется разделить эти сигналы с использованием только различия в их начальных фазах.

Сигналы равны:

(9.4)

……………………………….

Как показывает анализ, различение сигналов возможно, если система содержит только два канала, по которым передаются косинусная и синусная составляющие :



а выделение первичных сигналов производится с использованием синхронного детектирования.

22. Разделение сигналов по форме

Кроме сигналов с неперекрывающимися спектрами и сигналов, неперекрывающихся по времени , существует класс сигналов, которые могут передаваться одновременно и иметь перекрывающиеся частотные спектры.

Разделение этих сигналов принято называть разделением по форме.

К числу таких сигналов относятся последовательности Уолша, Радемахера и разнообразные шумоподобные последовательности.

Последовательности Уолша и Радемахера строятся на базе кодового алфавита 1, -1, а любые пары этих последовательностей удовлетворяют условию

E_i , i = j,

0, i ? j,

где - сигналы i- го и j- го каналов системы с временным разделением, T- интервал времени, в котором располагаются канальные сигналы, причем T= где F_В - верхняя граничная частота спектра передаваемого сообщения .

Применение кодов Уолша и Радемахера связано с передачей по каналу специальных синхросигналов для поддержания определенных временных соотношений между принимаемыми и опорными кодовыми словами.

В случае использования шумоподобных последовательностей необходимости в передаче специальных синхросигналов нет, так как эту роль могут выполнять последовательности-переносчики информации.

Шумоподобные сигналы должны удовлетворять следующим условиям:

E, ф = 0,

0, -ф_и > ф > -T,

T > ф > ф_и , (9.5)

0, i ? j, (9.6)

для - длительность шумоподобного сигнала; E - энергия сигнала; ф_и - длительность единичного интервала шумоподобного сигнала.

При выполнении условий (9.5) обеспечивается работа системы синхронизации без передачи специального синхросигнала, так как автокорреляционная функция любого канального сигнала имеет ярко выраженный пик при ф = 0 и нулевые значения при сдвиге При выполнении условий (9.6) обеспечивается разделение канальных сигналов, так как взаимокорреляционная функция для любой пары сигналов равняется нулю.

К сожалению, скалярные произведения (9.5) для и (9.6) для реальных сигналов не равны нулю. Это приводит к снижению достоверности разделения сигналов.

Структурная схема многоканальной системы связи с разделением сигналов по форме приведена на рис.9.2.



Рис.9.2 Структурная схема многоканальной системы связи с разделением сигналов по форме: 1- генератор тактовых импульсов; 2- генератор шумоподобного сигнала; 3-АЦП; 4- перемножитель;; 5,6 - модуляторы; 7 - сумматор; 8 - передатчик; 9 - линия связи; 10 - приемник; 11 - согласованный фильтр; 12 - решающее устройство; 13 - ЦАП; 14,15 - демодуляторы

Передающая часть системы содержит N идентичных модуляторов, сумматор и передатчик. В модуляторах в качестве несущих колебаний используются шумоподобные сигналы, а в качестве модулирующих - сфазированные с этими сигналами двоичные кодовые последовательности с выхода АЦП. Период шумоподобных сигналов выбирается равным длительности единичного элемента кодового слова с выхода АЦП. В процессе модуляции символу «1» двоичного кодового слова (диаграмма а на рис.9.3) соответствует полный период шумоподобного сигнала (диаграмма б), а символу «0» - отсутствие этого сигнала. Если F_с - верхняя граничная частота спектра первичного сигнала, а L - число уровней квантования, то ширина спектра сигнала на выходе перемножителя (см. схему на рис. 9.2)

(9.7)



Где - длина (период) шумоподобной последовательности.

Как видно из формулы (9.7) ширина спектра каждого канального сигнала в раз больше ширины спектра ИКМ сигнала.

Рис.9.3. Временные диаграммы, поясняющие работу схемы, приведенной на рис.9.2

Отметим, что каждый канальный сигнал имеет свою форму, а временные процессы, протекающие в каналах, могут быть независимы. Групповой сигнал на выходе сумматора , равный сумме канальных сигналов, представляет собой случайный процесс, среднее значение и дисперсия которого зависит от загрузки отдельных каналов.

Приемная часть системы содержит приемник и N идентичных канальных приемников (демодуляторов). В структуру каждого демодулятора входит сргласованный фильтр, решающее устройство и ЦАП.

Каждый из согласованных фильтров откликается только на тот сигнал, с которым он согласован. Например, согласованный фильтр 11 первого канала откликается на сигнал, который формируется в первом модуляторе (рис.9.3, б). Отклик фильтра показан на рис.9.3, в . Сигналы других каналов и их отклики на рис 9.3 для простоты не показаны. В решающем устройстве отклик согласованного фильтра 11 огибающая радиосигнала сравнивается с заданным пороговым уровнем U_пор. Если происходит пересечение порога, то формируется оценка, передаваемого символа, равная 1, а если пересечения не происходит, то формируется оценка,равная нулевому символу.Кодовые слова с выхода решающего устройства 12 поступают на ЦАП 13 и преобразуются в сообщение a₁^*(t).

Демодуляция сигнала происходит в присутствии помехи, которая состоит из двух составляющих. Первая является известной по предыдущим

главам суммой внутренней и внешней флуктуационных помех, а вторая - специфичной для систем с шумоподобными сигналами помехой. Эта помеха является суммой шумоподобных сигналовдругих каналов и называется структурной или взаимной помехой. Структурная помеха обусловлена тем, что системы используемых реальных сигналов являются «почти» ортогональными, т.е. для них не выполняется условие (9.6). Ее уровень определяется значениями взаимнокорреляционных функций между опорным канальным шумоподобным сигналом и присутствующими шумоподобными сигналами других каналов. С целью обеспечения заданного качества передаваемой информации, должны предусматриваться меры по уменьшению уровня этой структурной помехи. Рассмотренные принципы разделения сигналов по форме и построения многоканальной системы связи используется в многоканальных асинхронных адресных системах связи (ААСС). В ААСС (рис.9.4) каждому абоненту присваивается один из «почти ортоганальных» шумоподобных сигналов, который является адресом канала.

Рис.9.4. Структурная схема многоканальной асинхронной адресной смстемы связи: 1,4,7,10 - абоненты 1,i,k,N; 2,5,8,11 - приемопередатчики; 3,6,9,12 - генераторы адресного сигнала; 13 - линия связи

Пусть, например, абоненту 1 нужно связаться с абонентом «k». С этой целью набирается номер абонента «k» и таким образом вгенераторе адресного сигнала 1 устанавливается форма шумоподобного сигнала с номером «k». Если число абонентов равно , то и число набираемых форм также равно

Шумоподобный сигнал с номером «k» посылается в линию связи и таким образом действует на входах приемников всех остальных абонентов. На шумоподобный сигнал «k» настроена приемная аппаратура только абонента «k», поэтому связь устанавливается между абонентами 1 и «k». Приемники других абонентов на этот шумоподобный сигнал не откликаются. Ответная информация от абонента «k» передается с использованием шумоподобного сигнала с номером 1. Важной особенностью ААСС является отсутствие центральной коммутационной станции. Все абоненты имеют прямой доступ к друг другу, а если используется радиолиния, то частотная перестройка приемо-передатчиков для вхождения в связь не производится.

В заключение отметим, что в технической литературе имеется описание ААСС, в которых используется от 1000 до 1500 каналов с 50…100 активными абонентами.

Краткое описание CDMA

Примером внедрения технологии связи с шумоподобными сигналами является система с кодовым разделением каналов (CDMA - Code Division Multiple Access).

Замечательное свойство цифровой связи с шумоподобными сигналами- защищенность канала связи от перехвата, помех и подслушивания. Поэтому данная технология изначально разработана и использовалась для вооруженных сил США и лишь затем была передана для коммерческого использования.

Система CDMA фирмы Qualcom (стандарт IS-95) рассчитана на работу в диапазоне 800 МГц. Система CDMA построена по методу прямого расширения спектра частот на основе использования 64 видов последовательностей, сформированных по закону функций Уолша.

Каждому логическому каналу назначается свой код Уолша. Всего в одном физическом канале может быть 64 логических канала, так как последовательностей Уолша, которым в соответтвие ставятся логические каналы 64, каждая из которых имеет длину по 64 бита. При этом 9 каналов - служебные, а остальные 55 каналов используются для передачи данных.

При изменении знака бита информационного сообщения фаза используемой последовательности Уолша меняется на 180 градусов. Так как эти последовательности взаимно ортогональны, то взаимные помехи между каналами передачи одной базовой станции отсутствуют. Помехи по каналам передачи базовой станции создают лишь соседние базовые станции, которые работают в той же полосе частот и используют ту же самую ПСП, но с другим циклическим сдвигом.

В стандарте CDMA используется фазовая модуляция ФМ 4, ОФМ 4.

23. Информационные характеристики дискретных сообщений и сигналов

Чтобы сравнивать между собой различные источники сообщений и различные каналы связи необходимо ввести некоторую количественную меру, позволяющую оценивать содержащуюся в сообщении и переносимую сигналами информацию. Строгие методы количественного определения информации были предложены К. Шенноном в 1948г. и привели к построению теории информации, являющейся математической основой теории связи, информатики и ряда смежных отраслей науки и техники.

Рассмотрим вначале основные идеи этой теории применительно к дискретному источнику, выдающему последовательность сообщений. Пусть этот источник посылает сообщение a из некоторого ансамбля . Найдём определение количества информации, содержащейся в этом сообщении, исходя из следующих естественных требований:

1. Количество информации должно быть аддитивной величиной, то есть в двух независимых сообщениях оно должно равняться сумме количества информации в каждом из них.

2. Количество информации в сообщении о достоверном событии равно нулю.

3. Количество информации не должно зависеть от качественного содержания сообщения, в частности, от степени его важности для получателя, возможных последствий его передачи, эмоциональной окраски и т.д.

Итак, для определения количества информации в сообщении необходимо основываться только на таком параметре, который характеризует в самом общем виде сообщение a из ансамбля A . таким параметром, очевидно, является вероятность р(a) того, что источник посылает данное сообщение. Следовательно, количество информации i(a), содержащееся в сообщении a, должно быть функцией от т.е.

Дальнейшее уточнение искомого определения не составляет труда, если учесть первые два требования. Пусть a₁ и a₂ - два независимых сообщения. Вероятность того, что источник пошлёт оба эти сообщения (одно за другим), равна р(a₁ ,a₂)= р(a₁). р(a₂), а информация, содержащаяся в них, должна удовлетворять условию аддитивности, то есть i(a₁ ,a₂)= i(a₁)+ i(a₂). Следовательно, необходимо найти функцию от вероятности р, обладающую тем свойством, что при перемножении двух аргументов значения функции складываются. Единственная такая функция - это логарифмическая i(a)=klog р(a), где k-любая постоянная, а логарифм берётся по любому основанию. При таком определении количества информации выполняется и второе требование: при р(a)=1 i(a)=klog1=0. Чтобы количество информации измерять неотрицательным числом, будем всегда выбирать k= -1, поскольку log р(a) всегда отрицателен (если основание логарифма больше единицы). Поэтому :

(10.1)

Основание логарифма в (10.1) чаще выбирают равным 2. Полученная при этом единица информации, носит название двоичная единица, или бит. Она равна количеству информации в сообщении о событии, происходящем с вероятностью 0,5, то есть таком, которое с равной вероятностью может произойти или не произойти. Такая единица наиболее удобна вследствие широкого использования двоичных кодов в вычислительной технике и связи. В теоретических исследованиях иногда применяют натуральный логарифм, измеряя информацию в натуральных единицах. Натуральная единица в раза больше двоичной. Мы будем пользоваться в основном двоичными единицами, и в дальнейшем обозначение log будет означать двоичный логарифм.

Энтропия характеризует меру разнообразия сообщений источника.

Энтропия является основной характеристикой источника, чем она выше, тем труднее запомнить (записать) сообщение или передать его по каналу связи. Необходимая во многих случаях затрата энергии на передачу сообщения пропорциональна его энтропии.

Основные свойства энтропии:

1. Энтропия неотрицательна. Она равна нулю только для “вырожденного” ансамбля, когда одно сообщение передаётся с вероятностью 1,а остальные имеют нулевую вероятность.

2. Энтропия аддитивна. То есть если рассматривать последовательность из n сообщений как одно “укрупнённое” сообщение , то энтропия источника таких укрупнённых сообщений будет в n раз больше энтропии исходного источника.

3. Если ансамбль содержит K различных сообщений, причём равенство имеет место только тогда, когда все сообщения передаются равновероятно и независимо. Число K называется объёмом алфавита источника.

В частности, для двоичного источника без памяти, когда K=2, энтропия максимальна при P(a₁)=P(a₂)=0,5 и равна log2=1бит. Зависимость энтропии этого источника от P(a₁)=1-P(a₂) показана на рисунке.

То есть количество информации в сообщении тем больше, чем оно менее вероятно, или, иначе, чем оно более неожиданно.

Если источник передаёт последовательность зависимых между собой сообщений, то получение предшествующих сообщений может изменить вероятность последующего, а следовательно, и количество информации в нём. Оно должно определяться по условной вероятности передачи данного сообщения a_n при известных предшествующих a_n-1 , a_n-2 ,…:

(10.2)

Определённое выше количество информации является случайной величиной, поскольку сами сообщения случайные. Для характеристики всего ансамбля (или источника) сообщений используется математическое ожидание количества информации, называемое энтропией и обозначаемое H(A) :

(10.3)

Здесь математическое ожидание, как всегда, обозначает усреднение по всему ансамблю сообщений. При этом должны учитываться все вероятностные связи между различными сообщениями.

Чем больше энтропия источника, тем больше степень неожиданности передаваемых им сообщений в среднем, то есть тем более неопределённым является ожидаемое сообщение. Поэтому энтропию часто называют мерой неопределённости. После приёма сообщения, если оно принимается верно, всякая неопределённость устраняется. Это позволяет трактовать количество информации как меру уменьшения неопределённости.

Величина

(10.4)

называется избыточностью источника с объёмом алфавита K. Она показывает, какая доля максимально возможной при этом алфавите энтропии не используется источником.

Некоторые источники передают сообщения с фиксированной скоростью, затрачивая в среднем время T на каждое сообщение.

Производительностью (в бит на секунду) такого источника H'(A) назовём суммарную энтропию сообщений, переданных за единицу времени:

(10.5)

24. Взаимная информация

Определим теперь информацию, содержащуюся в одном ансамбле относительно другого, например, в принятом сигнале относительно переданного сообщения. Для этого рассмотрим сообщение двух дискретных ансамблей A и B, вообще говоря, зависимых. Его можно интерпретировать как пару ансамблей сообщений, либо как ансамбли сообщения и сигнала, с помощью которого сообщение передаётся, либо как ансамбли сигналов на входе и выходе канала связи и т. д. Пусть P(a_k ,b_l)совместная вероятность реализаций a_k и b_l . Cовместной энтропией ансамблей A и B будем называть:

(10.6)

Введём также понятие условной энтропии:

(10.7)

где P(a_{k /} b_l)- условная вероятность a_k , если имеет место b_l .

Из теоремы умножения вероятностей

следует, что . (10.8)

Для условной энтропии справедливо двойное неравенство:

(10.9)

Рассмотрим два крайних случая:

1.Равенство имеет место в том случае, когда, зная реализацию , можно точно установить реализацию . Другими словами, содержит полную информацию об .

2.Другой крайний случай, когда имеет место, если события и независимые. В этом случае знание реализации не уменьшает неопределённости , т.е. не содержит никакой информации об А.

В общем случае, что имеет место на практике, условная энтропия меньше безусловной и знание реализации снимает в среднем первоначальную неопределённость . Естественно, назвать разность количеством информации, содержащейся в относительно . Её называют также взаимной информацией между и и обозначают :

(10.10)

Подставляя в эту формулу значения H(A) и H(A/B) выразим взаимную информацию через распределение вероятностей:

(10.11)

Если воспользоваться теоремой умножения , то можно записать в симметричной форме т.к. :

(10.12)

Взаимная информация измеряется в тех же единицах, что и энтропия. Величина показывает, сколько мы в среднем получаем бит информации о реализации ансамбля , наблюдая реализацию ансамбля .

Сформулируем основные свойства взаимной информации:

1. , причём равенство имеет место тогда и только тогда, когда и независимы между собой

2. , то есть содержит столько же информации относительно , сколько содержит относительно . Это свойство вытекает из симметрии выражения. Поэтому можно также записать:

(10.13)

3. , причём равенство имеет место, когда по реализации можно точно установить реализацию .

4. , причём равенство имеет место, когда по реализации можно точно установить реализацию .

5. Полагая и учитывая, что получим:

(10.14)

Это позволяет интерпретировать энтропию источника как его собственную информацию, то есть информацию, содержащуюся в ансамбле о самом себе.

Пусть - ансамбль дискретных сообщений, а - ансамбль дискретных сигналов, в которые преобразуются сообщения . Тогда в том и только в том случае, когда преобразование обратимо. При необратимом преобразовании и разность можно назвать потерей информации при преобразовании . Её называют ненадёжностью. Таким образом, информация не теряется только при обратимых преобразованиях.

Если - среднее время передачи одного сообщения, то разделив на формулы H(A/B) и I(A,B) и обозначая:

(10.15)

получим соответствующие равенства для энтропии и количества информации, рассчитанных не на одно сообщение, а на единицу времени. Величина называется скоростью передачи информации от к (или наоборот).

Рассмотрим пример: если - ансамбль сигналов на входе дискретного канала, а - ансамбль сигналов на его выходе, то скорость передачи информации по каналу.

(10.16)

- производительность источника передаваемого сигнала .

“производительность канала”, то есть полная собственная информация о принятом сигнале за единицу времени.

Величина представляет собой скорость “утечки” информации при прохождении через канал, а - скорость передачи посторонней информации, не имеющий отношения к и создаваемой присутствующими в канале помехами. Соотношение между и зависит от свойств канала. Так, например, при передаче телефонного сигнала по каналу с узкой полосой пропускания, недостаточной для удовлетворительного воспроизведения сигнала, и с низким уровнем помех теряется часть полезной информации, но почти не получается бесполезной. В этом случае . Если же расширяется полоса, сигнал воспроизводится точно, но в паузах ясно прослушиваются “наводки” от соседнего телефонного канала, то, почти не теряя полезной информации, можно получить много дополнительной, как правило, бесполезной информации и .

26. Информация в непрерывных сигналах. Дифференциальная энтропия

Обобщим теперь понятия энтропии и взаимной информации на ансамбли непрерывных сигналов. Пусть - случайная величина (сечение или отсчёт случайного сигнала), определённая в некоторой непрерывной области, и её распределение вероятностей характеризуется плотностью .

Разобьём область значений на небольшие интервалы протяжённостью . Вероятность того, что лежит в интервале , +, то есть , приблизительно равна , причём приближение тем точнее, чем меньше интервал . Степень неожиданности такого события равна . Если значения в пределах конечного интервала заменить значениями в начале интервала, то непрерывный ансамбль заменится дискретным, а его энтропия определится как:

Будем теперь увеличивать точность определения значения , уменьшая интервал . В пределе, при должна получиться энтропия непрерывной случайной величины:



(10.17)

Второй член в полученном выражении стремится к и совершенно не зависит от распределения вероятностей . Это значение , что собственная информация любой непрерывной случайной величины бесконечно велика. Тем не менее, взаимная информация между двумя непрерывными ансамблями, как правило, остаётся конечной. Такова будет, в частности, взаимная информация между переданным и принятым сигналами, так что по каналу связи информация передаётся с конечной скоростью.

Обратим внимание на первый член в данной формуле. Он является конечным и определяется плотностью распределения вероятности . Его называют дифференциальной энтропией и обозначают :

(10.18)

Попытаемся теперь определить взаимную информацию между двумя непрерывными случайными величинами и . Разбив области определения и соответственно на небольшие интервалы и , заменим эти непрерывные величины дискретными так же, как это делалось при выводе формулы . Исходя из этого выражения можно определить взаимную информацию между непрерывными величинами и :

(10.19)

При этом никаких явных бесконечностей не появилось, и действительно, в обычных случаях взаимная информация оказывается конечной. С помощью простых преобразований её можно представить и в таком виде:

Здесь - определённая ранее дифференциальная энтропия , а - условная дифференциальная энтропия. Легко убедиться, что основные свойства взаимной информации остаются справедливыми и в данном случае.

В качестве примера найдём дифференциальную энтропию случайной величины с нормальным распределением вероятности:

, (10.21)

где математическое ожидание, а - дисперсия .

Подставив (10.21) в (10.18), найдём:

Первый интеграл по общему свойству плотности вероятности равен 1, а второй - по определению дисперсии равен . Окончательно



(10.22)

Таким образом, дифференциальная энтропия гауссовской случайной величины не зависит от её математического ожидания и монотонно возрастает с увеличением дисперсии.

В заключение укажем одно важное свойство нормального распределения: из всех непрерывных случайных величин с одинаковой дисперсией наибольшую дифференциальную энтропию имеет величина с нормальным распределением.

25. Пропускная способность канала связи

В любой системе связи через канал передаётся информация. Её скорость передачи зависит не только от самого канала, но и от свойств подаваемого на его вход сигнала и поэтому не может характеризовать канал как средство передачи информации. Найдём способ оценки способности канала передавать информацию. Для каждого источника количество информации, переданной по каналу принимает своё значение.

Максимальное количество переданной информации, взятое по всевозможным источникам входного сигнала, характеризует сам канал и называется пропускной способностью канала в расчёте на один символ:

бит/ симв.

(где максимизация производится по всем многомерным распределениям вероятностей Р(А))

Можно также определить пропускную способность С канала в расчёте на единицу времени.

(10.23)

где v - производительность источника [симв/с].

Вычислим пропускную способность симметричного канала без памяти

(10.24)

Величина в данном случае легко вычисляется, поскольку условная (переходная) вероятность принимает только два значения: , если и (1-Р), если . Здесь m - объем алфавита

Первое из этих значений возникает с вероятностью Р, а второе - с вероятностью (1-Р). К тому же, поскольку рассматривается канал без памяти, результаты приёма отдельных символов независимы друг от друга.

Поэтому

(10.25)

Следовательно Н(В/А) не зависит от распределения вероятности в ансамбле А, а определяется только переходными вероятностями канала. Это свойство сохраняется для всех моделей с аддитивным шумом.

Подставив (10.25) в (10.24) получим:

(10.26)

Поскольку в правой части только член Н(В) зависит от распределения вероятности Р(А), то максимизировать необходимо именно его.

Максимальное значение Н(В) равно log m и реализуется оно тогда, когда все принятые символы равновероятны и независимы друг от друга. Легко убедиться, что это условие удовлетворяется, если входные символы равновероятны и независимы, поскольку в этом случае

При этом и

(10.27)

Отсюда пропускная способность в расчёте на единицу времени

(10.28)

Для двоичного симметричного канала (m=2) пропускная способность в двоичных единицах в единицу времени

(10.29)

Зависимость от Р согласно формуле (10.29)

При Р=1/2 пропускная способность двоичного канала С=0, поскольку при такой вероятности ошибки последовательность выходных двоичных символов можно получить совсем не передавая сигналы по каналу, а выбирая их наугад (например, по результатам бросания монеты), то есть при Р=1/2 последовательности на выходе и входе канала независимы. Случай С=0 называется обрывом канала. То, что пропускная способность при P=1 в двоичном канале такая же, как при Р=0 (канал без шумов), объясняется тем, что при Р=1 достаточно все выходные символы инвертировать (то есть заменить 0 на 1 и 1 на 0), чтобы правильно восстановить входной сигнал.

Пропускная способность непрерывного канала вычисляется аналогично. Пусть, например, канал имеет ограниченную полосу пропускания шириной F. Тогда сигналы U(t) и Z(t) соответственно на входе и выходе канала по теореме. Котельникова определяются своими отсчётами, взятыми через интервал 1/(2F), и поэтому информация, проходящая по каналу за некоторое время Т, равна, сумме количества информации, переданной за каждый такой отсчёт. Пропускная способность канала на один такой отсчёт:

(10.30)

Здесь U и Z - случайные величины - сечения процессов U(t) и Z(t) на входе и выходе канала соответственно и максимум берётся по всем допустимым входным сигналам, то есть по всем распределениям U.

Пропускная способность С определяется как сумма значений , взятая по всем отсчётам за секунду. При этом, разумеется, дифференциальные энтропии в (10.30) должны вычисляться с учётом вероятностных связей между отсчётами.

Вычислим пропускную способность непрерывного канала без памяти с аддитивным белым гауссовским шумом, имеющим полосу пропускания шириной F, если средняя мощность сигнала . Мощность (дисперсию) шума в полосе F обозначим . Отсчёты выходного и входного сигналов, а также шума N связаны равенством:

Z=U+N (10.31)

Так как N имеет нормальное распределение с нулевым математическим ожиданием, то и условная плотность вероятности при фиксированном U будет так же нормальной - с математическим ожиданием U и дисперсией .

Пропускная способность на один отсчёт определятся по формуле (10.30):

Согласно (10.22) условная дифференциальная энтропия h(Z/U) нормального распределения не зависит от математического ожидания и равна . Поэтому для нахождения следует найти такую плотность распределения , при которой максимизируется h(Z). Из (10.31) учитывая, что U и N независимые случайные величины имеем для дисперсий

Таким образом, дисперсиия фиксирована, так как и заданы. Как известно, при фиксированной дисперсии максимальная дифференциальная энтропия обеспечивается нормальным распределением. Из (10.31) видно, что при нормальном одномерном распределении U распределение Z будет так же нормальным и, следовательно, обеспечивается максимум дифференциальной энтропии (10.22).

(10.32)

Откуда

(10.33)

Переходя к пропускной способности С в расчёте на секунду, заметим, что информация, переданная за несколько отсчётов, максимальна в том случае, когда отсчёты сигналов независимы. Этого можно достичь, если сигнал U(t) выбрать так, чтобы его спектральная плотность была равномерной в полосе F. Отсчёты разделённые интервалами, кратными 1/(2F), взаимно некоррелированы, а для гауссовских величин некоррелированность означает независимость. Поэтому пропускную способность С (за секунду) можно найти, сложив пропускные способности (10.33) для 2F независимых отсчётов:

(10.34)

Она реализуется, если U(t) - гауссовский процесс с равномерной спектральной плотностью в полосе частот F (квазибелый шум).

Из (10.34) видно, что если бы мощность сигнала не была ограничена, то пропускная способность была бы сколь угодно большой. Пропускная способность равна нулю, если отношение сигнал-шум в канале равно нулю. С ростом этого отношения пропускная способность увеличивается неограниченно, однако медленно, вследствие логарифмической зависимости.

Соотношение (10.34) называется формулой Шеннона. Эта формула имеет важное значение в теории информации, так как определяет зависимость пропускной способности рассматриваемого непрерывного канала от таких его технических характеристик, как ширина полосы пропускания и отношение сигнал шум. Формула Шеннона указывает на возможность обмена полосы пропускания на мощность сигнала и наоборот. Однако поскольку С зависит от F линейно, а от - по логарифмическому закону, компенсировать возможное сокращение полосы пропускания увеличением мощности сигнала, как правило, не выгодно. Более эффективным является обратный обмен мощности сигнала на полосу пропускания.

Максимальный объём информации, которую можно в среднем передать по непрерывному каналу за время ,

Для гауссовского канала

(10.35)

Заметим, что при Выражение (10.35) совпадает с характеристикой названной ёмкостью (объёмом) канала.

27. Информация в непрерывных сообщениях. Эпсилон-энтропия

Для передачи непрерывного сообщения с абсолютной точностью нужно было бы передать бесконечно большое количество информации, что, разумеется, невозможно сделать за конечное время, пользуясь каналом с конечной пропускной способностью. Точно так же непрерывное сообщение нельзя абсолютно точно запомнить (записать) при наличии сколь угодно слабой помехи.

Тем не менее, непрерывные сообщения (например, телевизионные, телефонные) успешно передаются по каналам связи и записываются. Это объясняется тем, что на практике никогда не требуется абсолютно точного воспроизведения переданного и записанного сообщения. А для передачи даже с самой высокой, но ограниченной точностью требуется конечное количество информации так же, как и при передаче дискретных сообщений. Это количество информации тем больше, чем выше точность, с которой требуется передать (воспроизвести) непрерывное сообщение. Пусть допустимая неточность измеряется некоторым малым параметром . То минимальное количество информации, которое требуется передать по каналу связи для воспроизведения непрерывного сообщения с неточностью не более допустимой, академик А.Н.. Колмогоров предложил называть -энтропией (эпсилон-энтропией)

В дальнейшем удобнее будет оперировать не с передаваемым непрерывным сообщением А, а с первичным сигналом В и его реализациями b(t). Дело в том, что непрерывное сообщение А может и не быть функцией времени либо быть функцией нескольких аргументов (например, при телевизионном вещании). Первичный сигнал B(t) в современных системах связи всегда является функцией времени. В тех случаях, когда и сообщение является функцией времени (например, при телефонной связи), первичный сигнал B(t) точно повторяет функцию A(t) и отличается от сообщения только физической природой [например A(t) - звуковое давление, B(t) - ток]. Будем считать, что преобразование сообщения в первичный сигнал обратимо и точность воспроизведения B(t) предопределяет точность воспроизведения A(t). Поэтому в дальнейшем под сообщением будем понимать первичный сигнал В(t).

Обеспечение необходимой верности передачи является обязательным требованием к любой системе связи. При передаче дискретных сообщений верность передачи определяется вероятностью правильного приёма (или вероятностью ошибки). Такое определение верности можно распространить и на непрерывные сообщения если понятие «правильно» заменить понятием «эквивалентно». Тогда под верностью передачи непрерывных сообщений будем понимать вероятность того, что принятое сообщение эквивалентно переданному Перейдём к количественному определению -энтропии.

Минимальное количество информации, содержащееся в принятом сообщении относительно переданного B(t), при котором они ещё эквивалентны, называется эпсилон-энтропией.

По определению

(10.36)

Рассмотрим наиболее простой случай, когда источник непрерывного сообщения (сигнала) гауссовский, то есть когда сообщение B(t) представляет собой стационарный гауссовский процесс с заданной мощностью . Поскольку , то условная дифференциальная энтропия при заданном сообщении B полностью определяется так называемым шумом воспроизведения (t). Поэтому . Если шум воспроизведения (t) имеет фиксированную дисперсию , то дифференциальная энтропия имеет максимум при нормальном распределении

(10.37)



При заданной дисперсии сообщения дифференциальная энтропия гауссовского источника h(B) равна . Следовательно, эпсилон-энтропия гауссовского непрерывного источника на один отсчёт:

(10.38)

Величина характеризует минимальное отношение сигнал-шум, при котором сообщения B(t) и ещё эквивалентны. Это отношение обычно обозначают .

Производительность непрерывных сообщений можно определить как количество информации, которое необходимо передать в единицу времени, чтобы восстановить сообщение при заданном критерии эквивалентности. Если источник выдает независимые отсчёты сообщения (сигнала) дискретно во времени со средней скоростью V, то его эпсилон-производительность:

(10.39)

Эпсилон-производительность называют также скоростью создания информации при заданном критерии верности. Для источника непрерывных сообщений, ограниченных полосой , согласно теореме Котельникова, шаг дискретизации , то есть необходимое число отсчётов в секунду равно . Если спектр сообщения в полосе равномерен, то эти отсчёты некоррелированы, а для гауссовского источника и независимы. В этом случае:



(10.40)

Подставив (10.38) в (10.40), получим для гауссового источника с равномерным спектром в полосе

(10.41)

Из предыдущих рассуждений ясно, что производительность гауссовского источника квазибелого шума (10.41) больше производительности любого другого источника с той же мощностью и той же шириной спектра при том же допустимом шуме воспроизведения , Количество информации, выдаваемое гауссовским источником за время ,

(10.42)

Выражение (10.42) совпадает с характеристикой, названной объёмом сигнала, если . Это означает, что объём сигнала равен максимальному количеству информации, которая содержится в сигнале длительностью .

Для канала с пропускной способностью C, на вход которого подключён источник, обладающий производительностью , К. Шеннон доказал следующую теорему: если при заданном критерии эквивалентности сообщений источника , его эпсилон-производительность меньше пропускной способности канала , то существует способ кодирования и декодирования, при котором неточность воспроизведения сколь угодно близка к . При такого способа не существует.

Теорема Шеннона определяет предельные возможности согласования источника непрерывных сообщений с непрерывным каналом.

28. Задача оптимального приёма дискретных сообщений

В дискретных системах связи сообщение представляет собой набор (или последовательность) элементов и каждый элемент сообщения передаётся соответствующим сигналом , . В приёмном устройстве системы связи по принятому колебанию должен восстанавливаться элемент сообщения .

Однако наличие помех в реальных каналах связи может приводить к ошибочным решениям. Так, в простейшем случае колебание на входе приёмника может иметь вид.

(11.1)

Где - параметр, характеризующий затухание (ослабление) сигнала в лини связи; он может быть случайным и меняться во времени (так называемая мультипликативная помеха); - параметр, характеризующий задержку сигнала при распространении в линии, так же может иметь случайный характер; - аддитивная помеха. Каким бы образом не выбиралось множество сигналов и какой бы не был способ приёма, в реальных каналах связи всегда будут иметь место ошибочные решения. При неизменных условиях передачи всегда будет неизменной статистика ошибочных решений. Задача оптимального приёма заключается в организации такого способа передачи сообщений, который позволяет свести вероятности ошибочных решений (или эффект, связанный с ошибочными решениями) до возможного минимума. Тем самым будет обеспечена максимально возможная верность (точность) передачи сообщения.

...