Энтропия источника дискретных сообщений

Размещено на http://www.allbest.ru/

2

Министерство образования и науки Российской Федерации

Муромский институт (филиал)

Федерального государственного бюджетного образовательного учреждения высшего профессионального образования

«Владимирский государственный университет имени Александра Григорьевича и Николая Григорьевича Столетовых»

(МИ(филиал)ВлГУ)

контрольная РАБОТА

Предмет: Теория информации

Тема: Энтропия источника дискретных сообщений

Руководитель

Ткачук М.И.

Студент

Мелешина Н.Г.

Муром 2012

Содержание

Для исследования этих вопросов с общих позиций необходимо прежде всего установить универсальную количественную меру информации, не зависящую от конкретной физической природы передаваемых сообщений.

Количество информации в сообщении о некотором событии существенно зависит от вероятности этого события. Вероятностный подход и положен в основу определения меры количества информации.

Энтропия - это среднее количество информации, приходящееся на одно сообщение источника.

Чем больше энтропия, тем сильнее неопределенность и тем большую информацию в среднем несет одно сообщение источника.

1. Энтропия источника дискретных сообщений

1.1 Энтропия источника независимых сообщений

В простейшем случае, когда все сообщения равновероятны, количество информации в каждом из них одинаково и определяется выражением:

J (a) = - log P (a) = log m.

При этом среднее количество информации равно log m.

Следовательно, при равновероятных независимых сообщениях информационные свойства источника зависят только от числа сообщений в ансамбле m.

Однако в реальных условиях сообщения, как правило, имеют разную вероятность.

Поэтому знание числа сообщений m в ансамбле является недостаточным, необходимо иметь сведения о вероятности каждого сообщения: P (a₁), P (a₂), P (a₃) ,…, P (a_m).

Так как вероятности сообщений неодинаковы, то они несут различное количество информации: J (a₁) = - log P (a₁).

Менее вероятные сообщения несут большее количество ин формации и наоборот.

В качестве примера вычислим энтропию источника сообщений, который характеризуется ансамблем, состоящим из двух сообщений a₁ и а₂ с вероятностями P(a₁)=p и P(а₂)=1-p.

H(a) = - P(a₁)log P(a₁) - P(a₂)log P(a₂) = - p log p - (1-p)log (1-p).

Максимум энтропии имеет место при p=1/2, то есть когда ситуация является наиболее неопределенной. При p=1 или p=0, что соответствует передаче одного из сообщений, неопределенности отсутствуют. В этих случаях энтропия H(a) равна нулю.

Среднее количество информации, содержащееся в последовательности из n-сообщений, равно:

.

Отсюда следует, что количество передаваемой информации можно увеличить не только за счет числа сообщений, но и путем повышения энтропии источника, т. е. информационной емкости его сообщений.

Обобщая эти результаты, можно сформулировать основные свойства

энтропии источника независимых сообщений:

* энтропия - величина всегда положительная, так как

;

* при равновероятных сообщениях, когда:

,

энтропия максимальна и равна:

* энтропия равняется нулю лишь в том случае, когда все вероятности

P(a_t) равны нулю, за исключением одной, величина, которой равна единице;

* энтропия нескольких независимых источников равна сумме энтропии этих источников:

1.2 Энтропия источника зависимых сообщений

Рассмотренные выше источники независимых сообщений являются простейшим типом источников. В реальных условиях картина значительно усложняется из-за наличия статистических связей между сообщениями. Примером может быть обычный текст, где появление той или иной буквы зависит от предыдущих буквенных сочетаний.

Статистическая связь ожидаемого сообщения с предыдущим сообщением количественно оценивается совместной вероятностью P(a_k,a_L) или условной вероятностью P(a_L/a_k), которая выражает вероятность появления сообщения a_L при условии, что известно предыдущее сообщение а_к.

Количество информации, содержащейся в сообщении при условии, что известно предыдущее сообщение а_к будет равно:

Среднее количество информации при этом определяется условной энтропией , которая вычисляется как математическое ожидание информации по всем возможным сообщениям a_K и a_L. Важным свойством условной энтропии источника зависимых сообщений является то, что при неизменном количестве сообщений в ансамбле источника его энтропия уменьшается с увеличением числа сообщений, между которыми существует статистическая взаимосвязь. В соответствии с этим свойством, а также свойством энтропии источника независимых сообщений можно записать неравенства:

Таким образом, наличие статистических связей между сообщениями всегда приводит к уменьшению количества информации, приходящейся в среднем на одно сообщение.

2. Избыточность источника сообщений

Рисунок Энтропийные характеристики.

Связь между различными энтропиями может быть получена аналитически. Выразим, например, H(X,Y) через другие энтропийные характеристики.

Известно, что

Предварительно установим связь между совместной, условной и безусловной вероятностями:

Таким образом, формула H(X/Y) = H(X,Y) - H(Y) была получена аналитически.

Относительно энтропийных характеристик можно также сказать, что выполняется соотношение

H(X) < H(X/Y),

где H(X/Y) - среднее количество информации, полученное от источника X при условии, что уже получено сообщение от Y; H(X) - среднее количество информации, полученное от источника X независимо от того, получено ли сообщение от другого источника.

4. Энтропия непрерывного источника информации

Энтропия непрерывного источника информации бесконечна, т. к. неопределенность выбора из бесконечно большого числа возможных состояний бесконечно велика.

Дифференциальная энтропия -- средняя информация непрерывного источника. Определяется как

бит,

где  -- плотность распределения сигнала непрерывного источника как случайной величины.

Условная дифференциальная энтропия для величины X при заданной величине Y определяется следующей формулой:

бит.

Безусловная и условная дифференциальные энтропии могут быть как положительными, так и отрицательными величинами, а также могут быть равны бесконечности. Для дифференциальной энтропии справедливы равенства, аналогичные для энтропии дискретного источника:

(для независимых источников -- равенство)

Дифференциальная энтропия достигает своего максимума в случае гауссова распределения плотности вероятности сигнала непрерывного источника как случайной величины и равна

бит

Для равномерного распределения:

бит

Для распределения Лапласа

бит

Дифференциальная энтропия обладает следующими свойствами:

1. Дифференциальная энтропия в отличие от обычной энтропии дискретного источника не является мерой собственной информации, содержащейся в ансамбле значений случайной величины Х. Она зависит от масштаба Х и может принимать отрицательные значения. Информационный смысл имеет не сама дифференциальная энтропия, а разность двух дифференциальных энтропий, чем и объясняется ее название.

2. Дифференциальная энтропия не меняется при изменении всех возможных значений случайной величины Х на постоянную величину. Действительно, масштаб Х при этом не меняется и справедливо равенство

Из этого следует, что h(x) не зависит от математического ожидания случайной величины, т.к. изменяя все значения Х на С мы тем самым изменяем на С и ее среднее, то есть математическое ожидание.

3. Дифференциальная энтропия аддитивна, то есть для объединения ХY независимых случайный величин Х и Y справедливо:
H(XY)= H(X) + H(Y).

Заключение