Энтропия и информация: количественный подход

Размещено на http://www.allbest.ru/

Размещено на http://www.allbest.ru/

Энтропия и информация: количественный подход

1. Задачи и постулаты теории информации

Опр. Теорией информации (ТИ) называется наука, изучающая количественные закономерности, связанные с получением, передачей, переработкой и хранением информации.

Любая информация, для того чтобы быть переданной должна быть закодирована, то есть переведена на язык специальных символов или сигналов.

Сигналы, передающие информацию могут быть электромагнитными, электрическими, в виде механических перемещений и т.д.

Основными задачами ТИ являются:

Отыскание наиболее экономных методов кодирования, позволяющих передавать заданную информацию, в каналах с помехами.

Согласование передатчика информации и канала связи по объему информации, т.е. определение пропускной способности канала связи, чтобы он мог передать полученную информацию от источника без искажения.

Определение объема запоминающих устройств для хранения информации.

Определение способа ввода и вывода информации и запоминающим устройством.

Выбор потенциального наиболее информативных источников информации состоянии той или иной физической системы.

Подбор каналов связи с заданной пропускной способностью.

Подбор измерительных устройств с допустимой потерей информации при измерении

Основоположником ТОИ является Шеннон Клод Эльвуд (1916г.)

Постулаты прикладной теории информации

В теории информации исследуются информационные системы при четко сформулированных условиях (постулатах):

1. Источник сообщения осуществляет выбор сообщения из некоторого множества с определенной вероятностью.

2. Сообщения могут передаваться по каналу связи в закодированном виде. Кодированные сообщения образуют множество, являющееся взаимно однозначным отображением множества сообщений. Правило декодирования известно декодеру (записано в его программе).

3. Сообщения следуют друг за другом, причем число сообщений может быть сколь угодно большим.

4. Сообщение считается принятым верно, если в результате декодирования оно может быть в точности восстановлено. При этом не учитывается, сколько времени прошло с момента передачи сообщения до момента окончания декодирования, и какова сложность операций кодирования и декодирования.

5. Количество информации не зависит от смыслового содержания сообщения, от его эмоционального воздействия, полезности и даже от его отношения к реальной действительности.

2. Энтропия

Определение.

Энтропия - мера степени неопределенности состояния физической системы.

Для описания степени неопределенности состояния физической системы важно не какие именно состояния может принять система, а только количество этих состояний и их вероятности. В качестве меры априорной неопределенности состояния системы или случайной величиной в теории информации принимается, предложенная Шенноном специальная характеристика называемая энтропией. Так для средней энтропии дискретной системы или случайной величины Х Шеннон предложил следующую формулу



В качестве характеристики неопределенности системы или случайной величины это соотношение выбрано по следующим соображениям:

энтропия обращается в ноль, когда одно из состояний системы достоверно, а другие невозможны, т.е.

если Рi =1, Рn-i=0 > H(Х)=0

При заданном числе n состояний она обращается в максимум, когда эти состояния равновероятны, а при увеличении числа состояний энтропия увеличивается, т.е.

Н(Х) > max, если Рi=1/n

и при n>?, Н(Х)>?

Энтропия обладает свойством аддитивности, т.е. когда несколько независимых систем объединяется в одну, их энтропии складываются.

Логарифм в выражении (2.1) может быть взят при любом основании, однако чаще всего его берут при основании 2, т.к. это соответствует алгебре логики, которая лежит в основе ВМ и др. конечных автоматов. Кроме того, довольно часто встречается логарифм с основанием 10. Если логарифм взят с основанием 2, то единицей измерения энтропии (и информации) является единица, которая называется бит. Если взят логарифм при основании 10, то единица измерения называется дит.

Энтропия системы с равновозможными состояниями.

Покажем, что энтропия такой системы равна логарифму из числа состояний.

Действительно, если система Х имеет n - состояний, и эти состояния равновероятны, то Рi=1/n

Если это Рi подставить в (2.1), то получим, что энтропия равна



Пример: система имеет 2 состояния (исправна и неисправна).

Н(Х)=log2=1.

При равновозможных состояниях системы ее энтропия максимальна.

Для облегчения расчетов исходную формулу энтропии (2.1) очень часто представляется в следующем виде:

,

где

Эта величина заранее рассчитывается и помещается в справочных таблицах.

Для теоретических анализов формула (2.1) записывается в виде математического ожидания.

где logР(Х) принимает значения logР1, logР2,…, logРn.

Из (2.3) вытекает, что для получения энтропии значения logРi осредняются со значением Рi, т.е. с соответствующими вероятностями. В результате получаем математическое ожидание.

Энтропия сложной системы

Определение.

Сложная система - это объединение двух и более систем в одну.

Пусть объединяется две системы Х и Y в одну систему (Х, Y), причем система Х может иметь хi состояния, где , а система Y имеет yj состояния, где. В результате число возможных состояний объединенной системы (хi, yj) равно n•m. Вероятность того, что объединенная система примет значение (хi, yj) обозначают

Энтропию сложной системы удобно определять с помощью таблицы (матрицы) следующего вида:

хi yj	Х1	Х2	…	Хn
Y1	P11	P21		Pn1
Y2	P12	P22		Pn2
…
Ym	P1m	P2m		Pnm

Для суммы первого столбца (1) можем записать:

для второго столбца

и для n-ого столбца

тогда можно записать

Получившаяся формула и есть энтропия сложной системы



Формулу (2.6) можно представить в виде, пригодном для расчета с таблицами, т.е. в виде

и в виде математического ожидания

Сложение энтропий независимых систем

По теореме умножения вероятностей для независимых систем имеем:

Прологарифмируем (2.9), получим

Представим (2.10) в (2.8), получим

ч.и.т.д.

Теорема:

При объединении независимых систем их энтропия равна сумме энтропий исходных систем.

Это положение можно распространить на любое количество объединяемых систем:

Энтропия зависимых систем с дискретными состояниями.

Для зависимых систем простое сложение энтропий неприемлемо, поэтому вводиться в рассмотрение понятие условной энтропии.

3. Условная энтропия

Определение

Если имеются 2 зависимых системы Х и Y и одна из них, например система Х приняла конкретное состояние хi, где , то вероятность вида Р(yj/хi), где называется условной вероятностью того, что система Y примет состояние yj, если система Х приняла значение хi.

Условная энтропия системы Y, при условии, что система Х находится в состоянии хi запишется:

Формула (3.2) по известным правилам может быть записана в виде:

(3.3) применяется в том случае, если имеются таблицы логарифмов.

Или (3.2) может быть записана в виде:

такое математическое ожидание называют условным математическим ожиданием, при условии, что хi=соnst.

В (3.2) условная энтропия зависит не только от числа состояний системы Y и их вероятностей, а так же и от того, какое конкретно состояние приняла система Х.

Всегда вызывает интерес знание средней или полной энтропии, при условии, что система Х также меняет свои состояния. Очевидно, что при каждом отдельном состоянии величина энтропии будет меняться. Чтобы найти полную условную энтропию зависимых систем необходимо усреднить по всем вероятностям системы Х величину энтропии (3.2).

подставив (3.2) в (3.5), получим:

В (3.6) внесем вероятность Рi под знак первой суммы.

В соответствии с теоремой о произведении вероятностей РiP(yj /хi)=Рij (3.8), тогда получим

Выражение (3.9) является расчетной формулой для получения полной энтропии зависимых систем Х и Y.

Запишем эту формулу через табличные величины и через математическое ожидание

Определение

Величина условной полной энтропии, приведенной формулами (3.9) - (3.11) характеризует степень неопределенности системы Y после того, как система Х полностью определилась. Эту величину называют полной условной энтропией системы Y относительно системы Х, а в практических приложениях - потерей информации.

Пусть Y - переданное сообщение, а Х - полученное сообщение, тогда Н(Y/Х) означает ту неопределенность, которая возникает при получении сообщения.

Если Y - измеряемая величина, а Х - показание прибора, тогда Н(Y/Х) - потеря информации при измерении.

Объединение энтропий зависимых систем.

Теорема:

Если две зависимых системы Х и Y объединяются в одну, то энтропия объединенной системы равна энтропии одной из ее составляющих плюс условная энтропия другой составляющей относительно первой, т.е.

Доказательство: запишем выражение (3.12) в виде математического ожидания:

и распишем произведение вероятностей двух зависимых систем:

Прологарифмируем (3.14), получим

Подставим (3.15) в (3.13), получим



ч.и т.д.

Рассмотрим частные случаи:

Системы Х и Y независимы.

тогда

(3.19),

т.е. энтропия двух независимых систем всегда больше энтропии связанных (зависимых) систем.

Составные части одной системы полностью определяют другую систему (системы полностью зависимы)

,

т.е. мера неопределенности 0.

В этом случае формула для объединенной энтропии будет

Н(Х/Y)=0, тогда можно сделать вывод, что в случае полной зависимости систем, зная энтропию одной из систем, мы знаем энтропию объединенной системы, т.е. если состояние каждой из систем Х и Y однозначно определяет состояния другой системы (системы эквивалентны), то можно записать, что Н(Х/Y) имеет вид

Теорему об общей системе можно распространить на любое число зависимых систем. В этом случае выражение будет иметь вид:

т.е. энтропия каждой последующей величины вычислена при условии, что состояние всех предыдущих известно.

Энтропия и информация систем с дискретным множеством состояний. Количество информации

Понимание того, что информационная емкость и количество информации не одно и тоже -- ключевой момент.

Одна и та же информация может быть передана/записана множеством способов. Например, уменьшив период T дискретизации f(t) в два раза мы получим в два раза больше чисел для предачи/записи, но восстановленная f(t) не будет отличаться от дискретизации с периодом 2T, пока 2T меньше максимально допустимого значения (см. п. 1.2).

Это противоречие с информацией, которая равна и одновременно не равна сама себе, разрешил Клод Шенон.

Количественной мерой информации следует считать МИНИМАЛЬНУЮ информационную емкость, которая необходима для передачи (хранения) информации без искажения в условиях отсутствия помех.

Определение количественного значения минимальной информационной емкости -- сложная задача. Академик Колмогоров А.Н. сформулировал три способа измерения количества информации:

алгоритмический,

комбинаторный,

вероятностный.

4. Алгоритмическая мера

Можно определить меру информации, как длину кратчайшей программы, которая выводит заданную ДСВ. Поскольку, обычно, никого не интересует абсолютное значение меры, а смысл имеет только относительное измерение: «информация A» больше «информации B», то язык программы значения не имеет.

Эта мера не используется на практике, т.к. есть объективные трудности ее исчисления.

Комбинаторная мера (мера Хартли)

Если ДСВ x способна равновероятно принимать значения из множества X, состоящего из N элементов, то необходимо как минимум H(X) = log2(N) двоичных разрядов (бит), чтобы записать номер любого из возможных значений ДСВ и, соответственно, необходимо Mlog2(N) бит, чтобы записать сообщение из M конкретных значений x. Значение I(X) = log2(N) можно понимать как МИНИМАЛЬНОЕ количество бит, необходимых для записи возможных значений величины x или как меру информации, содержащейся в любом из значений x, выраженной в единицах БИТ/СИМВОЛ.

Вероятностная мера (мера Шенона)

Основное отличие от комбинаторной меры информации -- постулируется неравная вероятность различных значений ДСВ X. Что это означает? Это значит, что если мы достаточно долго будем записывать некую ДСВ X, то доли конкретных значений xi в общем числе значений будут неравны.

Пусть вероятность (доля) конкретного значения xi составляет p(xi). Количество бит, необходимое В СРЕДНЕМ для записи одного значения x, может быть вычислена по формуле:

. (1)

энтропия информация вероятность

Или необходимо не менее бит, чтобы записать сообщение из M конкретных значений x ДСВ X.

Эта формула называется формулой Шенона.

Понятие о полной и частной информации.

Определение

Информация - это сведения об объектах, процессах и т.д., имеющих место в объективном мире.

Количество информации измеряется уменьшением энтропии той системы, для уточнения состояний которой предназначены сведения. Другими словами, информация теснейшим образом связана с энтропией и с помощью ее она и определяется.

Количество информации обозначается I(Х), либо Iх и определяется следующим соотношением

,

где Н(Х) - исходная энтропия или энтропия источника сообщения;

Н(Х/Y) - условная энтропия или энтропия приемника сообщений, оставшаяся после получения сообщения.

Рассмотрим идеальный случай, т.е. когда помехи отсутствуют, тогда количество информации будет полностью определяться исходной энтропией

Таким образом количество информации есть не что иное, как



Эти формулы можно проиллюстрировать так называемым информационным треугольником. В идеальном случае треугольник равносторонний. Если же имеют место потери информации, то фактическое количество информации будет меньше.

т.е. какова условная энтропия, такова и потеря информации Iн-Iср(Х)=ДIn.

Формула (4.3) означает, что количество информации есть определенное по всем состояниям системы значение логарифма вероятности состояния с обратным знаком.

В теории информации отдельные логарифмы состояния трактуются как частная информация, полученная от отдельного сообщения, состоящая в том, что система Х находится в состоянии хi, ее обозначают

Зная информацию об отдельном сообщении и усредняя ее по всем состояниям, мы получаем полную среднюю информацию системы:

Указанную информацию можно записать в виде математического ожидания

Покажем, что если всевозможные состояния системы одинаково вероятны, т.е. Рi=1/n, то частная информация каждого отдельного сообщения и полная средняя информация равны между собой. Действительно,

, таким образом

В случае, если логарифмы отдельных состояний не равны между собой, то с помощью указанных соотношений можно установить, что

Информация связанных систем.

Из соотношения Шеннона следует тот факт, что для получения информации о системе Х система Y должна быть с ней связана каким-то образом.

На практике наблюдения могут вестись не за самой системой Х, а за связанной с ней системой Y. Поэтому между наблюдаемым и отраженным явлениями имеется ряд различий. Эти различия между интересующей нас системой Х и наблюдаемой системой Y могут быть двух типов:

различия за счет того, что некоторые состояния системы Х не находят отражения в системе Y.

Различия за счет ошибок, имеющих характер неточности измерений параметров системы Х и ошибок при передаче сообщений.

Когда интересующая нас система Х и наблюдаемая система Y различны, то возникает вопрос, какое количество информации о системе Х дает наблюдение системы Y? Эта информация определяется как уменьшение энтропии системы Х в результате получения сведений о состоянии системы Y и записывается:

Iу>х - количество информации о системе Х, содержащееся в системе Y.

Трактовка исходной и остаточной энтропии такая же как и выше.

Следует отметить, что хотя энтропии Н(Х) и Н(Х/Y) взаимосвязаны между собой, их можно определить каждую в отдельности, используются соответствующие этим энтропиям законы распределения вероятностей.

Полная взаимная информация систем.

Теорема:

Если системы взаимно зависимы, то каждая из них содержит относительно другой одну и ту же полную информацию, т.е.

Iу>х=Iх>у

Доказательство: по теореме об объединении энтропий

, можно записать

т.к. левые части (4.10) и (4.10*) равны, то можно приравнять и правые

Перенося условные энтропии за знак равенства получим

а это есть

ч. и т.д.

Иногда полную взаимную информацию обозначают Iу<>х и записывают

(4.14) называется полной взаимной информацией, содержащейся в системах Х и Y.

Степени зависимости систем Х и Y могут быть различными. Рассмотрим отдельные варианты зависимостей этих систем:

при полной независимости систем Х и Y, имеем

и

Действительно, нельзя получить информации о системе, никак не связанной с другой системой.

Аналогично можно показать, что если

, следовательно

при полной зависимости систем Х и Y, т.е. состояние системы Х полностью определяет состояние системы Y (и наоборот), тогда имеем

и следовательно

таким образом, одна из систем полностью, без искажения, отражает другую или фактически наблюдается непосредственно интересующая нас система (Х или Y).

Односторонняя зависимость имеет место, когда состояние одной системы полностью определяет состояние другой системы, но не наоборот.

Определение

Система, состояние которой полностью определяется состоянием другой, называется подчиненной системой.

Например, подчиненная система - показание на измерительном приборе исходной системой является измеряемый процесс.

Энтропия подчиненной системы меньше, чем системы, которой она подчинена.

Если из двух систем Х и Y, подчиняющей является Х, то условная энтропия Н(Х/Y)=0, т.к. система Х полностью определяется известной системой Y. Поэтому в соответствии с (4.9)

Это означает, что полная взаимная информация, содержащаяся в системах, из которых одна является подчиненной, равна энтропии подчиненной системы.

Расчетная формула для полной взаимной информации.

Полную взаимную информацию Iу<>х можно получить из энтропии объединенной системы Н(Х, Y) и отдельных частей Н(Х), Н(Y).

Из формулы объединенной энтропии получим

Подставим (4.19) в формулу Шеннона (4.9)

т.е. полная взаимная информация, содержащаяся в двух системах, равна сумме энтропий, составляющих систем, минус энтропия объединенной системы.

Запишем (4.20) в виде математического ожидания, для этого представим каждый из членов в виде математического ожидания.

и следовательно подставляя (4.21) в (4.20) получим

После преобразования:

Для того, чтобы производить непосредственные вычисления полной взаимной информации, формулу (4.23) перепишем в виде

т.е. расшифрована операция математического ожидания, где

(4.25)

5. Частная информация связанных систем

В ряде случаев необходимо оценить частную информацию о системе Х, содержащуюся в отдельном сообщении, указывающим, что система Y находиться в конкретном состоянии уj.

Частная информация о системе, содержащаяся в сообщении о событии.

Обозначим информацию Iуj>х - это есть частная информация о системе Х, полученная в результате сообщения, что система Y находиться в состоянии уj.

Чтобы получить полную (среднюю) информацию Iу>х необходимо взять математическое ожидание частной информации для всех возможных состояний системы Y, о которых может быть передано сообщение, т.е. указанная информация есть не что иное, как

Вспомним формулу (4.24) и сравним их (5.1 и 4.24). В результате можно записать

Распишем вероятность Рij следующим образом

и подставим в это выражение

Сопоставляя (5.2) с (5.1) замечаем, что

В соответствии с (5.3) подсчитывается количество информации о системе Х, если получено сообщение уj о системе Y, связанной с системой Х. Из структуры формулы (5.3) видно, что это есть усредненное по всем состояниям системы Х выражение



Усреднение производится по всем вероятностям системы Х потому, что система Y приняла некоторое фиксированное значение уj.

Выражение (5.3) можно записать в виде математического ожидания

это условное математическое ожидание.

Можно показать (Вентцель Е.С. стр.190), что частная информация (5.3) о системе Х заключенная в сообщении о любом состоянии уj системы Y не может быть отрицательной. Из этого следует, что полная взаимная информация как математическое ожидание неотрицательной случайной величины также не может быть отрицательной, т.е.

а поскольку (5.6) может быть определено с помощью основного соотношения Шеннона, то можно записать

Вывод: безусловная энтропия системы больше или равна полной условной энтропии связанных систем.

Для непосредственного вычисления частной информации в (5.3) удобно перейти от условных вероятностей к безусловным, т.е.

в результате

Частная информация о событии содержащаяся в сообщении о другом событии.

Необходимо определить частную информацию о событии состоящем в том, что система Х находящаяся в состоянии хi, т.е. Х~ хi, если получено сообщение о том, что связанная с ней система Y находиться в состоянии уj, т.е. Y~уj. Такую информацию называют частной информацией от события к событию и обозначают Iуj>хi. Оказывается, что

Смысл вероятности стоящий под логарифмом следующий: в числителе стоит вероятность первого события после сообщения (апостериорная вероятность).

Формула частной информации о событии, полученная в результате сообщений о другом событии, равна логарифму отношения вероятности первого события после сообщения к его же вероятности до сообщения.

Исследуем (5.9): 1) если, то

если, то (5.10)

если, то

частную информации (5.9) можно записать для расчетов в виде

причем также и в таком же количестве

т.е. эти виды информаций симметричны относительно х и у.

Вывод: в предыдущих лекциях рассмотрены три вида информации:

полная информация о системах, т.е. например о системе Х, содержащаяся в системе Y и наоборот.

частная информация о системе Х, содержащаяся в сообщении о событии, что система Y находиться в заданном состоянии Iуj>х

Iуj>хi=Iхi>уj частная информация о событии, состоящем в том, что система Х находится в состоянии хi, содержащаяся в сообщении, что система Y находится в состоянии уj и наоборот.

Первые два вида информации могут быть только положительными (u=0), третий вид информации может быть как положительным, так и отрицательным (u=0)

3. Стационарные случайные процессы.

Для стационарного случайного процесса: математическое ожидание является постоянной величиной, mх(t)=mх=соnst, дисперсия Dх(t)=Dх= соnst.

Корреляционная функция - это математическое ожидание от центрированных величин двух сечений стационарного случайного процесса, причем значение корреляционной функции для двух участков с одинаковой длинной одинаковы Кх(t, t+ф)= Кх(t1, t1+ ф).

Другими словами корреляционная функция не зависит от начала процесса, а зависит от его длительности, т.е. Кх(t, t+ф)=Кх(ф), т.е. корреляционная функция есть функция не двух, а одного аргумента. При ф=0 получим Кх(t, t)=Dх(t)=Кх(0)=соnst.

Для любой с функции корреляционная функция обладает свойством симметрии, т.е. Кх(ф)=Кх(-ф).

Практически корреляционная функция Кх(ф) определяется только для положительных аргументов, однако при теоретических исследованиях рассматривают обе ветви корреляционной функции.

Т.к. корреляционная функция есть функция симметричная и гармоническая, то она может быть разложена в тригонометрический ряд Фурье по косинусоидальным составляющим (синусоидальные равны 0).

6. Информация систем с непрерывным множеством состояний

Энтропия систем с непрерывным множеством состояний

Опр. Системы с непрерывным множеством состояний - это такие системы, состояния которых нельзя пронумеровать, они непрерывно переходят одно в другое. Вероятность отдельного состояния равна 0, а распределение вероятности характеризуется плотностью вероятности f(х). Таким образом система с непрерывным множеством состояний аналогична случайной величине Х с плотностью распределения f(х).

Введем для указанной плотности распределения понятие энтропии.

Следует отметить, что понятие непрерывной системы, как и понятие непрерывной случайной величины является понятиями условными, например рост или вес человека можно считать непрерывной случайной величиной, а можно считать дискретной, все зависит от точности измерения. Например, рост можно мерить с точностью до 1 см., 1мм., 1мкм и т.д., а вес можно мерить с точностью до 1кг., 1гр., 1мгр. Таким образом установив предел измерения случайной величины Дх можно считать, что в его пределах состояния системы практически не различимы и таким образом можно непрерывную случайную величину свести к дискретной. Это равносильно замене плавной кривой f(х) ступенчатой фигуры типа гистограммы.

?х - одинаковы все.

Вероятность попадания величины в заштрихованный участок равна

Геометрически это представляет собой площадь. Каждый отдельный прямоугольник является разрядом.

Если считать состояния системы, относящиеся к одному разряду неразличимыми и объединить их в одно состояние, то можно приближенно определить энтропию системы Х, рассматриваемой с точностью до Дх

Аналогично поступая и в рассматриваемом случае определим

В выражении (6.1) перейдем к пределу, устремив Дх к 0 (Дх>0). В результате получим

тогда окончательно энтропию системы с непрерывным множеством состояний можно записать в виде:

Первый элемент энтропии совершенно не зависит от точности, до которой рассматривается система, а зависит только от закона распределения состояния системы.

Второй элемент (lоgДх) зависит только от точности, до которой рассматривается система. При Дх>0 второй элемент будет стремиться к (+?), что свидетельствует о том, что чем точнее необходимо определить состояние системы, тем большую степень неопределенности необходимо устранять.

Выражение (6.4) называется полной энтропией системы с непрерывным множеством состояний.

Первый член (6.4) обозначается Н(Х)

(6.5) - приведенная энтропия.

Тогда

(6.6) можно истолковать таким образом, что от точности измерения Дх зависит только начало отсчета, при котором вычисляется энтропия.

Выражение (6.4) часто записывают в виде математического ожидания:

(6.5) также может быть представлено в виде математического ожидания:

Условная энтропия системы с непрерывным множеством состояний.

Пусть имеются две непрерывных зависимых системы Х и Y. Обозначим f(х, у) - плотность распределения для состояний объединенной системы (Х, Y).

Обозначим f1(х) - плотность распределения системы Х.

f2(у) - плотность распределения системы Y.

f(у/х), f(х/у) - условные плотности распределения.

Определим частную условную энтропию системы Y, если система Х находится в некотором состоянии х, т.е. Н(Y/х).

Н(Y/х) можно определить, вспомнив определение условной энтропии для систем с дискретным множеством состояний:

Теперь по аналогии с этой формулой можно записать:

Чтобы найти полную (среднюю) условную энтропию Н(Y/Х) необходимо усреднить частную энтропию (6.9) по всем состояниям х с учетом их вероятности, которая характеризуется для непрерывной системы плотностью распределения f1(х). В результате получим

Учитывая, что произведение (6.10) можно переписать

Выражение (6.11) можно записать через математическое ожидание

Можно показать, что энтропия сложной системы с непрерывным множеством состояний, составленная из двух зависимых систем, как и для дискретных систем, равна

(учебник Вентцель Е.С. стр.497)

В случае независимых систем

Информация сложных систем с непрерывным множеством состояний.

Подобно тому, как было распространено на сложную систему с непрерывным множеством состояний понятие энтропии, на эти системы можно распространить понятие информации. Характерной особенностью при определении информации является то, что член в выражении полной энтропии, зависит от точности определения состояния системы, при определении информации исключается. Покажем это:

подставляя, получим

т.е. при получении информации в расчет выключаются только приведенные энтропии.

Выражение для количества информации получается по аналогии с выражением для зависимых дискретных систем:

, получаем

Приложение 1 (обязательное)

А. Элементы теории вероятности

Основные понятия теории вероятности.

Опр. Событие - всякий факт, который в результате опыта может произойти или не произойти.

Опр. Вероятность события - численная мера степени объективной возможности этого события.

Вероятность события А вычисляется как отношение числа благоприятных случаев к общему числу случаев.

m - число случаев, благоприятных событию А.

n - общее число случаев.

Опр. Величина вероятности - есть дробь, заключенная в пределах от 0 до 1, т.е.

0?Р(А) ?1 (2)

Опр. Величину (1) называют частотой события или статистической вероятностью. При большом числе опытов она по вероятности сходиться к вероятности.

Опр. Случайной величиной называется величина, которая в результате опыта может принять то или иное значение, причем не известное заранее какое именно.

Случайные величины могут быть дискретными и непрерывными. Обычно случайная величина обозначается прописной буквой Х, а отдельная реализация случайной величины - хi, где i=1,2,…,n. Иногда записывают таким образом

Случайная величина является характерной характеристикой случайного события А.

Основные теоремы теории вероятности.

К основным теоремам теории вероятности относятся:

1. теорема сложения вероятностей

2. теорема умножения вероятностей

Теорема сложения вероятностей: Суммой нескольких событий называется событие состоящее в появлении хотя бы одного из этих событий.

Так для двух событий можно записать

Аналогично можно записать сумму для любого количества событий.

События могут быть совместными (пересекающимися) и несовместимыми. В этом случае возможны следующие варианты сложения вероятностей:

а) несовместимых событий:

для полной группы событий будет



для противоположных событий будет

б) сложение вероятностей совместных событий

- для двух событий

- для трех событий

Теорема умножения вероятностей: Произведением нескольких событий называется событие состоящие в совместном выполнении этих событий.

а) для независимых событий.

Если С=А*В, то

Если С=А*В*D, то

Тогда в общем случае

б) для зависимых событий.

где Р(А/В) - условная вероятность события А, вычисленная при условии, что имело место событие В.

Формула (13) может быть обобщена на несколько событий, однако чаще на практике применяется формула в форме.

Из теорем сложения и умножения вероятностей могут быть получены следующие следствия:

формула полной вероятности:

где Hi - одна из гипотез, которая может произойти вместе с событием А.

формула Бейеса (теорема гипотез)

Законы распределения случайных величин.

Опр. Законом распределения случайной величины называется всякое соотношение, устанавливающее связь между значениями случайной величины и соответствующими им вероятностями.

Для дискретных случайных величин закон распределения может представляться в виде

Ряда распределения (таблица)

Треугольника распределения

Функции распределения.

Для непрерывных случайных величин законы могут быть представлены в виде:

Функции распределения

Плотность распределения

Опр. Функция распределения (интегральный закон распределения) - это универсальная характеристика случайной величины.

Она записывается в следующем виде:

Свойства функции распределения.

1)F(x)- есть неубывающая функция, сводного аргумента, т.е. если x2>x1, то F(x1)

(17)

При построении графика дискретной функции используется соотношение:

Вероятность попадания на участок случайной величины определяется формулой

Опр. Плотность распределения (дифференциальный закон распределения) - важнейшая характеристика распределения непрерывной случайной величины и наиболее часто используется в практических и теоретических целях.

Плотность распределения обозначается f(x) и определяется как

Форм дифференциального закона распределения имеется много, но чаще используется нормальный закон распределения (или форма Гаусса).

Свойства плотности распределения.

Плотность распределения неотрицательная функция, т.е. f(x)?0.

Это означает что фактически определяется площадь на участке от б до в.

В зависимости от формы кривой закон плотности распределения вероятности применяется в следующих видах:

нормальный закон (закон Гаусса)

экспоненциальный закон

закон Вейбула

биномиальный

закон Релея

закон Эрланга

закон Максвелла

закон Симсона

закон ХИ-квадрат

арксинус

гамма - распределения

закон возрастающей вероятности.

Числовые характеристики случайной величины.

Числовые характеристики случайной величины описываются так называемыми моментами, которые аналогичны моментами, используемым в механике. Моменты могут быть различных порядков.

Момент S-ого порядка:

Чаще других в теории вероятности используются начальные и центральные моменты. Начальный момент относится к самой случайной величине, а центральный - к ее отклонению от математического ожидания.

Математическое ожидание.

Для дискретной свободной величины математическое ожидание совпадает с первым начальным моментом.

-математическое ожидание.

Опр. Математическое ожидание - есть величина неслучайная и представляющая собой сумму произведений всех возможных значений случайных величин, умноженных на вероятности этих значений.

В статистическом случае математическое ожидание есть среднее арифметическое значение математической величины

Для непрерывной случайной величины математическое ожидание записывается в следующем виде

Дисперсия и среднеквадратическое отклонение.

Опр. Дисперсия - есть второй центральный момент. Она определяется как математическое ожидание от квадрата центрированной случайной величины.

- дисперсия случайной величины.

Для дискретной случайной величины дисперсия записывается:

Для непрерывной случайной величины

Опр. Среднеквадратическое отклонение обозначается у[Х] и записывается как

Для некоррелированных случайных величин

Корреляционный момент.

Если i=j, то Kij=Dx т.е. это есть дисперсия случайной величины.

Опр. Математическое ожидание есть не только числовая характеристика случайной величины, но также операция по усреднению (средневзвешиванию)случайной величины любого порядка.



Б Некоторые сведения о случайных функциях

Опр. Случайная функция - это такая функция, которая в результате опыта может принять тот или иной конкретный вид, неизвестно заранее какой именно.

Опр. Конкретный вид случайной функции называется реализацией.

Случайная функция обозначается Х. В качестве аргумента этой функции могут быть любые величины, но чаще всего выступает время, поэтому ее обозначают Х(t).

Отдельные реализации обозначаются [х1(t), х2(t),…,хn(t)]. Графически ее представляют в виде набора реализаций. Каждая из реализаций не является случайной величиной.

Если произвести сечение случайной функции в момент времени t1 и в t2, то в сечении получим случайную величину.

Чтобы получить одномерный закон распределения случайной функции необходимо фактически установить закон распределения случайной величины в данном сечении f(х1, t1), чтобы двумерный закон распределения f(х1, t1, х2, t2).

Для каждого из указанных сечений могут быть получены следующие характеристики:

математическое ожидание mх=М[Х(t)]

дисперсию Dх(t)= D[Х(t)]

корреляционный момент

Если t1=t2, то Кх=Dх.

Очень часто используется момент корреляций rх, равный

- корреляционный момент или нормированная корреляционная функция

Если t1=t2, то rх=1.

Наибольшее распространение в технике имеют стационарные случайные функции. Стационарный процесс можно рассмотреть как продолжающийся неопределенно долго во времени, т.е. начало отсчета может быть любым.

Размещено на Allbest.ru

...