В нашем примере количество "значений" национальностей студентов всего 4, но их могло быть и больше.

Так вот, если мы уже имеем вероятности для каждой из них, то можно построить особый код для записи сообщений о национальной принадлежности.

Делается это так.

Вначале весь ряд закона распределения ранжируется по величине вероятности для каждой из национальностей, что уже выполнено в нашей таблице .

После этого все названия национальностей разбиваются на две группы таким образом, чтобы сумма вероятностей первой и второй примерно совпадали по величине (по 50%).

У нас в первую группу попадут украинцы и мы присвоим им двоичный код (пусть это означает для нас бит "Да"), а второй группе - "коллективный "двоичный код (т.е. - бит "Нет").

Ясно, что в первую группу всегда попадает сравнительно мало позиций - у них большие вероятности появления.

Теперь подобная операция производится со второй группой - она также делится на подгруппы с примерно равным значением суммы вероятностей. Первой подгруппе (русские) присваивается код (уже из двух битов), а второй (евреи и молдаване) - . Сообразим, что для группы "Украинцы" придется использовать также три бита - .

Доведем такое разделение до логического конца - пока у нас не останется чего делить. Вторую подгруппу второй группы разделим на две части и присвоим коды: евреям - и молдаванам .

Действуя таким образом, мы построили так называемый оптимальный код Шеннона - Фэно. Этот код позволяет максимально уменьшить объем записи сообщений.

Дело обстоит достаточно просто - мы связываем национальность (факт появления конкретного её значения) НЕ с текстом её названия и даже не с порядковым номером (если таких позиций в ряду закона распределения не 4, а более 256, то для записи номера потребуется уже два байта), а с ДВОИЧНЫМ КОДОМ этой национальности.

Разумеется, вопрос о кодировании информации возникает не только в ситуациях, подобных описанной нами только что.

Во всех таких случаях вполне объяснимо желание "тратить" меньше символов (битов) на более вероятные сообщения.

В теории информации существует специальный показатель - экономичность кода. Вычисляется этот показатель так.

Определяется количество информации (энтропия) в любом сообщении о национальности, составляющее в нашем последнем примере 1.751 двоичных единиц. Затем подсчитывается количество информации приходящееся (в среднем) на один кодовый символ.

Делается это достаточно просто: пусть мы решили "сэкономить на битах" и имеем:

Среднее количество битов в коде национальности - это и есть математическое ожидание длины кода, оно составляет в нашем примере

1·0.48 + 2·0.28 + 3·0.14 + 3·0.10 = 1.760.

Результат деления полного количества информации (1.751) на среднее количество информации для символа кода (бита), - называют экономностью кода, и он в нашем примере чуть не дотянул до десятичной единицы - 0,995 десятичных единиц количества информации на один двоичный символ кода.

На первый взгляд кажется, что лучше бы мы поступили более просто - присвоили украинцам код 1, русским -2 и т.д.

На самом деле всё обстояло бы гораздо хуже.

Ведь в таком варианте мы использовали бы не двоичные, а десятичные коды, а значит имели бы другие данные:

Количество информации в сообщении осталось все тем же, но среднее значение длины кода стало равным 8 двоичным единицам (каждому из символов кода нужен 1 байт! - 8·0.48 + 8·0.28 + 8·0.14 + 8·0.10 = 8.)

И теперь показатель экономичности кода составит всего чуть более 0.2 тех же двоичных единиц информации на один двоичный символ кода.

5.Проблемы свёртки информации

Термин "свёртка" обычно применяется в практике ИТ для обозначения специальной процедуры, которую выполняют по отношению к информационным массивам, большим наборам сведений о некотором событии, величине или совокупности величин.

Выделенный термин имеет не только обиходный, но и "философский" смысл. Дело в том, что появление компьютерных систем позволило перейти от "атомов" информации (данных) - к "молекулам" - таблицам (пусть одно или двумерным).

Это касается не только языков программирования (объектно ориентированным), но и программным средствам преобразования информации и её анализа.

Мы ещё затронем этот "химсостав" информации в следующих главах, решая проблемы оптимального хранения и защиты информации (в компьютере).

Простым примером информационного массива, над которым иногда целесообразно произвести операцию свертки, может служить т.н. выборочное распределение случайной величины.

Такое распределение имеет вид таблицы, в которой каждому, наблюдаемому многократно, допустимому значению СВ - соответствует частость этого наблюдения.

Иными словами - выборочное распределение отличается от закона распределения только одним - вместо вероятностей ("теоретических" значений частостей) используются найденные по итогам наблюдений частости.

В большинстве случаев приходится накапливать информацию и затем строить выборочное распределение с целью получить представление именно о вероятностях конкретных значений.

Необходимость знаний этих вероятностей становится особо острой в ситуациях, когда информационная технология управления включает в себя методы таких наук как исследование операций, математического программирования, имитационного моделирования и других современных приемов прикладной математики.

Практически во всех подобных случаях полученный по накопленным данным информационный массив (скажем 10 000 наблюдений над случайной величиной X cо 150-тью допустимыми значениями) приходится подвергнуть специальной обработке - расчету так называемых моментов распределения, точнее - выборочных значений этих моментов.

Вспомним, что любой массив наблюдений над СВ с числовыми (дискретными) значениями, - представляет, в конце концов, обычную таблицу с двумя полями (общепринятое ныне названия столбца таблицы) и некоторым количеством записей (строк). Каждому значению величины соответствует частость (в конечном виде - вероятность наблюдения именно этого значения).

Изображать (на экране или бумаге) этот ИНФОРМАЦИОННЫЙ МАССИВ можно как угодно, например:

Доказано, что такой массив можно "свернуть" и … вместо N2 "порций" информации рассматривать ограниченное количество данных информации - МОМЕНТЫ распределения - числовые величины, вычисляемые по алгоритму:

M(X)K = У ((XI)PI)K / N.

Момент первого порядка (K=1) называют математическим ожиданием СВ, если вместо вероятностей используются относительные частости (частоты), хотя более правильно называть такой (выборочный) момент - средним значением.

Алгоритм вычисления момента любого порядка предельно прост и не требует специальных прикладных программ.

О моментах более высокого порядка следует поговорить особо.

Пусть СВ X - денежная единица. Тогда результат свёртки "M1=247 грв." вполне понятен по смыслу и … по размерности.

Но какой смысл результата свёртки типа "M2= 900 (грв.)2 ?

Здесь настоящий исследователь поставит вопрос иначе: что выражает 30 грв. (квадратный корень из M2)?

И далее - какие свойства обрабатываемого массива выражает значение кубического корня из момента третьего порядка и т.д.

Вполне возможно, что построив распределения с одинаковым M1 и различными моментами второго, третьего и четвертого порядков, а затем внимательно рассмотрев полученные картины, - наш исследователь заметил (и описал понятными словами) следующее.

Момент второго порядка позволяет оценить разброс (рассеяние, дисперсию) значений XI относительно "центра" - математического ожидания СВ. Оказалось, что можно вычислить т.н. центральный момент второго порядка, применив понятное по смыслу выражение:

D(X) = У ((XI-M(X))PI)2 / N

Эту величину принято называть дисперсией, а квадратный корень из неё - среднеквадратичным отклонением (от математического ожидания) S.

Момент третьего порядка позволяет получить также хорошо понятный по смыслу показатель - асимметрию кривой (диаграммы) распределения.

Более "тонкие" свойства распределения выражает момент четвертого порядка - т.н. "эксцесс" (вольный перевод - вспучивание)

Информационная ценность таких числовых показателей (конечно - для величин, допускающих числовое выражение) оказывается очень большой.

Дело в том, что в отдельных случаях всего два числа - математическое ожидание и дисперсия или даже одно единственное число - математическое ожидание, - могут храниться вместо полутора миллионов чисел "исходной" информации и вполне заменять её. Такие распределения принято называть двух параметрическими, - если мы знаем параметры (в нашем случае - M и S)? - мы знанием о распределение ВСЁ! В частности - мы имеет выражения (формулы) для ответов на любые (статистические) вопросы

Разумеется, всякая свертка информации неизбежно приводит к частичной её потере, но то, что мы получаем, оказывается достаточным для решения практических задач.

Свертка информации при наличии схемы событий

Итак мы почти "одолели" первый шаг подготовки информации к её передаче на хранение.

Предположим, что при решении некоторой задачи управления нам важны данные о случайном процессе следующего типа:

Производится N циклов некоторого процесса, каждый из которых может окончиться "положительно" или "отрицательно" и для нас крайне важно уметь прогнозировать количества положительных исходов A из всех N.

Мы собираемся строить управление для условий, когда N может быть назначено нами.

Ясно, что число положительных исходов может лежать в диапазоне 0…N, но нам важно знать - каково среднее число положительных исходов, какова вероятность того, что при конкретном N, - значение A окажется равным, например 5, 6 или 7.

Совсем кратко - мы хотели бы иметь распределение вероятностей для всех допустимых значений A.

Если бы у нас была возможность произвести статистические эксперименты -произвести накопление данных (запуская процесс многократно для различных значений числа циклов), то можно было бы затем преобразовать информацию о числе благоприятных исходов в частости таких исходов.

Вычислив выборочное среднее значение и разброс (дисперсию), мы получили бы некоторое представление о распределении вероятностей случайной величины A.

Но, скорее всего, нас не удовлетворят эти результаты. Дело вот в чем:

Простое правило - провести побольше наблюдений в неизменных внешних условиях, выполнить практически очень трудно, а иногда и невозможно.

Причины могут оказаться "локальными" - пассивное наблюдение за процессом дорого стоит, а могут быть и "глобальными" - нет гарантий стабильности внешних факторов.

И всё же выход из положения в подобных задачах все таки иногда удается найти. Можно поставить перед собой вопрос - а не исследовалась ли подобная ситуация (иногда говорят - схема случайных событий), не существует ли "теоретического" описания распределения подобных случайных величин?

Иными словами, а нет ли специального метода обработки информации, её свертки?

Если такого метода нет, точнее - мы не нашли его в теории преобразования информации (так можно назвать симбиоз теории вероятностей и математической статистики), то не следует падать духом.

Надо попытаться построить самому схему событий, обращаясь к их сущности.

Правда помочь сделать это сможет профессионал обычных технологий, а не информационных.

Продемонстрируем это на нашем примере (хотя в этом и нет нужды, - законы распределения подобных СВ описаны давным-давно).

Поставим простой вопрос - для одного, любого из N циклов нашего процесса, - нельзя ли полагать вероятность положительного исхода постоянной?

Пусть (для простоты) у нас есть основания полагать именно так: в любом цикле вероятность положительного исхода равна p= coonst.

Теперь можно легко вычислить вероятность события "(А=N)", для этого надо всего лишь возвести в степень N значение вероятности p. Здесь мы впервые спользуем свое предположение - о независимости событий в каждом цикле. Далее поставим вопрос о вероятности события "A=N-1" т.е. ситуации когда всего лишь 1 из циклов имеет отрицательный исход.

Описанное событие означает, что N-1 раз всё оканчивалось как надо (вероятность этого составляет pN-1) и лишь один раз (вероятность q =1-p) - не так. Итого вероятность события - все, кроме одного, исходы - благоприятны, составит q·pN-1. Теперь остается сообразить, что подобная ситуация могла произойти в любом из N вариантов.

Подведем некоторый промежуточный итог нашей работы - мы уже умеем вычислять вероятности отсутствия отрицательных итогов - C0=pN и одного отрицательного C1=q·pN-1.

Если бы у нас было, например, всего три цикла, то мы получили бы следующие выражения для вероятностей:

Таблица

и, скорее всего, догадались бы о сути способа построения формул вычисления вероятностей для любого числа положительных исходов A при любом числе циклов процесса N. В самом деле - значения вероятностей совпадают со слагаемыми разложения бинома (p + q)3.

Разумеется, - это хорошо известное "биномиальное" распределение целочисленных величин. Хорошо известны его математическое ожидание, составляющее N·p и дисперсия, равная N·p·q.

Так что же, нет нужды обрабатывать (а то и вообще - накапливать) исходную информацию? Конечно же, - надо и обязательно. И этому есть уважительная причина.

Дело в том, что специальные методы преобразования информации, составляющие основную часть теории и практики статистики, позволяют получить в результате очень важные, хотя и непривычно сформулированные, информационные выводы в отношении исходного информационного массива.

Если бы мы провели некоторое количество наблюдений за процессом, хотя бы для наиболее важных для нас неизменных количествах циклов, то обработка такого информационного массива с помощью соответствующих алгоритмов позволила бы сделать важные выводы.

Во-первых, мы могли бы получить ответ на вопрос об "истинной" природе тестируемого нами процесса. Правда ответ этот звучал бы, на первый взгляд, очень странно. Например, если мы примем допущение о том, что распределение интересующей нас СВ НЕ принадлежит к биномиальному, то ошибемся, скажем, в 98 случаях из 100.

В чем же дело, мы вложили в эксперимент всё, что могли, - почему же статистическая наука дает такой ответ?

Но!

Прежде всего, ответ этот вполне корректен - никакие "мегатонные" запасы информации не могут раскрыть причины случайного появления конкретных значений наблюдаемых нами величин. Кроме того, - и статистика и теория вероятностей помогают вести обработку (в том числе - свертку) информации, но не помогут нарушить логику науки об информации, её свойствах.

Вот если бы наблюдаемые нами процессы происходили в соответствии с некоторым законом природы…

Но тогда (об этом уже говорилось), это была бы не информация, а другая философская категория - знания. Сведения о значениях ускорения при падении тела с высоты могут быть представлены информационным массивом, количество информации в нем не было бы равно нулю.

Но это будет информация не об ускорении силы земного притяжения, не о законе всемирного тяготения, а о … погрешностях измерений, существующих всегда.

Мы могли бы поставить и другой вопрос - а не свидетельствует ли накопленная информация (в нашей предыдущей задаче) о том, что количество положительных исходов A в N циклах процесса является совершенно случайным (на языке теории вероятностей - равномерно распределенным на интервале 0…N?

И в этом случае логика обработки информационного массива позволила бы получить ответ - если мы выдвинем такую гипотезу о природе процесса, то ошибемся лишь в 40 случаях из 100.

Наше и только наше дело, - какое допущение нам принять. Действительно, прав Винер, информация не несет нам ни материю, ни энергию!

Свертка информации при неизвестной схеме событий

Весьма часто приходится собирать и накапливать информацию о случайных величинах, для которых не только неизвестна логика событий, но и существуют профессионально, технологически обоснованные предпосылки полагать, что на значение конкретной величины оказывают влияние значения многих других СВ, сведения о распределении которых нам неизвестны.

И в таких ситуациям теория информации готова предложить нам научно обоснованные приемы постановки практических вопросов (если они поставлены корректно!) и методы обработки информации для получения столь же обоснованных ответов.

Один из законов теории информации позволяет утверждать следующее:

…если мы наблюдаем событие в окружающей нас природе (значение момента на валу электродвигателя как случайная величина X), то при достаточно большом количестве факторов влияния "обобщенная" информация о такой СВ может рассматриваться как источник для проверки гипотезы о так называемом нормальном распределении.

Не останавливаясь на правилах (формуле) вычисления такой "нормально распределенной" величины, отметим лишь некоторые её свойства, наиболее важные при построении алгоритма свертки информации.

Во первых, такая величина имеет всего лишь два параметра, два числовых значения - математическое ожидание и дисперсию.

Да, для нее можно вычислять и более высокие моменты распределения, но, не тратя время на обработку массива - третий, четвертый и т.д. моменты однозначно определяются первыми двумя. Во вторых, если уж мы нашли эти два момента, то во всех случаях вероятность того, что наша СВ попадет в интервал своих значений М±3S, - составляет около 95%. И так - для любого нужного нам интервала.

Конечно, гипотеза о нормальном распределении величины, информация о которой (по тем же законам природы) есть обобщение информаций о множестве других СВ, - может и должна быть проверена.

Но строго доказано одно, она тем более правдоподобна, чем больше "влияющих" СВ, о распределении которых можно не знать ничего.

Изложенное выше названо законом теории информации. Правда, - в любом учебнике по теории вероятностей, математической статистике и другим дисциплинам, этот закон также полагают "своим". Допущенная автором вольность может быть объяснена только одним обстоятельством - и теория вероятностей, и теория математической статистики или просто прикладная статистика, служат одной цели, помогают нам в одном - собрана информация и нам надо полезно её использовать.

Свёртка информации для нескольких СВ

Можно догадаться, предметом статистического исследования одна случайная величина является очень редко.

В таких случаях исходным информационным массивом можно полагать таблицу, в которой имеются данные о паре (или более) СВ. Но данные такой таблицы могут представлять интерес только при одном условии

Данные о конкретном (случайном) наблюдавшемся значении XI и данные об YI - должны были быть сняты (считаны, зафиксированы) - в один и тот же миг.

В том случае, если шкалы этих СВ не совпадают по физическому смыслу, например: X представляет собой значение напряжения на лампе, а Y - зафиксированный в это мгновение уровень освещенности, - приходится применять особый (не сложный по смыслу) прием - нормирования.

Суть его проста:

Для каждой из СВ выбирается одно и то же количество диапазонов, на которое разделяется весь интервал первой (от XMIN до XMAX и второй (от YMIN до YMAX).

Это дает возможность использовать безразмерные, относительные значения для обоих СВ. Если, скажем, таких диапазонов 100, то мы фиксируем относительное значение X=42, если реальное значение X попало в "свой" 42-й диапазон.

Если в это же мгновение реальное значение Y попало в свой 52-й диапазон, то естественно возникает вопрос - случайно ли это, не существует ли между этими величинами некоторая связь?

Вспомним, что прямое толкование термина корреляция - стохастическая, вероятная, возможная связь между двумя (парная) или несколькими (множественная) случайными величинами 6.

Разумеется, - вопрос об оценке наличия подобной связи содержит два направления: - как оценить "силу" этой связи численно и как оценить степень риска ошибки приняв ту или иную гипотезу. Классическая статистика дает ответы на подобный вопрос.

Известно, что, - если для двух случайных величин (X и Y) вероятность их совместного наступления P(XY) точно равна произведению их собственных вероятностей P(X)·P(Y), то величины X и Y считаются независимыми (связи нет!).