Подходы к измерению информации
Основные подходы к измерению информации: алфавитный (объемный), энтропийный (вероятностный), содержательный, алгоритмический и прагматический. Единицы, производные от бита. Понятие термина "байт", его первое использование В. Бухгольцем в 1956 году.
Рубрика | Программирование, компьютеры и кибернетика |
Вид | курсовая работа |
Язык | русский |
Дата добавления | 11.12.2014 |
Размер файла | 46,5 K |
Отправить свою хорошую работу в базу знаний просто. Используйте форму, расположенную ниже
Студенты, аспиранты, молодые ученые, использующие базу знаний в своей учебе и работе, будут вам очень благодарны.
Размещено на http://www.allbest.ru/
Содержание
Введение
1. Подходы к измерению информации
2. Алфавитный (объемный) подход
3. Энтропийный (вероятностный) подход
4. Содержательный подход
5. Алгоритмический подход
6. Прагматический подход
7. Другие подходы к измерению информации
8. Первичные единицы
9. Единицы, производные от бита
Заключение
Список литературы
Введение
Понятие информации - одно из фундаментальных в современной науке. Наряду с такими понятиями , как вещество, пространство , энергия и время, оно составляет основу современной картины мира. Понятие «информация» является ключевым в изучении курса информатики и находит свое отражение практически во всех темах изучаемых линий.
Решая различные задачи, человек вынужден использовать информацию об окружающем нас мире. И чем более полно и подробно человеком изучены те или иные явления, тем подчас проще найти ответ на поставленный вопрос.
Часто приходится слышать, что сообщение или несет мало информации или, наоборот, содержит исчерпывающую информацию. В информатике используются различные подходы к измерению информации. Цель данной работы - изучить подходы к измерению информации.
Задачи курсовой работы:
· изучить литературу и выделить основные подходы к измерению информации,
· изучить единицы измерения информации и соотношения между ними,
· рассмотреть различные примеры на тему.
1. Подходы к измерению информации
Современная наука о свойствах информации и закономерностях информационных процессов называется теорией информации. Содержание понятия "информация" можно раскрыть на примере двух исторически первых подходов к измерению количества информации: подходов Хартли и Шеннона: первый из них основан на теории множеств и комбинаторике, а второй - на теории вероятностей.
Информация может пониматься и интерпретироваться в различных проблемах, предметных областях по-разному. Вследствие этого, имеются различные подходы к определению измерения информации и различные способы введения меры количества информации.
Количество информации - числовая величина, адекватно характеризующая актуализируемую информацию по разнообразию, сложности, структурированности (упорядоченности), определенности, выбору состояний отображаемой системы.
Если рассматривается некоторая система, которая может принимать одно из n возможных состояний, то актуальной задачей является задача оценки этого выбора, исхода. Такой оценкой может стать мера информации(события).
Мера - непрерывная действительная неотрицательная функция, определенная на множестве событий и являющаяся аддитивной (мера суммы равнасуммемер).
Меры могут быть статические и динамические, в зависимости от того, какую информацию они позволяют оценивать: статическую (не актуализированную; на самом деле оцениваются сообщения без учета ресурсов и формы актуализации) или динамическую (актуализированную т.е. оцениваются также и затраты ресурсов для актуализации информации).
2. Алфавитный (объемный) подход
Алфавитный подход основан на том, что всякое сообщение можно закодировать с помощью конечной последовательности символов некоторого алфавита.
Алфавит -- упорядоченный набор символов, используемый для кодирования сообщений на некотором языке.
Мощность алфавита -- количество символов алфавита.
Двоичный алфавит содержит 2 символа, его мощность равна двум.
Сообщения, записанные с помощью символов ASCII, используют алфавит из 256 символов. Сообщения, записанные по системе UNICODE, используют алфавит из 65 536 символов.
С позиций computer science носителями информации являются любые последовательности символов, которые хранятся, передаются и обрабатываются с помощью компьютера. Согласно Колмогорову, информативность последовательности символов не зависит от содержания сообщения, алфавитный подход является объективным, т.е. он не зависит от субъекта, воспринимающего сообщение.
Информация трактуется по-разному, например, как:
o любая сущность, которая вызывает изменения в некоторой информационно-логической модели системы (математика, системный анализ);
o сообщения, полученные системой от внешнего мира в процессе адаптивного управления, приспособления (теория управления, кибернетика);
o отрицание энтропии, отражение меры хаоса в системе (термодинамика);
o связи, устраняющие неопределённость в системе (теория информации);
o вероятность выбора в системе (теория вероятностей);
o отражение разнообразия в системе (физиология, биокибернетика);
o отражение материи, атрибут сознания, “интеллекта” системы (философия).
Если отвлечься от конкретного смыслового содержания информации и рассматривать сообщения информации как последовательности знаков, сигналов, то их можно представлять битами, а измерять в байтах, килобайтах, мегабайтах, гигабайтах, терабайтах и петабайтах.
N = 2b формула, связывающая между собой информационный вес каждого символа, выраженный в битах (b), и мощность алфавита (N):
Пример 1. Алфавит содержит 32 буквы. Какое количество информации несет одна буква?
Дано: Мощность алфавита N=32
Какое количество информации несет одна буква?
Решение: 32 = 2 5, значит вес одного символа b = 5 бит
Ответ: одна буква несет 5 бит информации.
Пример 2.Сообщение, записанное буквами из 16 символьного алфавита, содержит 10 символов. Какой объем информации в битах оно несет?
Дано: Мощность алфавита N=16
Текст состоит из 10 символов
Определить объем информации в битах.
Решение: 1. 16 = 2 4, значит вес одного символа b = 4 бита.
2. Всего символов 10, значит объем информации 10 * 4 = 40 бит.
Ответ: сообщение несет 40 бит информации (8 байт).
Пример 3.Информационное сообщение объемом 300 бит содержит 100 символов. Какова мощность алфавита?
Дано: Объем сообщения = 300 бит текст состоит из 100 символов.
Какова мощность алфавита?
Решение: 1. Определим вес одного символа: 300 / 100 = 3 бита.
2. Мощность алфавита определяем по формуле: 2 3 = 8.
Ответ: мощность алфавита N=8.
3. Энтропийный (вероятностный) подход
Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определенное представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие. Общая мера неопределенностей называется энтропией. Энтропия характеризуется некоторой математической зависимостью от совокупности вероятности наступления этих событий.
Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком.
Рассмотрим пример вычисления количества информации сообщения о наступлении одного из N равновероятных событий. Обозначим численную величину, измеряющую неопределённость (энтропию) через H. Величины N и H связаны некоторой функциональной зависимостью:H = f (N). Эта функция, очевидно, является возрастающей, неотрицательной и определённой при всех значениях 1, 2, …, N.
Обозначим через H1 неопределённость, имеющуюся до совершения события. Через H2 - неопределённость после наступления события. Тогда за I - количество информации об исходе опыта - примем разность неопределённостей до и после опыта: I = H1 - H2.
В случае, когда получен конкретный результат, имевшаяся неопределённость снята (т.к. H2 = 0). Таким образом, количество полученной информации совпадает с первоначальной энтропией. Неопределённость, заключённая в опыте совпадает с информацией об исходе этого опыта.
Определим функцию H = f (N). Будем варьировать N (число возможных исходов) и M (число опытов). Общее число исходов равноX = N M. Каждый исход - некоторый вектор длины M, состоящий из знаков 1, 2, …, N.
Ситуацию с проведением М опытов можно рассматривать как некую сложную систему, состоящую из независимых друг от друга подсистем - однократных опытов. Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый «принцип аддитивности энтропии»): f (N M) = M f (N).
Прологарифмируем левую и правую части равенства X = N M. Получим:
ln X = M ln N, M = .
Подставив полученное для M значение в равенство f (N M) = M f (N), получим:
f(X) = f(N)
Обозначив положительную константу
получим формулу:
f(x) = K ln X
Т.е. получаем: H=KlnX. Обычно принимают K= , тогда H=log2N .
Полученная формула H=log2N называется формулой Хартли.
Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при N = 2. Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (например, бросание монеты). Такая единица количества информации называется битом.
Все N исходов рассмотренного выше опыта являются равновероятными и поэтому можно считать, что на «долю» каждого исхода приходится одна N-я часть общей неопределенности опыта: .При этом вероятность i-гo исхода Рi; равняется, очевидно, 1/N. Таким образом:
H = .
Эта же (последняя) формула принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны (т.е. значения Рi могут различаться). Эта формула называется формулой Шеннона.
В жизни же мы сталкиваемся не только с равновероятными событиями, но и событиями, которые имеют разную вероятность реализации.
Например:
1. Когда сообщают прогноз погоды, то сведения о том, что будет дождь, более вероятно летом, а сообщение о снеге -- зимой.
2. Если вы -- лучший ученик в классе, то вероятность сообщения о том, что за контрольную работу вы получили 5, больше, чем вероятность получения двойки.
3. Если в мешке лежат 20 белых шаров и 5 черных, то вероятность достать черный шар меньше, чем вероятность вытаскивания белого.
Как вычислить количество информации в таком сообщении?
Для этого необходимо использовать следующую формулу:
i=log2(1/p)
где р - вероятность отдельного события. Это формула Хартли.
Пример 1. В корзине лежат 8 мячей разного цвета (красный, синий, желтый, зеленый, оранжевый, фиолетовый, белый, коричневый). Какое количество информации несет в себе сообщение о том, что из корзины будет вынут мяч красного цвета?
Решение.
Так как возможности вынуть мяч каждого из возможных цветов равновероятны, то для определения количества информации, содержащегося в сообщении о выпадении мяча красного цвета, воспользуемся формулой i= log2 N.
Имеем i= log28= 3 бита.
Ответ: 3 бита.
Пример 2. В корзине лежат 8 черных шаров и 24 белых. Сколько информации несет сообщение о том, что достали черный шар?
Решение:
8+24=32 - общее количество шаров в корзине;
8/32 = 0,25 - вероятность того, что из корзины достали черный шар;
i= log2 (1/0,25) =log2 4 = 2 бита.
Ответ: 2 бита
Пример 3. В корзине лежат 32 клубка шерсти. Среди них - 4 красных. Сколько информации несет сообщение о том, что достали клубок красной шерсти?
Решение:
4/32 = 1/8 - вероятность того, что из корзины достали клубок красной шерсти;
i= log2 8 = 3 бита.
Ответ: 3 бита
Пример 4. В коробке лежат 64 цветных карандаша. Сообщение о том, что достали белый карандаш, несет 4 бита информации. Сколько белых карандашей было в коробке?
Решение:
Пусть в коробке было х белых карандашей.
Вероятность того, что достали белый карандаш, равна х/64.
Количество информации сообщения о том, что достали белый шар, равно
i= log2 (64/x) бит, что по условию задачи составляет 4 бита, т.е. имеет место уравнение: log2 (64/x)=4, т.е. 64/x=24, 64/x=16, x=4 , значит в коробке было 4 белых карандаша.
Ответ: 4 карандаша
4. Содержательный подход
Согласно Шеннону, информативность сообщения характеризуется содержащейся в нем полезной информацией -- той частью сообщения, которая снимает полностью или уменьшает неопределенность какой-либо ситуации.
По Шеннону, информация -- уменьшение неопределенности наших знаний.
Неопределенность некоторого события -- это количество возможных исходов данного события.
Так, например, если из колоды карт наугад выбирают карту, то неопределенность равна количеству карт в колоде. При бросании монеты неопределенность равна 2.
Содержательный подход часто называют субъективным, так как разные люди (субъекты) информацию об одном и том же предмете оценивают по-разному.
Но если число исходов не зависит от суждений людей (случай бросания кубика или монеты), то информация о наступлении одного из возможных исходов является объективной.
Если сообщение уменьшило неопределенность знаний ровно в два раза, то говорят, что сообщение несет 1 бит информации.
1 бит -- объем информации такого сообщения, которое уменьшает неопределенность знания в два раза.
N = 2i - формула для решения задач на содержательный подход к измерению информации.
N - количество возможных событий
i - количество информации
Пример 1.В коробке лежат 8 разноцветных карандашей. Какое количество информации содержится в сообщении, что достали зелёный карандаш?
N = 8 N = 2i
i - ? 8 = 2i
i = 3
Ответ: сообщение содержит 3 бита информации.
Пример 2. Сообщение о том, что ваш друг живёт на 5 этаже, несёт 4 бита информации. Сколько этажей в доме?
i = 4 N = 2i
N - ? N = 24 N = 16
Ответ: в доме 16 этажей.
5. Алгоритмический подход
Отличный от взглядов Хартли, Шеннона, Винера и Бриллюэна подход к определению понятия "количество информации", был предложен в 1965 году академиком А.Н. Колмогоровым, который он назвал алгоритмическим.
Исходя из того, что "по существу наиболее содержательным является представление о количестве информации "в чем-либо" (Х) и "о чем-либо" (Y)" , А.Н. Колмогоров для оценки информации в одном конечном объекте относительно другого конечного объекта предложил использовать теорию алгоритмов. За количество информации при этом, принимается значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой.
Решение задачи определения количества информации в алгоритмическом подходе имеет общий вид и схематично выглядит следующим образом.
"Относительной сложностью" объекта Y при заданном Х будем считать минимальную длину L(P) "программы" Р получения Y из Х. Сформулированное так определение зависит от "метода программирования". Метод программирования есть не что иное, как функция ц(P,X)=Y , ставящая в соответствие программе Р и объекту Х объект Y" .
Так как каждый из объектов может быть бесконечно сложным, то доказывается теорема, согласно которой относительной сложности Kц(Y|X) объекта Y, при заданном методе программирования, может быть поставлена в соответствие иная относительная сложность, полученная при другом методе программирования A(P,X), такая, что выполняется неравенство:
KA(Y|X)?Kц(Y|X)+Cц ,
где Cц - некоторая постоянная программирования, не зависящая от X и Y.
Учитывая, что при любых Х и Y относительная сложность KA(Y|X) является конечной величиной, а KA(Y)=KA(Y|1) можно считать просто сложностью объекта Y, А.Н. Колмогоров для оценки алгоритмического количества информации lA(X:Y) в объекте X относительно объекта Y предложил использовать формулу:
.lA(X:Y) = KA(Y)--KA(Y|X). (1)
причем KA(X|X)?0 и, соответственно, lA(X:X)? KA(X) .
Алгоритмическая информация (1) может принимать как положительные, так и отрицательные значения. В связи с этим А.Н. Колмогоров делает два замечания. Во-первых, "lA(X:Y) не меньше некоторой отрицательной константы C, зависящей лишь от условностей избранного метода программирования" . Во-вторых, "вся теория рассчитана на применение к большим количествам информации, по сравнению с которыми |C| будет пренебрежимо мал".
Алгоритмический подход к измерению количества информации, в силу ряда объективных причин, не нашел широкого практического применения. Во-первых, как писал сам А.Н. Колмогоров, "на пути его формализации встает очевидная трудность: то, что просто описывается на одном языке, может не иметь простого описания на другом, и непонятно, какой способ описания выбрать" . То есть алгоритмическая оценка информации зависит от выбранного метода программирования, а такой выбор, в свою очередь, по сути дела всегда имеет субъективный характер. Во-вторых, практическое использование формулы (1) возможно лишь применительно к весьма простым объектам, имеющим математическое описание, в то время как отсутствие последнего является характерной и обязательной чертой сложных объектов. Кроме того, понятие "сложность" само по себе является относительным и зависит от уровня рассмотрения объектов. И, наконец, в-третьих, в соответствии с теоремой Геделя о неполноте формальных систем, нельзя доказать, что минимальная длина программы L(P) преобразования X в Y, составленная на каком-либо языке программирования, действительно является объективно минимальной .
В своих комментариях относительно алгоритмического подхода А.Н. Колмогоров писал, что он "основан на применении теории алгоритмов для определения понятия энтропии, или сложности, конечного объекта и понятия информации в одном конечном объекте о другом" . В соответствии с этим, переходя к рассмотрению алгоритмического подхода с позиций количественного определения негэнтропии отражения, предварительно отметим следующее. - В рассматриваемой нами ситуации каждый из объектов может быть закодирован с помощью двоичного языка, символами которого являются "0" и "1". Кодируя каждый элемент символом "1", мы получим для отражаемого и отражающего объектов соответствующий код длины m(A) и m(B). Естественно, что сложность К каждого из объектов является функцией длины такого кода, которая, в свою очередь, для энтропийной сложности представляет собой логарифм числа элементов конечного множества , то есть:
K(A)=log2m(A), K(B)=log2m(B) (2)
Также очевидно, что алгоритм получения одного объекта из другого в рассматриваемой ситуации сводится к добавлению или обнулению (ликвидации) определенного числа единиц в соответствующем коде. То есть длина "программы" получения одного объекта из другого равна |m(A) - m(B)| двоичных единиц и соответственно относительная сложность каждого из объектов имеет вид:
K(A|B)=K(B|A)=log2|m(A)-m(B)| (3)
Подставляя выражения (2) и (3) в формулу (1), получаем, что алгоритмическое количество информации, которое содержит отражающий объект B относительно отражаемого объекта A, равно:
l(B:A)=K(A)-K(A|B)=log2m(A)-log2 |m(A)-m(B)| (4)
Алгоритмическая информация (4) наиболее близка к определению негэнтропии отражения системных объектов в сравнении с ранее рассмотренными информационными мерами и даже, на принципиальном уровне суждений (в рамках изложенного материала), может быть принята за ее количественную характеристику. Но, этим ее положительные свойства в негэнтропийном отношении ограничиваются, так как она не применима к открытым системным объектам. Дело в том, что, когда отражаемый объект является открытым, мы опять будем иметь отрицательные значения (при m(B)>2m(A) ), негативизм которых, помимо отмеченного выше, может быть дополнен тем, что, как нетрудно видеть, возможны ситуации, когда аддитивная негэнтропия отражения совокупности отражающих объектов будет равна нулю. То есть, например, проведя наблюдения и выявив совокупность объектов, имеющих непосредственную взаимосвязь с отражаемым (исследуемым) объектом, в итоге мы будем иметь, что общее количество информации, полученное нами в процессе исследований равно нулю, а это уже нонсенс. Таким образом, мы видим, что алгоритмический подход, также как комбинаторный и вероятностный, не позволяет получить расчетную формулу для негэнтропии отражения системных объектов lA-B.
6. Прагматический подход
Эта мера определяет полезность информации (ценность) для достижения пользователем поставленной цели.
В основе всей теории информации лежит открытие, сделанное Р. Хартли в 1928 году, и состоящее в том, что информация допускает количественную оценку.
Подход Хартли основан на фундаментальных теоретико-множественных, по существу комбинаторных основаниях, а также нескольких интуитивно ясных и вполне очевидных предположениях.
Если существует множество элементов и осуществляется выбор одного из них, то этим самым сообщается или генерируется определенное количество информации. Эта информация состоит в том, что если до выбора не было известно, какой элемент будет выбран, то после выбора это становится известным. Необходимо найти вид функции, связывающей количество информации, получаемой при выборе некоторого элемента из множества, с количеством элементов в этом множестве, то есть с его мощностью. измерение алгоритмический прагматический байт
Если множество элементов, из которых осуществляется выбор, состоит из одного единственного элемента, то ясно, что его выбор предопределен, то есть, никакой неопределенности выбора нет - нулевое количество информации.
Если множество состоит из двух элементов, то неопределенность выбора минимальна. В этом случае минимально и количество информации.
Чем больше элементов в множестве, тем больше неопределенность выбора, тем больше информации.
Количество этих чисел (элементов) в множестве равно: N=2i
Из этих очевидных соображений следует первое требование: информация есть монотонная функция от мощности исходного множества.
Выбор одного числа дает нам следующее количество информации: i=Log2(N)
Таким образом, количество информации, содержащейся в двоичном числе, равно количеству двоичных разрядов в этом числе.
Это выражение и представляет собой формулу Хартли для количества информации.
При увеличении длины числа в два раза количество информации в нем так же должно возрасти в два раза, не смотря на то, что количество чисел в множестве возрастает при этом по показательному закону (в квадрате, если числа двоичные), то есть если N2=(N1)2, то I2=2*I1,
F(N1*N1)=F(N1)+F(N1).
Это невозможно, если количество информации выражается линейной функцией от количества элементов в множестве. Но известна функция, обладающая именно таким свойством: это Log:
Log2(N2)=Log2(N1)2=2*Log2(N1)
Это второе требование называется требованием аддитивности.
Таким образом, логарифмическая мера информации, предложенная Хартли, одновременно удовлетворяет условиям монотонности и аддитивности. Сам Хартли пришел к своей мере на основе эвристических соображений, подобных только что изложенным, но в настоящее время строго доказано, что логарифмическая мера для количества информации однозначно следует из этих двух постулированных им условий.
Пример. Имеются 192 монеты. Известно, что одна из них фальшивая, например, более легкая по весу. Определим, сколько взвешиваний нужно произвести, чтобы выявить её. Если положить на весы разное количество монет , то получим три независимые возможности: а) левая чашка ниже; б) правая чашка ниже; в) чашки уравновешены. Таким образом, каждое взвешивание дает количество информации I=log23, следовательно, для определения фальшивой монеты нужно сделать не менее k взвешиваний, где наименьшее k удовлетворяет условию log23k log2192. Отсюда, k 5или, k=4 (или k=5 - если считать за одно взвешивание и последнее, очевидное для определения монеты). Итак, необходимо сделать не менее пять взвешиваний (достаточно 5).
7. Другие подходы к измерению информации
Попытки оценить не только количественную, но и содержательную сторону информации дали толчок к развитию семантической (смысловой) теории информации. Исследования в этой области теснее всего связаны с семиотикой - теорией знаковых систем. Одним из важнейших свойств информации, которое мы можем наблюдать, является ее неотделимость от носителя: во всех случаях, когда мы сталкиваемся с любыми сообщениями, эти сообщения выражены некоторыми знаками, словами, языками Семиотика исследует знаки как особый вид носителей информации. При этом знаком является условное изображение элемента сообщения, словом - совокупность знаков, имеющих смысловое значение, языком - словарь и правила пользования им. Таким образом, рассуждая о количестве, содержании и ценности информации, содержащейся в сообщении, можно исходить из возможностей соответствующего анализа знаковых структур.
В качестве знаковых систем используются естественные и искусственные языки, в том числе информационные и языки программирования, различные системы сигнализации, логические, математические и химические символы. Они служат средством обмена информацией между высокоорганизованными системами (способными к обучению и самоорганизации). Примером могут быть живые организмы, машины с определенными свойствами.
Рассматривая знаковые системы, выделяют три основных аспекта их изучения: синтактику, семантику и прагматику.
Синтактика изучает синтаксис знаковых структур, т.е. способы сочетаний знаков, правила образования этих сочетаний и их преобразований безотносительно к их значениям. Отметим в связи с этим, что рассматриваемые ранее способы определения количества информации можно отнести к синтаксическим способам.
Семантика изучает знаковые системы как средства выражения смысла, определенного содержания, т.е. правила интерпретации знаков и их сочетаний, смысловую сторону языка.
Прагматика рассматривает соотношение между знаковыми системами и их пользователями, или приемниками-интерпретаторами сообщений. Иными словами, к прагматике относится изучение практической полезности знаков, слов и, следовательно, сообщений, т.е. потребительской стороны языка.
Основная идея семантической концепции информации заключается в возможности измерения содержания (предметного значения) суждений. Но содержание всегда связано с формой, поэтому синтаксические и семантические свойства информации взаимосвязаны, хотя и различны. Получается, что содержание все-таки можно измерить через форму, т.е. семантические свойства информации выразить через синтаксические. Поэтому и исследования семантики базировались на понятии информации как уменьшении или устранении неопределенности.
8. Первичные единицы
Объёмы информации можно представлять как логарифм количества состояний.
Наименьшее целое число, логарифм которого положителен -- 2. Соответствующая ему единица - бит - является основой исчисления информации в цифровой технике.
Единица, соответствующая числу 3 (трит) равна log2 3?1.585 бита, числу 10 (хартли) -- log2 10?3.322 бита.
Такая единица как нат (nat), соответствующая натуральному логарифму применяется в вычислительной технике в инженерных и научных расчётах. Основание натуральных логарифмов не является целым числом.
В проводной технике связи (телеграф и телефон) и радио исторически впервые единица информации получила обозначение бод.
9. Единицы, производные от бита
Целые количества бит отвечают количеству состояний, равному степеням двойки.
Особое название имеет 4 бита -- ниббл (полубайт, тетрада, четыре двоичных разряда), которые вмещают в себя количество информации, содержащейся в одной шестнадцатеричной цифре.
Что такое «байт»?
Байт (англ. byte) -- единица хранения и обработки цифровой информации. В настольных вычислительных системах байт считается равным восьми битам, в этом случае он может принимать одно из 256 (28) различных значений. Следует понимать, что количество бит в байте не является однозначной величиной и может варьироваться в широком диапазоне. Так, в первых компьютерах размер байта был равен 6 битам. В суперкомпьютерах, вследствие используемой адресации, один байт содержит 32 бита. Для того, чтобы подчеркнуть, что имеется в виду восьмибитный байт, а также во избежание широко распространенного заблуждения, что в одном байте исключительно восемь бит, в описании сетевых протоколов используется термин «октет» (лат. octet).
Название «байт» (слово byte представляет собой сокращение словосочетания BinarY TErm -- «двоичный терм») было впервые использовано в 1956 году В. Бухгольцем (англ. Werner Buchholz) при проектировании первого суперкомпьютера IBM 7030 (англ.) для пучка одновременно передаваемых в устройствах ввода-вывода шести битов. Позже, в рамках того же проекта, байт был расширен до восьми бит.
Октет. Октет в информатике -- 8 бит. В русском языке октет обычно называют байтом.
Слово «октет» часто употребляется при описании сетевых протоколов, так как они предназначены для взаимодействия компьютеров, имеющих не обязательно одинаковую платформу. В отличие от байта, который (в широком смысле) может быть равен 10, 12 и т. п. битам, октет всегда равен 8 битам.
Дабы исключить двусмысленность, во французском языке слово «октет» используется почти везде, где в русском или английском языках употребляется слово «байт».
Такие величины как машинное слово и т. п., составляющие несколько байт, в качестве единиц измерения почти никогда не используются.
Килобайт (кБ, Кбайт, КБ) -- единица измерения количества информации, равная в зависимости от контекста 1000 или 1024 (2??) стандартным (8-битным) байтам. Применяется для указания объёма памяти в различных электронных устройствах.
1 килобайт (КБ) = 8 килобит (Кб)
Название «килобайт» часто применяется для 1024 байт, но формально неверно, так как приставка кило-, традиционно означает умножение на 1000, а не 1024. Согласно предложению МЭК (Международной электротехнической комиссии), формально правильной (хотя и относительно редко используемой) для 2?? является двоичная приставка киби-.
Исторически сложилось, что со словом «байт» несколько некорректно (вместо 1000 = 10? принято 1024 = 2??) использовали и продолжают использовать приставки СИ: 1 Кбайт = 1024 байт, 1 Мбайт = 1024 Кбайт, 1 Гбайт = 1024 Мбайт и т. д. При этом обозначение Кбайт начинают с прописной буквы в отличие от строчной буквы «к» для обозначения множителя 10?.
Мегабайт (Мбайт, М, МБ) -- единица измерения количества информации, равная, в зависимости от контекста, 1 000 000 или 1 048 576 стандартным (8-битным) байтам. Сокращенное название МБ отличается от Мегабита (Мб) строчной буквой (но на самом деле иногда происходит некоторая путаница в сокращениях). Применяется для указания объёма памяти в различных электронных устройствах.
Название «Мегабайт» распространено, но не соответствует ГОСТ 8.417-2002, где приставка мега- означает умножение на 1 000 000, а не 1 048 576. Сложившимся положением пользуются некоторые корпорации, производящие жёсткие диски, которые при маркировке своих изделий под мегабайтом понимают 1 000 000 байт, а под гигабайтом -- 1 000 000 000 байт. Согласно предложению МЭК, для 220 предлагается двоичная приставка меби-.
Самую оригинальную трактовку термина «мегабайт» используют производители CD, DVD и компьютерных дискет, которые понимают под ним 1 024 000 байта. Таким образом, дискета, на которой указан объём 1,44 Мбайт, на самом деле вмещает лишь 1440 Кбайт, то есть 1,38 Мбайт в обычном понимании.
В связи с этим получилось, что мегабайт бывает коротким, средним и длинным:
короткий -- 1 000 000 байт
средний -- 1 024 000 байт
длинный -- 1 048 576 байт
По этим, а также по ряду других причин, одинаково маркированные носители информации могут иметь различную емкость в байтах.
На IT-сленге мегабайт ещё называют: метр и мег. В 90-е годы XX века, когда мегабайт был ещё достаточно большой единицей измерения, а основной единицей передачи через Интернет был килобайт, называемый килограммом, мегабайт соответственно назывался тонной.
Единицы «мегабайт» = 1000 килобайт = 1000000 байт и «Мбайт» (мебибайт, mebibyte) = 1024 Кбайт = 1 048 576 байт применяются для измерения объёмов носителей информации.
Современные жёсткие диски имеют объёмы, выражаемые в этих единицах минимум шестизначными числами, поэтому для них применяются гигабайты.
Гигабайт (Гбайт, Г, ГБ) -- кратная единица измерения количества информации, равная 109 стандартным (8-битным) байтам или 1 000 000 000 байтам. Применяется для указания объёма памяти в различных электронных устройствах.
Для 230 же следует употреблять двоичную приставку гиби- согласно предложению Международной электротехнической.
На IT-сленге гигабайт ещё называют: гектар и гиг.
Единицы «гигабайт» = 1024 мегабайт = 1024000000 байт и «Гбайт» (гибибайт, gibibyte) = 1024 Мбайт = 230 байт измеряют объём больших носителей информации, например жёстких дисков. Разница между двоичной и десятичной единицами уже превышает 7 %.
Итак:
1 Кбайт (один килобайт) = 210 байт = 1024 байта;
1 Мбайт (один мегабайт) = 210 Кбайт = 1024 Кбайта;
1 Гбайт (один гигабайт) = 210 Мбайт = 1024 Мбайта.
В последнее время в связи с увеличением объёмов обрабатываемой информации входят в употребление такие производные единицы, как:
1 Терабайт (Тб) = 1024 Гбайта = 240 байта,
1 Петабайт (Пб) = 1024 Тбайта = 250 байта.
Заключение
Понятие «информации» используется во всех без исключения сферах: философии, естественных и гуманитарных науках, биологии, медицине и физиологии, психологии человека и животных, социологии, искусстве, технике и экономике и в повседневной жизни.
Каждый подход к измерению информации старается ухватить ее смысл, ее ценность, ее качество.
Цель данной работы достигнута, мы изучили литературу и выделили основные подходы к измерению информации, изучили единицы измерения информации и соотношения между ними, а также рассмотрели различные примеры.
Список литературы
1. А.Н.Голодный «Подходы к измерению количества информации. Мера Хартли» [электронный ресурс]/А.Н.Голодный - Режим доступа: www.coolreferat.com. - Дата обращения: 21 марта 2014г.
2. Информация и информационные процессы [электронный ресурс]/ Режим доступа: www.akak-ich.ru/inf-inf_pr.php#name3. - Дата обращения: 1 апреля 2014.
3. Информатика. Базовый курс. 7-9 классы. И.Г.Семакин, Л.А.Зологова, С.В.Русаков, Л.В.Шестакова. - 2-е изд., испр. и доп. - М.: БИНОМ. Лаборатория знаний, 2004.
4. Разработка Института дистантного образования Российского университета дружбы народов. «Измерение информации» [электронный ресурс]/ Режим доступа: www.ido.rudn.ru/nfpk/inf/inf2.html . - Дата обращения: 21 марта 2014г
Размещено на Allbest.ru
...Подобные документы
Информация и информационные процессы. Содержательный и алфавитный подходы к измерению количества информации. Определение мощности алфавита информационного сообщения. Описания компьютерной кодировки русских и латинских букв. Использование двоичной системы.
лабораторная работа [35,3 K], добавлен 04.09.2014Сущность термина "информация". Информация как соотношения между сообщением и его потребителем. Свойства информации: философский, кибернетический подход. Характеристика носителей информации. Единицы количества информации: вероятностный и объемный подходы.
реферат [63,4 K], добавлен 27.03.2010Информация и ее свойства. Единицы измерения данных. Вероятностный и объемный подход к измерению количества информации, способы ее передачи. Рассмотрение поставщиков финансовой информации в Интернете; технологии финансовых инвестиций в компьютерной сети.
контрольная работа [61,5 K], добавлен 08.06.2013Содержательный и кибернетический подходы к определению и измерению информации. Кодирование символьной информации в компьютере. Линия информации и информационных процессов. Обзор процесса передачи информации по техническим каналам связи. Языки информатики.
презентация [173,0 K], добавлен 19.10.2014Символьное и образное представление информации. Единицы ее измерения. Язык как способ символьного представления информации. Знак как элемент конечного множества. Алфавитный подход к измерению информации. Решение задач на определение ее количества.
презентация [178,2 K], добавлен 12.12.2012Субъективный, кибернетический, содержательный и алфавитный подходы. Способы восприятия и форма представления информации. Язык как способ ее представления и единицы измерения. Информационная культура человека. Применение информатики и компьютерной техники.
презентация [192,6 K], добавлен 04.12.2013Вычисление количества информации, приходящейся на один символ по формуле Шеннона. Изменения информационной энтропии в текстах экономического, естественнонаучного и литературного содержания. Максимальное количество информации на знак по формуле Хартли.
лабораторная работа [28,2 K], добавлен 06.12.2013Современные методы защиты информации средствами стеганографии. Анализ канала передачи сообщений, подходы к реализации стеганографического приложения. Алгоритмы методов последнего бита и передачи сообщений через стегоканал; ограничения его использования.
курсовая работа [105,7 K], добавлен 05.11.2011Информация как объект хранения, преобразования и передачи. Объединение источников и получателей информации в информационную систему. Синтаксический, семантический и прагматический аспекты информации. Степень структуризации информационных данных.
презентация [36,5 K], добавлен 14.10.2013Актуальность (своевременность) информации. Информационные ресурсы и информационные технологии. Подходы к определению количества информации. Свойства информации, ее качественные признаки. Роль информатики в развитии общества. Бит в теории информации.
презентация [200,9 K], добавлен 06.11.2011Понятие и отличительные черты аналоговой и цифровой информации. Изучение единиц измерения цифровой информации: бит (двоичная цифра) и байт. Особенности передачи, методы кодирования и декодирования текстовой, звуковой и графической цифровой информации.
реферат [479,4 K], добавлен 22.03.2010Механизм передачи информации, ее количество и критерии измерения. Единицы информации в зависимости от основания логарифма. Основные свойства и характеристики количества информации, ее энтропия. Определение энтропии, избыточности информационных сообщений.
реферат [33,9 K], добавлен 10.08.2009Отсутствие единого определения информации как научного термина. Основные обязанности гостиницы при обработке персональных данных. Контроль за соблюдением конфиденциальности. Запрет на сбор, хранение, использование и распространение личной информации.
реферат [0 b], добавлен 01.02.2014Новые подходы к поиску и обработке информации в справочно-правовых системах. Основные возможности программных технологий СПС. Способы передачи информации. Основные поисковые и сервисные возможности. Экономическая эффективность информационных технологий.
контрольная работа [34,4 K], добавлен 19.11.2013Количественная мера измерения информации: бит, байт. Аппаратная часть ПК: основные блоки; монитор; клавиатура. Характеристика устройств ввода информации. Системное программное обеспечение. Общая характеристика Windows 95. Защита от компьютерных вирусов.
шпаргалка [776,3 K], добавлен 06.06.2009Изучение методов обеспечения безопасности информации. Основные подходы к построению и анализу защищенных систем. Описание комплекса организационно-технологических и программно-технических мер по обеспечению защищенности информации в компьютерной системе.
реферат [1,1 M], добавлен 16.11.2010Информатика - техническая наука, определяющая сферу деятельности, связанную с процессами хранения, преобразования и передачи информации с помощью компьютера. Формы представления информации, ее свойства. Кодирование информации, единицы ее измерения.
презентация [117,7 K], добавлен 28.03.2013Проблемы защиты информации человеком и обществом. Использование информации. Организация информации. Угроза информации. Вирусы, характеристика и классификация. Проблемы защиты информации в Интернете. Анализ и характеристики способов защиты информации.
реферат [36,5 K], добавлен 17.06.2008Использование электронно-вычислительной техники для сбора, накопления, обработки и передачи информации. Разработка программы "Телефонный справочник" на Паскале: ввод и редактирование теста программы, трансляция и отладка. Блок-схема, листинг программы.
контрольная работа [61,2 K], добавлен 26.06.2010Приобретение практических навыков по определению объема памяти, отводимого на внешнем запоминающем устройстве под файл данных. Расчет производительности поиска информации, хранящейся в файле на ВЗУ. Вычисление использованных кластеров и байт памяти.
лабораторная работа [31,2 K], добавлен 26.11.2011