различные подходы к измерению информации

Содержательный подход

При содержательном подходе измерение информации происходит с точки зрения ее содержания, т. е. определяется, в какой мере пришедшая информация (знания) уменьшает незнание. Человек получает знания посредством сообщений. Чем больше пополняет наши знания сообщение, тем большее количество информации в нем заключено.

У вас сегодня контрольная по математике. Учитель обычно дает 2 варианта заданий. До контрольной вы не знаете свой вариант, поэтому неопределенность знания равна 2. Если вариантов на контрольной 4, то неопределенность знания равна 4.

Основателем такого подхода к измерению информации является К. Шенон, который ввел приведенное ниже определение.

Сообщение, которое уменьшает неопределенность знания в два раза, несет 1 бит информации.

Неопределенность знания о результате некоторого события — количество возможных результатов.

Если в некотором сообщении содержатся сведения о том, что произошло одно из N равновероятных событий, то количество информации i, содержащееся в сообщении, можно определить из формулы Хартли: N = 2i 

Если вариантов два, то 2 = 2i, следовательно, i = 1. Вы получите 1 бит информации.

Если вариантов 4, то 4 = 2i, следовательно, i = 2. Вы получите 2 бита информации.

Если вариантов 6, то 6 = 2i, следовательно, i ≈ 2,58. Вы получите 2,58 бита информации. Для получения значения i в этом случае нужно посчитать значение i = log26

Алфавитный подход

Алфавитный (объемный) подход используется, если для преобразования, хранения и передачи информации применяют технические средства.

При использовании двоичного алфавита один символ несет 1 единицу информации — 1 бит.

Для измерения объемов информации применяют производные единицы измерения.

Килобайт (Кбайт): 210 = 1024 байта

Мегабайт (Мбайт): 220 = 1024 килобайта = 1 048 576 байт

Гигабайт (Гбайт): 230 = 1024 мегабайта = 1 073 741 824 байта

Терабайт (Тбайт): 240 = 1024 гигабайта = 1 099 511 627 776 байт

Петабайт (Пбайт): 250 = 1024 терабайта = 1 125 899 906 842 624 байта

Эксабайт (Эбайт): 260 = 1024 петабайта = 1 152 921 504 606 846 976 байт

Зеттабайт (Збайт): 270 = 1024 эксабайта = 1 180 591 620 717 411 303 424 байта

Йоттабайт (Йбайт): 280 = 1024 зеттабайта = 1 208 925 819 614 629 174 706 176 байт

Для двоичного представления текстов в компьютере часто используется восьмиразрядный код. С его помощью можно закодировать алфавит из 256 символов. Один символ из алфавита мощностью 256 = 28 несет в тексте 8 бит информации. Такое количество информации называется байтом.

Объем текста измеряется в байтах. При восьмиразрядном кодировании 1 символ = 1 байт, и информационный объем текста определяется количеством символов в нем. Если весь текст состоит из K символов, то при алфавитном подходе объем V содержащейся в нем информации равен: V = K*i, где i — информационный вес одного символа в используемом алфавите.

Вероятностный подход

В жизни различные события происходят с разной вероятностью. Событие «летом идет снег» маловероятно, а у события «осенью идет дождь» вероятность велика. Если в коробке 10 красных шаров и 40 зеленых, то вероятность достать не глядя зеленый шар больше, чем вероятность достать красный.

Для количественного измерения вероятности используют следующий подход: если общее количество возможных исходов какого-либо события равно N, а K из них — те, в которых мы заинтересованы, то вероятность интересующего нас события может быть посчитана по формуле p = K/N.

Чем меньше вероятность события, тем больше информации содержит сообщение о том, что это событие произошло.

Вероятностный подход применяется для измерения количества информации при наступлении событий, имеющих разную вероятность. Связь между вероятностью события и количеством информации в сообщении о нем выражается формулой 1/p = 2i, где p — вероятность события, а i — количество информации.

Выпадение каждой грани кубика равновероятно. Поэтому количество информации от одного результата бросания находится из уравнения 2i = 6. Тогда 2i = 6 < 8 = 23, i = 3 бита.

Можно рассуждать и так: i = log26 = 2,585 бита ≈ 3 бита.

* Если произошло несколько разновероятностных событий, то количество информации можно определять по формуле Шеннона, предложенной им в 1948 г:

I = –(p1log2p1 + p2log2p2 + ... pNlog2pN), где I — количество информации; N — количество возможных событий; pi — вероятность i-го события. 

Легко заметить, что если вероятности p1, ..., pN равны между собой, то каждая из них равна 1/N и формула Шеннона превращается в формулу Хартли.

Упражнения