Меры и единицы количества и объема информации

В теории информации используются объемный и вероятностный (семантический), алгоритмический, семантический и аксиологический подходы.

Объемный подход

В двоичной системе счисления знаки О и 1 называют битами (от англ. " Binary digiTs" - двоичные цифры). Отдают предпочтение именно двоичной системе счисления, потому что она самая простая для реализации в компьютере и реализуется с помощью двух противоположных физических состояний: намагничено/ненамагничено, вкл./выкл., заряжено/незаряжено и др.

Объем информации, записанной двоичными знаками в памяти компьютера или на внешнем носителе информации, подсчитывается просто по количеству требуемых для такой записи двоичных символов. При этом невозможно нецелое число битов.

Для удобства использования введены и более крупные, чем бит, единицы количества информации. Так, двоичное слово из восьми знаков содержит один байт информации (200 = 1 байт), 210 = = 1024 байта образуют один килобайт (1 Кбайт), 220 = 1024 Кбайта — один мегабайт (1 Мбайт), 230 = 1024 Мбайта — один гигабайт (1 Гбайт), а 240 = 1024 Гбайт — один терабайт (1 Тбайт). Таким образом, для десятичной системы счисления имеется ряд 1000, 1001, 1002, 1003, 1004, а для двоичной — 200, 210, 220, 230, 240.

Вероятностный (энтропийный) подход

Этот подход принят в теории информации и кодирования. Данный способ измерения исходит из следующей модели: получатель сообщения имеет определенное представление о возможных наступлениях некоторых событий. Эти представления в общем случае недостоверны и выражаются вероятностями, с которыми он ожидает то или иное событие.

Энтропия — это общая мера неопределенностей. Она характеризуется некоторой математической зависимостью от совокупности вероятностей наступления этих событий.

Количество информации в сообщении определяется тем, насколько уменьшилась эта мера после получения сообщения: чем больше энтропия системы, тем больше степень ее неопределенности. Поступающее сообщение полностью или частично снимает эту неопределенность, следовательно, количество информации можно измерять тем, насколько понизилась энтропия системы после получения сообщения. За меру количества информации принимается та же энтропия, но с обратным знаком — негэнтропия.

Рассмотрим пример вычисления количества информации сообщения о наступлении одного из N равновероятных событий. Обозначим численную величину, измеряющую неопределенность (энтропию), через Я. Величины N и Я связаны следующей функциональной зависимостью:

Эта функция, очевидно, является возрастающей, неотрицательной и определенной при всех значениях .

Обозначим через неопределенность, имеющуюся до совершения события, а через - неопределенность после наступления события. Тогда за I — количество информации об исходе опыта — примем разность неопределенностей до и после опыта:

В случае когда получен конкретный результат, имевшаяся неопределенность снята (так как ). Таким образом, количество полученной информации совпадает с первоначальной энтропией. Неопределенность, заключенная в опыте, совпадает с информацией об исходе этого опыта.

Определим функцию . Будем варьировать N (число возможных исходов) и М (число опытов). Общее число исходов.

Каждый исход — некоторый вектор длины М, состоящий из знаков .

Ситуацию с проведением М опытов можно рассматривать как некую сложную систему, состоящую из независимых друг от друга подсистем — однократных опытов. Энтропия такой системы в М раз больше, чем энтропия одной системы (так называемый принцип аддитивности энтропии):

Прологарифмируем левую и правую части равенства :

Подставив полученное для М значение в равенство , запишем:

Обозначив положительную константу , получим следующую формулу:

Таким образом, . Обычно принимают , тогда.

Полученная формула называется формулой Хартли.

Важным при введении какой-либо величины является вопрос о том, что принимать за единицу ее измерения. Очевидно, Н будет равно единице при . Иначе говоря, в качестве единицы принимается количество информации, связанное с проведением опыта, состоящего в получении одного из двух равновероятных исходов (например, бросание монеты). Такая единица количества информации называется битом.

Все N исходов рассмотренного опыта являются равновероятными, и поэтому можно считать, что на «долю» каждого исхода приходится одна N-я часть общей неопределенности опыта:

При этом вероятность его исхода равняется ' Таким образом:

Эта же (последняя) формула принимается за меру энтропии в случае, когда вероятности различных исходов опыта неравновероятны, т. е. значения могут различаться. Эта формула называется формулой Шеннона.

Коэффициентом информативности (лаконичностью) сообщения называют соотношение количества информации к объему данных:

причем 0 < Y < 1, а под объемом данных Vд в сообщении понимают число символов в этом сообщении (т.е. то же, что и под битом при объемном подходе).