Меры информации. 
Информатика

При передаче данных по каналам связи для оценки производительности вычислительных средств и во многих других случаях необходимо располагать количественной мерой информации. Рассмотрим некоторые способы (подходы, методы) количественной оценки информации.

Символьный метод

Для представления информации в печатном виде используются символы (знаки), из которых составляются слова, а из слов предложения. Совокупность используемых символов называют алфавитом, который в общем случае включает цифры, знаки препинания и пробел. Число q всех символов алфавита определяет его мощность. Мощность русского алфавита и дополнительных символов q = 54. Объем печатной продукции измеряется количеством знаков. Например, объем авторского печатного листа составляет 40 000 знаков или примерно 22 страницы (размером 210? 297 мм).

Комбинаторный подход

Подойдем к определению объема информации с несколько иных позиций. Допустим, число символов алфавита q = 2. Обозначим их 0 и 1. При использовании т символов в одном слове можно составить слов. Действительно, из двух символов (т = 2) можно составить четыре слова: 00, 01, 10, 11 (); из трех символов (т =3) — восемь слов — 000, 001, 010, 011, 100, 101, 110, 111 () и т. д. Для оценки объема информации V2 т используют логарифмическую меру этого количества:

В отличие от объема печатной продукции показатель отражает информативность, поскольку определяет полную совокупность разных слов, которая может быть получена из символов 0 и 1 при заданном т. Он также показывает, что при увеличении числа символов в слове на единицу объем информации удваивается. За единицу объема информации принят объем одного символа (т = 1). Эта единица измерения называется бит (bit — binary digit). В вычислительной технике используется укрупненная единица 1 байт = 8 бит, а также приставки-множители 1 К = 210 = 1024,1 М = 220 = 1 040 576 и др. При этом используют две формы записи: 1К байт или 1 Кбайт.

Для общего случая, когда алфавит содержит q символов . При q = 10 за единицу объема информации принят бит, т. е. объем при т = 1.