Лекция 1. Основные понятия теории информации

Несмотря на то, что с понятием информации мы сталкиваемся ежедневно, строгого и общепризнанного ее определения до сих пор не существует, поэтому вместо определения используют понятие об информации. Понятия, в отличие от определений, не даются однозначно, а вводятся на примерах, причем каждая научная дисциплина делает это по-своему, выделяя в качестве основных компонентов те, которые наилучшим образом соответствуют её предмету и задачам.

Например, можно считать, что информация — нематериальная сущность, при помощи которой с любой точностью можно описывать реальные (материальные), виртуальные (возможные) и понятийные сущности. Информация — противоположность не определенности.

Информацию, представленную в формализованном виде, позволяющем осуществлять ее обработку с помощью технических средств, называют данными.

Информация может быть двух видов: дискретная (цифровая) и непрерывная (аналоговая). Дискретная информация характеризуется последовательными точными значениями некоторой величины, а непрерывная — непрерывным процессом изменения некоторой величины. Непрерывную информацию может, например, выдавать датчик атмосферного давления или датчик скорости автомашины. Дискретную информацию можно получить от любого цифрового индикатора: электронных часов, счетчика магнитофона и т. п.

Дискретная информация удобнее для обработки человеком, но непрерывная информация часто встречается в практической работе, поэтому необходимо уметь переводить непрерывную информацию в дискретную (дискретизация) и наоборот.

При переводе непрерывной информации в дискретную важна так называемая частота дискретизации н, определяющая период (T = 1/н) между измерениями значений непрерывной величины (см. рисунок).

информация кодирование помехоустойчивый алгоритм.

Чем выше частота дискретизации, тем точнее происходит перевод непрерывной информации в дискретную. Но с ростом этой частоты растет и размер дискретных данных, получаемых при таком переводе, и, следовательно, сложность их обработки, передачи и хранения.

При преобразовании дискретной информации в непрерывную, определяющей является скорость этого преобразования: чем она выше, тем более качественной получится непрерывная величина.

Важнейшей характеристикой информации является ее количество в некотором информационном сообщении. Например, сообщение «Утром взошло солнце» содержит совсем мало информации, тогда как сообщение «Ваш дом только что рухнул» содержит информации много больше. Количество информации в сообщении о событии зависит от вероятности события: чем менее оно вероятно, тем больше информации мы получаем.

Информацию принято измерять в битах и байтах. Данные понятия связаны с математическим понятием вероятности. Классический опыт, постоянно применяемый в теории вероятности — серия из n бросаний монеты. Выпадение «решки» на монете обозначим буквой «Р», орла — «О». Предположим, что мы хотим передать сообщение о результате серии из четырех испытаний, например «ООРО». Вероятность выпадения такой серии равна 1/16, для передачи сообщения требуется 4 бита. Этот простой пример может служить оправданием для следующего определения количества информации:

I = -log₂(P),.

где P — вероятность события, сообщение о котором передается. Логарифм в формуле обычно считается двоичным. Знак минус обеспечивает положительность количества информации, так как значение вероятности всегда не больше единицы. Единицей измерения количества информации является бит.

Таким образом, если мы имеем источник, выдающий с равной вероятностью числа 0 и 1 (то есть P (0)=P (1)=½), то информация, приходящаяся на одну цифру равнаlog (½) = 1 бит. Таким источником может быть, например, пешеходный светофор (красный или зеленый), время суток за окном (день или ночь), пол человека (мужчина или женщина).

Рассмотрим несколько примеров, в каждом из которых будем предполагать, что вероятности всех символов одинаковы. В случае русского алфавита (33 буквы) количество информации, приходящейся на одну букву равноlog₂(1/33)=5.044 битов, в случае латинского: -log₂(1/26)=4.7, для десятичных цифр — 3.32 бита на символ.

Вышесказанное можно изложить иначе:

Пусть алфавит источника сообщений состоит из m знаков, каждый из которых может служить элементом сообщения. Количество N возможных сообщений длины n равно числу перестановок с неограниченными повторениями: N = mⁿ

Если для получателя все N сообщений от источника являются равновероятными, то получение конкретного сообщения равносильно для него случайному выбору одного из N сообщений с вероятностью 1/N.

Ясно, что чем больше N, тем большая степень неопределенности характеризует этот выбор и тем более информативным можно считать сообщение. Поэтому число N могло бы служить мерой информации.

В качестве меры неопределенности выбора состояния источника с равновероятными состояниями принимают логарифм числа состояний:

I = log N = log mⁿ = n log m.

Эта логарифмическая функция характеризует количество информации в сообщении.

В принципе безразлично, какое основание логарифма использовать для определения количества информации, т. к. в силу соотношения log_am = log_a b / log_b m переход от одного основания логарифма к другому сводится лишь к изменению единицы измерения.

Так как современная информационная техника базируется на элементах, имеющих два устойчивых состояния, то обычно выбирают основание логарифма равным двум. При этом единицу количества информации на один элемент сообщения называют двоичной единицей или битом. Такая единица неопределенности (двоичная единица или бит) представляет собой неопределенность выбора из двух равновероятных событий (bit — сокращение от англ. binary digit — двоичная цифра). Иногда говорят, что битом называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

Так как из log₂ m = 1 следует m = 2, то ясно, что 1 бит — это количество информации, которым характеризуется один двоичный элемент при равновероятных состояниях 0 и 1.

Если основание логарифма выбрать равным десяти, то количество информации выражается в десятичных единицах на элемент сообщения — дитах, причем 1 дит = log₂10 бит = 3,32 бит. Данный факт проявляется, например, в том, что запись числа в двоичной системе счисления выглядит в среднем в 3,32 раза длиннее, чем запись этого же числа в десятичной системе счисления.

Можно сформулировать следующие свойства количества информации:

• 1. Количество информации в сообщении обратно пропорционально вероятности появления данного сообщения.
• 2. Свойство аддитивности — суммарное количество информации двух источников равно сумме информации источников.
• 3. Для события с одним исходом количество информации равно нулю.
• 4. Количество информации в дискретном сообщении растет в зависимости от увеличения объема алфавита — m.