Элементы теории информации

Основные определения и понятия информации

Информация понятие очень емкое. Информация существует в виде сообщений. Сообщение — это форма представления информации. Однако не всякое сообщение несет информацию. Например, если сообщение известно получателю, то оно не имеет информации. Поэтому информацией называют сообщение заранее неизвестное получателю. Множество сообщений, которые заданны совместно с их априорными вероятностями и образуют полную группу событий, называют ансамблем сообщений. Ансамбль сообщений совместно с устройством отбора сообщений из ансамбля представляет собой источник сообщений (информации). Сообщения обычно передаются сигналами. Сигнал это физический процесс однозначно соответствующий информации. Информация может быть статической и существовать в форме записи на магнитной ленте, перфоленте, печатного и рукописного текста, рисунка и т. д. и динамической при ее передаче. Важнейшей проблемой теории информации является установление меры количества и качества информации. Решение этой проблемы осуществляется по трем основным направлениям: структурному, статистическому и семантическому.

Структурная теория рассматривает дискретное строение массивов информации и дает структурную меру количества информации. Эта мера носит название меры Хартли. При этом вводятся следующие ограничения:

• 1. Все сообщения дискретны;
• 2. Каждый сигнал может принимать m конечных значений;
• 3. Все сообщения статистически независимы друг от друга;
• 4. Все сообщения равновероятны.

Количество значений N, которое может принимать сигнал, состоящий из n символов, каждый из которых принимает m значений равно:

Для такого сигнала в 1927 г. Р. Хартли (Англия) ввел аддитивную двоичную логарифмическую меру, позволяющую вычислять количество информации I в двоичных единицах — битах (бит):

Дальнейшее развитие теории информации в 40-х годах прошлого века шло в направлении учета статистических характеристик, когда была создана стройная теория статистической меры количества информации.