Понятие неопределенности, энтропии и количества информации

Черты случайности, присущие процессам передачи информации, заставляют обратиться при изучении этих процессов к вероятностным методам. Поэтому теорию информации — науку, изучающую закономерности получения, передачи, обработки и хранения информации, — рассматривают как прикладную науку, применяющую вероятностные методы исследования, а иногда даже как раздел теории вероятностей.

Рассмотрим физическую систему X, которая случайным образом может оказаться в одном из возможных состояний, т. е. систему, которой заведомо присуща некоторая степень неопределенности. Информация представляет сообщение, уменьшающее степень неопределенности системы, которая, очевидно, определяется как числом возможных состояний системы, так и вероятностями состояний.

В качестве меры неопределенности системы (случайной величины) X используется энтропия.

Определение. Энтропией системы (дискретной случайной

величины) называется сумма произведений вероятностей различных

состояний системы {значений случайной величины) на логарифмы этих

вероятностей, взятая со знаком¹ «минус»:

(Считается, что 0 • к^₂ 0 = 0.).

Основание логарифма — это по существу единица измерения энтропии. Наиболее часто используется двоичный логарифм (по основанию два), тогда единицей измерения выступает бит.

Следует заметить, что энтропия может быть представлена в форме математического ожидания:

Выражение (3.43) в ряде случаев позволяет упрощать преобразования, связанные с энтропией, используя известные свойства математического ожидания.

Энтропия является мерой неопределенности системы (случайной величины) X. Она не зависит от состояний системы (значений случайной величины) х-_{, а определяется только их вероятностями. Энтропия в некотором смысле представляет минимальный объем памяти, необходимый для записи информации, содержащейся в случайной величине.

Рассмотрим свойства энтропии.

1. Энтропия Н (Х) равна нулю, когда одно из состояний системы достоверно.

? Пусть, например, ?

• 2. При заданном числе состояний п энтропия максимальна, когда эти состояния равновозможны, и равна логарифму числа состояний.
• ? Исследуя (методом множителей Лагранжа^[1][2]) на условный экстремум

функцию при условии, что можно доказать, собой значениях т. е. при При этом максичто экстремум (в данном случае минимум) достигается при равных между.

мальная энтропия.

3. При объединении независимых систем (систем, принимающих свои состояния независимо одна от другой) их энтропии складываются:

где  — энтропия объединения (Х, У) систем X и У С ВОЗМОЖНЫМИ СОСТОЯНИЯМИ Х_{, х₂, х_п, Уь У₂у …" у_п> т. е. энтропия сложной системы (Х, У), состояния которой (х^) представляют собой все возможные комбинации состояний х-_1У у_} систем X и У.

Свойство 3 — свойство аддитивности энтропии может быть распространено на случай п независимых систем.

Рассмотренные свойства оправдывают выбор энтропии в качестве меры неопределенности состояний системы. Заметим, что для систем с непрерывным множеством состояний (значений) энтропия определяется следующим образом:

гдеср (.г) — плотность вероятности случайной величины X.

С понятием энтропии тесно связано количество информации, иод которым понимается изменение энтропии системы в результате получения сведений о системе:

где Н (Х) и Н₂{Х) — энтропии системы соответственно до и после получения сведений о системе.

При полном выяснении системы количество информации 1_Хравно энтропии этой системы так как в этом случае

[> Пример 3.18. Информационная система в процессе эксплуатации может находиться в состояниях: х_{ — полностью исправна; х₂ — имеет незначительные неисправности; х₃ — имеет существенные неисправности; х_Л — полностью вышла из строя. Найти:

• а) вероятности состояний, при которых энтропия системы будет максимальной, а также эту энтропию:
• б) количество информации, приобретаемое об этой системе при полном выяснении ее состояния в случае, если вероятности состояний системы х_и х₂, х₃, х₄ равны соответственно 0,8; 0,1; 0,05; 0,05.

Решение, а) Энтропия системы максимальна, т. е. Н (Х) = Н_тгх(Х)> когда состояния системы равновозможны, т. е. при р_{ = р₂ = р% ~Р-¼. По формуле (3.44)

б) При полном выяснении системы количество информации 1_Хравно энтропии этой системы, т. е. 1_Х = Я₁(Х) = -0,8к^₂0,8−0,1к^₂0,1- - 0,05 log2 0,05 — 0,05 log2 0,05 = 1,02 (бит). ?

• [1] Знак «минус» берется для того, чтобы энтропия была положительной, ибо1оя2/?, < 0 для 0 < /?, < 1.
• [2] См., например, [10, 25].