Введение. 
Энтропия и количество информации

Трудно найти понятия более общие для всех наук (не только естественных) и, вместе с тем, иногда носящих оттенок загадочности, чем энтропия и информация. Отчасти это связано с самими названиями. Если бы не звучное название «энтропия» осталась бы с момента первого рождения всего лишь «интегралом Клаузиуса», вряд ли она бы не рождалась вновь и вновь в разных областях науки под одним именем.

Кроме того, ее первооткрыватель Клаузиузус, первым же положил начало применению введенного им для, казалось, бы узкоспециальных термодинамических целей понятия к глобальным космологическим проблемам (тепловая смерть Вселенной). С тех пор энтропия многократно фигурировала в оставшихся навсегда знаменитыми спорах. В настоящее время универсальный характер этого понятия общепризнан и она плодотворно используется во многих областях.

Понятие и сущность энтропии

Первым специфическим понятием теории информации является понятие неопределенности случайного объекта, для которого удалось ввести количественную меру, названную энтропией. Начнем с простейшего примера — со случайного события. Пусть, например, некоторое событие может произойти с вероятностью 0,99 и не произойти с вероятностью 0,01, а другое событие имеет вероятности соответственно 0,5 и 0,5. Очевидно, что в первом случае результатом опыта «почти наверняка» является наступление события, во втором же случае неопределенность исхода так велика, что от прогноза разумнее воздержаться.

Для характеристики размытости распределения широко используется второй центральный момент (дисперсия) или доверительный интервал. Однако эти величины имеют смысл лишь для случайных числовых величин и не могут применяться к случайным объектам, состояния которых различаются качественно. Следовательно, мера неопределенности, связанной с распределением, должна быть некоторой его числовой характеристикой, функционалом от распределения, никак не связанным с тем, в какой шкале измеряются реализации случайного объекта [1, c. 118].

Примем (пока без обоснования) в качестве меры неопределенности случайного объекта, А с конечным множеством возможных состояний А1,…, Аn с соответствующими вероятностями P1, P2…Pn величину которую и называют «энтропией случайного объекта, А (или распределения { }. Убедимся, что этот функционал обладает свойствами, которые вполне естественны для меры неопределенности.

• 1. Н (p1…pn)=0 в том и только в том случае, когда какое-нибудь одно из {pi } равно единице (а остальные — нули). Это соответствует случаю, когда исход опыта может быть предсказан с полной достоверностью, т. е. когда отсутствует всякая неопределенность. Во всех других случаях энтропия положительна. Это свойство проверяется непосредственно.
• 2. Н (p1…pn) достигает наибольшего значения при

p1=…pn=1/n.

т.е. в случае максимальной неопределенности. Действительно, вариация Н по pi при условии.

3. Если, А и В — независимые случайные объекты, то.

Это свойство проверяется непосредственно.

4. Если, А и В — зависимые случайные объекты, то.

где условная энтропия H (А/В) определяется как математическое ожидание энтропии условного распределения. Это свойство проверяется непосредственно.

5. Имеет место неравенство Н (А) > Н (А/В), что согласуется с интуитивным предположением о том, что знание состояния объекта В может только уменьшить неопределенность объекта А, а если они независимы, то оставит ее неизменной. Как видим, свойства функционала Н позволяют использовать его в качестве меры неопределенности.

Обобщение столь полезной меры неопределенности на непрерывные случайные величины наталкивается на ряд сложностей, которые, однако, преодолимы. Прямая аналогия.

не приводит к нужному результату; плотность p (x) является размерной величиной (размерность плотности p (x) обратно пропорциональна x) а логарифм размерной величины не имеет смысла. Однако положение можно исправить, умножив p (x) под знаком логарифма на величину К, имеющую туже размерность, что и величина х:

Теперь величину К можно принять равной единице измерения х, что приводит к функционалу.

который получил название «дифференциальной энтропии». Это аналог энтропии дискретной величины, но аналог условный, относительный: ведь единица измерения произвольна. Запись означает, что мы как бы сравниваем неопределенность случайной величины, имеющей плотность p (x), с неопределенностью случайной величины, равномерно распределенной в единичном интервале. Поэтому величина h (X) в отличие от Н (Х) может быть не только положительной. Кроме того, h (X) изменяется при нелинейных преобразованиях шкалы х, что в дискретном случае не играет роли. Остальные свойства h (X) аналогичны свойствам Н (Х), что делает дифференциальную энтропию очень полезной мерой.

Пусть, например, задача состоит в том, чтобы, зная лишь некоторые ограничения на случайную величину (типа моментов, пределов области возможных значений и т. п.), задать для дальнейшего (каких-то расчетов или моделирования) конкретное распределение. Один из подходов к решению этой задачи дает «принцип максимума энтропии»: из всех распределений, отвечающих данным ограничениям, следует выбирать то, которое обладает максимальной дифференциальной энтропией. Смысл этого критерия состоит в том, что, выбирая максимальное по энтропии распределение, мы гарантируем наибольшую неопределенность, связанную с ним, т. е. имеем дело с наихудшим случаем при данных условиях.

Особое значение энтропия приобретает в связи с тем, что она связана с очень глубокими, фундаментальными свойствами случайных процессов. Покажем это на примере процесса с дискретным временем и дискретным конечным множеством возможных состояний.

Назовем каждое такое состояние «символом», множество возможных состояний — «алфавитом», их число m — «объемом алфавита». Число возможных последовательностей длины n, очевидно, равно mn. Появление конкретной последовательности можно рассматривать как реализацию одного из mn возможных событий. Зная вероятности символов и условные вероятности появление следующего символа, если известен предыдущий (в случае их зависимости), можно вычислить вероятность P© для каждой последовательности С. Тогда энтропия множества {C}, по определению, равна.

Определим энтропию процесса H (среднюю неопределенность, приходящуюся на один символ) следующим образом:

На множестве {C} можно задать любую числовую функцию fn©, которая, очевидно, является случайной величиной. Определим fn© c помощью соотношения.

fn© = -[1/n] logP© .

Математическое ожидание этой функции.

Это соотношение является одним из проявлений более общего свойства дискретных эргодических процессов. Оказывается, что не только математическое ожидание величины fn© при n стремящемся к бесконечности имеет своим пределом H, но и сама эта величина fn© стремится к H при n стремящемся к бесконечность. Другими словами, как бы малы ни были e > 0 и s > 0, при достаточно большом n справедливо неравенство.

т.е. близость fn© к H при больших n является почти достоверным событием.

Для большей наглядности сформулированное фундаментальное свойство случайных процессов обычно излагают следующим образом. Для любых заданных e > 0 и s > 0 можно найти такое no, что реализация любой длины n > no распадаются на два класса:

— группа реализаций, вероятность P© которых удовлетворяет неравенству.

— группа реализаций, вероятности которых этому неравенству не удовлетворяют.

Cуммарные вероятности этих групп равны соответственно 1 -s и s, то первая группа называется «высоковероятной», а вторая — «маловероятной» .

Это свойство эргодических процессов приводит к ряду важных следствий, из которых три заслуживают особого внимания.

1) независимо от того, каковы вероятности символов и каковы статистические связи между ними, все реализации высоковероятной группы приблизительно равновероятны.

Это следствие, в частности, означает, что при известной вероятности P© одной из реализаций высоковероятной группы можно оценить число N1 реализаций в этой группе:

N1 = 1 / P© .

2) Энтропия Hn с высокой точностью равна логарифму числа реализаций в высоковероятной группе:

Hn = n * H = log N1.

3) При больших n высоковероятная группа обычно охватывает лишь ничтожную долю всех возможных реализаций (за исключением случая равновероятных и независимых символов, когда все реализации равновероятны и и H = log m).

Действительно, из соотношения (9) имеем.

Число N всех возможных реализаций есть.

Доля реализаций высоковероятной группы в общем числе реализаций выражается формулой и при H < logm эта доля неограниченно убывает с ростом n. Например, если a = 2, n = 100, H = 2,75, m = 8, то.

т.е. к высоковероятной группе относится лишь одна тридцати миллионная доля всех реализаций! Строгое доказательство фундаментального свойства эргодических процессов здесь не приводится. Однако следует отметить, что в простейшем случае независимости символов это свойство является следствием закона больших чисел.

Действительно, закон больших чисел утверждает, что с вероятностью, близкой к 1, в длиной реализации i-й символ, имеющий вероятность pi встретится примерно npi раз. Следовательно вероятность реализации высоковероятной группы есть.

что и доказывает справедливость фундаментального свойства в этом случае.