О сходстве и различии формулы самоотражаемой множеством информации и информационной меры Р. Хартли

На первый взгляд может показаться, что формула самоотражаемой множеством информации (1) представляет собой информационную меру Р. Хартли [9], взятую при единичном выборе и двоичном основании логарифма, к которой при одинаковой вероятности событий сводится также информационно-энтропийная мера К. Шеннона [10]:

(3).

где N — разнообразие элементов множества по какому-либо признаку .

Между тем, формулы (1) и (3) получены различными путями и имеют только внешнее формально-математическое сходство, что видно хотя бы из того, что их аргументы и N характеризуют множество с разных сторон. Соответственно, в одной и той же ситуации и Н, в общем случае, имеют различные значения, причем. В этом можно убедиться на примере буквенных последовательностей (систем) конечной длины, информационные оценки которых по формулам (1) и (3) приведены в таблицах 1 и 2.

Таблица 1.

Таблица 2.

Из табл. 1 видно, что не зависит от разнообразия букв, образующих последовательность, а табл. 2, в свою очередь, показывает, что H не зависит от общей длины буквенной последовательности. Иначе говоря, самоотражаемая множеством информация (1) и информационная мера Р. Хартли (3) инвариантны относительно друг друга, а их значения равны между собой только в частном случае, когда .

Сказанное относится к частному случаю информационной меры Р. Хартли и может вызвать ложное предубеждение, что формулы (1) и (3) просто являются различными реализациями одной и той же комбинаторной формулы количества информации, представляющей собой двоичный логарифм числа элементов какого-либо конечного множества, которое, по замечанию А. Д. Урсула, может быть представлено «и количеством случайных событий, и количеством возможностей, и наличным количеством каких-то предметов и т. д.» [52, с.37]. Покажем, что это не так, и вскроем глубинные различия формул (1) и (3), для чего обратимся к их генезису.

Самоотражаемая множеством информация (1) представляет собой среднюю длину интегративных кодов элементов, которые могут быть поставлены в соответствие каждому из них при рассмотрении множества в качестве единого целого. В работах [1, 3] показано, что интегративный код элементов при этом может быть составлен с помощью только двоичного алфавита. В противном случае, при числе символов алфавита, возникают нарушения монотонного возрастания средней длины кодов и информации по мере увеличения общего числа элементов множества. Соответственно, за самоотражаемую множеством информацию принята средняя длина интегративных кодов при, точная формула которой имеет вид:

(4).

где — целочисленная часть .

При этом установлено, что на всем множестве возможных значений отклонение от (см. рис. 1) ограничено постоянной величиной.

.

что наглядно демонстрирует рис. 2.

Поэтому в качестве практической меры информации, самоотражаемой конечным множеством A с числом элементов, вместо относительно громоздкого выражения (4) принята его аппроксимация Аппроксимация (от лат. Approximo — приближаюсь) — замена одних математических объектов другими, в том или ином смысле близкими к исходным. Аппроксимация позволяет исследовать числовые характеристики и качественные свойства объекта, сводя задачу к изучению более простых или более удобных объектов (например, таких, характеристики которых легко вычисляются или свойства которых уже известны) (БСЭ). в виде формулы (1), то есть:

Рисунок 1. Графики функций и.

Рисунок 2. График разности.

Информационная мера Р. Хартли, в свою очередь, была изначально получена для целей сравнительного анализа пропускной способности различных систем технической связи [9]. Р. Хартли исходил из того, что при передаче сообщения с помощью N-символьного алфавита каждому символу сообщения соответствует единичный выбор из N возможностей. Следовательно, для того, чтобы передать сообщение из n символов по техническому каналу связи, необходимо осуществить n таких выборов. При этом сообщение в целом, как единая n-символьная последовательность, является реализацией одной из возможных таких последовательностей. Дальнейший вывод информационной меры является довольно коротким, поэтому для соблюдения адекватности приведем его полностью.

" Будем произвольно считать, что количество информации пропорционально числу выборов, а коэффициент пропорциональности выберем таким образом, чтобы равным числам возможных последовательностей соответствовали равные количества информации. Пусть в какой-либо системе количество информации, связанное с n выборами, есть.

(5).

где K — константа, зависящая от числа N возможных при каждом выборе символов. Возьмем две системы, в которых N имеет значения и, и пусть соответствующие константы будут и. Определим эти константы следующим условием: если числа выборов n1 и n2 в двух системах таковы, что возможных последовательностей в обеих системах одинаково, то одинаково и количество информации, т. е. если.

.

то.

.

откуда.

.

Это соотношение справедливо для всех значений N только тогда, когда K связано с N соотношением:

.

где одинаково для всех систем. Так как произвольно, то его можно опустить, оставляя основание логарифмов произвольным. Выбор того или иного основания определяет единицу измерения информации. Подставляя значение K в (5), имеем:

(6).

Сделанное нами сводится, следовательно, к тому, что в качестве практической меры информации мы берем логарифм числа возможных последовательностей символов" [9, с.11−12].

Наиболее широкую известность мера Р. Хартли (6) получила при и двоичном основании логарифма, то есть в виде формулы (3). Более того, непосредственно с формулы (3), как правило, начинается сейчас и изложение собственно комбинаторного подхода к определению количества информации. Так, например, академик А. Н. Колмогоров в своей известной статье «Три подхода к определению понятия «количество информации» [53], изложение комбинаторного подхода начинает следующим образом: «Пусть переменное х способно принимать значения, принадлежащие конечному множеству X, которое состоит из N элементов. Говорят, что «энтропия» переменного х равна Указывая определенное значение х = а переменного х, мы «снимаем» эту энтропию, сообщая «информацию» [53, с.3].

. (7).

Каких-либо замечаний по поводу того, почему используется именно двоичный логарифм, А. Н. Колмогоров при этом не делает, принимая основание «2» как за нечто данное. Возможно, это потому, что еще за восемь лет до опубликования данной статьи он говорил, что «способ измерения количества информации при помощи сравнения любой информации с информацией в виде некоторого числа двоичных знаков стал сейчас стандартным в теории информации» [54, с.31]. В связи с этим можно заметить, что слова «стал сейчас стандартным» не являются научным обоснованием в строгом смысле этого слова, а отражают лишь факт предпочтительного удобства использования двоичных логарифмов в теоретической и практической деятельности, связанной с передачей, хранением и переработкой информации.

В отличие от произвольного основания логарифма в первоначальной мере Р. Хартли (6) и практического выбора двоичного логарифма в выражениях (3) и (7), в формуле самоотражаемой множеством информации (1), как это следует из ее выше описанного вывода, никакое другое основание логарифма, кроме «2», не допускается. В противном случае, фрагментарно нарушается монотонный характер увеличения информации с ростом числа элементов множества. Например, при основании «10» для всех будем иметь. (При этом имеется в виду, что длина интегративного кода, как последовательности символов, может принимать только целочисленные значения.) То есть основание логарифма «2» в формуле (1) имеет теоретическое, а не эмпирическое, как в (3) и (7), обоснование (подробности в работах [1, 3]).

Описанный генезис формул (1) и (3) свидетельствует о том, что они отличаются друг от друга не только своими аргументами, но и всем ходом рассуждений, на основе которых они получены, то есть являются принципиально различными мерами информации. Более того, если формулу самоотражаемой множеством информации (1) можно применять для информационной оценки любого конечного множества без каких-либо дополнительных сведений о нем, то для корректного практического использования меры Р. Хартли (3) и (6) необходимо знание условий формирования множества. Иначе говоря, при оценке количества информации по формулам (3) и (6) получатель информации должен знать, с помощью какого именно алфавита составлено сообщение. В противном случае оценка количества информации будет далеко не всегда адекватной и однозначной. Покажем это на конкретном лингвистическом примере и будем при этом информацию в формуле (6) обозначать как .

Пусть имеется телеграфное сообщение без предлогов в виде следующего текста из восьми символов (пробел «-» учитывается как символ) Русскоязычный читатель будет считать, что этот текст написан на русском языке с помощью русского алфавита (при равнозначности е — ё и ь — ъ), а его смысл заключается в том, что какое-то море или его участок загрязнены посторонними предметами. Соответственно, количество информации, приходящейся на один символ сообщения по формуле (3) равно, а общее количество информации, содержащейся в сообщении, по формуле (6) составляет .

В том случае, если сообщение (8) попадет к англоязычному читателю, то оно будет воспринято, как составленное с помощью латинского алфавита. А поскольку на английском языке слова сообщения могут означать СОР [ k? p] - полицейский, а МОРЕ [m?up] - угрюмый человек, то содержание сообщения для его получателя может представлять собой информацию о том, что некий полицейский является неприветливым хмурым человеком. Количество информации на один символ по Р. Хартли в этом случае равно, а для всего сообщения .

Если же рассматривать текст (8) чисто формально, как просто существующую саму по себе последовательность символов, то с помощью меры Р. Хартли мы можем, строго говоря, оценить только разнообразие символов текста, причем разнообразие в смысле У. Р. Эшби [55], которое не учитывает частоту встречаемости символов У. Р. Эшби в отношении символьных множеств писал, что «если порядок, в котором расположены элементы, игнорируется, то множество c, b, c, a, c, c, a, b, c, b, b, a, содержащее двенадцать элементов, содержит только три различных элемента: a, b и с. О таком множестве будет говориться, что оно имеет разнообразие в три элемента» [55, c.178].. В этом случае мы должны принять, что сообщение (8) составлено с помощью алфавита из шести символов «-», Е, М, О, Р, С и, соответственно,, .

В свою очередь, информационная оценка текста (8) с помощью формулы (1) является однозначной, и независимо от каких-либо условий показывает, что текст отражает о самом себе, как едином целом, количество информации, равное. Причем значение не совпадает ни с одной из оценок, полученных с помощью меры Р.Хартли.

Таким образом, на примере телеграфного сообщения (8) мы убедились, что при информационном анализе одного и того же множества с помощью меры Р. Хартли можно получить различные результаты, зависящие от условий рассмотрения множества. В то же время, количество информации, самоотражаемой множеством, всегда остается постоянной величиной и не зависит от каких-либо условий. Это лишний раз говорит о том, что формулы (1) и (3) по своей содержательной сущности являются принципиально различными информационными мерами.