Алгоритмический подход. 
Подходы к измерению информации

Отличный от взглядов Хартли, Шеннона, Винера и Бриллюэна подход к определению понятия «количество информации», был предложен в 1965 году академиком А. Н. Колмогоровым, который он назвал алгоритмическим.

Исходя из того, что «по существу наиболее содержательным является представление о количестве информации „в чем-либо“ (Х) и „о чем-либо“ (Y)», А. Н. Колмогоров для оценки информации в одном конечном объекте относительно другого конечного объекта предложил использовать теорию алгоритмов. За количество информации при этом, принимается значение некоторой функции от сложности каждого из объектов и длины программы (алгоритма) преобразования одного объекта в другой.

Решение задачи определения количества информации в алгоритмическом подходе имеет общий вид и схематично выглядит следующим образом.

" Относительной сложностью" объекта Y при заданном Х будем считать минимальную длину L (P) «программы» Р получения Y из Х. Сформулированное так определение зависит от «метода программирования». Метод программирования есть не что иное, как функция ц (P, X)=Y, ставящая в соответствие программе Р и объекту Х объект Y" .

Так как каждый из объектов может быть бесконечно сложным, то доказывается теорема, согласно которой относительной сложности K_ц(Y|X) объекта Y, при заданном методе программирования, может быть поставлена в соответствие иная относительная сложность, полученная при другом методе программирования A (P, X), такая, что выполняется неравенство:

K_A(Y|X)?K_ц(Y|X)+C_ц ,

где C_ц — некоторая постоянная программирования, не зависящая от X и Y.

Учитывая, что при любых Х и Y относительная сложность K_A(Y|X) является конечной величиной, а K_A(Y)=K_A(Y|1) можно считать просто сложностью объекта Y, А. Н. Колмогоров для оценки алгоритмического количества информации l_A(X:Y) в объекте X относительно объекта Y предложил использовать формулу:

.l_A(X:Y) = K_A(Y)—K_A(Y|X). (1).

причем K_A(X|X)?0 и, соответственно, l_A(X:X)? K_A(X) .

Алгоритмическая информация (1) может принимать как положительные, так и отрицательные значения. В связи с этим А. Н. Колмогоров делает два замечания. Во-первых, «l_A(X:Y) не меньше некоторой отрицательной константы C, зависящей лишь от условностей избранного метода программирования». Во-вторых, «вся теория рассчитана на применение к большим количествам информации, по сравнению с которыми |C| будет пренебрежимо мал» .

Алгоритмический подход к измерению количества информации, в силу ряда объективных причин, не нашел широкого практического применения. Во-первых, как писал сам А. Н. Колмогоров, «на пути его формализации встает очевидная трудность: то, что просто описывается на одном языке, может не иметь простого описания на другом, и непонятно, какой способ описания выбрать». То есть алгоритмическая оценка информации зависит от выбранного метода программирования, а такой выбор, в свою очередь, по сути дела всегда имеет субъективный характер. Во-вторых, практическое использование формулы (1) возможно лишь применительно к весьма простым объектам, имеющим математическое описание, в то время как отсутствие последнего является характерной и обязательной чертой сложных объектов. Кроме того, понятие «сложность» само по себе является относительным и зависит от уровня рассмотрения объектов. И, наконец, в-третьих, в соответствии с теоремой Геделя о неполноте формальных систем, нельзя доказать, что минимальная длина программы L (P) преобразования X в Y, составленная на каком-либо языке программирования, действительно является объективно минимальной .

В своих комментариях относительно алгоритмического подхода А. Н. Колмогоров писал, что он «основан на применении теории алгоритмов для определения понятия энтропии, или сложности, конечного объекта и понятия информации в одном конечном объекте о другом». В соответствии с этим, переходя к рассмотрению алгоритмического подхода с позиций количественного определения негэнтропии отражения, предварительно отметим следующее. — В рассматриваемой нами ситуации каждый из объектов может быть закодирован с помощью двоичного языка, символами которого являются «0» и «1». Кодируя каждый элемент символом «1», мы получим для отражаемого и отражающего объектов соответствующий код длины m (A) и m (B). Естественно, что сложность К каждого из объектов является функцией длины такого кода, которая, в свою очередь, для энтропийной сложности представляет собой логарифм числа элементов конечного множества, то есть:

K (A)=log₂m (A), K (B)=log₂m (B) (2).

Также очевидно, что алгоритм получения одного объекта из другого в рассматриваемой ситуации сводится к добавлению или обнулению (ликвидации) определенного числа единиц в соответствующем коде. То есть длина «программы» получения одного объекта из другого равна |m (A) — m (B)| двоичных единиц и соответственно относительная сложность каждого из объектов имеет вид:

K (A|B)=K (B|A)=log₂|m (A)-m (B)| (3).

Подставляя выражения (2) и (3) в формулу (1), получаем, что алгоритмическое количество информации, которое содержит отражающий объект B относительно отражаемого объекта A, равно:

l (B:A)=K (A)-K (A|B)=log₂m (A)-log₂ |m (A)-m (B)| (4).

Алгоритмическая информация (4) наиболее близка к определению негэнтропии отражения системных объектов в сравнении с ранее рассмотренными информационными мерами и даже, на принципиальном уровне суждений (в рамках изложенного материала), может быть принята за ее количественную характеристику. Но, этим ее положительные свойства в негэнтропийном отношении ограничиваются, так как она не применима к открытым системным объектам. Дело в том, что, когда отражаемый объект является открытым, мы опять будем иметь отрицательные значения (при m (B)>2m (A)), негативизм которых, помимо отмеченного выше, может быть дополнен тем, что, как нетрудно видеть, возможны ситуации, когда аддитивная негэнтропия отражения совокупности отражающих объектов будет равна нулю. То есть, например, проведя наблюдения и выявив совокупность объектов, имеющих непосредственную взаимосвязь с отражаемым (исследуемым) объектом, в итоге мы будем иметь, что общее количество информации, полученное нами в процессе исследований равно нулю, а это уже нонсенс. Таким образом, мы видим, что алгоритмический подход, также как комбинаторный и вероятностный, не позволяет получить расчетную формулу для негэнтропии отражения системных объектов l_A-B.