Возможности дальнейшего развития теории информации на основе определений (5) и (6) остались в тени ввиду того, что придание переменным x и y характера «случайных переменных», обладающих определенным совместным распределением вероятностей, позволяет получить значительно более богатую систему понятий, соотношений. В параллель к введенным ранее величинам имеем здесь.
По-прежнему HW (y|x) и IW (x:y) являются функциями от x. Имеют место неравенства.
.
переходящие в равенства при равномерности соответствующих распределений (на X и Yx). Величины IW (x:y) и I (x:y) не связаны неравенством определенного знака.
Но отличие заключается в том, что можно образовать математические ожидания MHW (y|x), MIW (x:y), а величина характеризует «тесноту связи» между x и y симметричным образом.
Стоит, однако, отметить и возникновение в вероятностной концепции одного парадокса: величина I (x:y) при комбинаторном подходе всегда неотрицательна, как это и естественно при наивном представлении о «количестве информации», величина же IW (x:y) может быть и отрицательной. Подлинной мерой «количества информации» теперь становится лишь осредненная величина IW (x, y).
Вероятностный подход естествен в теории передачи по каналам связи «массовой» информации, состоящей из большого числа не связанных или слабо связанных между собой сообщений, подчиненных определенным вероятностным закономерностям. В такого рода вопросах практически безвредно и укоренившееся в прикладных работах смешение вероятностей и частот в пределах одного достаточно длинного временного ряда (получающее строгое оправдание при гипотезе достаточно быстрого «перемешивания»). Практически можно считать, например, вопрос об «энтропии» потока поздравительных телеграмм и «пропускной способности» канала связи, требующегося для своевременной и неискаженной передачи, корректно поставленным в его вероятностной трактовке и при обычной замене вероятностей эмпирическими частотами. Если здесь и остается некоторая неудовлетворенность, то она связана с известной расплывчатостью наших концепций, относящихся к связям между математической теорией вероятностей и реальными «случайными явлениями вообще.
