Информация. 
Меры информации

Информация. Меры информации.

Информация это объект передачи и преобразования в вычислительных системах. Слово информация происходит от латинского informatio, означающего сведения, разъяснения, пояснения. С содержательной точки зрения информация — это сведения о ком-то или о чем-то, а с формальной точки зрения — набор знаков и сигналов.

В этом смысле вычислительную систему можно называть информационной, в отличие от энергетической системы, где предмет передачи и преобразования энергия. Все процессы, происходящие в вычислительной системе, связаны непосредственно с различными физическими носителями информационных сообщений, и все узлы и блоки этой системы являются физической средой, в которой осуществляются информационные процессы. Специфика информационных процессов состоит не только в передаче определённых информационных сообщений посредством заданной информационной среды, но и в преобразовании, переработке и хранении информации.

Термин «информация» имеет много определений. В широком смысле информация отражение реального мира. Существует определение термина в узком смысле: любые сведения, являющиеся объектом хранения, преобразования и передачи. Оба определения важны для понимания процессов функционирования вычислительной машины.

Важный вопрос теории передачи и преобразования информации установление меры, количества и качества информации.

Информационные меры, как правило, рассматриваются в трёх аспектах: структурном, статистическом и семантическом.

В структурном аспекте рассматривается строение массивов информации, и их измерение простым подсчётом информационных элементов или комбинаторным методом. Структурный подход применяется для оценки возможностей информационных систем вне зависимости от условий их применения.

Информационные аспекты Тезисы

Структурный Массив, комбинаторные методы

Статистический Энтропия как мера неопределенности

Семантический Выделение общественно полезного

Таблица 1. Информационные аспекты

При статистическом подходе используется понятие энтропии как меры неопределённости, учитывающей вероятность появления и информативность того или иного сообщения. Статистический подход учитывает конкретные условия применения информационных систем.

Семантический подход позволяет выделить полезность или ценность информационного сообщения.

Структурная мера информации

Информация всегда представляется в виде сообщения. Элементарная единица сообщений символ. Символы, собранные в группы слова. Сообщение, оформленное в виде группы символов или слов, всегда передаётся в материально-энергетической форме (электрической, световой, звуковые сигналы).

Различают информацию непрерывную и дискретную.

Непрерывная функция Дискретная функция

В непрерывном виде (слева) функция может принимать любые вещественные значения в указанном диапазоне, то есть множество значений непрерывной функции бесконечно. В дискретном виде функция моет принимать вещественные значения только при определённых значениях аргумента. Какой бы малый интервал дискретности (то есть расстояние между соседними значениями аргумента) не выбирался, множество значений для заданного диапазона изменений аргумента (если он не бесконечный) будет конечно (ограничено).

Меры структурной информации:

 геометрическая

 аддитивная

 комбинаторная

При использовании структурных мер информации учитывается только дискретное строение сообщения, количество содержащихся в нём информационных элементов, связей между ними. При структурном подходе различаются геометрическая, комбинаторная и аддитивная меры информации.

Геометрическая мера предполагает измерение параметра геометрической модели информационного сообщения (длины, площади, объёма и т. п.) в дискретных единицах. Например, геометрической моделью информации может быть линия единичной длины, квадрат или куб. Максимально возможное количество информации в заданных структурах определяет информационную ёмкость модели (системы), которая определяется как сумма значений по всем измерениям (координатам).геомет. модель информации

В комбинаторной мере количество информации определяется как число комбинаций элементов (символов). Возможное количество информация совпадает с числом возможных сочетаний, перестановок и размещений элементов. Комбинирование символов в словах, состоящих только из нулей и единиц, меняет значение слов. Рассмотрим две пары слов 110 010 и 11 001, 11 101 и 101 110. В них проведена перестановка крайних разрядов в числе (изменено местоположение знакового разряда в числе перенесен слева направо).

Аддитивная мера (мера Хартли) мера, в соответствии с которой информация измеряется в двоичных единицах битах наиболее распространена. Вводятся понятия глубины q и длины n числа.

Глубина q числа количество символов (элементов), принятых для представления информации. В каждый момент времени реализуется только один какой-либо символ.

Длина n числа количество позиций, необходимых и достаточных для представления чисел заданной величины.

Статистическая мера информации.

В статистической теории информации вводится более общая мера количества информации, в соответствии с которой рассматривается не само событие, а информация о нём. Этот вопрос глубоко проработан К. Шенионом в работе «Избранные труды по теории информации». Если появляется сообщение о часто встречающемся событии, вероятность появления которого близка к единице, то такое сообщение для получателя малоинформативно. Столь же малоинформативно сообщение, что вероятность события близка к нулю.

События можно рассматривать как вероятные исходы некоторого опыта, причем все исходы этого опыта составляют ансамбль, или полную группу событий. К. Шенион ввёл понятие неопределённости ситуации, возникающей в ходе опыта, назвав её энтропией. Энтропия ансамбля есть количественная мера его неопределённости и, следовательно, информативности, количественно выражаемая как средняя функция каждого из вероятных исходов опыта.

Пусть имеется N различных исходов опыта, из них k разных типов, а i сход повторяется ni раз, количество которой оценивается как Ii. Тогда средняя информация, доставляемая одним опытом:

(1.3)

Формула 1.3

Но количество информации в каждом исходе связано с его вероятностью p и выражается в двоичных единицах (битах) как l=log2(1/p)=-log2p. Тогда

(1.4) равносильно (1.5)

Формулы 1.4, 1.5

Но отношения n/N представляют собой частоты повторения исходов, а следовательно, могут быть заменены их вероятностями: n/N=p, поэтому средняя информация в битах

(1.6)