Основы количественной теории информации

Основные понятия и определения теории информации

В теории информации изучаются количественные закономерности процессов передачи, хранения и обработки информации. Существует несколько подходов к изучению информации, положенных в основу соответствующих теорий. Основные из них — комбинаторный, вероятностный и алгоритмический. Важный вклад в исследование информационных процессов внесли выдающиеся ученые и инженеры: Р. Хартли, К. Шеннон, А. Н. Колмогоров, Н. Винер, Р. Фишер и др. Наибольшее развитие и практическое применение получила вероятностная теория информации, основоположником которой является Клод Шеннон. Эта теория считается классической, и ей будет посвящена основная часть следующего учебного материала.

Ключевой термин теории — информация. Это понятие нельзя считать лишь техническим и вообще узкодисциплинарным. Информация — это фундаментальная философская категория, о которой давно дискутируют последователи самых разных научных направлений. Концепции и толкования, возникающие в ходе научных споров, порождают многообразные определения информации. Приведем некоторые из них.

Информация — свойство материальных объектов и явлений (процессов) порождать многообразие состояний, которые посредством взаимодействий передаются другим объектам и запечатлеваются в их структуре^[1].

Информация — сведения (сообщения, данные), независимо от формы их представления¹.

Информация — это сведения об объектах и явлениях окружающей среды, их параметрах, свойствах и состоянии, которые уменьшают имеющуюся степень неопределенности, неполноты знаний о них^[2][3].

Информация — это обозначение содержания, полученного из внешнего мира в процессе нашего приспособления к нему и приспособления к нему наших чувств^[4].

Наиболее полно отражает сущность информации и поэтому выглядит достаточно абстрактно следующее определение информации.

Информация — свойство материи, состоящее в том, что в результате взаимодействия объектов между их состояниями устанавливается определенное соответствие.

Информация не может существовать сама по себе, она обязательно представляется в некоторой объективной форме, причем одна и та же информация может быть представлена в разных формах. Чтобы подчеркнуть многообразие форм представления информации, вводится термин «сообщение».

Сообщение — совокупность символов конечного алфавита, являющаяся формой выражения информации.

Например, информация о характере изменения функции. Формой представления такой информации, т. е. сообщением, может быть аналитическое выражение функции, либо графическое изображение кривой, либо таблица, содержащая значения функции и аргумента.

Информация является результатом взаимодействия объектов и, с другой стороны, имеет прагматический смысл только при ее передаче от одного объекта к другому.

Передача информации — процесс перемещения сообщения от источника к получателю посредством вещества или энергии.

Сигнал — материальный носитель сообщений, обладающий переменными параметрами и служащий для перемещения сообщений.

Материальными носителями для передачи информации могут быть звук, свет, радиосигналы, напряжение, угловое или линейное перемещение, бумага, магнитные среды и т. п. Сигнал как носитель информации имеет смысл только если он заранее неизвестен для «получателя», т. е. случаен. Детерминированный сигнал, сигнал с постоянными и заранее известными параметрами информации не несет. Поэтому при описании информационных систем используется аппарат теории вероятностей. При этом чем менее вероятно сообщение, тем больше информации оно несет (сообщение «В декабре на Урале выпал снег» несет мало информации, так как является весьма вероятным).

Сигнал называется непрерывным (или аналоговым), если его параметр может принимать любое континуальное значение в пределах некоторого интервала и изменяться в произвольный момент времени.

Если обозначить Z — значение параметра сигнала, at — время, то зависимость Z (t) будет непрерывной функцией (рис. 2.1, а).

Рис. 2.1. Непрерывный и дискретный сигналы:

а — непрерывный сигнал; б — дискретный сигнал Примерами непрерывных сигналов являются речь и музыка, изображение, показания термометра (параметр сигнала — высота столба спирта или ртути — имеет непрерывный характер значений), стрелочного манометра и пр.

Сигнал называется дискретным, если его параметр может принимать конечное число значений в пределах некоторого интервала и изменяться в конкретные моменты времени.

Пример дискретных сигналов представлен на рис. 2.1, б. Подробнее дискретные сигналы будут изучаться в параграфе 3.2. Как следует из определения, дискретные сигналы могут быть описаны дискретным и конечным множеством значений параметров. Примерами устройств, использующих дискретные сигналы, являются часы (электронные и механические), цифровые измерительные приборы, книги, табло и пр.

Значения параметров сигнала определяются сообщением, которое сигнал передает, а значит, символами, из которых сообщение состоит.

Символ — это элемент некоторого конечного множества отличных друг от друга сущностей.

Природа символа может быть любой — жест, рисунок, буква, сигнал светофора, определенный звук и т. д. Природа знака определяется носителем сообщения и формой представления информации в сообщении.

Набор символов, в котором установлен порядок их следования, называется алфавитом.

Следовательно, алфавит — это упорядоченная совокупность знаков. Порядок следования знаков в алфавите называется лексикографическим. Благодаря этому порядку между знаками устанавливаются бинарные отношения «больше-меньше»: для двух знаков Z, и |/ принимается, что ?, < р, если порядковый номер в алфавите меньше, чем порядковый номер 1|/.

Примером алфавита может служить совокупность арабских цифр 0, 1,…, 9 — с его помощью можно записать любое целое число в системах счисления — от двоичной до десятичной. Если в этот алфавит добавить знаки «+» и «-», то им можно будет записать любое целое число, как положительное, так и отрицательное. Наконец, если добавить знак разделителя разрядов («.» или «,»), то такой алфавит позволит записать любое вещественное число.

Поскольку при передаче сообщения параметр сигнала должен меняться, очевидно, что минимальное количество различных его значений равно двум и, следовательно, алфавит должен содержать минимум два знака — такой алфавит называется двоичным (синоним — бинарный). Верхней границы количества знаков в алфавите не существует; примером могут служить иероглифы, каждый из которых обозначает целое понятие, и общее их количество исчисляется десятками тысяч. Количество знаков в алфавите называют мощностью алфавита.

Верность передачи информации — мера соответствия принятого сообщения переданному.

Переработка информации — выполнение формальных операций над входными величинами, над параметрами сигнала в соответствии с заданным алгоритмом.

Хранение информации — фиксация параметров носителя информации.

Помехоустойчивость — способность системы передачи информации противостоять воздействию помех.

Скорость передачи информации — количество информации, переданное в единицу времени.

Скорость передачи информации J определяется формулой.

где I — информация, содержащаяся в сообщении S; Т — время передачи сообщения S.

Пропускная способность — наибольшая достижимая скорость передачи информации для данной информационной системы.

Формула для пропускной способности С может выглядеть следующим образом:

• [1] Энциклопедия кибернетики / В. М. Глушков, Н. М. Амосов [и др.]. Киев: Наукова думка, 1975.
• [2] Федеральный закон от 27.07.2006 № 149-ФЗ (ред. от 28.12.2013)"Об информации, информационных технологиях и о защите информации".
• [3] Макарова Н. В. Информатика: учебник. М.: Финансы и статистика.2000.
• [4] Винер Н. Кибернетика, или Управление и связь в животном и машине.М.: Советское радио. 1968.