Количественные и качественные характеристики информации

Возможен ряд подходов к оценке качества информации. Наиболее существенными из них являются синтаксический, семантический, прагматический и алгоритмический. На рис. 1.4 представлена классификация мер информации.

На синтаксическом уровне для определения количества информации используются два подхода: объемный и статистический (вероятностный, энтропийный).

В объемном подходе синтаксическая мера количества информации оперирует с обезличенной информацией, не выражающей смыслового отношения к объекту. При этом учитываются тип носителя и способ представления информации, скорость передачи и обработки, размеры кодов представления информации.

Рис. 1.4. Классификация мер информации.

Объем данных понимается в техническом смысле этого слова как информационный объем сообщения или как объем памяти, необходимый для хранения сообщения без каких-либо изменений. При этом прагматический аспект не рассматривается.

Информационный объем сообщения измеряется в битах и равен количеству двоичных цифр (0 и 1), которыми закодировано сообщение.

В компьютерной практике понятие «бит» используется также как единица измерения объема памяти. Ячейка памяти размером в 1 бит может находиться в двух состояниях (включено и выключено), и в нее может быть записана одна двоичная цифра (0 или 1). Так как бит — слишком маленькая единица измерения информации, пользуются кратными ей величинами. Основной единицей измерения информации является байт. 1 байт равен 8 битам. В ячейку размером в 1 байт можно поместить 8 двоичных цифр, т. е. в одном байте можно хранить 256 = 2⁸ различных чисел. Для измерения еще больших объемов информации используются величины, представленные в табл. 1.2.

Количество информации на синтаксическом уровне определяется также на основе статистического (вероятностного) подхода через понятие энтропии системы.

Статистический подход представлен в обширном разделе кибернетики — теории информации, которая занимается математическим описанием и оценкой методов передачи, хранения, извлечения и классификации информации. Теория информации в математической основе использует методы теории вероятности, математической статистики, линейной алгебры и др. В статистической теории основное внимание обращается на распределение вероятности появления отдельных событий и построение на его основе обобщенных характеристик, позволяющих оценить количество информации в одном событии либо в их совокупности. Количественной мерой информации стала энтропия. Чтобы возник процесс передачи, должны иметь место источник информации и потребитель. Источник выдает сообщение, потребитель, принимая сообщение, принимает при этом информацию о состоянии источника. В статистической теории, как выше указывалось, не изучается содержание информации. Предполагается, что до получения информации имела место некоторая неопределенность. С получением информации эта неопределенность снимается. Таким образом, статистическая количественная характеристика информации — это мера снимаемой в процессе получения информации неопределенности системы.

Таблица 1.2

Единицы измерения объемов информации

Следует отметить, что понятие энтропии исторически использовалось для оценки меры неопределенности состояния любой системы. Чем больше энтропия системы, тем больше неопределенность ее состояния; и тем большую информацию получаем, когда эта неопределенность снимается. Энтропия как количественная мера информации обладает следующими свойствами.

• 1. Функция энтропии является непрерывной относительно вероятности возникновения событий и для дискретных событий имеет наибольшее значение при равной вероятности их появления. Если возможно появление лишь одного события, то априорной неопределенности нет, поэтому количество информации и энтропия равны нулю.
• 2. При равновероятных событиях функция энтропии возрастает с увеличением числа событий в ансамбле, а поэтому для повышения информативности символов необходимо увеличивать основание системы счисления используемого кода.
• 3. Функция энтропии не зависит от пути выбора событий. Это свойство вытекает из аддитивности статической меры информации и, как следствие, аддитивности функции энтропии.

Таким образом, статистическая теория позволяет дать плодотворные оценки количества информации для такого важного этапа информационного процесса в системе, как передача. Заложенные еще К. Шенноном принципы количественной оценки на основе функции энтропии сохраняют свою значимость до настоящего времени и являются полезными при определении информативности символов и сообщений, при оценке оптимальности построения кода на основе критериев избыточности.

В современных системах обработки информации и управления существенное место занимает подготовка информации для принятия решения и сам процесс принятия решения в системе. Здесь существенную помощь может оказать семантическая теория, позволяющая вскрыть смысл и содержание информации, выражаемой на естественном либо близком ему языке. С увеличением объема производства и его сложности количество информации, необходимое для принятия безошибочного решения, непрерывно возрастает. В этих условиях необходимо осуществлять отбор информации по некоторым критериям, т. е. предоставлять руководителю либо лицу, принимающему решение, своевременную и полезную информацию. С учетом ошибок, которые могут возникать в информации в связи с действиями оператора, отказами технических средств в др., избыточность допускается лишь как средство борьбы с ошибками. В этом смысле можно считать, что избыточность способствует сохранению ценности информации, обеспечивая требуемую верность. В рамках семантического подхода ценность информации можно задать через функцию потерь.

Если в процессе подготовки информации исходная величина х отображается через величину у, то минимум потерь можно установить как.

где Р (х) — вероятностное распределение входной величины х (определяется статистически), ГК*/у) — потери при преобразовании входной величины х в величину у (определяются статистически), X — множество значений х, Y — множество значений у.

Так как П_т*_п — характеристика вероятностная, при определении ценности информации необходимо учитывать математическое ожидание потерь

где Ц — ценность информации, — математическое ожидание потерь при отходе от входной величины х к величине у.

Следует отметить, что данная интерпретация ценности имеет сугубо технический характер. Конструктивным выходом из нее является такое разбиение входной величины х, при котором удается максимизировать ценность. В общем случае ценность информации, поступающей от материального объекта, является функцией времени. Анализ информации, используемой для принятия решения в реальных системах, позволил найти функции ценности. Эти функции задают предельные временные интервалы, в течение которых имеет смысл использовать данную информацию. При принятии решения обычно используется не только информация о материальном объекте, но и информация об условных распределениях критериальных оценок последствий различных альтернативных решений. В этом случае резко уменьшается число предпочтительных альтернатив и удается принять решение, базируясь на качественно неполной информации. В ряде практических случаев решение принимается с использованием субъективных критериев. При этом приходится применять большой объем информации, ужесточать требования к согласованности и непротиворечивости исходной информации. Принцип принятия решений по своей методологии требует сохранения содержания качественных понятий на всех этапах использования информации при общей оценке альтернативных решений. Кроме того, исключается сложная информация, при которой лицо, принимающее решение, должно иметь дело с громоздкими задачами. Используют замкнутые процедуры выявления предпочтений, т. е. процедуры, в которых имеется возможность проверить предпочтение на непротиворечивость и транзитивность. Можно отметить, что семантическая теория требует дальнейшей серьезной проработки, однако уже сейчас при принятии решений существует ряд методов, позволяющих оценивать смысловое содержание информации.

Семантический подход, как уже было отмечено, базируется на смысловом содержании информации. Термин «семантика» исторически применялся в металогике и семиотике. В металогике под семантикой понимают изучение связей между знакосочетаниями, входящими в состав какого-либо формализованного языка, и их интерпретациями (истолкованиями) в терминах той системы понятий и представлений, формализацией которого служит данный язык. В более узком смысле под семантикой подразумевают совокупность правил соответствия между формальными выражениями и их интерпретацией. Под семиотикой понимают комплекс научных теорий, изучающих свойства знаковых систем, т. е. систем конкретных или абстрактных объектов, с каждым из которых сопоставлено некоторое значение. Примерами знаковых систем являются естественные языки, а также искусственные языки, такие, как алгоритмические языки, языки программирования, информационные языки и др.