Экономичность источников информации

Для сокращения длины сообщений без потери информации, очевидно, надо увеличивать энтропию источника. Энтропию можно увеличивать за счет обеспечения равновероятности символов алфавита, а также за счет увеличения мощности алфавита. Однако увеличение мощности алфавита приводит к сложностям приема-передачи информации (непрерывный сигнал передается и воспринимается с погрешностями, китайские иероглифы трудны для освоения, для них не хватает клавиш на клавиатуре), к увеличению избыточности сообщений (в языках программирования ряд команд применяется редко). Существует теоретический оптимум для мощности алфавита. Найдем его.

Пусть имеется источник с алфавитом мощности т. Тот же алфавит можно получить, используя два источника с алфавитами т/2 или три источника с алфавитами т/3 и т. д. При какой мощности алфавита т общая энтропия будет максимальной, если к • т- const, где к — количество независимых источников, am — это мощность алфавита каждого источника (под независимыми источниками можно понимать и независимые сигналы одного источника)?

Пусть к • т = а. Энтропия композиции независимых источников равна

Найдем максимум энтропии, для чего продифференцируем по т

Оптимальная мощность алфавита теоретически равна основанию натуральных логарифмов е (2,718 281 828 459 045…), а практически — трем, так как невозможно придумать физически реализуемый объект с нецелым количеством состояний.

Очевидно, что троичный алфавит является более экономичным, чем двоичный. Именно поэтому в истории развития вычислительной техники были случаи создания компьютеров, использующих троичный алфавит. В 1958 г. группа советских инженеров под руководством конструктора Н. П. Брусенцова представила электронно-вычислительную машину «Сетунь», работающую на принципах троичной логики. Элементной базой такого компьютера были магнитные усилители на ферритовых сердечниках. Они допускали три устойчивых состояния: ток в прямом направлении (логическая «единица»), ток в обратном направлении (логическая «минус единица») и отсутствие тока (логический «ноль»). Машины этой серии выпускались с 1962 по 1964 г. и отличались исключительной надежностью. Архитектурно они были совершеннее «двоичных» полупроводниковых аналогов. Помешали их массовому распространению миниатюризация, удешевление и повышение надежности полупроводниковых элементов. «Сетунь» стала экономически невыгодной.

Производительность источника сообщений

Производительностью источника называется количество информации, порождаемое источником в среднем за единицу времени Пусть Я — энтропия источника, т — мощность алфавита, Pi (i = 1, 2, …, m) — вероятность появления i-ro символа, 9, — длительность генерации г-го символа. Рассмотрим процесс генерации п символов. В среднем один символ генерируется за время . На генерацию п символов будет затрачено время Т-п ? М[0].

Количество информации, порожденное источником за это время, равно: I = п? Н. Производительность источника будет вычислена следующим образом:

Если все символы алфавита генерируются за одно и то же время 0, то

Максимальной производительностью обладает источник с максимальной энтропией, которая в соответствии с третьим свойством энтропии равна log₂m: