Основная теорема Шеннона о кодировании для дискретного канала с помехами

Основная теорема о кодировании для канала с помехами приводится без доказательств и сводится к следующему: если источник информации имеет энтропию H (X), а канал связи обладает пропускной способностью С, то:

1. Сообщения, вырабатываемые источником, всегда можно закодировать так, чтобы скорость передачи S была сколь угодно близкой к величине:

и чтобы вероятность ошибки в определении каждого переданного символа была меньше любого заданного числа;

2. Не существует метода кодирования, позволяющего вести передачу со скоростью выше Sm и с малой вероятностью ошибки.

Иными словами К. Шеннон доказал, что если энтропия источника информации не превышает пропускной способности канала, т. е. H (X) C такого кода не существует.

Пропускная способность канала связи для аналогового сигнала К. Шенноном была определена пропускная способность или емкость канала связи для аналогового сигнала и аддитивной помехи в виде «белого шума» с ограниченным спектром. При этом аналоговый сигнал должен обладать равномерным спектром и ограниченной средней мощностью:

где DF — полоса частот канала, Pn — средняя мощность помех с нормальным законом распределения амплитуд, Pc — средняя мощность сигнала.

Следовательно, можно передавать информацию по каналу с помехами без ошибок, если скорость передачи информации.

Из (6.22) видно, что при Pn >Pc канал связи обладает пропускной способностью. Применяя методы фильтрации и помехоустойчивого кодирования, можно передать информацию и при Pn >Pc. Емкость канала связи с уменьшением мощности помех неограниченно возрастает (см. 6.22). Однако, реализовать канал связи с неограниченной пропускной способностью невозможно из-за наличия аппаратурных погрешностей, которые уменьшают пропускную способность канала связи эквивалентно шумам. В реальных каналах связи обычно Pc >> Pn и единицей в (6.22) можно пренебречь. Тогда максимальная скорость передачи информации выразится формулой:

В этом случае максимальное количество информации, которое можно передать за время Tc:

где Tc — время передачи сигнала, h_c = log (p_c/p_n) — мера превышения мощности сигнала над мощностью помех, DFc — ширина спектра сигнала.

Величина V_c=DF_ch_cT_c может быть представлена в виде параллелепипеда со сторонами DF_c, h_c, T_cи получила название объема сигнала (рис. 6.4).

Рис. 6.4 Объем сигнала V_c=DF_ch_cT_c

Объем сигнала представляет собой обобщенную физическую характеристику сигнала.

Аналогично понятию «объем канала» связи Vk:

DFk — полоса частот, выделяемая для передачи, hk — полоса уровней, зависящая от допустимой мощности, развиваемой аппаратурой канала связи, Tk — время представления канала для передачи сигнала.

Необходимым (но недостаточным) условием передачи сигнала по каналу связи является:

Необходимыми и достаточными условиями являются более жесткие условия:

Один и тот же объем сигнала может быть получен при уменьшении или увеличении одного из параметров путем пропорционального увеличения или уменьшения любого другого параметра соответственно. Это преобразование необходимо выполнить, если необходимое условие (6.25) выполняется, а одно или два неравенства из условий (6.26) не выполняются и объем сигнала «не умещается» в объеме канала. Примером такого преобразования с одновременным изменением DF и T при постоянном объеме сигнала являются запись и воспроизведение сигналов с различной скоростью на магнитофоне. Если задается временная последовательность импульсов (рис. 6.5) или известны длительности всех элементов сигнала, то для определения объема сигнала необходимо определить частотный спектр сигнала по наименьшей длительности его элементов t_min. При этом:

для видеосигнала:

для радиосигнала:

где k — коэффициент, зависящий от допустимой величины искажения формы передаваемых импульсов (k ~ 3.5).

Рис. 6.5 Временная последовательность импульсов.

Величина hc задается или вычисляется по заданным величинам Pc и Pn. Иногда вместо модностей задаются напряжения сигнала Uc и помехи Un (или их отношение). В этом случае Uc вычисляется по формуле: