Дискретные каналы с памятью
Мы увидим, что рассматриваемый класс каналов с памятью можно разделить на два непересекающихся подкласса, а именно на каналы с конечной и бесконечной памятью. Короче говоря, канал с конечной памятью m, где m — целое положительное число, — это канал, в котором «шумовые выборки», относящиеся к «моментам» времени, разность между которыми превосходит m, статистически независимы. Дальше мы увидим, что… Читать ещё >
Дискретные каналы с памятью (реферат, курсовая, диплом, контрольная)
В канале, без памяти, основным событием является передача и прием простого элемента, т. е. канал полностью определяется заданием вероятностей возможных выходов всевозможных простых передач. С другой стороны, рассмотрим канал, в котором передача простого посылаемого символа вызывает определенного вида «шум», интерферирующий с выходом последующего символа. Для полного определения системы в этом случае необходимо множество условных вероятностей р (у|х, х'), где х' означает посылаемый символ, переданный непосредственно перед х. Если передача простого символа сопровождается «шумом», интерферирующим с выходом двух последующих символов, канал будет определяться набором условных вероятностей р (у | х, х', х"), где х" предшествует х'.
Другим типом канала с памятью будет канал, в котором последовательные «шумовые выборки» не зависят от всех переданных раньше символов, хотя и не являются статистически независимыми. Другими словами, равенство p (у1, у2, | х1, х2) = p (у1 | х1) p (у2 | х2) в общем случае неверно. В данном разделе курсовой работе мы определим класс каналов, обладающих памятью, который фактически включает оба типа, рассматриваемые здесь.
Мы увидим, что рассматриваемый класс каналов с памятью можно разделить на два непересекающихся подкласса, а именно на каналы с конечной и бесконечной памятью. Короче говоря, канал с конечной памятью m, где m — целое положительное число, — это канал, в котором «шумовые выборки», относящиеся к «моментам» времени, разность между которыми превосходит m, статистически независимы. Дальше мы увидим, что разница между конечной и бесконечной памятью окажется несущественной, по крайней мере тогда, когда речь идет об определении скорости создания сообщений на входе и о рассеянии информации в каналах с памятью. Можно обобщить лемму 1 и получить все результаты для каналов, обладающих памятью.
Лемма 1. Для любых е, д >0 найдется натуральное n (е, д), такое, что для любого n? n (е, д) множество u-элементов, для которых неравенство.
| H (x)+ log p (u) | < е (1.1).
не выполняется, обладает p (u) вероятностью, меньшей д. Аналогично, хотя уже с другим n (е, д), множество пар (u, х), для которых не выполняется неравенство.
| H (X | Y)+ log p (u, х) | < е (1.2).
обладает вероятностью p (u, х), меньшей д.
Доказательство. Утверждения данной леммы попросту сводятся к слабому закону больших чисел. На самом деле нам понадобится только одна часть каждого из этих двух неравенств, а именно.
p (u) < 2-n [H (X) — е] и p (u, х)> 2-n [H (X | Y) + е](1.3).
Вероятности невыполнения данных неравенств будут обозначаться соответственно через д - и д +.
Нам придется использовать эти два неравенства одновременно. Поскольку в зависимости от того, какой случай рассматривается, ни одно из них, вообще говоря, не выполняется для всех, а или (u, х), было бы желательно знать, на каком множестве пар оба неравенства справедливы.
Однако в интерпретации этих результатов разница между конечной и бесконечной памятью оказывается существенной. Мы увидим, что для канала с конечной памятью положительные утверждения теоремы кодирования полностью остаются в силе, в то время как доказательство отрицательного утверждения теоремы для случая Н > С до сих пор отсутствует. Об особенностях же поведения каналов с бесконечной памятью можно сказать очень немного. Обобщение леммы 1 на случай каналов с памятью содержит технические трудности, сильно удлиняющие полное доказательство.