Работа №2. Моделирование передачи сообщения по каналу с помехами

Теоретические сведения Наличие помех в канале связи приводит к тому, что часть информации при перемещении по каналу теряется, искажается. Информация, принятая приемником, не полностью снимает неопределенность относительно переданной источником, хотя и уменьшает ее. Если на вход канала связи поступил сигнал и, а с выхода канала принят сигнал v, то говорят о взаимной (или полезной) информации /(u, v).

Взаимной информацией между сообщениями и и v 1{и, v) называется величина, определяемая соотношениями:

или.

где Н (и) — энтропия передатчика сообщения; H (u | v) — апостериорная энтропия, которая учитывает утечку информации при передаче из-за разрушения ее помехами (ненадежность канала); H (v) —энтропия приемника (выхода) канала; Н (у | и) характеризует постороннюю информацию, вносимую помехами (априорная энтропия шума).

Энтропия приемника определяется по формуле:

Энтропия шума определяется по формуле:

Для определения информационных характеристик канала с помехами требуется знать статистику входных сообщений (вероятности Р (ц,)), а также переходные вероятности P (vj | щ), определяющие характер помех. Переходные вероятности обычно задаются матрицей размерностьюNuxNv, называемой канальной матрицей.

Вероятности выходных сообщений P (Vj) можно определить, зная вероятности входных сообщений и канальную матрицу:

Если канал передачи информации имеет бинарный характер (т.е. передает два символа, например 0 и 1), то ошибки при передаче могут быть двоякого рода: ошибочная инверсия и потеря символа (стирание). Ошибочная инверсия описывается условными вероятностями того, что принят 0 при условии, что послана 1 (обозначаетсяр (1 | 0)), и того, что принята 1 при условии, что был послан 0 (обозначаетсяр (0 | 1)). Потеря символа описывается условными вероятностями стирания 0 и стирания 1 (обозначаетсяр (? | 0) ир (? | 1) соответственно). Если условные вероятности ошибочной инверсии равны (р (1 | 0) = = р (0 | 1)) и условные вероятности потери символа равны (р (? | 0) = р (? | 1)), то такой канал связи называется бинарным симметричным.

Взаимная информация 7(u, v) показывает количество информации, содержащееся в среднем в одном принятом сообщении. Если по каналу передается ансамбль из п сообщений, то количество информации, поданной в канал, определяется как п-Я (и), а количество принятой информации равно n/(u, v). Разница между этими величинами составляет потери информации. При этом скорость передачи информации будет равна.

, где т — среднее время передачи одного сообщения.

Рекомендации по составлению канальной матрицы Для составления канальной матрицы необходимо:

• 1) закодировать входные символы первичного алфавита в виде двоичных последовательностей равномерной длины;
• 2) для каждого символа первичного алфавита определить переходные вероятности его передачи по каналу, т. е. вероятность правильной передачи и вероятности его искажения (перехода в другой символ).

При этом переходные вероятности передачи символа определяются, исходя из заданных вероятностей ошибок бинарного канала.

Например, пусть символ А закодирован последовательностью 001, а символ В — последовательностью 010. Тогда вероятность правильной передачи символа А определяется так: р (А|Л) = р (0|0) • р (0|0) • р (1|1), а вероятность ошибочного перехода символа А в символ В определяется так:

. Вероятности правильной передачи бинарных символов, вычисляются из того соображения, что вместе вероятностями ошибок они представляют полную группу событий:

Следует иметь в виду, что в результате ошибок передачи по каналу связи в приемнике могут появиться символы, не совпадающие ни с одним из символов первичного алфавита. Это может произойти либо из-за стирания бинарного символа, либо из-за того, что инверсия бинарных символов приведет к возникновению двоичной последовательности, отсутствующей в кодировке первичного алфавита. Значит, алфавит приемника будет иметь мощность Nv — Nu + 1 и содержать дополнительный символ, отсутствующий в алфавите источника. Соответственно, канальная матрица будет иметь размерность Nux (Nu +1).

Рекомендации по экспериментальному исследованию информационных характеристик Экспериментальное исследование информационных характеристик канала с помехами основано на определении апостериорных вероятностей.

Энтропия источника рассчитывается на основе апостериорных вероятностей входных сообщений, которые определяются их частотой:

где п, — количество переданных по каналу сообщений г-го вида.

Апостериорная энтропия канала (ненадежность канала) вычисляется, исходя из апостериорных вероятностей вида Р (щ | Vj), представляющие собой вероятности того, что на вход канала было подано сообщение и, при условии, что на выходе принято сообщение v_;. Апостериорные вероятности определяется частотой:

где nij — количество полученных сообщений j-ro вида, т~ — количество переданных сообщений г'-го вида, воспринятых приемником как сообщение j-ro вида. В качестве вероятностей выходных сообщений РО_;) также используются частоты, полученные экспериментально:

Таким образом, ненадежность канала вычисляется по известной формуле условной энтропии.

Соответственно, апостериорная оценка полезной информации находится по формуле.

Рекомендации по моделированию случайных событий Если случайное событие, А имеет вероятность р (А), то порядок его моделирования следующий:

• — с помощью генератора случайных чисел (функция random в языке Паскаль или функция randO в языке С) получаем величину х, находящуюся в интервале [0, 1];
• — если р (А) < х принимается решение, что событие А произошло, в противном случае — событие А не произошло.

Если имеется полная группа событий А_ь А₂, …, А_к с вероятностями р (А_г), р (А₂), р (А_к) соответственно, причем = 1,.

то порядок их моделирования следующий:

• — разбиваем отрезок [0, 1] на к интервалов, каждый из которых имеет размер р(А,), где i = 1 -г- к;
• — с помощью генератора случайных чисел (функция random () в языке Паскаль или функция randQ в языке С) получаем величину х, находящуюся в интервале [0, 1];
• — если величину х попадает в i-й интервал, то принимается решение, что произошло событие А_{.

Например, требуется смоделировать появление трех событий А, В и С, имеющих вероятности р (А) = 0.1, р (В) = 0.6 и р© = 0.3. Разбиваем отрезок [0,1] на три интервала: [0,0,1), [0,1,0,7) и [0,7, 1]. С помощью функции random получаем величину х. Если х е [0, 0,1), принимается решение о том, что произошло событие А, если х е [0,1, 0,7) — событие В, если х е [0,7,1] — событие С.

Задание к работе

Задание А

Исходя из распределения вероятностей символов первичного алфавита, полученных в задании лабораторной работы № 1, и заданных характеристик бинарного канала связи (см. варианты заданий), рассчитать априорные характеристики передачи информации по каналу с помехами.

А.1. Используя коды символов первичного алфавита (здесь и далее в качестве первичного алфавита берется усеченный алфавит), полученные в задании А.7, а также вероятности ошибок канала связи (см. варианты заданий), построить канальную матрицу передачи сообщений на входном языке, определенном в задании лабораторной работы № 1.

А.2. Рассчитать априорные характеристики передачи информации.

А.2.1. Энтропия источника информации.

А.2.2. Энтропия приемника информации.

А.2.3. Энтропия шума.

А.2.4. Ненадежность канала А.2.5. Количество полезной информации.

А.2.6. Скорость передачи информации.

Задание Б

Написать программу, моделирующую прохождение сообщений по каналу с помехами и рассчитывающую апостериорные (экспериментальные) характеристики канала связи.

Б.1. Смоделировать генерацию К сообщений источника информации в соответствии с заданным распределением вероятности символов первичного алфавита. Результатом должна стать апостериорные вероятности (частоты) входных сообщений.

Б.2. Смоделировать искажения при прохождении входных сообщений по каналу с помехами в соответствии с заданными вероятностными характеристиками. Результатом должна стать апостериорная канальная матрица и апостериорные вероятности (частоты) выходных сообщений.

Б.З. На основании моделирования вычислить экспериментальные характеристики.

Б.3.1. Энтропия источника информации.

Б.3.2. Энтропия приемника информации.

Б.3.3. Энтропия шума.

Б.3.4. Ненадежность канала.

Б.3.5. Количество полезной информации.

Б.3.6. Скорость передачи информации.

Б.4. Сравнить экспериментальные результаты с теоретическими и пояснить причину отличий.

Варианты заданий.

Вариант, №.	Вероятности искажений.	Время передачи одного разряда т0, мс.	Кол-во передаваемых символов К	Вариант, №.	Вероятности искажений.	Время передачи одного разряда т0, мс.	Кол-во передаваемых символов К
		од.				0,3.
		0,2.				0,4.
		0,3.				0,5.
		0,4.				0,6.
		0,5.				0,7.
		0,6.				0,8.
		0,7.				0,5.
		0,5.				0,6.

Вариант, №.	Вероятности искажений.	Время передачи одного разряда т0, мс.	Кол-во передаваемых символов К	Вариант, №.	Вероятности искажений.	Время передачи одного разряда т0, мс.	Кол-во передаваемых символов К
		0,3.				0,7.
		0,2.				0,9.
		ОД.				0,3.
		0,2.				0,4.

Контрольные вопросы

• 1. Что такое информационный канал с помехами?
• 2. Всегда ли количество переданной информации совпадает с количеством принятой информации?
• 3. За счет чего возникают помехи в канале?
• 4. Чем отличается априорная вероятность от апостериорной?
• 5. Что такое скорость передачи информации, пропускная способность информационного канала?
• 6. Как влияют помехи на пропускную способность информационного канала?
• 7. Какие типовые модели информационных каналов с помехами Вы знаете?
• 8. Как соотносятся производительность источника информации и пропускная способность информационного канала?
• 9. Нарисуйте структурную схему канала передачи информации и поясните назначение ее элементов.
• 10. Что такое канальная матрица и каковы ее свойства?