Дискретный канал связи без помех

Если помехи в канале связи отсутствуют, то входные и выходные сигналы канала связаны однозначной, функциональной зависимостью.

При этом условная энтропия равна нулю, а безусловные энтропии источника и приемника равны, т. е. среднее количество информации в принятом символе относительно переданного равно

I(X,Y) = H(X) = H(Y); H(X/Y) = 0.

Если Х_Т - количество символов за время T, то скорость передачи информации для дискретного канала связи без помех равна

где V = 1/ - средняя скорость передачи одного символа.

Пропускная способность для дискретного канала связи без помех

Т. к. максимальная энтропия соответствует для равновероятных символов, то пропускная способность для равномерного распределения и статистической независимости передаваемых символов равна:

.

Первая теорема Шеннона для канала: Если поток информации, вырабатываемый источником, достаточно близок к пропускной способности канала связи, т. е.

, где - сколь угодно малая величина,

то всегда можно найти такой способ кодирования, который обеспечит передачу всех сообщений источника, причем скорость передачи информации будет весьма близкой к пропускной способности канала.

Теорема не отвечает на вопрос, каким образом осуществлять кодирование.

Пример 1. Источник вырабатывает 3 сообщения с вероятностями:

p₁ = 0,1; p₂ = 0,2 и p₃ = 0,7.

Сообщения независимы и передаются равномерным двоичным кодом (m = 2) с длительностью символов, равной 1 мс. Определить скорость передачи информации по каналу связи без помех.

Решение: Энтропия источника равна

[бит/с].

Для передачи 3 сообщений равномерным кодом необходимо два разряда, при этом длительность кодовой комбинации равна 2.

Средняя скорость передачи сигнала

V =1/2 = 500 [1/c].

Скорость передачи информации

C = vH = 5001,16 = 580 [бит/с].