Дискретный канал связи с помехами

Для описания сообщений используются математические модели в виде дискретных и непрерывных случайных процессов. Для построения модели необходимо знать объем первичного алфавита знаков, из которых источником формируются сообщения, и вероятности создания им отдельных знаков с учетом возможной взаимосвязи между ними.

При доказательстве основных положений теории информации Шенноном использовалась модель, называемая эргодическим источником сообщений.

Последовательность знаков данного источника удовлетворяет условиям эргодичности (1) и стационарности (2). Первое означает, что статистические закономерности, полученные при исследовании одного достаточно длинного сообщения с вероятностью, близкой к 1, справедливы для всех сообщений, создаваемых источником. Второе означает, что вероятности отдельных знаков и их сочетаний не зависят от расположения последних по длине сообщения. Из статических характеристик нас интересует средняя неопределенность на один знак последовательности.

Стационарный источник сообщений, выбирающий каждый знак формируемой последовательности независимо от других знаков, всегда является эргодическим (источник без памяти). Мы будем рассматривать дискретные каналы связи без памяти.

Каналом без памяти называется канал, в котором на каждый передаваемый символ сигнала, помехи воздействуют, не зависимо от того, какие сигналы передавались ранее. То есть помехи не создают дополнительные коррелятивные связи между символами. Название «без памяти» означает, что при очередной передаче канал как бы не помнит результатов предыдущих передач.

При наличии помехи среднее количество информации в принятом символе сообщении –Y , относительно переданного – X равно:

.

Для символа сообщения X_T длительности T, состоящего из n элементарных символов среднее количество информации в принятом символе сообщении –Y_T относительно переданного – X_T равно:

I(Y_T, X_T) = H(X_T)-H(X_T/Y_T) = H(Y_T)-H(Y_T/X_T) = n[H(Y)- H(Y/X].

Для определения потерь в дискретном канале связи используется канальная матрица (матрица переходных вероятностей), позволяющая определить условную энтропию характеризующую потерю информации на символ сообщения.

Скорость передачи информации по дискретному каналу с помехами

равна:

Пропускная способность дискретного канала при наличии помех равна максимально допустимой скорости передачи информации, причем максимум разыскивается по всем распределениям вероятностей p(x) на X и, поскольку, энтропия максимальна для равномерного распределения (для равновероятных символов сообщения), то выражение для пропускной способности имеет вид:

.

Как видно из формулы, наличие помех уменьшает пропускную способность канала связи.