logo
ТИКЛекции

Пример. По каналу связи передаются сообщения, вероятности которых соответственно равны:

p(x1)=0,1; p(x2)=0,2; p(x3)=0,3; p(x4)=0,4.

Канальная матрица, определяющая потери информации в канале связи имеет вид:

.

Определить:

  1. Энтропию источника информации- H(X).

  2. Безусловную энтропию приемника информации- H(Y).

3. Общую условную энтропию- H(Y/X).

  1. Скорость передачи информации, если время передачи одного символа первичного алфавита = 0,1мс.

  2. Определить потери информации в канале связи при передаче 500 символов алфавита.

  3. Среднее количество принятой информации.

  4. Пропускную способность канала связи.

Решение:

  1. Энтропия источника сообщений равна

  1. Вероятности появления символов на входе приемника

Проверка:

Энтропия приемника информации равна

  1. Общая условная энтропия равна

  1. Скорость передачи информации равна:

=(1,85-0,132)/0,0001=17,18 Кбит/с.

  1. Потери информации в канале связи при передаче 500 символов алфавита равны:

5000,132=66 бит.

  1. Среднее количество принятой информации равно:

=500(1,85-0,132)=859 бит.

  1. Пропускная способность канала связи

(2-0,132)/0,0001=18,68 Кбит/с.

Таким образом, пропускная способность канала связи полностью определяется количеством качественных признаков , скоростью передачи символов и вероятностью ложного приема

Основная теорема Шеннона о кодировании для дискретного канала с помехами: Для дискретного канала с помехами существует такой способ кодирования, который позволяет осуществлять безошибочную передачу информации, если производительность источника ниже пропускной способности.

1. Для любой линии связи, при условии , существует такой способ кодирования, чтобы вероятность ошибки в определении каждой переданной буквы оказалась меньше любого заранее заданного . Разумеется, что код будет зависеть от , и, чем меньше , тем сложнее код.

2. Не существует способа кодирования, позволяющего вести передачу информации со сколь угодно малой вероятностью ошибки, если производительность источника сообщений больше пропускной способности.

При доказательстве теоремы находят среднюю вероятность ошибки по всем возможным способам кодирования и показывают, что она может быть сколь угодно малой. При этом существует хотя бы один способ кодирования, для которого вероятность ошибки меньше средней.

Теорема опровергает казавшееся интуитивно правильным представление о том, что достижение сколь угодно малой вероятности ошибки в случае передачи информации по каналу связи с помехами возможно лишь при введении большей избыточности, то есть при уменьшении скорости передачи до нуля. Т.е. влияние помех может быть сведено к нулю не за счет уменьшения скорости передачи информации, а за счет усложнения кодеров и декодеров.

Следует отметить, что при любой конечной скорости передачи информации, вплоть до пропускной способности, сколь угодно малая вероятность ошибки достигается лишь при безграничном увеличении длительности кодируемых последовательностей. Таким образом, безошибочная передача возможна при помехах лишь теоретически.

На практике степень достоверности и эффективности ограничивается двумя факторами: размерами и стоимостью аппаратуры кодирования и декодирования и временем задержки передаваемого сообщения.