2.2 Взаимная информация

Определим теперь информацию, содержащуюся в одном ансамбле относительно другого, например, в принятом сигнале относительно переданного сообщения. Для этого рассмотрим сообщение двух дискретных ансамблей A и B, вообще говоря, зависимых. Его можно интерпретировать как пару ансамблей сообщений, либо как ансамбли сообщения и сигнала, с помощью которого сообщение передаётся, либо как ансамбли сигналов на входе и выходе канала связи и т. д. Пусть P(a_k ,b_l)совместная вероятность реализаций a_k и b_l . Cовместной энтропией ансамблей A и B будем называть:

(2.6)

Введём также понятие условной энтропии:

(2.7)

где P(a_{k /} b_l)- условная вероятность a_k , если имеет место b_l , здесь математические..

Из теоремы умножения вероятностей следует, что.

(2.8)

Для условной энтропии справедливо двойное неравенство:

(2.9)

Рассмотрим два крайних случая:

1. Равенство имеет место в том случае, когда, зная реализацию, можно точно установить реализацию. Другими словами,содержит полную информацию об.

2. Другой крайний случай , когда имеет место, если событияинезависимые. В этом случае знание реализациине уменьшает неопределённости, т.е.не содержит ни какой информации об А.

В общем случае, что имеет место на практике, условная энтропия меньше безусловнойи знание реализацииснимает в среднем первоначальную неопределённость. Естественно, назвать разностьколичеством информации, содержащейся вотносительно. Её называют также взаимной информацией междуии обозначают:

(2.10)

Подставляя в эту формулу значения H(A) и H(A/B) выразим взаимную информацию через распределение вероятностей:

(2.11)

Если воспользоваться теоремой умножения , то можно записатьв симметричной форме т.к.:

(2.12)

Взаимная информация измеряется в тех же единицах, что и энтропия. Величина показывает, сколько мы в среднем получаем бит информации о реализации ансамбля, наблюдая реализацию ансамбля.

Сформулируем основные свойства взаимной информации:

1. , причём равенство имеет место тогда и только тогда, когда инезависимы между собой

2. , то есть содержит столько же информации относительно, сколькосодержит относительно. Это свойство вытекает из симметрии выражения. Поэтому можно также записать:

(2.13)

3. , причём равенство имеет место, когда по реализацииможно точно установить реализацию.

4. , причём равенство имеет место, когда по реализацииможно точно установить реализацию.

5. Полагая и учитывая, чтополучим:

(2.14)

Это позволяет интерпретировать энтропию источника как его собственную информацию, то есть информацию, содержащуюся в ансамбле о самом себе.

Пусть - ансамбль дискретных сообщений, а- ансамбль дискретных сигналов, в которые преобразуются сообщения. Тогдав том и только в том случае, когда преобразованиеобратимо. При необратимом преобразованиии разностьможно назвать потерей информации при преобразовании. Её называют ненадёжностью. Таким образом, информация не теряется только при обратимых преобразованиях.

Если - среднее время передачи одного сообщения, то разделив наформулыH(A/B) и I(A,B) и обозначая:

, , (2.15)

получим соответствующие равенства для энтропии и количества информации, рассчитанных не на одно сообщение, а на единицу времени. Величина называется скоростью передачи информации отк(или наоборот).

Рассмотрим пример: если - ансамбль сигналов на входе дискретного канала, а- ансамбль сигналов на его выходе, то скорость передачи информации по каналу.

(2.16)

- производительность источника передаваемого сигнала .

“производительность канала”, то есть полная собственная информация о принятом сигнале за единицу времени.

Величина представляет собой скорость “утечки” информации при прохождении через канал, а- скорость передачи посторонней информации, не имеющий отношения ки создаваемой присутствующими в канале помехами. Соотношение междуизависит от свойств канала. Так, например, при передаче телефонного сигнала по каналу с узкой полосой пропускания, недостаточной для удовлетворительного воспроизведения сигнала, и с низким уровнем помех теряется часть полезной информации, но почти не получается бесполезной. В этом случае. Если же расширяется полоса, сигнал воспроизводится точно, но в паузах ясно прослушиваются “наводки” от соседнего телефонного канала, то, почти не теряя полезной информации, можно получить много дополнительной, как правило, бесполезной информации и.