Уяснению взаимосвязи между рассмотренными видами энтропий дискретных систем способствует их графическое изображение.

. Безусловная энтропия - среднее количество информации, приходящееся на один символ (рис. 2.4). Если Х – передаваемое, а Y- принимаемое сообщения, то можно записать следующие соотношения:

X Y X Y

H(X) = H(X/Y)+H(XY),

H(Y) = H(Y/X)+H(XY).

Рис. 2.4. Безусловная энтропия

2. Условная энтропия - количество информации об источнике, когда известно, что принимается Y, или мера количества информации в приемнике, когда известно, что передается X (рис. 2.5).

H(X/Y) = H(X)-H(XY)

H(Y/X) = H(Y)-H(XY).

Рис. 2.5. Условная энтропия

3. Совместная энтропия - среднее количество информации на пару переданных и принятых символов (рис. 2.6).

H(X,Y) = H(Y,X) = H(X)+H(Y/X)= H(Y)+H(X/Y)= H(X)+H(Y)-H(XY).

Рис. 2.6. Совместная энтропия

4. Взаимная энтропия - энтропия совместного появления статистически-зависимых сообщений (рис. 2.7).

H(XY)=H(YX)=H(X)-H(X/Y)=H(Y)-H(Y/X)=H(X,Y)-H(X/Y)- H(Y/X).

Рис. 2.7. Взаимная энтропия

Совместная и взаимная энтропии обладают свойствами симметрии. Если построена матрица вероятностей вида двух систем, то остальные информационные характеристики могут не задаваться, т.к. матрица обладает информационной полнотой.

При отсутствии статистической зависимости между элементами X и Y, условные вероятности превращаются в безусловные, и . При полной статистической (отсутствие помех) зависимости энтропия объединения равна безусловной энтропии.