Количество информации и избыточность

В общем случае можно считать, что количество информации есть уменьшение энтропии вследствие опыта:

I = H₁ – H₂,

где H₁ – начальная энтропия (до опыта);

H₂ – конечная энтропия (после опыта).

Наибольшее количество информации получается тогда, когда полностью снимается неопределенность (H₂ = 0). Причем I = I_max, если H₁= H_1max (что достигается, когда вероятности всех событий одинаковы).

I= Н_max.

Абсолютная избыточность информации

D_абс = I – Н = Н_max – Н.

Относительная избыточность

D = (Н_max – Н)/ Н_max = 1 – H/ Н_max .