2.3. Энтропия информации

Энтропия - содержательность, мера неопределенности информации.

Энтропия - математическое ожидание H(x) случайной величины I(x) определенной на ансамбле {Х, р(х)}, т. е. она характеризует среднее значение количества информации, приходящееся на один символ.

.

H(x_i)

H_max

1

0 0,5 1,0 P(x_i)

При m = 2 для равновероятных событий p_i = 1/2 энтропия равна 1. Изменение энтропии в зависимость от вероятности события приведено на рис. 5.2. Как видно, максимум энтропии соответствует равновероятным событиям.

Рис.