2.4. Свойства энтропии сообщений

1. Энтропия есть величина вещественная, ограниченная, не отрицательная, непрерывная на интервале 0  p  1.

не может быть положительным, а - отрицательным.

2. Энтропия максимальна для равновероятных событий.

3. Энтропия для детерминированных событий равна нулю.

4. Энтропия системы двух альтернативных событий изменяется от 0 до 1.

5. Энтропия численно совпадает со средним количеством информации, но понятия принципиально различны, так как :

H(x) - выражает среднюю неопределенность состояния источника и является его объективной характеристикой, она может быть вычислена априорно, т. е. до получения сообщения при наличии статистики сообщений.

I(x)- определяется апостериорно, т. е. после получения сообщения. С получением информации о состоянии системы энтропия снижается.

6. Сравнительно маловероятные исходы часто без большой ошибки можно опустить.

Энтропия сложных событий Условная энтропия.

Пусть и - два независимых опыта.

Очевидно, что неопределенность опыта больше неопределенности каждого из опытов и , т.к. здесь осуществляется сразу оба опыта, каждый из которых может иметь разные исходы.

Правило сложения энтропии.

(*) док-во на стр. 88-89

Предположим, что опыты и не независимы (например, последовательное извлечение шаров из ящика). В данном случае мы не можем ожидать, что выполнится (*), т.к. в случае когда результат второго опыта полностью определяется исходом первого (условная вероятностья0. Тогда имеем, что

док-во на стр. 90-91

- условная энтропия.

Об условной энтропии говорят, когда с приходом одного символа распределение вероятности последующих символов меняется.

Очень существенно, что во всех случаях условная энтропия заключается в пределах

где - безусловная энтропия,

т.е. предварительное выполнение опыта может лишь уменьшить степень

неопределенности , но никак не увеличить.

Аналогично

В качестве меры неопределенности используется дифференциальный закон распределения, получивший название дифференциальная энтропия.

x - непрерывная аналоговая величина.

Свойства дифференциальной энтропии.

1. Дифференциальная энтропия является относительной мерой неопределенности. Ее значение зависит от масштаба случайной величины x, а следовательно, и от выбора единицы ее измерения. Дифференциальная энтропия может принимать положительные, отрицательные и нулевые значения.

2. Дифференциальная энтропия не зависит от конкретных значений случайной величины x и, в частности, от изменения всех ее значений на постоянные.