Тема 2.4. Информация в непрерывных сигналах

Обобщим теперь понятия энтропии и взаимной информации на ансамбли непрерывных сигналов. Пусть - случайная величина (сечение или отсчёт случайного сигнала), определённая в некоторой непрерывной области, и её распределение вероятностей характеризуется плотностью.

Разобьём область значений на небольшие интервалы протяжённостью. Вероятность того, чтолежит в интервале,+, то есть, приблизительно равна, причём приближение тем точнее, чем меньше интервал. Степень неожиданности такого события равна. Если значенияв пределах конечного интервалазаменить значениямив начале интервала, то непрерывный ансамбль заменится дискретным, а его энтропия определится как:

Будем теперь увеличивать точность определения значения , уменьшая интервал. В пределе, придолжна получиться энтропия непрерывной случайной величины:

(2.19)

Второй член в полученном выражении стремится к и совершенно не зависит от распределения вероятностей. Это значение , что собственная информация любой непрерывной случайной величины бесконечно велика. Тем не менее, взаимная информация между двумя непрерывными ансамблями, как правило, остаётся конечной. Такова будет, в частности, взаимная информация между переданным и принятым сигналами, так что по каналу связи информация передаётся с конечной скоростью.

Обратим внимание на первый член в данной формуле. Он является конечным и определяется плотностью распределения вероятности . Его называют дифференциальной энтропией и обозначают:

(2.20)

Попытаемся теперь определить взаимную информацию между двумя непрерывными случайными величинами и. Разбив области определенияисоответственно на небольшие интервалыи, заменим эти непрерывные величины дискретными так же, как это делалось при выводе формулы. Исходя из этого выражения можно определить взаимную информацию между непрерывными величинамии:

(2.21)

При этом никаких явных бесконечностей не появилось, и действительно, в обычных случаях взаимная информация оказывается конечной. С помощью простых преобразований её можно представить и в таком виде:

(2.22)

Здесь - определённая ранее дифференциальная энтропия, а- условная дифференциальная энтропия. Легко убедиться, что основные свойства взаимной информации остаются справедливыми и в данном случае.

В качестве примера найдём дифференциальную энтропию случайной величины с нормальным распределением вероятности:

, (2.23)

где математическое ожидание, а- дисперсия.

Подставив (2.23) в (2.20), найдём:

Первый интеграл по общему свойству плотности вероятности равен 1, а второй – по определению дисперсии равен . Окончательно

(2.24)

Таким образом, диффиринциал энтропия гауссовский случайной величины не зависит от её математического ожидания и монотонно возрастает с увеличением дисперсии.

В заключение укажем одно важное свойство нормального распределения: из всех непрерывных случайных величин с одинаковой дисперсиейнаибольшую дифференциальную энтропию имеет величина с нормальным распределением.