logo
ТИКЛекции

2.1. Количество информации, и ее мера

Главным свойством случайных событий является отсутствие полной уверенности в их наступлении, создающее известную неопределенность при выполнении связанных с этим событий. Ясно, что степень этой неопределенности в различных случаях будет совершенно разной. К примеру, сравните опыты:

- определение цвета первой встретившейся вам вороны (иногда встречаются белые):

- первый встретившийся - левша (обоснование);

- первый встретившийся мужчина или женщина ( степень неопределенности);

- номер лотерейного билета (выигравший).

Для практики важно уметь численно оценивать степень неопределенности опытов, чтобы иметь возможность сравнивать их.

Начнем с рассмотрения опытов, имеющих k равновероятных исходов. Очевидно, что степень неопределенности оценивается числом k. При k=1 исход опыта не является случайным. С ростом k, т.е. при наличии большего числа разнообразных исходов, предсказания результата становятся затруднительными.

Таким образом, искомая численная характеристика степени неопределенности должна зависеть от k, т.е. являться f(k). При k=1, f(k)=0 (ибо в этом случае неопределенность полностью отсутствует и при увеличении k, f(k) должна увеличиваться.

Для более полного определения f(k) надо предъявить к ней дополнительные требования. Рассмотрим два независимых опыта и (т.е. любые сведения об исходе первого из них не влияют на исход второго). Пусть опыт имеет k исходов, опыт исходов. Рассмотрим сложный опыт , состоящий в одновременном выполнении событий и . Естественно считать, что степень неопределенности опыта будет равна сумме неопределенностей, характеризующих и , т.е.

Последнее условие наталкивает на мысль, что за меру неопределенности опыта, имеющего k равновероятных исходов можно принять число , а для сложного опыта . При этом log1=0 т. е. f(1)=0; f(k) > f(l) при k > l.

Заметим, что выбор основания логарифма здесь не существенен, т.к. переход от одной системы логарифма к другой сводится лишь к умножению функции на модуль перехода logb a .

Теперь перейдем от случайных событий к системам передачи информации. Допустим, что на вход системы передачи информации (СПИ) от источника информации подается совокупность сообщений, выбранных из ансамбля сообщений (рис.2.1).

Помехи

x1 y1

x2 y2

… …

xn yn

Рис. 2.1. Система передачи информации

Ансамбль сообщений – множество возможных сообщений с их вероятностными характеристиками - {Х, р(х)}. При этом: Х={х1, х2 ,…, хm } - множество возможных сообщений источника; i = 1, 2 ,..., m, где m - объем алфавита; p(xi) - вероятности появления сообщений, причем p(xi) 0 и поскольку вероятности сообщений представляют собой полную группу событий, то их суммарная вероятность равна единице

.

Каждое сообщение несет в себе определенное количество информации. Определим количество информации, содержащееся в сообщении xi, выбранном из ансамбля сообщений источника {Х, р(х)}. Одним из параметров, характеризующих данное сообщение, является вероятность его появления - p(xi), поэтому естественно предположить, что количество информации I(xi) в сообщении xi является функцией p(xi). Вероятность появления двух независимых сообщений x1 и x2 равна произведению вероятностей p(x1, x2) = p(x1).p(x2), а содержащаяся в них информация должна обладать свойством аддитивности, т. е.:

I(x1, x2) = I(x1)+I(x2).

Поэтому для оценки количества информации предложена логарифмическая мера:

.

В зависимости от основания логарифма используют следующие единицы информации:

2 - [бит] (bynary digit – двоичная единица), используется при анализе информационных процессов в ЭВМ и др. устройствах, функционирующих на основе двоичной системы счисления;

e - [нит] (natural digit – натуральная единица), используется в математических методах теории связи;

10 -[дит] (decimal digit – десятичная единица), используется при анализе процессов в приборах работающих с десятичной системой счисления.

Битом (двоичной единицей информации) – называется количество информации, которое снимает неопределенность в отношении наступления одного из двух равновероятных, независимых событий.

Среднее количество информации для всей совокупности сообщений можно получить путем усреднения по всем событиям:

.

Исторически первые шаги к понятию меры неопределенности были сделаны в 1928 г. американским инженером-связистом Хартли. Эта мера хотя и позволяла решить определенные практические задачи, но во многих случаях была мало показательной, поскольку полностью игнорирует различие между характером имеющихся исходов.

Невероятные события имеют такой же смысл и значение как и весьма вероятные. Столь грубую модель источника информации Хартли оправдывал "психологическими" факторами. Число сообщений , которое можно получить, комбинируя символов алфавита по элементов в сообщении,

Ошибочность теории Хартли была показана Клодом Шенноном, предложившим принять в качестве меры неопределенности опыта с возможными исходами A1, A2,…, Ak величину,

Руководствуясь некоторыми физическими аналогиями, эту величину предложили назвать энтропией, и, как сказано выше, здесь величины p(A1), p(A2),…, p(Ak) - вероятности отдельных исходов. Т.о., "психологические факторы" Хартли здесь учитываются с помощью понятия вероятности, имеющий чисто статистический характер.

Однако следует отметить, что и мера Шеннона не может претендовать на полный учет всех факторов, встречающихся в жизни.

Например, сравните 2 метода лечения: первый метод дает полное выздоровление 90 из 100, и 10 улучшение; второй - успешен в 90 из 100, но 10 - смертельный исход. При этом степень неопределенности одинакова.

Отмеченная особенность энтропии объясняется тем, что это понятие впервые введено в теории передачи сообщений по линиям связи, а там, для определения времени и стоимости такой передачи, сообщение совершенно несущественно.

Энтропия – среднее количество информации, приходящееся на элемент сообщения. Количество информации, в сообщении, состоящем из n неравновероятных его элементов равно (эта мера предложена в 1948 г. К. Шенноном):

.

Для случая независимых равновероятных событий количество информации определяется (эта мера предложена в 1928 г. Р. Хартли):

.