Пропускная способность бинарного, симметричного канала
Бинарным дискретным каналом называется канал, по которому передается только два элементарных дискретных символа (т. е. используется двоичный код).
Симметричным дискретным каналом называется канал, в котором вероятности не зависят от передаваемых символов, т. е. вероятности правильной передачи одинаковы (p(x1)= p(x2)) и вероятности ошибочной передачи одинаковы (p(y1 /x2)= p(y2/x1)).
Свойства симметричного канала связи:
безусловные энтропии равны
условные энтропии равны
Канальная матрица со стороны источника и со стороны приемника выглядят одинаково.
Сумма вероятностей в каждой строке и в каждом столбце равна единице.
Пропускная способность от А к В равна пропускной способности от В к А.
Рассмотрим двоичный дискретный канал, по которому передаются дискретные символы “0” и “1” (m=2). Если передаваемые символы независимы и равновероятны (p(x1)= p(x2)=1/2), то сигнал имеет максимальную энтропию (Hmax(X)=1), при этом p(1/0) = p(0/1), при этом скорость передачи информации будет максимальна. Если Pош - вероятность ошибки то 1-Рош - вероятность правильного приема. Граф передачи двоичных сигналов по симметричному каналу приведен на рис. 4.2.
p(y1/ x1) = 1-Рош
x1 не искажен y1
искажен p(y1/x2) =Pош
искажен p(y2/x1) =Pош
x2 не искажен y2
p(y2 / x2)= 1-Рош
Рис. 4.2. Диаграмма переходных вероятностей симметричного канала
Условная энтропия для симметричного канала равна
Пропускная способность для двоичного, симметричного канала
Это уравнение Шеннона для симметричного двоичного канала.
Наличие ошибки приводит к уменьшению пропускной способности.
Так при pош = 0,01 пропускная способность равна C = 0,9/ = 0,9Cmax. Если же pош = 0,5, то нарушается всякая корреляция между переданными и принятыми сообщениями, а пропускная способность будет равна нулю.
Пример. Определить скорость передачи по двоичному, симметричному каналу связи , если шумы в канале вносят ошибки, таким образом, что в среднем 4 символа из 100 принимаются неверно (т. е. “1“ вместо “0” и наоборот ).
Решение:
Составим таблицу вероятностей:
p(x0) = 0,5; p(y0/ x0) = 0,96;
p(x1) = 0,5; p(y1/ x0) = 0,04;
p(y0) = 0,5; p(y0/ x1) = 0,04;
p(y1) = 0,5; p(y1/ x1) = 0,96.
Пропускная способность для двоичного, симметричного канала
- Тема 1. Предмет и методы теории информации и кодирования
- 1.1. Введение
- 1.2. Основные понятия и определения
- 1.3. Системы передачи информации
- Тема 2. Математическая теория информации
- 2.1. Количество информации, и ее мера
- 2.2. Свойства количества информации
- 2.3. Энтропия информации
- 5.2. График энтропии для двух альтернативных событий
- 2.4. Свойства энтропии сообщений
- 2.5. Безусловная энтропия и ее свойства
- 2.6. Условная энтропия.
- 2.5. Энтропия объединения
- Энтропия объединения (совместная энтропия) находится при помощи матрицы ( табл.3) путем суммирования по строкам или столбцам всех вероятностей вида
- Уяснению взаимосвязи между рассмотренными видами энтропий дискретных систем способствует их графическое изображение.
- Тема 3. Основы теории кодирования
- 3.1.Основные понятия и определения
- 3.2. Классификация кодов
- 3.3. Способы представления кодов
- Тема 4. Каналы связи
- 4.1. Каналы связи, их классификация и характеристики
- Пропускная способность дискретного канала связи
- Дискретный канал связи без помех
- Дискретный канал связи с помехами
- Пример. По каналу связи передаются сообщения, вероятности которых соответственно равны:
- Пропускная способность бинарного, симметричного канала
- Избыточность сообщений
- Тема 5. Оптимальное кодирование
- 5.1. Основные понятия и определения
- 5.2. Код Шеннона-Фано
- 5.3. Код Хаффмена
- Тема 6. Помехоустойчивое кодирование
- 6.1. Общие положения
- 6.2. Обнаруживающие коды
- Тема 7. Корректирующие коды
- 7.1. Основные понятия
- 7.2 Линейные групповые коды
- 7.3. Код хэмминга
- Тема 8. Циклические коды
- 8.1. Операции над циклическими кодами
- 8.2. Циклические коды, исправляющие одиночную ошибку
- Если задана длина кодовой комбинации, то число контрольных разрядов определяем по формуле
- Так как частное q(X) имеет такую же степень, как и кодовая комбинация g(X) , то q(X) является кодовой комбинацией того же k - значного кода.
- 8.3. Матричная запись циклического кода
- 8.4. Циклические коды, обнаруживающие трехкратные ошибки
- Тема 9. Коды боуза-чоудхури- хоквингема
- Сигнальные символы это вспомогательные данные, облегчающие декодирование: служебные сигналы, сигналы синхронизации и т. Д.
- Тема 10. Введение в криптологию
- 0 1 2 3 4 5 6 7 8 9 25 Ключ
- 4 7 9 2 3 5 1 6 8 Ключ
- Функция дискретного логарифма обратная