Тема 5. Оптимальное кодирование

Содержание

• Тема 1. Предмет и методы теории информации и кодирования
• 1.1. Введение
• 1.2. Основные понятия и определения
• 1.3. Системы передачи информации
• Тема 2. Математическая теория информации
• 2.1. Количество информации, и ее мера
• 2.2. Свойства количества информации
• 2.3. Энтропия информации
• 5.2. График энтропии для двух альтернативных событий
• 2.4. Свойства энтропии сообщений
• 2.5. Безусловная энтропия и ее свойства
• 2.6. Условная энтропия.
• 2.5. Энтропия объединения
• Энтропия объединения (совместная энтропия) находится при помощи матрицы ( табл.3) путем суммирования по строкам или столбцам всех вероятностей вида
• Уяснению взаимосвязи между рассмотренными видами энтропий дискретных систем способствует их графическое изображение.
• Тема 3. Основы теории кодирования
• 3.1.Основные понятия и определения
• 3.2. Классификация кодов
• 3.3. Способы представления кодов
• Тема 4. Каналы связи
• 4.1. Каналы связи, их классификация и характеристики
• Пропускная способность дискретного канала связи
• Дискретный канал связи без помех
• Дискретный канал связи с помехами
• Пример. По каналу связи передаются сообщения, вероятности которых соответственно равны:
• Пропускная способность бинарного, симметричного канала
• Избыточность сообщений
• Тема 5. Оптимальное кодирование
• 5.1. Основные понятия и определения
• 5.2. Код Шеннона-Фано
• 5.3. Код Хаффмена
• Тема 6. Помехоустойчивое кодирование
• 6.1. Общие положения
• 6.2. Обнаруживающие коды
• Тема 7. Корректирующие коды
• 7.1. Основные понятия
• 7.2 Линейные групповые коды
• 7.3. Код хэмминга
• Тема 8. Циклические коды
• 8.1. Операции над циклическими кодами
• 8.2. Циклические коды, исправляющие одиночную ошибку
• Если задана длина кодовой комбинации, то число контрольных разрядов определяем по формуле
• Так как частное q(X) имеет такую же степень, как и кодовая комбинация g(X) , то q(X) является кодовой комбинацией того же k - значного кода.
• 8.3. Матричная запись циклического кода
• 8.4. Циклические коды, обнаруживающие трехкратные ошибки
• Тема 9. Коды боуза-чоудхури- хоквингема
• Сигнальные символы это вспомогательные данные, облегчающие декодирование: служебные сигналы, сигналы синхронизации и т. Д.
• Тема 10. Введение в криптологию
• 0 1 2 3 4 5 6 7 8 9 25 Ключ
• 4 7 9 2 3 5 1 6 8 Ключ
• Функция дискретного логарифма обратная