1.1. Введение

Теория информации – научная дисциплина, изучающая способы передачи, хранения и обработки информации наиболее надежным и экономным методом.

Информация является отражением реального мира. Под информацией (лат. informatio –разъяснение, изложение) первоначально подразумевались сведения, передаваемые усно, письменно или любым другим способом. В середине ХХ века произошли изменения в трактовке понятия «информация», что было связано с бурным развитием науки и техники, особенно компьютерной. Объем информации в настоящее время ежегодно удваивается.

Теория информации была вызвана к жизни практическими потребностями техники связи. Она базируется на методах теории вероятности, математической статистики, линейной алгебры и других разделах математики. Основы теории информации (математической теории передачи сообщений) сформулировал Клод Шеннон (США) в 1947-48 г. г. в связи с потребностями радиосвязи, телефонии, радиолокации, а также проблемами построения первых ЭВМ.

Теорию кодирования можно считать частью теории информации. Она изучает проблемы разработки алгоритмов кодирования и декодирования, оценивает их эффективность.

Теория информации и кодирования широко используется для анализа процессов в различных информационных системах, информации (вычислительные системы, системы связи, телевидение и т. д.). В компьютерной технике методы теории информации необходимы для оценки быстродействия, точности и надежности систем, сжатия и защиты информации, согласования сигналов и каналов в компьютерных сетях передачи данных и т. д.