Конспект 1

Лекция 1.1. Понятие информации и энтропии по Шеннону

Конспект 2

Лекция 1.2. Свойства энтропии и другие меры информации

Конспект 3

Лекция 2.1. Основы теории кодирования. Префиксные коды

Конспект 4

Лекция 2.2. Алгоритмы Шеннона–Фано и Хаффмана

Конспект 5

Лекция 3.1. Модель системы передачи. ДКБП

Конспект 6

Лекция 3.2. Теорема Шеннона о пропускной способности

Конспект 7

Лекция 4.1. Кибернетика и помехоустойчивое кодирование

Конспект 8

Лекция 4.2. Прикладные аспекты теории информации

Практическое задание

«Расчёт энтропии и анализ мер информации»

Введение

Цель работы – освоить вычисление энтропии Шеннона и научиться анализировать информацию с синтаксической, семантической и прагматической точек зрения.

ЧАСТЬ 1. Расчёт энтропии

ЧАСТЬ 2. Семантический анализ

ЧАСТЬ 3. Прагматический анализ

ЧАСТЬ 4. Комплексный анализ

Практическое задание

«Построение оптимальных кодов и анализ их эффективности»

ЧАСТЬ 1. Предварительный анализ

ЧАСТЬ 2. Алгоритм Шеннона–Фано

ЧАСТЬ 3. Алгоритм Хаффмана

ЧАСТЬ 4. Анализ эффективности

ЧАСТЬ 5. Практическое применение

Практическое задание

Модель Шеннона и пропускная способность канала

Исходные данные

Алфавит источника: {A, B, C}
Вероятности: P(A)=0.5, P(B)=0.3, P(C)=0.2
Канал: двоичный симметричный, p = 0.15
Требуемая вероятность ошибки сообщения: < 10⁻³

Практическая работа

Анализ системы связи с применением помехоустойчивого кодирования

Часть 1. Анализ источника

Часть 2. Анализ канала

Часть 3. Код Хэмминга (7,4)

Часть 4. Комплексный анализ

Заказ № H-22093