Конспект 1

Лекция 1.1. Что такое информация и энтропия

Конспект 2

Лекция 1.2. Свойства энтропии

Конспект 3

Лекция 2.1. Кодирование и префиксные коды

Конспект 4

Лекция 2.2. Оптимальное кодирование

Конспект 5

Лекция 3.1. Передача информации и модель канала

Конспект 6

Лекция 3.2. Теорема о пределе передачи

Конспект 7

Лекция 4.1. Кибернетика и устойчивость к ошибкам

Конспект 8

Лекция 4.2. Практическое применение теории информации

Практическое задание

«Расчёт энтропии и анализ мер информации»

Введение

Цель работы – закрепить навыки расчёта энтропии Шеннона и научиться анализировать информацию с синтаксической, семантической и прагматической точек зрения.

ЧАСТЬ 1. СИНТАКСИЧЕСКИЙ ПОДХОД — РАСЧЁТ ЭНТРОПИИ

Формула Шеннона:

ЧАСТЬ 2. СЕМАНТИЧЕСКИЙ АНАЛИЗ

ЧАСТЬ 3. ПРАГМАТИЧЕСКИЙ АНАЛИЗ

ЧАСТЬ 4. КОМПЛЕКСНЫЙ АНАЛИЗ

Практическое задание

«Построение оптимальных кодов и анализ их эффективности»

Исходные данные

ЧАСТЬ 1. Предварительный анализ

ЧАСТЬ 2. Код Шеннона–Фано

Отсортируем символы: A, B, C, D, E, F.

ЧАСТЬ 3. Код Хаффмана

ЧАСТЬ 4. Анализ эффективности

Средняя длина

ЧАСТЬ 5. Применение

Кодирование «ABACAB»

Практическое задание

Модель Шеннона и пропускная способность канала

Исходные данные

Алфавит источника: {A, B, C}
Вероятности: P(A)=0.5, P(B)=0.3, P(C)=0.2
Канал: двоичный симметричный, p = 0.15
Требуемая вероятность ошибки сообщения: < 10⁻³

1. Генерация сообщения

2. Кодирование источника (Хаффман)

Энтропия источника:

3. Канальное кодирование (повторение 3)

4. Передача через канал (p = 0.15)

5. Канальное декодирование

6. Декодирование источника

7. Пропускная способность

8. Анализ и выводы

Практическая работа

Анализ системы связи с применением помехоустойчивого кодирования

ЧАСТЬ 1. Анализ источника и кодирование для сжатия

1.1 Проверка распределения вероятностей

1.2 Расчёт энтропии источника

1.3 Код Хаффмана

1.4 Средняя длина кода

ЧАСТЬ 2. Анализ канала связи

2.1 Пропускная способность ДСК

2.2 Максимальная скорость передачи

ЧАСТЬ 3. Помехоустойчивое кодирование (7,4)-код Хэмминга

3.1 Параметры кода

3.2 Кодирование слова 1101

Размещение информационных битов:

3.3 Передача с ошибкой

Ошибка в 3-м бите:

3.5 Извлечение информационных битов

Позиции 3,5,6,7 → 1101

ЧАСТЬ 4. Комплексный анализ системы

4.1 Эффективность передачи

4.2 Надёжность системы

Заказ № H-22093