Кто читает:: Департамент информатики

Статус:: Курс обязательный

Когда читается:: 3-й курс, 1-4 модуль

Преподаватель

Овчинников Андрей Анатольевич

Full Syllabus Ask Question

Abstract

Information theory is a branch of mathematics dedicated to the quantitative measurement of information and the study of its properties, providing a theoretical foundation for information transmission systems. The study of information theory establishes the basis necessary for the subsequent study of disciplines in the fields of cryptographic information protection, machine learning, and artificial intelligence. In addition to introducing the requisite mathematical concepts, the course examines the theoretical limits and practical methods of source coding and channel coding.

Learning Objectives

состоит в формировании у студентов знаний, умений и навыков определения количественных характеристик информации, необходимых при оценке технических возможностей инфокоммуникационных систем различного назначения.

Expected Learning Outcomes

формулировать основные понятия теории информации (энтропия, взаимная информация, источники сообщений, каналы связи, коды)
использовать основные методы кодирования источника (энтропийное кодирование, словарные методы, универсальное кодирование)
оценивать вероятностные характеристики последовательностей сообщений от источников с неизвестной статистикой
вычислять теоретико-информационные характеристики источников сообщений и каналов связи (энтропия, взаимная информации, пропускная способность)

Course Contents

Section 1. Fundamentals of Information Theory.
Section 2. Variable-length coding methods.
Section 3. Source coding with unknown statistics.
Section 4. Dictionary-based source coding methods.

Assessment Elements

Контрольная работа
Контрольная работа проводится письменно во время занятий. Каждый студент получает свой вариант задания.
Экзамен итоговый
Экзамен проводится в рамках промежуточного контроля в виде перечня вопросов. Каждый студент получает вариант с 10 вопросами.
Самостоятельная работа
задание выполняется индивидуально в рамках самостоятельной работы, с последующей проверкой результатов преподавателем (асинхронный элемент контроля). Срок выполнения - 1 неделя. Каждый студент получает свой вариант задания. Форма представления обучающимися результатов выполнения задания - представленные в письменном виде решения.
Экзамен 2
Экзамен проводится в рамках промежуточного контроля в виде перечня вопросов. Каждый студент получает вариант с 10 вопросами.

Interim Assessment

2026/2027 1st module
0.5 * Самостоятельная работа + 0.5 * Контрольная работа
2026/2027 2nd module
0.2 * Самостоятельная работа + 0.5 * Экзамен 2 + 0.3 * Контрольная работа
2026/2027 4th module
0.1 * Самостоятельная работа + 0.15 * Контрольная работа + 0.5 * Экзамен итоговый

Bibliography

Recommended Core Bibliography

Осокин, А. Н. Теория информации : учебник для вузов / А. Н. Осокин, А. Н. Мальчуков. — Москва : Издательство Юрайт, 2025. — 208 с. — (Высшее образование). — ISBN 978-5-534-16333-9. — Текст : электронный // Образовательная платформа Юрайт [сайт]. — URL: https://urait.ru/bcode/561389 (дата обращения: 02.07.2026).

Recommended Additional Bibliography

Котенко В.В., Румянцев К.Е. - Теория информации - 978-5-927-52370-2 - Южный федеральный университет - 2018 - https://znanium.ru/catalog/product/1039707 - 1039707 - ZNANIUM
Попов, И. Ю. Теория информации : учебник / И. Ю. Попов, И. В. Блинова. — Санкт-Петербург : Лань, 2020. — 160 с. — ISBN 978-5-8114-4204-1. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/126940 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Authors

OLENCHUK OLGA GENNADEVNA
Ovchinnikov Andrei Anatolevich

Бакалаврская программа «Компьютерные технологии, системы и сети»

Information Theory