Deep Learning for Sound Processing

2025/2026

Academic Year

RUS

Instruction in Russian

5

ECTS credits

Delivered at:

Department of Informatics

Course type:

Elective course

When:

4 year, 1, 2 module

Instructor

Иванько Денис

Программа дисциплины

Аннотация

Дисциплина посвящена изучению современные методов глубинного обучения для анализа, синтеза и преобразования аудиосигналов. Курс начинается с фундаментальных основ цифровой обработки сигналов (ЦОС), обеспечивая понимание того, как звук представляется для нейронных сетей через спектрограммы и мел-кепстральные коэффициенты. Слушатели последовательно изучат ключевые архитектуры и подходы, применяемые в основных задачах аудио: от распознавания речи с использованием CTC, RNN-T и самообучающихся моделей до разделения источников звука, синтеза речи (TTS) с помощью диффузионных моделей и вокодеров, а также голосовой биометрии и генерации музыки. Особое внимание уделяется практическим и востребованным приложениям, включая создание систем для работы в реальном времени (потоковая обработка), совместную обработку аудио и видео (аудио-визуальное глубинное обучение) и борьбу с мошенничеством (ASVspoof). Дисциплина имеет выраженную практическую направленность, знакомя с современными фреймворками, датасетами и метриками качества, что позволит студентам разрабатывать и внедрять передовые аудио-решения для индустрии.