Глубинное обучение в обработке звука

2025/2026

Учебный год

RUS

Обучение ведется на русском языке

5

Кредиты

Кто читает:

Департамент информатики

Статус:

Курс по выбору

Когда читается:

4-й курс, 1, 2 модуль

Преподаватель

Иванько Денис

Программа дисциплины

Аннотация

Дисциплина посвящена изучению современные методов глубинного обучения для анализа, синтеза и преобразования аудиосигналов. Курс начинается с фундаментальных основ цифровой обработки сигналов (ЦОС), обеспечивая понимание того, как звук представляется для нейронных сетей через спектрограммы и мел-кепстральные коэффициенты. Слушатели последовательно изучат ключевые архитектуры и подходы, применяемые в основных задачах аудио: от распознавания речи с использованием CTC, RNN-T и самообучающихся моделей до разделения источников звука, синтеза речи (TTS) с помощью диффузионных моделей и вокодеров, а также голосовой биометрии и генерации музыки. Особое внимание уделяется практическим и востребованным приложениям, включая создание систем для работы в реальном времени (потоковая обработка), совместную обработку аудио и видео (аудио-визуальное глубинное обучение) и борьбу с мошенничеством (ASVspoof). Дисциплина имеет выраженную практическую направленность, знакомя с современными фреймворками, датасетами и метриками качества, что позволит студентам разрабатывать и внедрять передовые аудио-решения для индустрии.