Генеративные модели в машинном обучении

2026/2027

Учебный год

RUS

Обучение ведется на русском языке

6

Кредиты

Кто читает:

Департамент информатики

Статус:

Курс обязательный

Когда читается:

1-й курс, 3, 4 модуль

Программа дисциплины

Аннотация

Глубокие генеративные модели широко используются во многих областях прикладного машинного обучения. В этом курсе мы рассмотрим современные архитектуры генеративных моделей и алгоритмы их обучения. На лекциях будут освещены основные подходы, предложенные к началу 2021 года, проведён анализ их основных преимуществ и недостатков. На семинарах будут разобраны примеры генерации изображений, текстов и других объектов с помощью вариационных автокодировщиков (VAE), генеративно-состязательных сетей (GAN), авторегрессионных моделей, нормализующих потоков и других подходов. Задания на семинарах мотивированы известными приложениями генеративных моделей в науке и индустрии.

Цель освоения дисциплины

• ознакомление студентов с современными генеративными моделями
• обучение использованию вариационных автокодировщиков для генерации новых объектов
• обучение использования генеративно-состязательных сетей для генерации новых объектов
• обучение использования нормализирующих потоков для генерации изображений

Планируемые результаты обучения

• владеет необходимым аппаратом теории вероятностей
• знает способы задания расстояний между распределениями
• использует различные метрики качества для проверки генеративных моделей
• объясняет выбор размерности латентного пространства
• ориентируется в перспективных разработках в области генеративных моделей
• понимает разницу между генеративными и дискриминативными моделями
• умеет применять нормализующие потоки для генерации изображений
• Умеет тренировать автокодировщики
• умеет тренировать вариацонные актокодировщики
• Понимает преимущества и недостатки диффузионных моделей

Содержание учебной дисциплины

• Введение в генеративные модели
• Генеративно-состязательные сети и вариационные автокодировщики
• Обратимые модели
• Диффузионные модели

Элементы контроля

• Домашнее задание 2
• Экзамен
• Домашнее задание 1

Промежуточная аттестация

• 2026/2027 4th module
  0.25 * Домашнее задание 1 + 0.5 * Экзамен + 0.25 * Домашнее задание 2

Список литературы

Рекомендуемая основная литература

• Deep learning, Goodfellow, I., 2016
• Dhariwal, P., & Nichol, A. (2021). Diffusion Models Beat GANs on Image Synthesis.
• Глубокое обучение - Гудфеллоу Я., Бенджио И., Курвилль А. - Издательство "ДМК Пресс" - 978-5-97060-618-6 - 2018 - русский - https://e.lanbook.com/book/107901 - ЛАНЬ - 107901
• Глубокое обучение : погружение в мир нейронных сетей, Николенко, С., 2018
• Глубокое обучение на Python, Шолле, Ф., 2019
• Глубокое обучение с точки зрения практика - Паттерсон Дж., Гибсон А. - Издательство "ДМК Пресс" - 978-5-97060-481-6 - 2018 - русский - https://e.lanbook.com/book/116122 - ЛАНЬ - 116122

Рекомендуемая дополнительная литература

• Глубокое обучение и TensorFlow для профессионалов : математический подход к построению систем искусственного интеллекта на Python, Паттанаяк, С., 2019
• Глубокое обучение, Гудфеллоу, Я., 2017
• Глубокое обучение, Гудфеллоу, Я., 2018

Авторы

• Деркач Денис Александрович