Машинное обучение и анализ данных

Кто читает:: Департамент информатики

Статус:: Курс по выбору

Когда читается:: 2-й курс, 1, 2 модуль

Преподаватель

Гориховский Вячеслав Игоревич

Дополнительные материалы в LMS Задать вопрос

Аннотация

Курс «Мультимодальное обучение» знакомит студентов с принципами построения, обучения и использования моделей, интегрирующих несколько типов данных (текст, изображения, аудио, видео). Рассматриваются фундаментальные архитектуры визуально-языковых моделей (VLM) и мультимодальных LLM (CLIP, BLIP, LLaVA, InternVL и др.), методы pre-training и fine-tuning, работа с мультимодальными датасетами (COCO, LAION‑5B, CC12M, WebVid, AudioSet), а также подходы к оценке качества и интерпретации мультимодальных систем. Особое внимание уделяется практическим аспектам: студенты реализуют прототипы мультимодальных систем (image captioning, video understanding, multimodal retrieval), осваивают автоматизацию генерации датасетов и знакомятся с вопросами надёжности и атак на мультимодальные модели.

Цель освоения дисциплины

Понимать принципы работы мультимодальных моделей и их отличие от одномодальных систем (только текст или только изображение).
Различать ключевые типы мультимодальных систем: визуально-языковые модели (VLM), аудио‑визуальные, видео‑текстовые модели, мультимодальные LLM (MLLM).
Объяснять архитектуры популярных open‑source моделей (CLIP, BLIP, LLaVA, InternVL и др.).
Обучать и адаптировать мультимодальные модели к прикладным задачам (fine-tuning, instruction tuning).
Работать с мультимодальными датасетами, включая сбор, предобработку, синхронизацию и генерацию weakly/synthetically aligned пар.
Применять метрики качества для оценки мультимодальных моделей и интерпретировать результаты.
Разрабатывать и презентовать мультимодальные решения под реальные индустриальные кейсы.

Планируемые результаты обучения

По окончании изучения студенты смогут пояснять, что такое мультимодальные модели и почему интеграция различных типов данных (текст, изображение, аудио, видео) важна для современных систем ИИ.
По окончании изучения студенты смогут распознавать и приводить примеры практических задач, требующих мультимодального подхода (например, преобразование аудио в текст, генерация описаний изображений, понимание видео).
По окончании изучения студенты смогут объяснять основные архитектурные принципы мультимодальных моделей и современные тренды в их разработке.
Студенты ознакомятся с ключевыми источниками и ресурсами для углублённого изучения темы.
По окончании изучения студенты смогут визуализировать принцип работы мультимодальной модели на примере демонстрации AudioCLIP.

Содержание учебной дисциплины

Введение в мультимодальные модели
Основы визуально-языковых моделей (VLM)
Работа с видео в мультимодальных моделях
Данные для мультимодальных моделей и оценка качества
Продвинутые техники и применение
Эффективный инференс мультимодальных моделей
Атаки и надежность мультимодальных моделей
Финальный проект и защита

Элементы контроля

Суммарная оценка за домашние задания
Домашние задания (3 работы, максимум 50 баллов) ДЗ 1 — 15 баллов. Запуск inference готовых моделей CLIP и BLIP, построение t‑SNE‑визуализации эмбеддингов для набора изображений и подписей, сравнение качества поиска картинок по тексту. ДЗ 2 — 15 баллов. Загрузка поднабора данных через clip‑retrieval, формирование не менее 200 пар «изображение–текст», базовый анализ качества синхронизации (насколько подписи описывают изображения). ДЗ 3 — Автоматическая генерация датасета с помощью LLaVA — 20 баллов. Использование LLaVA для описания изображений из открытого датасета (например, COCO), генерация не менее 100 новых пар «изображение–описание» и сравнительный анализ стиля/качества с оригинальными подписями.
Оценка за итоговый проект
Итоговое испытание (экзамен) по курсу проводится в формате защиты финального проекта. Каждый студент (или команда) представляет разработанную мультимодальную систему или её ключевые компоненты: работу с мультимодальными данными (изображения, текст, при желании видео/аудио), выбор и интеграцию моделей (например, CLIP, BLIP, LLaVA, VideoMAE и др.), обучение или дообучение модели, а также демонстрирует полученные результаты (пример работы системы, метрики качества, анализ ограничений) и отвечает на вопросы преподавателей и/или комиссии. Защита проекта включает краткую структурированную презентацию постановки задачи и сценариев использования, описания использованных датасетов, выбранных мультимодальных моделей и архитектуры пайплайна (как соединяются энкодеры, генераторы, retrieval‑компоненты), организации экспериментов и расчёта метрик, а также анализ полученных результатов, интерпретацию поведения модели, обсуждение ограничений решения и возможных направлений улучшения и развития системы. Экзамен проводится в сессионный период. Для студентов, получивших неудовлетворительную оценку, предусматривается возможность пересдач. Все пересдачи проводятся в соответствии с Регламентом вуза в период пересдач, ее проводит преподаватель, выставивший оценку по промежуточной аттестации. Время для проведения пересдачи определяется Учебным офисом в рамках расписания дополнительной сессии. Первая пересдача защиты проекта проводится преподавателем курса, выставившим исходную оценку. Формат сохраняется: повторная защита проекта (уточнённая версия решения, доработанные эксперименты и презентация). Накопленные баллы за ДЗ и активность при этом не пересдаются и не пересматриваются. Вторая и последующие пересдачи, при необходимости, проводятся в порядке, предусмотренном внутренними документами университета: в формате устной защиты перед комиссией не менее чем из трёх человек. Состав комиссии и дата такой пересдачи утверждаются распоряжением руководителя департамента или академического руководителя ОП. Итоговая оценка за вторую (комиссионную) пересдачу определяется коллегиальным решением членов комиссии и является окончательной.

Промежуточная аттестация

2026/2027 2nd module
Суммарная оценка за домашние задания + Оценка за итоговый проект Далее суммарная оценка переводится в 10‑балльную шкалу по установленной шкале. Шкала перевода в 10-балльную систему НИУ ВШЭ Оценка (10-балльная) Оценка (100-балльная) Комментарий 10 100 Максимальный результат 9 90–99 Отлично 8 80–89 Очень хорошо 7 70–79 Хорошо 6 60–69 Хорошо 5 50–59 Удовлетворительно 4 40–49 Минимальный порог прохождения 3 30–39 Неудовлетворительно 2 20–29 Явно неудовлетворительно 1 10–19 Практическое отсутствие выполнения

Список литературы

Авторы

Рогачев Александр Игоревич
Оленчук Ольга Геннадьевна
Любавина Светлана Вячеславовна