Applied Data Analysis and Artificial Intelligence

Delivered at:: Department of Informatics

Course type:: Elective course

When:: 3 year, 3, 4 module

Instructor

Баженов Егор Анатольевич

Дополнительные материалы в LMS Задать вопрос

Аннотация

Self-supervised learning (SSL) — это широко используемый подход в машинном обучении, который требует минимальных знаний о домене данных и использует данные без дорогостоящей разметки для обучения полезных представлений. Полученные представления затем легко адаптируются для различных конечных задач, что позволяет создавать универсальные базовые модели. В ходе курса вы получите прочные знания о современных методах предобучения нейронных сетей, узнаете основные идеи и концепции, теорию, лежащую в их основе, и их связь с классическими алгоритмами снижения размерности. Курс охватит ключевые аспекты контрастных и генеративных подходов в предобучении. Вы реализуете и обучите некоторые из самых актуальных методов, а также примените их к конечным задачам, таким как классификация, сегментация, обнаружение аномалий и трансферное обучение. Мы также обсудим открытые исследовательские вопросы, такие как dimensional collapse и task-agnostic оценка качества представлений.Хотя основное внимание будет уделено работе с изображениями, мы также коснемся таких доменов, как графы и тексты, с использованием графовых нейронных сетей и трансформеров. Кроме того, мы изучим практические применения в области медицинских снимков. Разберемся как предобучать модели на изображениях компьютерной томографии и рентгенографии, а затем адаптировать их для сегментации и классификации патологий, а также для обнаружения аномалий.Курс включает 2-3 практических задания и экзамен. Помимо желания разобраться в SSL, для успешного прохождения курса необходимы - Знание основ линейной алгебры, математического анализа и теории вероятностей- Базовые знания машинного обучения и концепций глубокого обучения- Python + PyTorch

Цель освоения дисциплины

Понимать философию и теоретические основы Self-Supervised Learning (SSL), включая принципы обучения представлений через решение вспомогательных (pretext) задач и использование неразмеченных данных.
Сравнивать и различать ключевые семейства SSL-методов: контрастные (SimCLR, MoCo), неконтрастные (BYOL, SimSiam) и генеративные (MAE, VAE, диффузионные модели), оценивая их архитектурные особенности и требования к вычислительным ресурсам.
Адаптировать методы SSL для работы с различными типами данных, выходя за рамки компьютерного зрения: применять графовые нейронные сети (Graph SSL) и трансформерные модели для текстовых и медицинских данных.
Применять современные техники трансферного обучения и эффективного файн-тюнинга (PEFT, LoRA, адаптеры) для переноса знаний из предобученных базовых моделей на прикладные задачи (классификация, сегментация, поиск аномалий).
Объяснять математический аппарат, лежащий в основе современных методов, включая вариационный вывод (ELBO), максимизацию взаимной информации (InfoNCE) и концепции снижения размерности.
Диагностировать специфические проблемы обучения, такие как схлопывание размерности (dimensional collapse), и применять методы регуляризации для повышения качества латентного пространства.
Оценивать качество полученных представлений, используя метрики выровненности (alignment) и равномерности (uniformity), а также применяя протоколы linear probing и k-NN на различных наборах данных.

Планируемые результаты обучения

Сравнивать контрастные (например, SimCLR, MoCo) и генеративные (например, MAE, VAE) парадигмы предобучения, выделяя их архитектурные различия, математические обоснования и требования к вычислительным ресурсам.
Реализовывать на Python (PyTorch) современные алгоритмы Self-Supervised Learning, включая настройку пайплайнов аугментации данных, конструирование специфических функций потерь (InfoNCE) и управление процессом обучения.
Диагностировать феномены вырождения представлений (dimensional collapse) и применять стратегии их предотвращения, используя методы регуляризации и анализ ковариационных матриц.
Интерпретировать качество выученных латентных представлений, используя протоколы линейного зондирования (linear probing), k-NN оценки, а также метрики выровненности (alignment) и равномерности (uniformity).
Адаптировать методы самообучения для работы с данными сложной структуры, включая графы (Graph SSL) и медицинские снимки, учитывая специфику предметной области.
Применять методы параметр-эффективной настройки (PEFT, LoRA, адаптеры) для переноса знаний из больших предобученных моделей (foundation models) на конечные задачи классификации, сегментации и поиска аномалий.
Обосновывать выбор вероятностных моделей (VAE, диффузионные модели) для генерации данных и извлечения признаков, объясняя принципы вариационного вывода и максимизации взаимной информации.

Содержание учебной дисциплины

Тема 1: Введение в Self-Supervised Learning (SSL)
Тема 2: Фундамент: Автоэнкодеры и вариационные автоэнкодеры (VAE)
Тема 3: Контрастные методы I: Интуиция и InfoNCE
Тема 4: Контрастные методы II: Momentum Encoder и Siamese Networks
Тема 5: Контрастные методы III: Методы только с позитивными парами (Non-Contrastive)
Тема 6: Генеративные методы I: Маскированное моделирование для изображений
Тема 7: Генеративные методы II: Диффузионные модели для SSL
Тема 8: Внутренние проблемы SSL: Dimensional Collapse и оценка представлений
Тема 9: SSL для данных графовой структуры (Graph SSL)
Тема 10: SSL для текста и трансформеров
Тема 11: Эффективный Fine-tuning и Adapter-ы для SSL-моделей
Тема 12: Перспективные темы

Элементы контроля

Домашнее задание 1
Вероятностное моделирование и VAE
Домашнее задание 3
Генеративное предобучение (MAE) и Fine-tuning
Домашнее задание 2
Контрастное обучение (SimCLR / MoCo)
Тематический тест 1
Введение и Байесовский вывод
Тематический тест 2
Контрастные и неконтрастные методы
Тематический тест 3
Генеративные подходы и проблемы SSL
Тематический тест 4
Специфичные домены и Адаптация
Итоговый экзамен
Итоговое испытание проводится после последнего занятия в форме автоматизированного контрольного занятия (онлайн-тест/комплексный квиз) без ручной проверки кода. Экзамен охватывает все темы курса и включает как теоретические вопросы (математические основы вариационного вывода, архитектурные особенности контрастных и генеративных методов), так и практико-ориентированные задачи на интерпретацию метрик качества представлений (alignment/uniformity), диагностику проблем обучения (например, dimensional collapse) и выбор оптимальных стратегий адаптации предобученных моделей (fine-tuning/adapters) для конкретных прикладных задач.

Промежуточная аттестация

2025/2026 4th module
Итоговая оценка за курс формируется как взвешенная сумма результатов текущего контроля и итогового экзамена/зачета: Оитог = Окурс = Оэкзамен × 0,23 + ОДЗ × 0,45 + Отесты × 0,28 + Одоп × 0,04, где: Оэкзамен — оценка за итоговый зачет/экзамен (максимум 23 балла). ОДЗ — суммарная оценка за три домашних задания (максимум 45 баллов: 3×15). Отесты — суммарная оценка за четыре тематических теста (максимум 28 баллов: 4×7). Одоп — дополнительные баллы (максимум 4) за активность, участие в обсуждениях, mini-research и т.п.

Список литературы

Авторы

Любавина Светлана Вячеславовна
Оленчук Ольга Геннадьевна
Архимандритов Игорь Борисович