We use cookies in order to improve the quality and usability of the HSE website. More information about the use of cookies is available here, and the regulations on processing personal data can be found here. By continuing to use the site, you hereby confirm that you have been informed of the use of cookies by the HSE website and agree with our rules for processing personal data. You may disable cookies in your browser settings.

  • A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Deep Learning

2024/2025
Academic Year
RUS
Instruction in Russian
6
ECTS credits
Course type:
Compulsory course
When:
2 year, 1, 2 module

Instructor


Калинин Александр Андреевич

Программа дисциплины

Аннотация

Глубинное обучение — один из самых последних и мощных подходов в машинном обучении. Курс предназначен для того, чтобы дать обзор области и познакомить студентов с подходами, моделями и архитектурами, связанными с глубоким обучением в задачах обработки естественного языка. В ходе курса студенты получат навыки создания и использования уже готовых глубоких нейронных сетей для решения различных задач, таких как анализ настроений, тематическое моделирование, создание диалоговых ботов, машинный перевод и многое другое. А также овладеют соответствующим понятийным аппаратом для понимания и использования в научной и практической деятельности.
Цель освоения дисциплины

Цель освоения дисциплины

  • знание основных принципов глубокого обучения для АОТ
  • умение использовать эти принципы при создании собственных систем АОТ
  • владение существующими методами с применением глубокого обучения для АОТ
Планируемые результаты обучения

Планируемые результаты обучения

  • Знает подходы и пайплайн решения NLP задач с использованием методов машинного обучения и искусственного интеллекта. Владеет информацией об источниках информации и основных веб-ресурсах для работы с нейронными сетями.
  • Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью
  • Понимает устройство сверточных сетей для обработки текста, операций агрегации, структуру ванильных рекуррентных нейронных сетей. Умеет решать nlp-задачи с использованием CNN и RNN, LSTM. Может оценить качество на основе используемых метрик
  • Владеет пониманием механизмов: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding
  • Понимает архитектуру transformer. Знает основные базовые модели на основе transformer. Ориентируется на ресурсе hugging face. Умеет пользоваться предобученными моделями
  • Умеет использовать обученную модель для генерации изображений по описанию. Использовать Prompt-подход и его вариации. Понимает архитектуру и процесс обучения и дообучения диффузионных моделе
  • Умеет использовать модели: GPT, BERT, T5 “из коробки”. Ориентируется в них. Может реализовывать перенос обучения в различных задачах, fine-tuning моделей
  • Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть. Владеет методами визуализации результатов и оценкой качества обучения нейронной сети
  • Понимает устройство и основные принципы использования и работы с dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, Владеет подборкой гиперпараметров для повышения качества выхода нейронной сети
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в дисциплину
  • Машинное обучение, глубокое обучение и Искусственный интеллект
  • Элементы линейной алгебры в глубоком обучении
  • Механика обучения
  • Многослойный перцетрон
  • Оценка качества модели
  • Основы сверточных сетей
  • Применение сверточных сетей
  • Рекуррентные сети
  • Дистрибутивная семантика
  • Автоэнкодеры
  • Sequence-to-Sequence модели
  • Attention
  • Transformer
  • Большие языковые модели
  • RLFH
  • Графовые нейронные сети
  • Диффузионные модели
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание
    Домашние задания представляют собой небольшие практические задания, которые выполняются студентами вне аудитории на основе практических занятий. Обычно представляют ноутбуки в формате .ipynb, в которых необходимо улучшить качество работы нейронной сети. Оценка за домашнее задание выставляется по 10-балльной шкале.
  • неблокирующий Тест
    Итоговый тест представляет собой тестовое задание, в ходе которого студент должен правильно ответить на максимальное количество вопросов. Дистанционное выполнение работы.
  • неблокирующий Экзамен
    Экзамен проводится в форме беседы, в которой студенты должны продемонстрировать: 1) владение информацией о современных подходах к решению лингвистических задач методами на основе глубинного обучения, 2) знание процесса обучения и особенностей работы с нейронными сетями, 3) знание основных веб-сервисов и источников информации, упоминающихся в курсе.
Промежуточная аттестация

Промежуточная аттестация

  • 2024/2025 2nd module
    0.3 * Домашнее задание + 0.3 * Домашнее задание + 0.2 * Тест + 0.2 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Huang, K., Hussain, A., Wang, Q.-F., & Zhang, R. (2019). Deep Learning: Fundamentals, Theory and Applications. Cham, Switzerland: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=2029631

Рекомендуемая дополнительная литература

  • Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
  • Паттерсон, Д. Глубокое обучение с точки зрения практика / Д. Паттерсон, А. Гибсон. — Москва : ДМК Пресс, 2018. — 418 с. — ISBN 978-5-97060-481-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/116122 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.

Авторы

  • Кессель Ксения Витальевна