• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Deep learning

2023/2024
Academic Year
RUS
Instruction in Russian
6
ECTS credits
Course type:
Compulsory course
When:
2 year, 1, 2 module

Instructor


Калинин Александр Андреевич

Программа дисциплины

Аннотация

Глубинное обучение — один из самых последних и мощных подходов в машинном обучении. Курс предназначен для того, чтобы дать обзор области и познакомить студентов с подходами, моделями и архитектурами, связанными с глубоким обучением в задачах обработки естественного языка. В ходе курса студенты получат навыки создания и использования уже готовых глубоких нейронных сетей для решения различных задач, таких как анализ настроений, тематическое моделирование, создание диалоговых ботов, машинный перевод и многое другое. А также овладеют соответствующим понятийным аппаратом для понимания и использования в научной и практической деятельности.
Цель освоения дисциплины

Цель освоения дисциплины

  • знание основных принципов глубокого обучения для АОТ
  • умение использовать эти принципы при создании собственных систем АОТ
  • владение существующими методами с применением глубокого обучения для АОТ
Планируемые результаты обучения

Планируемые результаты обучения

  • Знает подходы и пайплайн решения NLP задач с использованием методов машинного обучения и искусственного интеллекта. Владеет информацией об источниках информации и основных веб-ресурсах для работы с нейронными сетями.
  • Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью
  • Понимает устройство сверточных сетей для обработки текста, операций агрегации, структуру ванильных рекуррентных нейронных сетей. Умеет решать nlp-задачи с использованием CNN и RNN, LSTM. Может оценить качество на основе используемых метрик
  • Владеет пониманием механизмов: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding
  • Понимает архитектуру transformer. Знает основные базовые модели на основе transformer. Ориентируется на ресурсе hugging face. Умеет пользоваться предобученными моделями
  • Умеет использовать обученную модель для генерации изображений по описанию. Использовать Prompt-подход и его вариации. Понимает архитектуру и процесс обучения и дообучения диффузионных моделе
  • Умеет использовать модели: GPT, BERT, T5 “из коробки”. Ориентируется в них. Может реализовывать перенос обучения в различных задачах, fine-tuning моделей
  • Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть. Владеет методами визуализации результатов и оценкой качества обучения нейронной сети
  • Понимает устройство и основные принципы использования и работы с dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, Владеет подборкой гиперпараметров для повышения качества выхода нейронной сети
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение в дисциплину
  • Машинное обучение, глубокое обучение и Искусственный интеллект
  • Элементы линейной алгебры в глубоком обучении
  • Механика обучения
  • Многослойный перцетрон
  • Оценка качества модели
  • Основы сверточных сетей
  • Применение сверточных сетей
  • Рекуррентные сети
  • Дистрибутивная семантика
  • Автоэнкодеры
  • Sequence-to-Sequence модели
  • Attention
  • Transformer
  • Большие языковые модели
  • RLFH
  • Графовые нейронные сети
  • Диффузионные модели
Элементы контроля

Элементы контроля

  • неблокирующий Домашние задания
    Домашние задания представляют собой небольшие практические задания, которые выполняются студентами вне аудитории на основе практическх занятий. Обычно представляют ноутбуки в формате .ipynb, в которых необходимо улучшить качество работы нейронной сети. Оценка за домашнее задание выставляется по 10-балльной шкале.
  • неблокирующий Тест
    Итоговый тест представляет собой тестовое задание, в ходе которого студент должен правильно ответить на максимальное количество вопросов. Дистанционное выполнение работы.
  • неблокирующий Экзамен
    Экзамен проводится в форме беседы, в которой студенты должны продемонстрировать: 1) владение информацией о современных подходах к решению лингвистических задач методами на основе глубинного обучения, 2) знание процесса обучения и особенностей работы с нейронными сетями, 3) знание основных веб-сервисов и источников информации, упоминающихся в курсе. Прокторинг не требуется.
Промежуточная аттестация

Промежуточная аттестация

  • 2023/2024 учебный год 2 модуль
    0.6 * Домашние задания + 0.2 * Тест + 0.2 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Huang, K., Hussain, A., Wang, Q.-F., & Zhang, R. (2019). Deep Learning: Fundamentals, Theory and Applications. Cham, Switzerland: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=2029631

Рекомендуемая дополнительная литература

  • Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
  • Паттерсон, Д. Глубокое обучение с точки зрения практика / Д. Паттерсон, А. Гибсон. — Москва : ДМК Пресс, 2018. — 418 с. — ISBN 978-5-97060-481-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/116122 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.