Глубинное обучение

2023/2024

Учебный год

RUS

Обучение ведется на русском языке

6

Кредиты

Кто читает:

Департамент филологии

Статус:

Курс обязательный

Когда читается:

2-й курс, 1, 2 модуль

Преподаватель

Калинин Александр Андреевич

Программа дисциплины

Аннотация

Глубинное обучение — один из самых последних и мощных подходов в машинном обучении. Курс предназначен для того, чтобы дать обзор области и познакомить студентов с подходами, моделями и архитектурами, связанными с глубоким обучением в задачах обработки естественного языка. В ходе курса студенты получат навыки создания и использования уже готовых глубоких нейронных сетей для решения различных задач, таких как анализ настроений, тематическое моделирование, создание диалоговых ботов, машинный перевод и многое другое. А также овладеют соответствующим понятийным аппаратом для понимания и использования в научной и практической деятельности.

Цель освоения дисциплины

• знание основных принципов глубокого обучения для АОТ
• умение использовать эти принципы при создании собственных систем АОТ
• владение существующими методами с применением глубокого обучения для АОТ

Планируемые результаты обучения

• Знает подходы и пайплайн решения NLP задач с использованием методов машинного обучения и искусственного интеллекта. Владеет информацией об источниках информации и основных веб-ресурсах для работы с нейронными сетями.
• Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью
• Понимает устройство сверточных сетей для обработки текста, операций агрегации, структуру ванильных рекуррентных нейронных сетей. Умеет решать nlp-задачи с использованием CNN и RNN, LSTM. Может оценить качество на основе используемых метрик
• Владеет пониманием механизмов: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding
• Понимает архитектуру transformer. Знает основные базовые модели на основе transformer. Ориентируется на ресурсе hugging face. Умеет пользоваться предобученными моделями
• Умеет использовать обученную модель для генерации изображений по описанию. Использовать Prompt-подход и его вариации. Понимает архитектуру и процесс обучения и дообучения диффузионных моделе
• Умеет использовать модели: GPT, BERT, T5 “из коробки”. Ориентируется в них. Может реализовывать перенос обучения в различных задачах, fine-tuning моделей
• Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть. Владеет методами визуализации результатов и оценкой качества обучения нейронной сети
• Понимает устройство и основные принципы использования и работы с dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, Владеет подборкой гиперпараметров для повышения качества выхода нейронной сети

Содержание учебной дисциплины

• Введение в дисциплину
• Машинное обучение, глубокое обучение и Искусственный интеллект
• Элементы линейной алгебры в глубоком обучении
• Механика обучения
• Многослойный перцетрон
• Оценка качества модели
• Основы сверточных сетей
• Применение сверточных сетей
• Рекуррентные сети
• Дистрибутивная семантика
• Автоэнкодеры
• Sequence-to-Sequence модели
• Attention
• Transformer
• Большие языковые модели
• RLFH
• Графовые нейронные сети
• Диффузионные модели

Элементы контроля

• Домашние задания
  Домашние задания представляют собой небольшие практические задания, которые выполняются студентами вне аудитории на основе практическх занятий. Обычно представляют ноутбуки в формате .ipynb, в которых необходимо улучшить качество работы нейронной сети. Оценка за домашнее задание выставляется по 10-балльной шкале.
• Тест
  Итоговый тест представляет собой тестовое задание, в ходе которого студент должен правильно ответить на максимальное количество вопросов. Дистанционное выполнение работы.
• Экзамен
  Экзамен проводится в форме беседы, в которой студенты должны продемонстрировать: 1) владение информацией о современных подходах к решению лингвистических задач методами на основе глубинного обучения, 2) знание процесса обучения и особенностей работы с нейронными сетями, 3) знание основных веб-сервисов и источников информации, упоминающихся в курсе. Прокторинг не требуется.

Промежуточная аттестация

• 2023/2024 учебный год 2 модуль
  0.6 * Домашние задания + 0.2 * Тест + 0.2 * Экзамен

Список литературы

Рекомендуемая основная литература

• Huang, K., Hussain, A., Wang, Q.-F., & Zhang, R. (2019). Deep Learning: Fundamentals, Theory and Applications. Cham, Switzerland: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=2029631

Рекомендуемая дополнительная литература

• Гудфеллоу, Я. Глубокое обучение / Я. Гудфеллоу, И. Бенджио, А. Курвилль , перевод с английского А. А. Слинкина. — 2-е изд. — Москва : ДМК Пресс, 2018. — 652 с. — ISBN 978-5-97060-618-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/107901 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.
• Паттерсон, Д. Глубокое обучение с точки зрения практика / Д. Паттерсон, А. Гибсон. — Москва : ДМК Пресс, 2018. — 418 с. — ISBN 978-5-97060-481-6. — Текст : электронный // Лань : электронно-библиотечная система. — URL: https://e.lanbook.com/book/116122 (дата обращения: 00.00.0000). — Режим доступа: для авториз. пользователей.