Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Кто читает:: Департамент филологии

Статус:: Курс обязательный

Когда читается:: 2-й курс, 1, 2 модуль

Преподаватель

Фирсанова Виктория Игоревна

Дополнительные материалы в LMS Задать вопрос

Аннотация

Deep learning is one of the most recent and powerful approaches in machine learning. This course is designed to provide an overview of the field and introduce students to approaches, models, and architectures related to deep learning in natural language processing. During the course, students will gain skills in creating and using ready-made deep neural networks to solve various problems, such as sentiment analysis, topic modeling, creating conversational bots, machine translation, and much more. They will also master the relevant conceptual framework for understanding and applying it in research and practice.

Цель освоения дисциплины

знание основных принципов глубокого обучения для АОТ
умение использовать эти принципы при создании собственных систем АОТ
владение существующими методами с применением глубокого обучения для АОТ

Планируемые результаты обучения

Знает подходы и пайплайн решения NLP задач с использованием методов машинного обучения и искусственного интеллекта. Владеет информацией об источниках информации и основных веб-ресурсах для работы с нейронными сетями.
Владеет техниками обучения с нуля и использования предобученных моделей: word2vec (cbow, bag-of-words), glove, fasttext. Владеет техникой negative sampling, обучением представлений слов вместе с моделью
Понимает устройство сверточных сетей для обработки текста, операций агрегации, структуру ванильных рекуррентных нейронных сетей. Умеет решать nlp-задачи с использованием CNN и RNN, LSTM. Может оценить качество на основе используемых метрик
Владеет пониманием механизмов: multi-head attention, self-attention, маскирование, сглаживание в механизме внимания, positional encoding
Понимает архитектуру transformer. Знает основные базовые модели на основе transformer. Ориентируется на ресурсе hugging face. Умеет пользоваться предобученными моделями
Умеет использовать обученную модель для генерации изображений по описанию. Использовать Prompt-подход и его вариации. Понимает архитектуру и процесс обучения и дообучения диффузионных моделе
Умеет использовать модели: GPT, BERT, T5 “из коробки”. Ориентируется в них. Может реализовывать перенос обучения в различных задачах, fine-tuning моделей
Владеет следующими понятиями: функции активации, кросс-энтропия, градиентный спуск, алгоритм обратного распространения ошибки, многослойная нейронная сеть. Владеет методами визуализации результатов и оценкой качества обучения нейронной сети
Понимает устройство и основные принципы использования и работы с dropout, batch normalization, layer normalization, residual connections, learning rate scheduling, Владеет подборкой гиперпараметров для повышения качества выхода нейронной сети

Содержание учебной дисциплины

Введение в дисциплину
Машинное обучение, глубокое обучение и Искусственный интеллект
Элементы линейной алгебры в глубоком обучении
Механика обучения
Многослойный перцетрон
Оценка качества модели
Основы сверточных сетей
Применение сверточных сетей
Рекуррентные сети
Дистрибутивная семантика
Автоэнкодеры
Sequence-to-Sequence модели
Attention
Transformer
Большие языковые модели
RLFH
Графовые нейронные сети
Диффузионные модели

Элементы контроля

Домашнее задание
Домашние задания представляют собой небольшие практические задания, которые выполняются студентами вне аудитории на основе практических занятий. Обычно представляют ноутбуки в формате .ipynb, в которых необходимо улучшить качество работы нейронной сети. Оценка за домашнее задание выставляется по 10-балльной шкале.
Тест
Итоговый тест представляет собой тестовое задание, в ходе которого студент должен правильно ответить на максимальное количество вопросов. Дистанционное выполнение работы.
Экзамен
Экзамен проводится в форме беседы, в которой студенты должны продемонстрировать: 1) владение информацией о современных подходах к решению лингвистических задач методами на основе глубинного обучения, 2) знание процесса обучения и особенностей работы с нейронными сетями, 3) знание основных веб-сервисов и источников информации, упоминающихся в курсе.

Промежуточная аттестация

2025/2026 2nd module
0.2 * Экзамен + 0.2 * Тест + 0.3 * Домашнее задание

Список литературы

Авторы

Сомов Антон Константинович
Афанасьева Анастасия Викторовна
Цветкова Екатерина Андреевна

Магистерская программа «Языковые технологии в бизнесе и образовании»

Глубинное обучение

Преподаватель

Программа дисциплины