Данная дисциплина представляет собой полный цикл изучения больших языковых моделей — от классических основ NLP до проектирования промышленных LLM-систем. Дисциплина начинается с эволюции методов представления текста, от векторизации на основе статистики до современных контекстуальных эмбеддингов и ключевых архитектур (RNN, Attention, Трансформер). Слушатели детально изучат фреймворк обучения и дообучения LLM, включая передовые техники выравнивания (RLHF, DPO) и архитектурные инновации (MoE, reasoning).
Особый фокус сделан на практическом применении LLM как инструмента: построении RAG-систем, создании AI-агентов, а также на критически важных аспектах промышленного развертывания. Дисциплина охватывает методы ускорения инференса (квантизация, FlashAttention), работу с инференс-серверами, мониторинг и оценку качества.
Цель освоения дисциплины
Сформировать системное понимание эволюции языковых моделей, архитектурных принципов трансформеров и механизмов их работы (self-attention, механизм декодера).
Освоить полный цикл работы с LLM: от предобучения и эффективного дообучения (fine-tuning, LoRA) до методов выравнивания с человеческими ценностями (RLHF, DPO).
Получить глубокие знания по оптимизации и production-развертыванию LLM: методы ускорения инференса (квантизация, кэширование), инференс-серверы, мониторинг и оценка качества
Получиться проектировать LLM-системы с учетом бизнес-задач, этических норм и современных трендов (мультимодальность, генеративные AI-пайплайны).
Планируемые результаты обучения
Описывает методы NLP: от bag-of-words и Word2Vec до контекстуальных эмбеддингов BERT и GPT.
Применяет на практике ограничения статических эмбеддингов и переход к контекстуальным представлениям
выполняет задание по определению приближенного поиска ближайших соседей (ANN) и объясняет его роль в NLP
формулирует проблему длинных зависимостей и поясняет поиск альтернатив
Содержание учебной дисциплины
1. Эволюция представления текста: от статистики к смыслам
2. Архитектуры для последовательностей: RNN и векторные БД
3. Революция внимания: архитектура Трансформер
4. Основы работы с LLM: от обучения до генерации
5. Выравнивание LLM с человеческими ценностями (Alignment)
6. Современные архитектурные тренды в LLM
7. LLM как инструмент: RAG и фреймворки оркестрации
8. Создание автономных AI-агентов
9. Ускорение инференса LLM: GPU и низкоуровневые оптимизации
36488 - GPT-4. Руководство по использованию API Open AI - А.Эль Амри - ДМК Пресс - 9785937002990 - 2024 - https://hse.alpinadigital.ru/document/36488 - Alpina
Hellmann, S. (2015). Integrating Natural Language Processing (NLP) and Language Resources Using Linked Data.
Shoeybi, M., Patwary, M., Puri, R., LeGresley, P., Casper, J., & Catanzaro, B. (2019). Megatron-LM: Training Multi-Billion Parameter Language Models Using Model Parallelism.
Разработка приложений на базе GPT-4 и ChatGPT. 2-е изд. - 978-601-08-4417-9 - Келен Оливье, Блете Мари-Алис - 2025 - Астана: Спринт Бук - https://ibooks.ru/products/397523 - 397523 - iBOOKS
Программа дисциплины
Аннотация
Цель освоения дисциплины
Планируемые результаты обучения
Содержание учебной дисциплины
Элементы контроля
Промежуточная аттестация
Список литературы
Рекомендуемая основная литература
Рекомендуемая дополнительная литература
Авторы