В ходе курса студенты познакомятся с основами архитектур трансформеров, инструментами для работы с крупными моделями и современными подходами к их предобучению и выравниванию. Они изучат методы оценки и повышения эффективности моделей, а также освоят применение LLM в различных сценариях, включая мультимодальные системы, агентные системы, гибридные модели и практические задачи в реальных продуктах. В результате студенты смогут разрабатывать, адаптировать и внедрять современные LLM в разнообразные области, учитывая их особенности, возможности и ограничения.
Цель освоения дисциплины
Целью освоения дисциплины является изучение современных технологий и методов разработки, обучения и применения больших языковых моделей (LLM).
Планируемые результаты обучения
Уметь:
- применять алгоритмы Bradley-Terry, PPO, DPO, KTO, SimPO и другие подходы для обучения с предпочтениями;
- собирать, генерировать и фильтровать данные для обучения моделей, ориентированных на предпочтения;
- использовать методы сбора преференсов и distilabel для повышения качества и эффективности обучения моделей, направленных на улучшение пользовательского опыта.
Уметь оценивать необходимость применения Mixture of Experts исходя из специфики решаемой задачи
Уметь:
- анализировать проблемы, связанные с форматами оценки, предвзятостью и согласованностью результатов;
- правильно применять комбинацию автоматических оценщиков (LLM-as-judge) и различных бенчмарков для объективной и надежной оценки качества моделей.
Уметь:
- использовать инструменты и библиотеки, такие как vllm с поддержкой paged attention, форматы gguf и системы Ray для распределенного вычисления;
- применять эти технологии для повышения эффективности, масштабируемости и производительности при работе с крупными NLP-моделями.
Уметь:
- использовать платформу LangChain и другие инструменты для построения сложных цепочек взаимодействий;
- автоматизировать задачи и повышать эффективность работы с большими языковыми моделями в различных сценариях.
Уметь выбирать подходящую мультимодальную архитектуру в зависимости от поставленных целей проекта, учитывая вычислительные ресурсы и требуемое качество результата
Уметь применять практические инструменты, такие как LangChain и Weaviate, для реализации систем поиска, обработки и интеграции текстовой информации в задачах NLP и информационного поиска
Знать отличия классических SSM от других видов моделей
Уметь:
- использовать подходы и инструменты, такие как Dify, для повышения надежности и точности генерации;
- применять методы для минимизации ошибок и нежелательных отклонений в выводах моделей.
Знать -способы автоматического выявления недостоверной информации и дезинформации; - типы угроз и атаки на LLM, методы защиты.
Уметь анализировать текущие тенденции и будущие направления развития рынка решений на основе LLM
Instructor
Zarubin, Anton
Программа дисциплины
Аннотация
Цель освоения дисциплины
Планируемые результаты обучения
Содержание учебной дисциплины
Элементы контроля
Промежуточная аттестация
Авторы