Лучший по критерию «Полезность курса для расширения кругозора и разностороннего развития»

Лучший по критерию «Новизна полученных знаний»

Кто читает:: Департамент информатики

Статус:: Курс по выбору

Когда читается:: 2-й курс, 1, 2 модуль

Преподаватель

Зубаков Алексей Васильевич

Дополнительные материалы в LMS Задать вопрос

Аннотация

Является дисциплиной по выбору. Дисциплина направлена на освоение студентами байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения и приобретение навыков построения комплексных вероятностных моделей, вывода необходимых формул для решения задач обучения и в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере.

Цель освоения дисциплины

Освоение студентами основных способов применения байесовского подхода при решении задач машинного обучения, формирование математического аппарата, необходимого для использования байесовских методов в машинном обучении.

Планируемые результаты обучения

Понимает различие между частотным и байесовским подходами в статистике, преимущества распределений из экспоненциального класса. Понимает суть понятия обоснованности, концепцию вариационного вывода.
Умеет использовать формулу Байеса для решения практических задач, находить сопряжённые распределения, осуществлять модели на основе байесовских соображений, строить вероятностные модели для задачи регрессии и подбирать распределения коэффициентов с помощью байесовского подхода, строить вероятностные модели для задачи классификации и подбирать распределения коэффициентов с помощью байесовского подхода.
Умеет использовать приближение Лапласа для оценки обоснованности в случае задачи классификации, использовать ЕМ-алгоритм для анализа моделей со скрытыми переменными, использовать методы Монте-Карло для генерации значений из заданных распределений, использовать схемы Метрополиса-Гастингса и Гиббса.
Владеет продвинутыми методами семплирования из заданных распределений, в том числе их масштабируемыми разновидностями.
Использует гауссовские случайные процессы, в том числе для подбора гиперпараметров алгоритмов машинного обучения. Использует в практических задачах случайные процессы, в том числе с нечисловыми значениями, модели тематического моделирования, стохастический и дважды стохастический вариационный вывод для масштабирования байесовского вывода, вариационный автокодировщик для сжатия данных.

Содержание учебной дисциплины

Раздел 1. Байесовский подход к теории вероятностей. Полный байесовский вывод
Раздел 2. Байесовский выбор модели
Раздел 3. Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации
Раздел 4. ЕМ-алгоритм
Раздел 5. Вариационный подход
Раздел 6. Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС
Раздел 7. Гауссовские процессы для регрессии и классификации
Раздел 8. Тематическая модель Latent Dirichlet Allocation(LDA)
Раздел 9. Стохастический вариационный вывод. Вариационный автокодировщик.

Элементы контроля

Домашнее задание №1
Домашнее задание №1 включает в себя вывод формул, программную реализацию модели, проведение экспериментов, написание полного отчета.
Домашнее задание №2
Домашнее задание №1 выдается студентам в одном варианте и состоит из задач. Каждой задаче присвоен свой балл. Срок выполнения домашнего задания - 2 недели. Форма представления обучающимися домашнего задания - представленные в письменном виде решения задач.
Домашнее задание №3
Домашнее задание представляет собой выполнение лабораторных заданий на закрепление материала.
Экзамен
Экзамен проходит в устном формате и включает в себя ответ экзаменатору на вопросы из теоретического минимума, подготовку ответа на билет и его рассказ, а также ответ на дополнительные вопросы по курсу и решение задач. Незнание ответов на вопросы теоретического минимума автоматически влечёт неудовлетворительную оценку за экзамен.

Промежуточная аттестация

2022/2023 учебный год 2 модуль
Преподаватель учитывает оценку за текущий контроль (домашние задания). Онакопленная = (Од/з1 + О д/з2 + Од/з3) / 3 Результирующая оценка за дисциплину рассчитывается следующим образом: ОРезультирующая = 0,5Онакопленная + 0,5Оэкзамен

Список литературы

Авторы

Кузнецов Антон Михайлович
Спицина Кристина Станиславовна

Магистерская программа «Машинное обучение и анализ данных»

Контакты

Контакт-центр

Байесовские методы в машинном обучении

Преподаватель

Программа дисциплины