• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Байесовские методы в машинном обучении

2021/2022
Учебный год
RUS
Обучение ведется на русском языке
3
Кредиты
Статус:
Курс по выбору
Когда читается:
2-й курс, 1, 2 модуль

Преподаватель

Программа дисциплины

Аннотация

Целями освоения дисциплины являются: освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения и приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере. В результате изучения дисциплины студент будет: - знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.); - знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные); - знать основные методы генерации выборки из ненормированного вероятностного распределения; - уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения; - уметь выбирать наиболее подходящий метод обучения для данных моделей; - уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей; - уметь эффективно реализовывать данные модели на компьютере. Является дисциплиной по выбору.
Цель освоения дисциплины

Цель освоения дисциплины

  • Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения.
  • Приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере.
Планируемые результаты обучения

Планируемые результаты обучения

  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках/ Уметь эффективно реализовывать данные модели на компьютере.
  • Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения. Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
  • Знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.). Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения.
  • Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения. Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей. Уметь эффективно реализовывать данные модели на компьютере.
  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Знать основные методы генерации выборки из ненормированного вероятностного распределения.
  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
  • Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей. Уметь эффективно реализовывать данные модели на компьютере.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Байесовский подход к теории вероятностей. Полный байесовский вывод.
  • Байесовский выбор модели
  • Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации.
  • ЕМ-алгоритм.
  • Вариационный подход
  • Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС.
  • Гауссовские процессы для регрессии и классификации.
  • Тематическая модель Latent Dirichlet Allocation (LDA).
  • Стохастический вариационный вывод. Вариационный автокодировщик.
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание
  • неблокирующий Домашнее задание
  • неблокирующий Домашнее задание
  • блокирующий Экзамен
    Экзамен проводится на платформе Zoom. Экзамен проводится в устной форме (опрос по материалам курса). По просьбе преподавателя студент должен быть готов выполнить некоторые задания в письменном виде, после чего сфотографировать и выслать на почту преподавателю. К экзамену необходимо подключиться согласно расписанию, высланному преподавателем на корпоративные почты студентов накануне экзамена. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка платформы Zoom. Для участия в экзамене студент обязан: выбрать себе имя в Zoom совпадающее с его именем и фамилией, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещается выключать камеру. Ипользование конспектов или других справочных материалов допускается только с разрешения преподавателя. Кратковременным нарушением связи во время экзамена считается нарушение связи менее 5 минут. Долговременным нарушением связи во время экзамена считается нарушение 5 минут и более. При долговременном нарушении связи возможность продолжения студентом участие в экзамене определяется преподавателем. Процедура пересдачи подразумевает использование усложненных заданий.
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (2 модуль)
    0.2 * Домашнее задание + 0.2 * Домашнее задание + 0.2 * Домашнее задание + 0.4 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Barber, D. (2012). Bayesian Reasoning and Machine Learning. Cambridge: Cambridge eText. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=432721

Рекомендуемая дополнительная литература

  • Hoffman, M. D., & Blei, D. M. (2014). Structured Stochastic Variational Inference. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1404.4114