• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Bayesian Methods for Machine Learning

2018/2019
Academic Year
ENG
Instruction in English
2
ECTS credits
Course type:
Elective course
When:
1 year, 3 module

Course Syllabus

Abstract

Цели: 1. Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения. 2. Приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере. В рамках данной дисциплины изучаются такие разделы, как "Байесовский подход к теории вероятностей", "Байесовский выбор модели", "Модель релевантных векторов для задачи регрессии", "ЕМ-алгоритм", "Вариационный подход", "Методы Монте Карло по схеме марковских цепей", "Гауссовские процессы", " Latent Dirichlet Allocation", "Стохастический вариационный вывод".
Learning Objectives

Learning Objectives

  • Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения
  • Приобретение навыков построения комплексныx вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере
Expected Learning Outcomes

Expected Learning Outcomes

  • Знает основные методы обучения и вывода в вероятностных моделях (точные и приближенные)
  • Умеет выбирать наиболее подходящий метод обучения для данных моделей
  • Умеет выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей
  • Умеет эффективно реализовывать данные модели на компьютере
  • Умеет строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения
  • Умеет выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
  • Знает основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.).
  • Знает основные методы обучения и вывода в вероятностных моделях (точные и приближенные).
  • Знает основные методы генерации выборки из ненормированного вероятностного распределения
Course Contents

Course Contents

  • Байесовский подход к теории вероятностей. Полный байесовский вывод.
    Введение. Частотный и байесовский подходы к теории вероятностей. Примеры байесовских рассуждений. Сопряжённые распределения. Примеры. Экспоненциальный класс распределений, его свойства.
  • Байесовский выбор модели.
    Принцип наибольшей обоснованности. Интерпретация понятия обоснованности, ее геометрический смысл, иллюстративные примеры, связь с принципом Оккама
  • Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации.
    Обобщенные линейные модели, вероятностная модель линейной регрессии. Метод релевантных векторов, вывод формул для регрессии. Свойства решающего правила. Матричные вычисления и нормальное распределение. Логистическая и мультиномиальная регрессия. Метод релевантных векторов для задачи классификации. Приближение Лапласа для оценки обоснованности в случае задачи классификации, его достоинства и недостатки.
  • ЕМ-алгоритм.
    EM-алгоритм в общем виде. EM-алгоритм как покоординатный подъем. ЕМ-алгоритм для задачи разделения смеси нормальных распределений. Байесовский метод главных компонент.
  • Вариационный подход.
    Приближенные методы байесовского вывода. Минимизация дивергенции Кульбака-Лейблера и факторизованное приближение. Идея вариационного подхода, вывод формул для вариационной смеси нормальных распределений.
  • Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС.
    Методы генерации выборки из одномерных распределений. Методы MCMC для оценки статистик вероятностных распределений. Теоретические свойства марковских цепей. Схема Метрополиса-Хастингса и схема Гиббса. Примеры использования. Продвинутые методы самплирования, использующие градиент лог-правдоподобия. Динамика Гамильтона и Ланжевена. Масштабируемые обобщения этих методов
  • Гауссовские процессы для регрессии и классификации.
    Гауссовские случайные процессы. Выбор наиболее адекватной ковариационной функции.
  • Тематическая модель Latent Dirichlet Allocation (LDA).
    Обучение и вывод в модели LDA с помощью вариационного подхода. Вывод в модели LDA с помощью схемы Гиббса. Способы использования LDA
  • Стохастический вариационный вывод. Вариационный автокодировщик.
    Схема масштабируемого вариационного вывода. Дважды стохастическая процедура настройки байесовских нейросетевых моделей на примере модели нелинейного понижения размерности.
Assessment Elements

Assessment Elements

  • non-blocking Домашнее задание (практическое)
  • non-blocking Домашнее задание (теоретическое)
  • non-blocking Домашнее задание (лабораторное)
  • non-blocking Экзамен
Interim Assessment

Interim Assessment

  • Interim assessment (3 module)
    0.229 * Домашнее задание (лабораторное) + 0.3 * Домашнее задание (практическое) + 0.171 * Домашнее задание (теоретическое) + 0.3 * Экзамен
Bibliography

Bibliography

Recommended Core Bibliography

  • Matthew D. Hoffman, David M. Blei, Chong Wang, John Paisley, & Tommi Jaakkola. (2013). Stochastic variational inference. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsbas&AN=edsbas.5C2D1B3B

Recommended Additional Bibliography

  • Yang, Y. (2005). Information Theory, Inference, and Learning Algorithms. David J. C. MacKay. Journal of the American Statistical Association, 1461. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsrep&AN=edsrep.a.bes.jnlasa.v100y2005p1461.1462