• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Байесовские методы в машинном обучении

2019/2020
Учебный год
RUS
Обучение ведется на русском языке
4
Кредиты
Статус:
Курс по выбору
Когда читается:
1-й курс, 4 модуль

Программа дисциплины

Аннотация

Целями освоения дисциплины являются:освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения и приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере. в результате изучения дисциплины, студент будет: 1. Знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.). 2. Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). 3. Знать основные методы генерации выборки из ненормированного вероятностного распределения. 4. Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения. 5. Уметь выбирать наиболее подходящий метод обучения для данных моделей. 6. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей. 7. Уметь эффективно реализовывать данные модели на компьютере.
Цель освоения дисциплины

Цель освоения дисциплины

  • Освоение байесовского подхода к теории вероятностей и основных способов его применения для решения задач машинного обучения.
  • Приобретение навыков построения комплексные вероятностных моделей, вывода необходимых формул для решения задач обучения и вывода в рамках построенных вероятностных моделей, а также эффективной реализации данных моделей на компьютере.
Планируемые результаты обучения

Планируемые результаты обучения

  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках/ Уметь эффективно реализовывать данные модели на компьютере.
  • Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения. Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
  • Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей. Уметь эффективно реализовывать данные модели на компьютере.
  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей.
  • Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Знать основные методы генерации выборки из ненормированного вероятностного распределения.
  • Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения. Уметь выбирать наиболее подходящий метод обучения для данных моделей. Уметь выводить необходимые формулы для решения задач обучения и вывода в рамках построенных вероятностных моделей. Уметь эффективно реализовывать данные модели на компьютере.
  • Знать основные байесовские модели, используемые для решения различных задач машинного обучения (смеси распределений, модель релевантных векторов, LDA и т.д.). Знать основные методы обучения и вывода в вероятностных моделях (точные и приближенные). Уметь строить вероятностные модели, учитывающие структуру прикладной задачи машинного обучения.
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Байесовский подход к теории вероятностей. Полный байесовский вывод.
  • Байесовский выбор модели
  • Модель релевантных векторов для задачи регрессии. Модель релевантных векторов для задачи классификации.
  • ЕМ-алгоритм.
  • Вариационный подход
  • Методы Монте Карло по схеме марковских цепей (МСМС). Стохастические методы МСМС.
  • Гауссовские процессы для регрессии и классификации.
  • Тематическая модель Latent Dirichlet Allocation (LDA).
  • Стохастический вариационный вывод. Вариационный автокодировщик.
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание
  • неблокирующий Домашнее задание
  • неблокирующий Домашнее задание
  • блокирующий Экзамен
    Экзамен проводится на платформе Zoom. Экзамен проводится в устной форме (опрос по материалам курса). По просьбе преподавателя студент должен быть готов выполнить некоторые задания в письменном виде, после чего сфотографировать и выслать на почту преподавателю. К экзамену необходимо подключиться согласно расписанию, высланному преподавателем на корпоративные почты студентов накануне экзамена. Компьютер студента должен удовлетворять требованиям: наличие рабочей камеры и микрофона, поддержка платформы Zoom. Для участия в экзамене студент обязан: выбрать себе имя в Zoom совпадающее с его именем и фамилией, явиться на экзамен согласно точному расписанию, при ответе включить камеру и микрофон. Во время экзамена студентам запрещается выключать камеру. Ипользование конспектов или других справочных материалов допускается только с разрешения преподавателя. Кратковременным нарушением связи во время экзамена считается нарушение связи менее 5 минут. Долговременным нарушением связи во время экзамена считается нарушение 5 минут и более. При долговременном нарушении связи возможность продолжения студентом участие в экзамене определяется преподавателем. Процедура пересдачи подразумевает использование усложненных заданий.
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.23 * Домашнее задание + 0.23 * Домашнее задание + 0.24 * Домашнее задание + 0.3 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Barber, D. (2012). Bayesian Reasoning and Machine Learning. Cambridge: Cambridge eText. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=432721

Рекомендуемая дополнительная литература

  • Hoffman, M. D., & Blei, D. M. (2014). Structured Stochastic Variational Inference. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsarx&AN=edsarx.1404.4114