• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Machine Learning

2019/2020
Academic Year
RUS
Instruction in Russian
6
ECTS credits
Course type:
Compulsory course
When:
1 year, 3, 4 module

Instructor


Nikolenko, Sergey I.

Программа дисциплины

Аннотация

Целью освоения дисциплины «Машинное обучение», является изучение основных аппаратов машинного обучения, эффективных алгоритмов обучения и применения обученных моделей, основ теории байесовского вывода. В результате изучения дисциплины у студента будет сформировано представление о современном состоянии дел в теории байесовского вывода. Студент получит также представление об основных методах машинного обучения, соответствующих алгоритмах вывода, вероятностных основах машинного обучения и соответствующих моделях. Изучение дисциплины будет способствовать как развитию вероятностной интуиции и разработке моделей и методов машинного обучения, так и практическому их применению.
Цель освоения дисциплины

Цель освоения дисциплины

  • изучение основных аппаратов машинного обучения, эффективных алгоритмов обучения
  • применения обученных моделей, основ теории байесовского вывода
Планируемые результаты обучения

Планируемые результаты обучения

  • Демонстрирует знания в области теории вероятностей, теоремы Байеса и машинного обучения
  • демонстрирует знание правила Лапласа и сопряженных априорных распределений
  • Умеет строить линейную и логистическую регрессию
  • Знает метод наименьших квадратов и метод ближайших соседей
  • Демонстрирует знание статистической теории принятия решений
  • Умеет строить линейную регрессию по-байесовски
  • Знает разные формы регуляризаторов, Лассо-регрессию, эквивалентные ядра
  • Умеет решать задачи классификации
  • Демонстрирует знание мультиномиального и многомерного наивного байесовского классификатора
  • Умеет обучать логистическую регрессию и аппроксимировать по Лапласу
  • Демонстрирует знание метода опорных векторов
  • Демонстрирует знание вариантов SVM
  • Умеет применять иерархическую кластеризацию методами теории графов
  • Демонстрирует знание скрытых марковских моделей
  • Умеет комбинировать модели с помощью усреднения, бутстрапа и бэггинга
  • Умеет ставить задачу ранжирования (RankBoost, LambdaRank)
  • Умеет применять метод ближайших соседей и сингулярное разложение матриц к рекомендательным системам
Содержание учебной дисциплины

Содержание учебной дисциплины

  • Введение. История искусственного интел-лекта. Вспоминаем теорию вероятностей. Теорема Байеса и машинное обучение. Что умеет делать машинное обучение
  • Правило Лапласа. Априорные распределения. Сопряжённые априорные распределения.
  • Наименьшие квадраты и ближайшие соседи. Линейная регрессия. Логистическая регрессия.
  • Статистическая теория принятия решений. Разложение bias-variance-noise. Оверфиттинг. Регуляризация: гребневая регрессия. Линейная регрессия по-байесовски.
  • Линейная регрессия: разные формы регуляризаторов. Лассо-регрессия. Эквивалентные ядра. Проклятие размерности.
  • Задачи классификации. Линейный дискриминант Фишера. Наивный байесовский классификатор: мультиномиальный и многомерный.
  • Логистическая регрессия: как обучать. Мультиклассовая логистическая регрессия. Аппроксимация по Лапласу. Пробит. Логистическая регрессия по-байесовски.
  • Метод опорных векторов (SVM). Трюк с ядрами.
  • Варианты SVM. SVM по-байесовски: rele-vance vector machines.
  • Кластеризация: иерархическая, методами теории графов. Алгоритм EM для кластеризации.
  • Скрытые марковские модели.
  • Комбинация моделей: усреднение, бутс-трап, бэггинг. Бустинг: AdaBoost.
  • Обучение ранжированию: постановка за-дачи, RankBoost. LambdaRank.
  • Рекомендательные системы: метод ближайших соседей, сингулярное разложение матриц.
Элементы контроля

Элементы контроля

  • неблокирующий Домашнее задание
  • неблокирующий Контрольная работа
  • неблокирующий Экзамен
Промежуточная аттестация

Промежуточная аттестация

  • Промежуточная аттестация (4 модуль)
    0.25 * Домашнее задание + 0.25 * Контрольная работа + 0.5 * Экзамен
Список литературы

Список литературы

Рекомендуемая основная литература

  • Murphy, K. P. (2012). Machine Learning : A Probabilistic Perspective. Cambridge, Mass: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=480968

Рекомендуемая дополнительная литература

  • Hastie, T., Tibshirani, R., & Friedman, J. H. (2009). The Elements of Statistical Learning : Data Mining, Inference, and Prediction (Vol. Second edition, corrected 7th printing). New York: Springer. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=277008