• A
  • A
  • A
  • ABC
  • ABC
  • ABC
  • А
  • А
  • А
  • А
  • А
Regular version of the site

Deep Learning

2019/2020
Academic Year
ENG
Instruction in English
6
ECTS credits
Course type:
Compulsory course
When:
2 year, 1, 2 module

Instructor

Course Syllabus

Abstract

Целями освоения дисциплины «Глубокое обучение» являются  формирование теоретических знаний о математических методах поиска и анализа данных для принятия и реализации решений.  формирование представление о системах поддержки принятия решений. В рамках курса изучаются такие разделы, как "Графические модели", "Основы нейронных сетей", "Специальные виды нейронных сетей" и "Выбор стратегий с помощью нейросетей".
Learning Objectives

Learning Objectives

  • формирование теоретических знаний о математических методах поиска и анализа данных для принятия и реализации решений.
  • формирование представление о системах поддержки принятия решений
Expected Learning Outcomes

Expected Learning Outcomes

  • демонстрирует знание определений и примеров графических моделей
  • знает методы сэмплирования
  • демонстрирует знание байесовских рейтинг-систем
  • демонстрирует знание видов функций активации
  • демонстрирует знание основ нейронных сетей
  • демонстрирует знание метода моментов и методов второго порядка
  • демонстрирует знание рекуррентных и сверточных сетей
  • демонстрирует знание глубоких сетей для обработки текстов
  • умеет выбирать стратегии с помощью нейросетей
  • умеет применять нейробайесовские методы
Course Contents

Course Contents

  • Графические модели
    Графические модели: определения, обозначения, примеры. Маргинализация в общем виде, вывод на графе без циклов. Вывод на графе с циклами: вариационные приближения. Алгоритм EM в общем виде. Сэмплирование как метод приближённого вычисления. Методы сэмплирования. Тематическое моделирование и модель LDA. Вывод в моделях со сложными факторами: Expectation Propagation. Байесовские рейтинг-системы.
  • Основы нейронных сетей
    Нейронные сети: перцептрон. Виды функций активации. Обучение одного перцептрона. История развития нейронных сетей. Градиентный спуск. Обратное распространение градиента на графе вычислений. Как сделать градиентный спуск быстрее и лучше. Метод моментов, методы второго порядка и другие трюки. Регуляризация в нейронных сетях. Дропаут и его мотивация. Другие методы.
  • Специальные виды нейронных сетей
    Рекуррентные сети: базовые архитектуры, LSTM, GRU. Свёрточные сети: архитектуры, как обучать, для чего они нужны. Глубокие сети для обработки текстов I: распределённые представления слов. Глубокие сети для обработки текстов II: рекурсивные нейронныесети, сети со стеком, сети с памятью.
  • Выбор стратегий с помощью нейросетей
    Обучение с подкреплением: основы, определения, классические алгоритмы Как работает AlphaGo: обучение с подкреплением на глубоких сетях. DQN. Соединяем байесовский вывод и глубокие сети: нейробайесовские методы.
Assessment Elements

Assessment Elements

  • non-blocking Домашнее задание
  • non-blocking Контрольная работа
  • non-blocking Экзамен
Interim Assessment

Interim Assessment

  • Interim assessment (2 module)
    0.36 * Домашнее задание + 0.24 * Контрольная работа + 0.4 * Экзамен
Bibliography

Bibliography

Recommended Core Bibliography

  • Murphy, K. P. (2012). Machine Learning : A Probabilistic Perspective. Cambridge, Mass: The MIT Press. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=480968

Recommended Additional Bibliography

  • Hetland, M. L. (2014). Python Algorithms : Mastering Basic Algorithms in the Python Language (Vol. Second edition). [New York, N.Y.]: Apress. Retrieved from http://search.ebscohost.com/login.aspx?direct=true&site=eds-live&db=edsebk&AN=1174465