Студенты Питерской Вышки заняли первое место в соревновании NeurIPS 2020: Flatland

Команда JBR_HSE, состоящая из студентов и преподавателей Санкт-Петербургской школы физико-математических и компьютерных наук, заняла первое место в соревновании NeurIPS 2020: Flatland, трек «обучение с подкреплением». Участие происходило в сотрудничестве с лабораторией Агентных систем и обучения с подкреплением JetBrains Research.

© iStock

Соревнование проходило под эгидой одной из самых крупных и известных международных конференций по машинному обучению — NeurIPS. Участники NeurIPS 2020: Flatland разрабатывали алгоритм, способный как можно лучше управлять трафиком движения поездов по сети железных дорог, при этом система должна принимать решения за ограниченное время. 

Соревнование проходило в два этапа с 1 июня по 6 ноября, после жюри конкурса проверяло решения финалистов. В NeurIPS 2020: Flatland было два направления: общее и Reinforcement Learning (RL). Первое направление было открыто для любых решений, а второе только для решений, использующих обучение с подкреплением —  область машинного обучения, которая специализируется на задачах взаимодействия со средой (в данном случае роль среды выполнял симулятор железной дороги). Команда JBR_HSE заняла первое место в RL-треке и восьмое в общем зачете.

В команду вошли:

• Константин Махнев, студент 4-го курса бакалаврской программы «Прикладная математика и информатика», 
• Олег Свидченко, студент 2-го года обучения магистерской программы «Программирование и анализ данных»,
• Владимир Егоров, студент 1-го года обучения магистерской программы «Программирование и анализ данных»
• Дмитрий Иванов, аспирант 3-го года профиля «Математические и инструментальные методы экономики»
• Алексей Шпильман, заведующий Центром анализа данных и машинного обучения.

Участие в соревновании стало возможным благодаря сотрудничеству с лабораторией Агентных систем и обучения с подкреплением JetBrains Research. Олег, Владимир и Дмитрий являются сотрудниками, а Константин — стажером лаборатории.

Алексей Шпильман, заведующий Центром анализа данных и машинного обучения НИУ ВШЭ — Санкт-Петербург, заведующий лабораторией Агентных систем и обучения с подкреплением JetBrains Research

Соревнование Flatlands призвано было оценить, насколько методы обучения с подкреплением подходят для такой сложной задачи, как составление оптимального расписания движения поездов. Причем под расписанием подразумевается не только время старта, но и скоростной режим, то есть параметров для варьирования — огромное множество. Задача не решается стандартными методами, но есть несколько эвристических алгоритмов, дающих хорошие результаты. Организаторы соревнования хотели выяснить, могут ли современные методы обучения с подкреплением обойти эвристики.

Подобные соревнования — это один из основных двигателей машинного обучения. Текущая золотая эра глубокого обучения началась с победы сети AlexNet в соревновании ImageNet Challenge. Такие состязания позволяют реально оценить работоспособность того или иного метода: в научных статьях мы часто сталкиваемся с методами, не являющимися на самом деле конкурентоспособными. И соревнования помогают найти в мириаде решений те, которые в дальнейшем будет использовать большая часть индустрии. 

Наша команда JBR_HSE состоит из ребят, которые ранее уже успешно участвовали в соревнованиях. Подготовка к Flatlands заключалась в обучении новичков и создании удобного фреймворка для апробации алгоритмов. Решение, которое мы получили, можно модифицировать и использовать на практике. Правда оно все еще проигрывает эвристическим алгоритмам, но мы планируем найти улучшения, исправляющие этот момент.

Победители выиграли тревел-грант для поездки на международную конференцию и видеокарту RTX 2080. Также участники команды совместно с организаторами соревнования готовят публикацию в NeurIPS Competition Book.

Поздравляем победителей и желаем новых достижений!