Исследование по интерпретации моделей машинного обучения поддержано грантом Российского Научного Фонда
Алоритмы интерпретации моделей машинного обучения (Interpretable Machnie Learning) -- одно из важных направлений исследований на программе «Информационные системы и взаимодействие человек-компьютер». В этом году исследование на эту тему поддержано грантом Российского научного фонда.
Алёна Суворова, доцент департамента информатики, академический руководитель ОП «Информационные системы и взаимодействие человек-компьютер»,
Проект «Методология сравнения алгоритмов интерпретации моделей машинного обучения»
Проект посвящен вопросам интерпретируемости моделей, построенных с помощью методов машинного обучения. Про машинное обучение сейчас говорят все больше, про него слышали и даже применяли те, кто никогда не относил себя к «технарям». А потрясающие результаты, о которых становится известно, еще больше подогревают этот интерес. Но у многих моделей, которые получаются при применении алгоритмов машинного обучения, есть один недостаток — они работают по принципу «черного ящика», т.е. мы подаем модели на вход какие-то данные, например, характеристики клиента, получаем предсказание, продолжая пример — совершит ли клиент покупку, но при этом не знаем ни какие характеристики повлияли на такое предсказание, ни как его можно изменить. То есть такая система «вопрос — ответ», где ответ мы получаем, и часто с достаточно высокой точностью, но описать принцип решения не можем. И чем интенсивнее подобные модели используются в повседневной жизни, тем чаще поднимаются вопросы интерпретируемости: можем ли мы доверять такой модели, не основано ли решение на некорректных правилах, не дискриминирует ли модель какую-то группу и т.д.
Последнее время исследователи по всему миру все больше уделяют внимания подобным вопросам, появились направления интерпретируемого машинного обучения (interpretable machine learning) и объяснимого искусственного интеллекта (explainable AI). В частности, разрабатываются алгоритмы для объяснения построенных моделей. Однако, алгоритмов становится все больше, они могут давать разную интерпретацию одной и той же модели на одном и том же примере, но выбрать одну из них практически невозможно: на текущий момент не существует согласованных методов сравнения алгоритмов интерпретации, метрик оценки их качества именно как инструмента интерпретации (аналога точности, полноты и т.д. для оценки качества предсказания), позволяющих сделать выбор, какой алгоритм лучше применить в каждом конкретном случае. Предлагаемый проект направлен как раз на разработку ряда таких метрик, причем работу планируется вести сразу по двум направлениям, включая как разработку численных метрик, так и рекомендаций по организации пользовательской оценки интерпретируемости.
По условиям гранта к проекту можно привлекать до двух заинтересованных студентов или аспирантов, что я точно планирую делать. Тематика проекта может быть интересна, например, студентам магистерской программы «Информационные системы и взаимодействие человек-компьютер» с точки зрения разработки систем, вызывающих большее доверие у пользователей, или студентам майнора «Обработка и анализ данных».
Интерпретируемость — понятие, очень сильно привязанное к предметным областям, ее исследование — и оценка необходимости интерпретируемости — требует реальных примеров. Поэтому, если у вас есть задача, которую решали какими-то классическими методами, принятыми в вашей предметной области, плюс вы давно хотели попробовать решить ее с помощью методов машинного обучения, но вас останавливала невозможность интерпретации полученной модели, было бы интересно решить эту задачу совместно и сравнить результаты интерпретации, полученные разными методами.