• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Исследование по интерпретации моделей машинного обучения поддержано грантом Российского Научного Фонда

Исследование по интерпретации моделей машинного обучения поддержано грантом Российского Научного Фонда

Алоритмы интерпретации моделей машинного обучения (Interpretable Machnie Learning) -- одно из важных направлений исследований на программе «Информационные системы и взаимодействие человек-компьютер». В этом году исследование на эту тему поддержано грантом Российского научного фонда.

Алёна Суворова, доцент департамента информатики, академический руководитель ОП «Информационные системы и взаимодействие человек-компьютер»,
Проект 
«Методология сравнения алгоритмов интерпретации моделей машинного обучения»

Проект посвящен вопросам интерпретируемости моделей, построенных с помощью методов машинного обучения. Про машинное обучение сейчас говорят все больше, про него слышали и даже применяли те, кто никогда не относил себя к «технарям». А потрясающие результаты, о которых становится известно, еще больше подогревают этот интерес. Но у многих моделей, которые получаются при применении алгоритмов машинного обучения, есть один недостаток — они работают по принципу «черного ящика», т.е. мы подаем модели на вход какие-то данные, например, характеристики клиента, получаем предсказание, продолжая пример — совершит ли клиент покупку, но при этом не знаем ни какие характеристики повлияли на такое предсказание, ни как его можно изменить. То есть такая система «вопрос — ответ», где ответ мы получаем, и часто с достаточно высокой точностью, но описать принцип решения не можем. И чем интенсивнее подобные модели используются в повседневной жизни, тем чаще поднимаются вопросы интерпретируемости: можем ли мы доверять такой модели, не основано ли решение на некорректных правилах, не дискриминирует ли модель какую-то группу и т.д. 

Последнее время исследователи по всему миру все больше уделяют внимания подобным вопросам, появились направления интерпретируемого машинного обучения (interpretable machine learning) и объяснимого искусственного интеллекта (explainable AI). В частности, разрабатываются алгоритмы для объяснения построенных моделей. Однако, алгоритмов становится все больше, они могут давать разную интерпретацию одной и той же модели на одном и том же примере, но выбрать одну из них практически невозможно: на текущий момент не существует согласованных методов сравнения алгоритмов интерпретации, метрик оценки их качества именно как инструмента интерпретации (аналога точности, полноты и т.д. для оценки качества предсказания), позволяющих сделать выбор, какой алгоритм лучше применить в каждом конкретном случае. Предлагаемый проект направлен как раз на разработку ряда таких метрик, причем работу планируется вести сразу по двум направлениям, включая как разработку численных метрик, так и рекомендаций по организации пользовательской оценки интерпретируемости.

По условиям гранта к проекту можно привлекать до двух заинтересованных студентов или аспирантов, что я точно планирую делать. Тематика проекта может быть интересна, например, студентам магистерской программы «Информационные системы и взаимодействие человек-компьютер» с точки зрения разработки систем, вызывающих большее доверие у пользователей, или студентам майнора «Обработка и анализ данных».

Интерпретируемость — понятие, очень сильно привязанное к предметным областям, ее исследование — и оценка необходимости интерпретируемости — требует реальных примеров. Поэтому, если у вас есть задача, которую решали какими-то классическими методами, принятыми в вашей предметной области, плюс вы давно хотели попробовать решить ее с помощью методов машинного обучения, но вас останавливала невозможность интерпретации полученной модели, было бы интересно решить эту задачу совместно и сравнить результаты интерпретации, полученные разными методами.