В Питерской Вышке создали инструмент по анализу данных о движении глаз

iStock

Сотрудники Лаборатории социальной и когнитивной информатики НИУ ВШЭ в Санкт-Петербурге создали Python-библиотеку для анализа окуломоторных данных. Она  обрабатывает и визуализирует данные о движении глаз, а также обучается на этом массиве. Библиотека позволяет исследователям в когнитивных науках, медицине, маркетинге и образовании извлекать важные данные, проводить глубокое обучение и сравнивать траектории движений глаз с помощью одного инструмента.

Продукт интегрирован со Scikit-learn (один из наиболее широко используемых пакетов Python для Data Science и Machine Learning) и PyTorch Lightning (библиотека Python с открытым исходным кодом, она предоставляет интерфейс для фреймворка глубокого обучения PyTorch). Их используют десятки тысяч людей по всему миру.

Python-библиотека с открытым исходным кодом позволяет реализовывать весь цикл анализа, начиная от сырых данных и заканчивая итоговой моделью. Инструмент ускоряет обработку извлеченных данных, собирает всю необходимую статистику о положении взгляда на объектах и определяет паттерны движения глаз. Эти данные можно в дальнейшем использовать для обучения моделей машинного обучения или экспортировать для других задач.

Проект инициировали сотрудники Лаборатории социальной и когнитивной информатики. Они изучали особенности движения глаз при восприятии достоверной и недостоверной информации, связанной со здоровьем. В ходе работы исследователи поняли, что им будет полезен инструмент, который сможет автоматически обрабатывать данные о движении глаз. Они подали заявку на конкурс проектов молодых ученых в категории «ИИ-технологии для человека» и победили. В итоге проекту одобрили грантовую поддержку на полгода в размере одного миллиона рублей. 

Библиотеку создавали Антон Сурков, младший научный сотрудник Лаборатории социальной и когнитивной информатики, и три студента программы «Прикладной анализ данных и искусственный интеллект» — Вагиз Даудов, Захар Кондауров и Даниил Тихонов. Об анализе движения глаз разработчиков консультировала Елена Артеменко, заместитель заведующего Лаборатории социальной и когнитивной информатики.

Антон Сурков, младший научный сотрудник Лаборатории социальной и когнитивной информатики

Эта библиотека — уникальный инструмент, который со временем сможет повысить престиж лаборатории и Вышки в области анализа движений глаз. Уже сейчас мы можем сказать, что он будет полезен для исследований с движениями глаз, проводящихся лабораторией. Надеемся, им воспользуются исследовательские команды как внутри Вышки, так и за ее пределами. Недавно наши разработки привлекли внимание Центра языка и мозга, а летом на конференции о движении глаз ECEM 2024, которая проходила в Ирландии, они вызвали сильный интерес у зарубежных коллег.

В дальнейшем исследователи планируют развивать свой проект и улучшать его работу. Подробнее о библиотеке можно прочесть на GitHub.