Корпус эмоциональной речи: опыт сбора и первые выводы

В Лаборатории продолжается работа по созданию лингвистических ресурсов – коллекций устной и письменной речи! Этим летом завершился промежуточный этап работы в рамках проекта по анализу и автоматической обработке эмоциональной речи.

В прошлом учебном году стажер-исследователь Лаборатории Елизавета Куликова собирала мультимодальный корпус эмоциональной речи. Научить компьютер распознавать эмоции – одна из ключевых задач в области человеко-компьютерного взаимодействия, а для ее решения требуются большие объемы данных, которые бы служили примерами проявления различных эмоций.

Одной из главных задач и сложностей в нашем проекте был сбор таких данных, которые бы показывали максимально естественные, ненаигранные эмоции. Для этого была разработана процедура сбора видеоматериала, в основе которой – воспоминания информантов об эмоциональных ситуациях из их жизни. Мы просили участников вспомнить и рассказать о случаях, в которых они испытывали радость или грусть, злились или испугались. Погружаясь в воспоминания, человек снова так или иначе переживает эту эмоцию. Именно такие эмоциональные рассказы мы и записали. В записи корпуса приняли участие 11 человек. Сейчас объем корпуса составляет около 3 часов.

Собранные видеозаписи получили мультимодальную эмоциональную разметку: сначала аннотаторы оценивали эмоции в тексте, извлеченном из полученных записей, затем в аудиозаписях, после чего определили эмоции в видеоряде с опорой только на мимику и в конце – посмотрев видеозапись со звуком и изображением.

Сейчас на собранных данных проводятся пробные эксперименты по дообучению мультимодальных моделей автоматического распознавания эмоций. 

Мы благодарим всех информантов и разметчиков за поддержку проекта!