Открытый семинар «„Смотрю и грустно как-то“: о разметке нарративов об искусстве большими языковыми моделями»

5 ноября на нашем открытом семинаре выступила Мария Сергеева, стажер-исследователь Лаборатории языковой конвергенции, участница НУГ «Когнитивные исследования языка». Она представила доклад «„Смотрю и грустно как-то“: о разметке нарративов об искусстве большими языковыми моделями».

В центре исследования — устные рассказы русскоязычных взрослых о картине «Фермерша». В эксперименте участники после первого просмотра картины оценивали своё эмоциональное состояние, затем проговаривали впечатления, а после повторного просмотра снова отмечали эмоции и их интенсивность. Эти тексты и составили корпус нарративов. Дополнительно измерялся уровень эмоционального интеллекта, что позволило связать особенности вербализации с индивидуальными различиями.

Корпус был автоматически размечен четырьмя моделями — mistral-small, llama-3, deepseek-r1 и qwen3 — по тем же пяти категориям эмоций, что предлагались участникам. Это дало возможность проследить, как меняются переживания в процессе проговаривания, насколько вербальные маркеры согласуются с самоотчётами и какие языковые средства модели считают наиболее эмоционально нагруженными.

В ходе доклада было представлено, что эстетическое переживание часто «дрейфует» от стартового страха и удивления к более сложной грусти, а самоотчёты нередко расходятся с тем, что фиксируется в нарративах. Модели лучше всего сходятся между собой и с участниками в оценке страха и грусти, менее устойчивы в распознавании радости и гнева и особенно сильно расходятся в оценке удивления. Отдельно обсуждались различия между моделями: mistral-small и llama-3 образуют «ядро» с минимальными смещениями, deepseek-r1 даёт более «эмоционально щедрые» оценки, тогда как qwen3 систематически занижает радость и удивление.

Исследование показывает, что для описания эстетических эмоций важны не столько отдельные ярлыки, сколько устойчивые лексико-семантические паттерны в нарративах, а ансамбль языковых моделей может выступать в роли многоголового «аннотатора» со своими biases. В обсуждении поднимались вопросы о том, как учитывать уровень эмоционального интеллекта при интерпретации таких данных и какие эмоциональные категории вообще пригодны для автоматической разметки художественных описаний.

В дальнейших планах — привлечение волонтёров для ручной оценки эмоциональных нарративов и сопоставление человеческих аннотаций с выводами моделей, а также расширение корпуса за счёт нарративов по другим картинам, участвовавшим в эксперименте.

Благодарим Марию за интересный доклад и предлагаем вам посмотреть ее выступление!