Мультимодальный эксперимент в когнитивных исследованиях языка

20 февраля в рамках открытого семинара НУГ «Когнитивные исследования языка» с докладом «Мультимодальный эксперимент в когнитивных исследованиях языка: методика косвенных измерений» выступила Мария Ивановна Киосе, доктор филологических наук, ведущий научный сотрудник Лаборатории мультиканальной коммуникации Института языкознания РАН.

В Центре социокогнитивных исследований дискурса при МГЛУ изучаются особенности коммуникации и их связь с когнитивными способностями человека, его социальными ролями и намерениями. Исследуется не только язык, но и жесты, глазодвигательное поведение, рисунки и другие коммуникативные и семиотические ресурсы.
Мария Ивановна начала доклад с определения ключевой задачи когнитивного исследования языка: ранжирование значимости языковой информации об объектах и событиях разного типа при конструировании человеком знания об окружающем мире.
Традиционно для моделирования процессов конструирования используются:

• концептуальная интеграция
• концептуальные примитивы
• концептуальная метафора
• динамика сил
• образ-схемы
• квалиа-роли

Однако при моделировании знания возникают определенные проблемы. Сам процесс конструирования знания не наблюдаем, и нет прямых соответствий в языковой семантике. Изучение языкового мышления остается субъективным, так как объективная интерпретация часто подменяется интерпретацией исследователя.
Еще одной проблемой является влияние различных факторов на конструирование знания, таких как тип дискурса, формат и цель коммуникации, а также когнитивно-психологические и социокультурные характеристики человека. Ученые предположили, что привлечение других коммуникативных и перцептивных модальностей может помочь понять процесс конструирования знания. Это вдохновило на проведение мультимодальных экспериментов, включая анализ восприятия языковой информации с помощью визуальной модальности и анализ мультиканального поведения в едином акте коммуникации.

Использовалась методика косвенных измерений - измерение отклика неязыковой модальности на изменения в транслируемой человеку или человеком языковой информации. Языковая семантика рассматривается в согласовании с неязыковой модальностью. Мария Ивановна продемонстрировала данную методику с помощью фрагментов исследования.

1. Конструирование различных типов событий через мультимодальные эксперименты: В рамках эксперимента, направленного на оценку глазодвигательного восприятия текстов, участники читали пять фрагментов текста и в дальнейшем излагали содержание. Результаты показали, что для формирования события наибольшее значение имели конкретность референта, динамика действия, Я-перспектива и ментальные характеристики действия.
2. Конструирование информации разной степени выделенности: Используя тот же метод, ученые анализировали конструирование информации различной степени выделенности. В качестве стимулов для этого использовались пять образцов с визуальной информацией в виде комиксов. На основе полученных данных был создан Мультимодальный корпус окулографических реакций, который предназначен для осуществления поиска и визуализации данных с применением процедуры масштабирования. 
3. Конструирование разных типов референтов: В рамках эксперимента участники, являющиеся студентами МГЛУ и носителями русского языка, должны были разъяснить различия между близкими синонимами. Исследование показало, что при конструировании объектов с использованием средств нечеткой референции наибольшее значение имели заместители, апроксиматоры и заместители с репрезентирующими жестами.
4. Конструирование разных типов пространства через анализ мультимодального поведения (речь и жест). Были выдвинуты и опровергнуты гипотезы:

•  для пространства вне коммуникации говорящий будет использовать дейктические жесты указания.
• “там” будет использоваться для отдаленного пространства, а “вот” - для более близкого.

Проведенное исследование раскрывает особенности совместного функционирования коммуникативных, перцептивных и семиотических модальностей.

Видеозапись семинара

В конце доклада состоялась дискуссия, в ходе которой участники обсудили особенности жестового поведения у разных групп людей в зависимости от возраста, степени подготовленности, а также возможные перспективы дальнейших исследований. 

Благодарим всех за участие и проявленный интерес! До новых встреч!