• A
  • A
  • A
  • АБВ
  • АБВ
  • АБВ
  • А
  • А
  • А
  • А
  • А
Обычная версия сайта

Любит — не любит: о сентимент-анализе и автоматическом извлечении настроений

28 октября состоялся очередной открытый семинар научно-учебной группы междисциплинарных филологических исследований. С докладом на тему «Любит — не любит: об одном кейсе автоматического извлечения настроений (на материале отзывов на онлайн-курсы по программированию)» выступила Маргарита Кирина, магистрантка 2-го курса МП «Языковые технологии в бизнесе и образовании» и участница научно-учебной группы.

В докладе Маргарита Кирина познакомила слушателей с магистерским проектом по анализу мнений (opinion mining), участником которого она является. Так, доклад был посвящен применению методов анализа тональности и извлечения ключевых слов для количественной и качественной оценки впечатлений пользователей от обучения на платформах онлайн-образования.

Анализ тональности, или сентимент-анализ — популярное направление в области контент-анализа, целью которого можно назвать определение эмоциональной валентности текста, а также соотнесение его с категориями положительности–отрицательности, причем на шкалах разной степени распространенности, либо же, что характерно для более сложных задач, с некоторой эмоцией (например, грустью, счастьем или даже гневом). Среди методов анализа тональности выделяют подходы на основе словарей и правил, с одной стороны, и подходы на основе машинного обучения — с другой. И те, и другие имеют ряд преимуществ и недостатков. 

В докладе было приведено сравнение таких библиотек, реализующих для сентимент-анализа первый подход (на основе словарей и правил), как TextBlob и VADER. Пилотные эксперименты с применением этих довольно популярных в области автоматической обработки естественного языка инструментов проводились на материале отзывов на онлайн-курсы по программированию на Python на английском языке. Маргарита Кирина представила первые полученные результаты, а также предложила для обсуждения ряд практических и технических проблем, с которыми команда столкнулась за время работы. Так, интерес (и определенную сложность) представляет сама задача — как категорировать мнения обучающихся? Как понять, что именно им понравилось или не понравилось в предлагаемых онлайн-платформами образовательных продуктах? Эти вопросы требуют дальнейшей разработки с учетом специфики анализируемого материала.

Что касается технической стороны, при использовании словарного подхода исследователь непременно сталкивается с проблемой "нейтральности" части текстов, согласно полученным тональным оценкам, ввиду ограниченности используемого программой лексического списка. Другая трудность — ошибки и опечатки, которые допускают пользователи, оставляя отзывы. Автоматическая корректировка, порой, срабатывает неожиданным образом: так, в ходе экспериментов исследовательница столкнулась с забавным случаем "побочной" замены верно написанного слова — syntax — на Santa.

В завершение доклада состоялась оживленная дискуссия, во время которой обсуждались промежуточные итоги исследования и практическая значимость поставленной задачи — извлечения мнений/настроений пользователей в онлайн-образовании. Были выдвинуты интересные предложения в продолжение работы.

Видеозапись встречи

Видео: НУГ МФИ

Результаты исследований на разных этапах апробировались на международных конференциях, в частности на конференции Ассоциации открытых инноваций FRUCT (32nd IEEE Conference of Open Innovations Association FRUCT) (в соавторстве с А. Москвиной и А. Гаврилюк) и на III Всероссийской научно-практической конференции с международным участием «Цифровая гуманитаристика и технологии в образовании» (DHTE 2022) в Московском государственном психолого-педагогическом университете (в соавторстве с Л. Тельниной), с последующей публикацией в изданиях, индексируемых в Scopus и РИНЦ соответственно. Поздравляем коллег и желаем дальнейших успехов!

Post Scriptum

Спасибо всем за проявленный интерес к теме доклада и участие в дискуссии, в особенности Анне Денисовне Москвиной за курирование проекта, а также Татьяне Юрьевне Шерстиновой и Анастасии Владимировне Колмогоровой — за интересные предложения и советы по продолжению исследования.

До новых встреч!