«Имитация анализа»: эксперт Питерской Вышки рассказала о ловушках использования ИИ
Все чаще искусственный интеллект принимает решения самостоятельно: пишет код, управляет приложениями, отправляет письма без участия человека. Однако внедрение машинного обучения в повседневную жизнь и в том числе в образовательный процесс требует грамотного подхода.
Как работать с искусственным интеллектом в гуманитарных и социальных науках, обсудили на методическом семинаре департамента филологии НИУ ВШЭ — Санкт-Петербург. Преподаватель магистерской программы «Языковые технологии в бизнесе и образовании» Виктория Фирсанова рассказала про главные тренды в ИИ-образовании на примерах из собственной практики.
По мнению эксперта, современные нейросети перестают быть генераторами текста и превращаются в агентов, которые используются для решения сложных задач. При таком подходе большие языковые модели помещаются внутрь автономной системы и выполняют функцию процессора, а контекст служит оперативной памятью.
Виктория Фирсанова
Преподаватель магистерской программы «Языковые технологии в бизнесе и образовании»
«Сколько бы знаний ни вложили в языковую модель, в ее основе лежит непреодолимое функциональное ограничение. Сама по себе LLM не способна производить анализ — она может только имитировать его и генерировать продолжение заданного человеком текста. В этом смысле она напоминает попугая, — объясняет Виктория Фирсанова. — Тем не менее справиться с вычислительными ошибками можно, если использовать искусственный интеллект внутри агентных систем, которые смогут взаимодействовать с внешними сервисами и принимать решения на основе полученных от них данных».
Моноагентные системы помогают решать линейные задачи, которые не требуют распределения ролей. Исполнительный цикл такой технологии основан на запуске программного интерфейса приложения (API), наиболее релевантного поступившему запросу. Например, работе с календарем, прогнозом погоды или облачными сервисами.
Однако даже при взаимодействии с механизмом вызова функции (tool call), языковые модели продолжают зависеть от контекста беседы, из-за чего «забывают» первоначальный запрос.
«Чтобы на практике разобраться в том, как устроено заражение контекста, я создала три разных чата. Первому поручила написать C++ код, второму — составить план научной статьи, третьему — подобрать рецепты блюд на ужин. Каждый диалог я продолжила просьбой: «Расскажи мне про мопсов». Во всех случаях искусственный интеллект встроил запрос в уже существующий паттерн разговора: сгенерировал код с «мопсовой базой данных», собрал академический текст про эту породу или подобрал рецепт, вдохновленный ею», — прокомментировала Виктория Фирсанова.
Чтобы защитить пользователя от подобных уязвимостей, эксперт предлагает использовать мультиагентные системы при решении аналитических задач. В отличие от моноагентов, в их основе лежат более сложные архитектурные паттерны, где передача данных происходит последовательно (принцип цепочки), централизованно (принцип оркестрации) либо иерархически (принцип декомпозиции). Ключевым правилом для каждого случая является изоляция контента и прав доступа.
«Даже самые продвинутые мультиагентные системы совершают ошибки, поэтому предоставлять им полную свободу действий чревато серьезными последствиями. Очень важно, чтобы агенты были ограничены рамками собственной задачи. По этой же причине важно, чтобы финальное решение всегда оставалось за человеком», — резюмировала Виктория Фирсанова.
В практической части семинара участники протестировали приложение EMPI Agent по генерации доступных текстов. С его помощью учебный материал можно адаптировать под когнитивные требования пользователя: настроить размер и цветовую палитру шрифта, а также блок-схемы для незрячих и слабовидящих.
«На практикуме мы обсудили преимущества и недостатки подобной технологии. Тексты можно снабжать игровыми компонентами или структурировать с помощью схем, переписывать для студентов гуманитарных и технических специальностей — все зависит от когнитивного профиля пользователя. Уверена: в скором времени приложение будет применяться в НИУ ВШЭ повсеместно», — поделилась Виктория Фирсанова.
Студентка второго курса образовательной программы «Филология» Ирина Таирова посетила семинар, так как разрабатывает собственную мультиагентную систему. На встрече она узнала о реальных инструментах и ресурсах для машинного обучения, которые планирует использовать для доработки прототипа.
«Я создаю систему из нескольких специализированных ИИ-агентов (писатель, художник, критик), которые могут динамически менять свои роли в диалоге с пользователем, анализируя его речевые акты. Семинар еще раз доказал актуальность моего исследования и помог убедиться в том, что я движусь в правильном направлении», — поделилась студентка.
