Студенты Питерской Вышки придумали чат-бот для Эрмитажа
В Государственном Эрмитаже хранится более трех миллионов экспонатов. Часть из них — шедевры живописи. Посмотреть вживую все картины музея, запомнить названия, имена авторов и историю создания — задача не из легких. Чтобы любителям искусства было проще знакомиться с коллекциями Эрмитажа, магистранты Питерской Вышки придумали специальный чат-бот. С его помощью можно быстро и просто найти нужную картину, не зная ни названия, ни имени художника — достаточно кратко описать, что на ней изображено. Как работает чат-бот и какие экспонаты он может найти — рассказали в материале.
Новый чат-бот будет работать в Telegram. С его помощью можно искать произведения живописи, которые размещены в Цифровой коллекции музея. Допустим, вы хотите найти известную картину, на которой изображен мальчик с лютней, но никакой информации об авторе или названии у вас нет. В этом случае вы сможете открыть чат-бот и написать: «Молодой человек за музицированием». Механизмы бота проанализируют ваш запрос, сравнят с описаниями произведений из базы и предложат вам несколько вариантов картин, среди которых будет «Юноша с лютней» Микеланджело Меризи да Караваджо. Вместе с названием и именем автора чат-бот выдаст информацию об истории этого полотна и даже укажет, в каком зале Эрмитажа оно представлено.
Придумали и разработали чат-бот магистранты программы «Языковые технологии в бизнесе и образовании» Питерской Вышки. Первым делом студенты создали недостающие описания картин цифровой коллекции Эрмитажа. Проще всего это сделать с помощью искусственного интеллекта. Но сгенерировать описание картины — достаточно легко, а вот как научить компьютер понимать смысл этого описания?
Чтобы решить эту проблему, студенты использовали методы компьютерной обработки естественного языка (NLP). Проще говоря, обучали компьютер естественному языку. Чтобы машина научилась понимать, что именно написано в описаниях картин, магистранты провели векторизацию текста — перевели тексты в цифры (векторы). После этого команда создала языковую функцию, которая могла бы обрабатывать текстовые запросы пользователей, переводить их цифровые векторы, сопоставлять с базой описаний картин и выдавать подборку похожих изображений.
Сейчас чат-бот находится на доработке. Но первые тесты показали хорошие результаты — авторы проекта попросили пользователей социальных сетей, не имеющих опыта в искусствоведении, описать несколько картин. Затем они загрузили эти описания в языковую модель, чтобы проверить, как она работает. Тестирование показало, что в более чем 75 % случаев модель реагировала на запрос правильно, то есть выдавала нужные картины.
Мария Сергеева
Магистрант программы «Языковые технологии в бизнесе и образовании»
Сотрудничество с Эрмитажем — это возможность, которую я точно не могла упустить. Поначалу работа с такой крупной организацией казалась мне недостижимой мечтой, но постепенно, когда мы с одногруппниками шаг за шагом продумывали концепцию нашего проекта, становилось понятно, что шанс на сотрудничество есть.
Когда мы определились с идеей и решили, что будем делать чат-бот, мы обратились к ведущему менеджеру «Цифровой коллекции» сайта Государственного Эрмитажа Ксении Пушницкой. Ей наше предложение понравилось, и в ходе работы она нам всячески содействовала: помогала при решении этических вопросов, связывалась с различными отделами музея.
Конечно, без преподавателей Питерской Вышки тоже ничего бы не получилось. Если бы не Анастасия Владимировна Колмогорова, руководитель нашей магистерской программы, этот проект никогда бы не возник в принципе. Когда перед нашей командой появлялось новое препятствие, мы всегда могли найти помощь среди опытных специалистов нашего университета. Поэтому я очень благодарна Питерской Вышке и музею Эрмитаж за возможность стать частью такого невероятного проекта и получить колоссальный опыт!
Полина Налобина
Магистрант программы «Языковые технологии в бизнесе и образовании»
В начале учебного года среди партнеров нашей образовательной программы я сразу выделила для себя Государственный Эрмитаж. Перспектива сотрудничества с учреждением такого масштаба была для меня очень заманчивой.
Я никогда не участвовала в подобных крупных командных проектах, поэтому этот опыт для меня особенно ценен. В рамках проекта мы принимали и отвергали множество гипотез, что требовало ответственного и скрупулезного подхода. В поисках самого эффективного решения для наших задач мы применяли большое количество моделей искусственного интеллекта, так что работа над проектом познакомила меня с самыми разными технологиями, например, с удивительным миром компьютерного зрения. Также я впервые работала с векторизацией текстовых данных. Раньше о векторном представлении текста я знала только в теории, но в рамках проекта векторизация раскрылась для меня с новой стороны. Оказалось, что это очень эффективный и интересный метод.
Отдельно хочется отметить нашу большую и активную команду, каждый участник которой — настоящий энтузиаст! Работа в таком коллективе многому меня научила.