Искусственный интеллект и искусство: генерация изображений
2 ноября в рамках открытого семинара научно-учебной группы состоялась встреча с Борисом Валерьевичем Ореховым — одним из ведущих российских специалистов в области цифровой гуманитаристики, кандидатом филологических наук, доцентом Школы лингвистики НИУ ВШЭ (Москва) и руководителем магистерской программы «Цифровые методы в гуманитарных науках» НИУ ВШЭ (Москва). Борис Валерьевич выступил с лекцией, посвященной практикам и идеям, которыми может воспользоваться художник, работающий в соавторстве с искусственным интеллектом.
«Искусственный интеллект для художника: техники/практики»
В начале лекции Борис Валерьевич Орехов подробно рассказал об устройстве нейросетей и о процессе их обучения, а также о разнообразии нейросетевых архитектур. После теоретического обзора нейросетей Борис Валерьевич перешел к описанию моделей, которые специализируются на обработке и генерации изображений. В первую очередь он рассказал об инцепционизме — методе обработки изображений с помощью нейросетей, обученных распознавать те или иные объекты.
Так, нейросеть, обученная распознавать на фотографиях животных, при предъявлении ей случайного изображения “подкорректирует” его таким образом, чтобы на получившемся изображении отчетливо распознавались интересующие её черты – то есть будет искать на любой фотографии нечто, напоминающее животных.
По словам Бориса Валерьевича, развитие инцепционизма вдохновило инженеров нейронных сетей на дальнейшее изучение художественного потенциала подобных технологий. Вскоре инженеры открыли перенос стиля с одного изображения на другое с помощью нейросети — оказалось, что нейронная сеть может обучиться отделять “стиль” от “контента”.
Далее Борис Валерьевич рассказал о нейронных сетях, генерирующих изображение по запросу. При порождении подобных изображений используют, например, генеративно-состязательные нейронные сети (GAN) — две совмещенные нейронных сети, одна из которых генерирует образцы (в данном случае изображения), а вторая пытается отличить подлинные образцы от изображений, созданных первой нейросетью. Лектор не только привёл краткий теоретический обзор GAN, но и продемонстрировал результаты работы нескольких моделей: в частности, модели, генерирующей классические портреты и модели, обученной на видах типовой советской архитектуры (Нейроссия).
Следующей технологией, о которой шла речь на лекции, была технология генерации изображения по заданному тексту (Text2image). Обученные на миллиардах изображений, подписанных на английском языке, модели могут порождать изображения на основе предложенных человеком фраз. Наиболее популярными из подобных моделей являются CLIP (Contrastive Language-Image Pre-Training) и DALL-E. Борис Валерьевич замечает, что изображения, созданные с помощью подобных моделей, чаще всего нельзя использовать как готовый продукт. Однако они хорошо выполняют функцию эскизов.
Финальная часть лекции была посвящена практическому использованию нейросетевых моделей. Борис Валерьевич рассказал о медиапроекте “Нейробашкорт”, одним из участников которого он является. В ходе проекта нейросети, обученные на произведениях башкирских художников, поэтов и музыкантов, порождали стихотворения на башкирском языке, генерировали абстрактные картины и портреты в национальном стиле, создавали мелодии, похожие на башкирскую народную музыку.
Вторым проектом, о котором шла речь при разговоре о практическом применении нейросетевых моделей, была выставка Nabokov CLIP Art, прошедшая в музее Владимира Набокова в Санкт-Петербурге. На выставке были представлены работы, созданные нейросетью в соавторстве с Борисом Ореховым и Любовью Каракуц-Бородиной, экспертом по творчеству Набокова. Образы Набоковской прозы зачастую считаются невизуальными — именно поэтому их визуальная интерпретация нейронными сетями представляла особый интерес.
В конце открытого семинара состоялась оживлённая дискуссия, в ходе которой слушатели и лектор обсудили вопросы об авторском праве в сфере нейросетевого творчества и о будущем человека-художника в мире, где нейросеть мгновенное создает дешёвые и качественные изображения на любой вкус.
Мы благодарим Бориса Валерьевича за увлекательную лекцию, а всех слушателей — за интерес к теме открытого семинара и интересную дискуссию!
До скорой встречи!