«Лаборатория увеличивает ценность кандидата на рынке труда, как и любое хорошее образование»

Лаборатория Естественного Языка существует в Питерской Вышке больше полугода. Она создана совместно с «Яндексом». Присоединиться к проектам подразделения могут как студенты-математики и программисты, так и учащиеся других направлений. Поговорили с заведующим Иваном Павловичем Ямщиковым о том, какой творческий потенциал у нейросетей, что можно делать в лаборатории и почему ярлыки вредят науке.

Фото из личного архива Ивана Павловича Ямщикова

 

— Как по-вашему, почему машины до сих пор плохо нас понимают? 

— Я для себя сформулировал три основные проблемы, которые касаются работы с языком. Первая — про такой парадокс: с одной стороны, язык связан с биологическими данными человека, с другой — это приобретённая штука. То есть, с одной стороны, если у человека серьёзные повреждения головного мозга, ему будет тяжело говорить, а с другой, если ребёнок не научился говорить в детстве, то научиться говорить потом тоже вряд ли получится.

Вторая проблема связана с тем, как нашу речь понимают другие люди. Что бы мы ни сказали, собеседник всегда может нас неправильно понять. Более того, язык — не формула, им нельзя выразить только одну мысль. В высказывании всегда есть культурный контекст, и собеседник может сделать из него выводы. Приведу пример — есть такое библейское выражение, вошедшее в современный язык — «шибболет». По его произношению жители Галаада отличали себя от ефремлян, с которыми враждовали. Ефремляне говорили «сибболет» и иначе сказать не могли. То есть, если в речи есть какой-то культурный контекст, его никак из фразы не убрать.

Третья большая проблема — язык состоит из символов, но как их определить — непонятно. Есть буква, но это не звук и не смысл слова. А есть слово, у которого несколько смыслов одновременно. Исследователям нужно все эти параметры как-то формализовать в терминах задач машинного обучения. Однако, как сделать так, чтобы у модели появился здравый смысл — всё равно пока не ясно. 

— А какие есть примеры творчества нейросетей?

— Много всякого, но вот несколько примеров. В 2016 году мы с Алексеем Тихоновым, моим коллегой из «Яндекса», с помощью нейросети нагенерировали стихов в стиле Егора Летова. У нас получился альбом «Нейронная оборона». Мы тогда привлекли к себе много внимания в соцсетях и в СМИ, и альбом этот до сих пор можно послушать.

Ещё в Штатах есть такой челлендж National Novel Generation Month. По его правилам, с помощью нейросетей участники пробуют создать литературный текст. В этом мероприятии поучаствовал всё тот же Лёша Тихонов, у него получилась книжка “Paranoid Transformer” — это дневник “сумасшедшей” нейронной сети. В этой книге не только текст сгенерирован, но и почерк этой нейросети. Если присмотреться, он меняется в тех местах, где текст становится эмоциональнее.

Есть проект Magenta от Google, направленный на генерацию музыки. Существуют такие стартапы, как Endel, Mubert или Jukebox. Все эти компании генерируют музыку под настроение или нужную ситуацию

Есть очень много примеров применения искусственных нейронных сетей в художественных проектах и в современном искусстве. На конференции NeurIPS есть ежегодный семинар, посвящённый работам на стыке машинного обучения и искусства. Кроме того, есть отдельная научная конференция по этой тематике — International Conference on Computational Creativity. 

— Звучит здорово! Но почему тогда машине сложно самой генерировать контент?

— Нейросети хорошо работают с текстом в тех случаях, когда есть понятный критерий качества. В художественном тексте его нет. Поэтому большое достижение в машинном обучении — поставить задачу, которая чётко формулирует этот критерий качества. 

Есть в обработке естественного языка такой класс подходов — «Языковые модели». Его идея долгое время была в том, что модель предсказывала следующие слова во фразе по предыдущим. Так, например, работает Т9. Потом исследователи предложили другой метод: заполнять пробелы в фразе по контексту. То есть, машина смотрит на слово до пробела и после него, а потом выбирает наиболее подходящее на основе своих данных. Это похоже на классическое задание из учебников по иностранному языку: «Прочитайте и заполните пропуски».

Во всех этих примерах критерий качества понятен. Однако, если задать более творческий вопрос — например, почему небо Аустерлица переломило Андрея Болконского — нейросеть вряд ли даст адекватный ответ. Поставим эксперимент: зададим вопрос про князя Андрея «Балабобе», нейросети «Яндекса». Вот, что получилось!

Скриншот из «Балабобы»

Если бы такой ответ дал обычный школьник, то мы бы, скорее всего, подумали, что «Войну и мир» он читал, но не слишком хорошо. Или же просто видел какой-то отрывок. Для нейросети такой ответ — достижение, она-то уж точно роман не читала. 

— Какими навыками нужно обладать, чтобы заставить нейросеть создавать такой контент?

— Специалист в области машинного обучения должен хорошо знать математику, статистику и теорию вероятностей. Это основные инструменты, на которые мы опираемся. Кроме того, ему стоит знать языки программирования и понимать алгоритмы и вычислительную математику. 

Ещё у такого специалиста должно быть что-то от физика-экспериментатора. В машинном обучении вообще много экспериментов. Впрочем, это только моё мнение — я в бакалавриате учился на физика, а всяк кулик хвалит своё болото.

При всём этом у человека должен быть интерес к тексту и языку. Не важно, что вы любите романы, фольклор или знаете несколько иностранных языков. Всё может пригодиться. 

— А лингвисты в машинном обучении нужны? 

— Ну вот Ноам Хомский — он кто? Лингвист, программист или философ? Он сыграл довольно важную роль для изучения формальных и естественных языков. То есть, если человек — как Хомский, мне не столь важно, как он себя идентифицирует. Важнее, хочет ли он подумать вместе со мной над задачами машинного обучения. 

Мне в целом система «нашивок» в науке не близка. В интердисциплинарных проектах и так приходится тратить время на то, чтобы люди из разных областей друг друга поняли. А ярлыки в духе «лингвист» или «математик» ситуацию только усугубляют. Было бы проще, если бы люди приходили и говорили: «Я — учёный, вот в этом разбираюсь, а вот в этом готов разобраться». Отталкивать какие-то знания в междисциплинарных проектах просто странно.

В целом, ко мне в Лабораторию Естественного Языка недавно пришли два магистранта с программы «Языковые технологии в бизнесе и образовании». Мы уже работаем вместе, посмотрим, что получится. Так что мне неважно, лингвисты люди или программисты. Главное — интерес и навыки.

— Лаборатории естественного языка больше полугода. Расскажите, какие проекты уже запустились?

— Есть проект, связанный с дискретизацией текстовых последовательностей — о том, как правильно представлять текст на вход для той или иной модели. Давайте посмотрим, как это работает. Возьмём слово «притяжение», его можно разбить по составу. Окажется, что части этого слова отличаются друг от друга по смысловой нагрузке. Потом возникает следующий вопрос: как скормить это слово компьютерной модели — по кускам, буквам или вообще лучше использовать словосочетание, так как оно точнее смысл передаёт, чем слово само по себе. Ровно с этим мы и пытаемся разобраться. Развиваем этот проект ведём вместе с учёными из института Макса Планка в Лейпциге.

Также мы сейчас исследуем метрики смысловой близости. Смотрим, насколько разные метрики близки друг другу и пытаемся улучшить существующие. Ещё одно направление исследований у нас связано с тематическим парсингом:  разрабатываем алгоритм, который находит момент в тексте, когда одна тема сменилась в тексте на другую.

Есть проект по использованию искусственного интеллекта для общественного блага. Для работы над ним мы запартнёрились с «Ночлежкой». Мы хотим провести исследование и построить модель, оценивающую шансы реабилитации клиентов «Ночлежки», а также понять, как сделать работу фонда эффективнее.

Один из проектов может понравиться лингвистам, он связан с фонетикой. Мы изучаем, как факторы звучания слова могут влиять на смысл. Если коротко, то так, но проектов гораздо больше.

— Лаборатория естественного языка создана в партнёрстве с «Яндексом». А можно попасть в «Яндекс» благодаря работе в ней?

—  Если человек хочет в «Яндекс», то он может просто пойти в «Яндекс», а если ко мне в лабораторию — то ко мне в лабораторию. Не нужно идти сложным путём. 

В целом лаборатория увеличивает ценность кандидата на рынке труда, как и любое хорошее образование. Если у человека больше сделанных проектов и конференций за плечами, да ещё и хорошее знание иностранного языка, то он ценнее. Это не значит, что он не мог получить этот опыт за время работы в какой-то крупной компании. Надо просто смотреть, что интереснее. 

— Что делать студенту, который хочет в Лабораторию естественного языка?

— Если студент сформулировал для себя, что он хочет исследовать, то пускай придёт и расскажет нам об этом. Если тема пересекается с экспертизой лаборатории и есть потенциальный наставник, мы просто скажем такому человеку «да». 

В случаях, когда интерес не совпадает с экспертизой лаборатории, мы думаем, чем и где этот человек может нам помочь. Если, например, кандидат классно знает финский язык, а у нас есть проект, где это может пригодиться, то рискнём и пригласим такого человека. Конечно, так мы больше рискуем, зато у нас появляется потенциал сделать что-то новое. В целом, мы за междисциплинарность и за по-настоящему интересные проекты.

Если у студента не сформировался конкретный научный интерес, но чего-то попробовать хочется, лаборатория может с этим интересом помочь. У нас есть два регулярных семинара — внутренний и внешний. На внешний мы постоянно зовём исследователей со всего мира, которые занимаются машинным обучением. Там они рассказывают о своих последних научных результатах. Так мы повышаем насмотренность слушателей и прививаем вкус в науке — это тоже очень важно. На внутренних семинарах можно и о своих исследованиях рассказать.

— Кому написать, чтобы попасть в лабораторию?

— Лучше всего Кристине Денисовне Зайдес, это менеджер нашей лаборатории. Она ответит быстрее всего. Обращаться можно на почту kzaydes@hse.ru.