«Чтобы стать классным специалистом в ИИ, нужно иметь представление обо всем, что происходит в науке»

В конце апреля НИУ ВШЭ — Санкт-Петербург и Яндекс открыли Лабораторию естественного языка (ЛЕЯ). Ее руководителем стал Иван Ямщиков, научный сотрудник Яндекса, автор и ведущий подкаста «Проветримся». Узнали у Ивана, какие проблемы в области искусственного интеллекта сейчас актуальны, в каком направлении идут исследования естественного языка и чем будет заниматься его научная группа.

— Иван, почему для возвращения в Россию вы выбрали Петербург? Говорят, у нас меньше возможностей, чем в Москве. 

— Я родом из Петербурга и считаю, что это лучший североевропейский город, а возможно, и лучший город мира с точки зрения истории и культуры. Когда я обсуждал с Александром Крайновым из Яндекса свою релокацию в Россию, мы думали или про Москву, или про Петербург. Сошлись на том, что в Москве я уже пожил, теперь хочу поработать и в Петербурге. Дальше связались с Евгенией Куликовой, которая в Петербурге занимается образовательными и научными проектами Яндекса, и так и пришли к идее совместного проекта с ВШЭ.

Мне кажется, все зависит от того, что считать возможностями. Если говорить о деньгах, то в Петербурге их, действительно, намного меньше. Зато здесь есть несколько вузов, которые готовят программистов и математиков мирового уровня. Что бы ни пытались делать московские университеты, чемпионы ICPC в основном учатся в Петербурге. Григорий Перельман стал математиком и решил проблему тысячелетия в Петербурге. Здесь находится одни из самых сильных физмат школ страны.

Поэтому с точки зрения кадров Петербург для меня интереснее. Мне кажется, здесь остаются люди, для которых «возможности» не равно «деньги». Эти люди больше подходят для того, чтобы становиться учеными. 

В науке обычно так: если ты можешь найти хороших, сильных людей, всё остальное не важно. А чтобы решить вопрос с финансированием, надо просто его привлекать. 

— Чем вы будете заниматься в Питерской Вышке?

— Я исследую естественный язык. Мне интересны вопросы, связанные с обработкой дискретных последовательностей. Есть большая разница между красивой математикой, которую преподают в университетах, и наблюдаемыми свойствами реальных объектов окружающего мира. Простой пример: в школе мы все проходили ряды, которые по формуле сходятся к какому-то числу. Но большинство последовательностей, которые мы видим вокруг, гораздо сложнее, и при этом нам надо с ними работать. Например, роман «Война и мир» — тоже дискретная последовательность из некоторого количества символов. И этот набор буковок может повлиять на молодой неокрепший ум гораздо сильнее математики. 

Естественные языки живут по определенным правилам. Мы достаточно хорошо понимаем, что в них происходит на локальном уровне. Например, можем смоделировать слово или даже несколько слов: современные языковые модели отлично решают задачи, когда нужно заполнить пропуск в предложении. Однако нейронная сеть не может ничего толкового написать: ни «Войну и мир», ни школьное изложение. А человек может. 

Недавно я придумал название тому, чем хочу заниматься — «вычислительная эпистемология». Эпистемология вообще — это раздел философии, исследующий знание: его природу и возможности, границы. До появления искусственных нейронных сетей мы ничего содержательного на эти темы сказать не могли. 

Вычислительная эпистемология — это когда мы берем вопросы из философии и смотрим на них под углом конкретных моделей и машинного обучения.

Как мы можем сформулировать, что такое знание для этой модели? Какие количественные шкалы есть для того, чтобы эпистемологически оценить ее работу? Как мы можем проверить, что одна модель знает больше, чем другая? Мне это жутко интересно.

Для того, чтобы эти вопросы исследовать, мы сейчас вместе с Яндексом и Высшей Школой Экономики создаём лабораторию естественного языка ЛЕЯ.

— В каком направлении сейчас развиваются исследования естественных языков?

Есть два принципиальных подхода к развитию языковых моделей. Одни исследователи говорят: «Ребята, наш мозг устроен очень сложно. Мы в действительности не понимаем, насколько мощным инструментом он является. Мы пытаемся разобраться с нейронными механизмами мышления, а есть еще и другие параметры, связанные с нейромедиаторами и биохимией. Давайте делать наши модели еще больше и еще мощнее, тогда рано или поздно мы достигнем впечатляющих результатов». И последние годы происходит именно это: большинство проектов вокруг NLP (Natural language processing — Прим.ред.) про то, чтобы сделать модель еще больше.

И есть другая группа исследователей, которые говорят: «Кажется, что модели становятся объемнее, а фундаментальную проблему все еще не решают. Это значит, что мы не понимаем, как устроен язык, или неправильно строим наши модели». Возможно, дело не в вычислительных способностях мозга, а в его внутренней структуре. Люди, в отличие от машин, понимают глобальный контекст. Вот мы прочли «Войну и мир» и давно забыли, какого цвета был кафтан на Пьере Безухове. А что он сделал предложение Элен — помним. Мы как-то понимаем, что первое — неважно, а второе имеет большое значение. Также и с языковыми моделями. Правильная модель должна понимать, какая информация ей потребуется в процессе обработки последовательностей, а про что можно забыть.  

— А сейчас машины этого не умеют? 

— Можно научить нейросеть находить элемент текста, который, судя по всему, является важным для сюжета. Но это будет специфическая модель, умеющая делать одну определенную операцию — возможно даже не очень хорошо. Тут вообще не стоит сравнивать с человеком. Пятилетние дети могут моментально сгенерировать какую-нибудь сказочную историю: жил-был лев, он пошел гулять и встретил обезьяну, они подружились и так далее. Существующие сейчас модели умеют детектировать предвзятое изложение новостей в политических медиа, но рассказать историю про льва и обезьяну не могут. 

— Хороший специалист в области искусственного интеллекта должен быть и программистом, и математиком, и немного философом. А нужно ли ему разбираться в нейробиологии?

— Мне кажется, что сейчас маятник качнулся в сторону эпохи Возрождения. Поясню, что я имею в виду: считается, что современную науку человечество придумало в эпоху Ренессанса. Я говорю о науке, которая опирается на принципы доказательности, базируется на полученных ранее результатах, которая предполагает, что любое утверждение должно быть подкреплено экспериментом и так далее. В эпоху Возрождения все занимались всем. Нужно было знать анатомию и физику, чтобы портреты правильно рисовать, и чтобы летающие вертолеты делать. 

Потом наука стала развиваться в сторону специализации.

Сейчас мы живем с идеей, что для достижения результата в определенной сфере нужен узкий специалист. При этом самые интересные задачи возникают на стыке областей. Мне кажется, что потихоньку началось обратное движение, когда все вспомнили, что наука — это нечто единое и большое. 

Сейчас в науке происходит много интересного. Например, ученые из одной области берут и используют методы из другой. Там этот инструмент известен уже 30 лет, а тут только придумали, где он может быть полезен. Возвращаясь к исходному вопросу: чтобы стать классным специалистом в ИИ, нужно следить за новостями не только в нейробиологии. Хорошо бы иметь общее представление обо всем, что происходит в науке, потому что базовые принципы везде одинаковые.

— Какие проблемы в области ИИ сейчас наиболее актуальны?

— Недавно вышла любопытная статья исследователей из Google Brain Switch Transformers. Люди с упорством, достойным лучшего применения, рапортуют, что сделали модель с триллионом параметров. С одной стороны, это впечатляет. А с другой, возникает вопрос: а новизна-то в чем? Авторы собрали большой датасет, сделали очень мощный кластер, который работает лучше предыдущих. Но насколько лучше? Как количественно оценить этот прогресс, если нас интересует понимание естественного языка, способность модели разговаривать? 

Давайте условно представим, что хотим получить Джарвиса из фильма «Железный человек». Чтобы понимать, какой путь еще нужно пройти, надо определить некую шкалу: существующие модели вот тут, а Джарвис — вот тут. И каждый новый результат оценивать в терминах того, как близко мы подошли к желаемому.   

Сейчас же исследователи делают так: вроде все хотят Джарвиса, но новые модели сравнивают не с ним, а с какими-то предыдущими и по какой-то другой шкале. Мы вообще не знаем, приближаемся ли к Джарвису. Считается, что если по существующим шкалам мы продвинулись вперед, значит это хорошо. Но понимания, куда ведет эта траектория, у большинства исследователей попросту нет. И более того, сейчас этот вопрос считается праздным, задавать его — дурной тон. Мне кажется, что это неправильно, и я хочу это изменить.  

— А сам Джарвис отшкалирован?  

— В том-то и дело, что нет! У нас есть интуитивное представление, что такое разумность, но формализовано оно достаточно плохо. Например, существует бенчмарк GLUE — это набор задач для проверки способности системы понимать естественный язык в духе «прочтите текст, ответьте на вопросы». Это довольно хорошая штука, но и в ней есть спорные моменты. Например, все системы сравниваются на неком фиксированном наборе текстов. А что, если на другом наборе результаты будут иные? 

Другой пример: есть популярная задача по переписыванию текста. Нужно изменить его так, чтобы смысл сохранился, а стилистика поменялась. Например, сделать из вежливого «Соболезную вашей утрате» невежливый. Оказалось, что это довольно сложно. Получается, что стилистика и смысл на каком-то уровне языка связаны. Как понять, где начинается эта связь, и что она вообще такое — никто не знает. Все просто решают задачу: собрали датасет, обучили модель переписывать одно в другое, посмотрели, как часто она попадает в правильные ответы. И чем чаще ваша модель выдает правильный результат, тем вы большие молодцы. 

У нас с Алексеем Тихоновым есть статья What is wrong with style transfer for texts. До того, как мы ее написали, 90% исследований в области переноса стиля были сделаны на отзывах на рестораны. Разные модели переписывали позитивные отзывы в негативные и наоборот — и все были довольны. Мы в нашей статье говорим, что сентимент — позитивный отзыв или негативный — это не стиль, а смысл. Ты можешь написать приятный отзыв в разных стилях, но негативный отзыв — это не другой стиль, это другой смысл. К сожалению, множество исследователей до сих пор называют это style transfer и с блеском публикуются.

В любой дисциплине больших достижений есть люди, которым процесс важнее результата. И хотя мы все хотим построить Джарвиса, 90% статей в области ИИ не задаются вопросом, куда копать, а просто улучшают уже опубликованные результаты. 

—  Какие возможности для совместной работы с вами есть у студентов Питерской Вышки? 

— Если ребят тоже интересуют вопросы понимания естественного языка, они могут написать мне на почту или в мессенджер и рассказать о себе. Мы вместе придумаем тему для дипломной работы или публикации. Что важно: нужно хорошо знать английский язык, писать на Python и не бояться много и продуктивно работать. Если есть мотивация и желание глубоко разбираться в проблеме, мы попробуем сделать что-то вместе.