Люди с расширенными возможностями: на семинаре ЛЭСИ обсудили фильм «Апгрейд»
Состоялся традиционный рождественский киносеминар Лаборатории экономико-социологических исследований (ЛЭСИ) НИУ ВШЭ. Его участники обсудили кинокартину Ли Уоннелла «Апгрейд» (2018), а также другие произведения, связанные с роботизацией человека. Это 21-й рождественский семинар ЛЭСИ, посвященный актуальным общественным проблемам на материале известных российских и зарубежных фильмов.
C докладом выступил первый проректор НИУ ВШЭ, заведующий ЛЭСИ Вадим Радаев. Он пояснил, что фильм «Апгрейд» не является особо выдающимся, но дает материал для обсуждения, к тому же он поновее и поживее других фильмов о роботизации человека. В основе его сюжета — имплантация чипа «Стем» попавшему в аварию и ставшему парализованным главному герою по имени Грей. Чип начинает им управлять: герой становится киборгом, убивает «плохих парней».
Главный тезис, обсуждаемый Вадимом Радаевым, таков. Существовала долгая доминирующая традиция в инженерии и фантастике — создание роботов, все более похожих на людей. К сегодняшнему дню этот тренд устарел, и актуальнее обратное: главным становится создание людей, все более похожих на роботов, причем не в символическом смысле, но в материальном и физиологическом. Люди постепенно будут превращаться в киборгов, соединяющих в себе органические и неорганические начала.
Человекоподобные роботы появляются еще в древнегреческой мифологии (Гефест выковал бронзового автоматона Талоса по заказу Зевса). Со временем они совершенствовались, но всегда должны были быть похожими на человека как высшее создание и должны были ему повиноваться, быть его рабами, пусть даже иногда возникали сомнения по поводу их подчинения.
Теперь же роботизированным становится человек. От человекоподобных искусственных устройств, андроидов, имитирующих человеческие действия, произошел переход к сетевым распределенным устройствам матричного типа, подчеркнул Вадим Радаев. В фильме «Апгрейд» искусственный интеллект не имеет человеческого облика, хотя почему-то желает его принять. Кроме того, разрушается идея рабского подчинения человеку.
Докладчик проанализировал вещную логику роботизации: от протезов — к носимым устройствам и имплантам (в фильме «Апгрейд» в человека встроено ружье), от механических конструкций — к электронным системам, от автономных трекеров для слежения за собой — к подключенным трекерам, которые следят за тобой и передают данные третьим лицам. И если поначалу задачей было восполнение ущерба (недостающих или поврежденных органов), то теперь это расширение возможностей вплоть до сверхспособностей, причем оборудование уже не навешивается, а встраивается в само тело.
Функциональная логика роботизации заключается в переходе от периодических изменений к постоянному сбору информации, от отслеживания состояния — к отслеживанию поведения, мыслей и чувств, от самоконтроля — к контролю над другими, от рекомендаций, которым можно и не следовать, — к прямому управлению. Так, в фильме «Апгрейд» Стем сначала спрашивает у Грея разрешения, а потом действует самостоятельно.
Вадим Радаев отметил, что возможность подчинения человека машинным алгоритмам и воздействия на него машинных систем уже существует в реальности. И в будущем речь идет не об изощренных менеджериальных системах и коммуникационных манипуляциях, а о прямой подаче сигналов в мозг, что для воздействия намного более эффективно. В 1990 году вышел фильм «Вспомнить все» с Арнольдом Шварценеггером, где герою вставляют имплантат памяти, а реальный имплантат вставили в 2011 году — прошло меньше четверти века, и это уже не кино. Позже началась знаменитая программа Neuralink Илона Маска по имплантации чипов в мозг человека.
Докладчик назвал четыре стадии эксплуатации человека: через насилие (угрозы насилия), манипулирование (идеологию, подкрепленную насилием), подталкивание (структурирование ситуаций) к эксплуатации на нейрофизиологическом уровне. И уже не так далеко до «Дивного нового мира» в духе Олдоса Хаксли, когда производятся люди с заданными качествами. И если раньше думали, как управлять роботами, то сейчас больше думают о том, как управлять людьми с помощью роботизированных систем.
При этом возникают угрозы сбоев вплоть до отключения систем жизнеобеспечения, в работу этих систем могут вмешаться хакеры. Если можно «хакнуть» любую программу, то в перспективе можно будет «хакнуть» и человека. Это продемонстрировано в фильме «Апгрейд», когда вмешательство в программу беспилотного автомобиля приводит к аварии, а затем «хакнутая» программа, получив право на автономную работу, начинает руками человека убивать «плохих парней».
Не нагнетаем ли мы страхи? Ведь мы пока не чипированы, и какое отношение все это имеет к нам? Вадим Радаев полагает, что подготовка «дивного нового мира» идет полным ходом: вещи вторгаются в социальные отношения. «Чипов пока нет, но предпосылки для роботизации созданы. Мы подключены к Сети и не можем отключиться, наше поведение оцифровано, данные о нем собираются без остановки, и оно все больше управляется машинными алгоритмами. Алгоритмы сначала подстраиваются под наш предшествующий выбор, затем под выбор большинства нам подобных, наконец, под чужой коммерческий интерес и интересы социального контроля. Чипы лишь сделают эти процессы более эффективными», — считает Вадим Радаев.
Ключевой вывод, сделанный докладчиком, заключается в том, что раньше мы фокусировались на машинах, сопоставляя их с человеком: может ли она превзойти человека и даже превратиться в человека. Теперь же главная проблема — превращение человека в машину не только в социальном, но и в технологическом смысле. Главную опасность представляют не роботы, выходящие из-под контроля, и не искусственный интеллект, а люди с расширенными возможностями.
В роли оппонента на семинаре выступил директор Института исследований культуры, профессор школы философии и культурологии НИУ ВШЭ Виталий Куренной. Он подчеркнул, что главное отличие человека от машины заключается в том, что человек свободен.
«Как нам вообще понять, что мы совершаем свободный поступок? Ведь поступок человека, который детерминирован чипом, может ничем не отличаться от поступка человека, детерминированного собственной психикой. И какая тогда разница? На этот вопрос попытался ответить Кант: мы совершаем свободный поступок, только когда поступаем морально в соответствии с категорическим императивом. Свобода наступает в тот момент, когда мы следуем законам морали», — подчеркнул Виталий Куренной.
Однако, добавил он, Кант считал, что люди не поступают морально: «они такие существа, что не хотят быть свободными, и в этом парадокс». Если же говорить об угрозах, перечисленных в докладе Вадима Радаева, то в современных обществах много людей, которые не хотят быть свободными. «Мы должны поставить вопрос, является ли человек в этом смысле чем-то отличным от машины или биологического организма. Если нет, то беспокоиться не о чем, система детерминации будет регулировать это общество», — считает Виталий Куренной.
В дискуссии по докладу также приняли участие сотрудники ЛЭСИ и приглашенные специалисты.
Ординарный профессор НИУ ВШЭ Леонид Косалс отметил, что новые формы контроля над поведением человека появляются вне зависимости от того, будут чипы или нет. И это вопрос не прямого принуждения и насилия со стороны государства, а во многом удобства. «Создаются такие условия, что нам просто удобно принимать многие вещи, в том числе даже последующее чипирование, потому что они делают нас конкурентоспособными», — считает он.
По его мнению, эти две стороны вопроса — удобство и свобода — формируют некую ценностную дилемму, которую общества с разными политическими и экономическими механизмами будут решать по-разному. У социума всегда есть возможность контролировать технологии и их негативные последствия. В тех обществах, где субъектность и индивидуализм, проблематика прав человека и базовые ценности ярче выражены, шансов создать контролирующие механизмы больше.
Проректор НИУ ВШЭ, заведующий Лабораторией исследований рынка труда Сергей Рощин отметил, что разговор идет не о роботах и киборгах, а о фобиях (раньше была аналогичная фобия о захвате души бесами). Наши фобии — это обратная сторона признания нашей сверхзначимости, ведь человек в любую эпоху считает себя высшей ступенью развития. Возникает проблема, что есть человек, что есть в нем ценного и что мы боимся потерять, где границы развития человека через биотехнологии и другие технологии, которые нам желательны или нежелательны. И где границы того, чего мы будем хотеть, а что будем считать навязанным?
Можно утверждать, что встроенные чипы — это нехорошо, сказал Сергей Рощин. Но вряд ли найдется в аудитории человек, который ни разу не пил таблетки, кому-то пришлось перенести операции, а кто-то вообще существует благодаря биомедицинским технологиям, и мы хорошо к этому относимся. «Мы боимся технологической детерминированности, но почему-то в среде социологов говорим только о ней. А чем технологическая детерминированность хуже любой другой?» — добавил он.
Старший научный сотрудник ЛЭСИ Ольга Кузина подчеркнула, что сегодня поведением человека руководят не чипы, а идеология, дискурс, нормы морали. Если же у кого-то в руках окажется чип для контроля за всем населением планеты — 8 миллиардами человек, вряд ли он захочет их таким образом контролировать, это нерешаемая задача. «Например, информация про каждую минуту действий и мыслей каждого преподавателя и студента Вышки — это тонны данных, и ни один нормальный человек с этим не справится. Не думаю, что это кому-то надо», — сказала она.
Подводя итоги семинара, Вадим Радаев отметил: «Получилось немного мрачновато, но почему бы не попугать друг друга накануне Рождества? Человеку свойственно бояться всего неопределенного. Так крестьяне боялись паровоза, считая его творением дьявола, так и мы тоже боимся — это нормальное человеческое свойство». Он напомнил, что на рождественских семинарах ЛЭСИ традиционно обсуждаются вопросы, которые невозможно легко закрыть или разрешить.
По итогам 19 рождественских мини-семинаров ЛЭСИ в Издательском доме НИУ ВШЭ вышла книга Вадима Радаева «Смотрим кино, понимаем жизнь: 19 социологических очерков». В этом году выпущено новое издание, где добавлена глава о 20-м семинаре, посвященном сериалу «Кафедра». Книга также доступна в электронной и аудиоверсии.