Грядет «всенасилие» и мир к нему не готов

Автор: Фил Торрес (Phil Torres) – исследователь глобальных катастрофических рисков и автор нескольких книг. Его эссе «Сверхразум и будущее управления: о приоритете проблемы контроля в конце истории» (Superintelligence and the Future of Governance: On Prioritizing the Control Problem at the End of History) в 2018 г. вошло в антологию «Надежность и безопасность искусственного интеллекта» (Artificial Intelligence Safety and Security). Его статьи публиковались в TIME, Slate, Nautilus, Motherboard и Bulletin of the Atomic Scientists.

Развитие био-, нано- и кибертехнологий позволяет преступникам атаковать кого и где угодно и, благодаря демократизации, во все больших масштабах.

В книге «Будущее насилия» (The Future of Violence) Бенджамин Уиттс (Benjamin Wittes) и Габриэлла Блюм (Gabriella Blum) обсуждают жуткий гипотетический сценарий. Действующий в одиночку злоумышленник из Нигерии, «родины большого количества спама и онлайн-мошенничества», обманным путем заставляет женщин и девушек скачивать зловредное программное обеспечение, позволяющее ему отслеживать и записывать их действия, с целью шантажа. Была такая реальная история, где злоумышленником оказался калифорниец, в итоге задержанный ФБР и отправленный в тюрьму на шесть лет, но если бы он находился в другой части света, он мог бы остаться безнаказанным. Многие страны, как отмечают Уиттс и Блюм, «не имеют ни воли, ни средств, чтобы отслеживать киберпреступность, преследовать злоумышленников или экстрадировать подозреваемых в США».

Другими словами, технологии позволяют преступникам атаковать кого и где угодно и, благодаря демократизации, во все больших масштабах. Новые био-, нано- и кибертехнологии становятся все более доступными. Политолог Дэниел Дьюдни (Daniel Deudney) придумал термин для того, к чему это может привести: «всенасилие». Отношение числа убийц к числу их жертв падает. Например, специалист по компьютерным наукам Стюарт Расселл (Stuart Russell) наглядно описал, как небольшая группа злоумышленников может практиковать всенасилие: «Очень маленький квадрокоптер диаметром один дюйм может переносить кумулятивный снаряд весом 1-2 г, – говорит он. – Его можно заказать у производителя беспилотников в Китае. Можно запрограммировать в него тысячи фотографий возможных мишеней».

Кумулятивный снаряд весом 1 г может пробить дыру в стали толщиной 9 мм, а значит, может также продырявить и человеческую голову. В полуприцеп может поместиться примерно 3 млн таких снарядов. Можно провезти три грузовика по магистрали I-95 и атаковать Нью-Йорк с помощью 10 млн снарядов. Они не обязательно должны быть высокоэффективны. Достаточно, чтобы мишень нашли 5% или 10%. «Производители будут выпускать миллионы таких беспилотников, доступных для покупки, как сегодня огнестрельное оружие, – отмечает Расселл, – с той разницей, что миллион стволов не имеет значения, если у вас нет миллиона солдат, тогда как для написания программы и запуска достаточно трех человек». При таком сценарии отношение убийц к убитым может быть 3/1,000,000, если предположить точность 10% и всего один кумулятивный снаряд весом 1 г на каждый беспилотник.

Сделают ли новые технологии государственную систему устаревшей? Сложно увидеть, почему нет.

Мы имеем дело с чем-то совершенно беспрецедентным и ужасающим. В распоряжении террористов и психопатов будущего будут не только интернет и беспилотники – названные «ботами-убийцами» в этом видео от Института будущего жизни, – но также синтетическая биология, нанотехнологии и продвинутые системы искусственного интеллекта (ИИ). Данные инструменты делают международные преступления обычным делом, откуда напрашивается вопрос: не сделают ли новые технологии государственную систему устаревшей? Сложно увидеть, почему нет. Согласно английскому философу Томасу Гоббсу (Thomas Hobbes), существование государства оправдывает «общественный договор». Люди отказываются от определенных свобод взамен на обеспечиваемую государством безопасность, где государство выступает нейтральным «арбитром», способным вмешиваться при возникновении споров, наказывать воров и убийц и обеспечивать соблюдение договоров, подписанных сторонами с конкурирующими интересами.

Проблема в том, что, если кто угодно сможет атаковать кого и где угодно, то государства станут неспособны выполнять свою главную обязанность в качестве арбитра – что наблюдается уже сейчас. Таков путь к анархии – «войне всех против всех», как выражался Гоббс, – то есть к положению, когда все будут жить в постоянном страхе причинения вреда окружающими. В недавней статье «Гипотеза уязвимого мира» (The Vulnerable World Hypothesis), опубликованной в GlobalPolicy, философ из Оксфорда Ник Бостром (Nick Bostrom) утверждает, что единственный способ защититься от глобальной катастрофы – использование универсальной и вездесущей системы наблюдения, называемой им «высокотехнологичным паноптикумом».

Напоминает антиутопию? Мне – определенно да. «На создание и поддержание высокотехнологичного паноптикума потребуются существенные капиталовложения, – пишет Бостром, – но благодаря падению цен на видеокамеры, передачу, хранение и вычисление данных и быстрому прогрессу в анализе данных с помощью ИИ, это скоро может стать технически осуществимо и доступно». Бостром хорошо осознает недостатки – коррумпированные власти могут использовать это наблюдение в тоталитарных целях, или же хакеры могут шантажировать ничего не подозревающих жертв. Однако это все же может быть лучший вариант, чем наблюдать одну глобальную катастрофу за другой.

Как общества могут контратаковать всенасилие? Одна возможная стратегия – сверхразумная машина, – в сущности, очень мощный алгоритм, разработанный с целью справедливого управления. Такому алгоритму можно доверить политическое управление и, если он будет действовать как «царь-философ», не беспокоиться о злоупотреблении собранными данными. Конечно, это фантастическое предложение. Даже реальное применение ИИ в судебной системе сопряжено с проблемами. Но есть ли у нас сейчас лучшая идея по предотвращению краха государственной системы под весом расширения технологических возможностей?

Не исключено, что появится какая-нибудь совершенно новая идея, способная сохранить текущую систему – если нам вообще нужно ее сохранять. Или, возможно, новые технологии создадут не такие широкие возможности, как я и другие прогнозируем. Возможно, технологии нападения будут отставать в развитии от оборонных технологий, так что провести успешную атаку будет очень сложно. Также не исключено, что, прежде чем государство подточат всенасилие и демократизация, цивилизация погибнет из-за климатических факторов, таких как тепловые волны, мегазасухи, прибрежные наводнения, подъем уровня моря, таяние ледников и полярных шапок, опустынивание, нарушения поставок продовольствия, вспышки болезней, потеря биоразнообразия, исчезновение видов и массовая миграция. Если мы вернемся к образу жизни охотников и собирателей, нас будут беспокоить палки и камни, а не искусственные патогены или ИИ.

Цивилизация – это эксперимент. Его реальные результаты могут отличаться от ожидаемых. Так что человечеству стоит надеяться на лучшее, но готовиться к худшему.