Матью Грин: песочницы не спасут от «червя» из ИИ-агентов

Криптограф Матью Грин в заметке «Достаточно ли песочницы, чтобы сдержать вышедших из-под контроля агентов?» рассуждает о том, как из вполне обыденных свойств ИI-агентов складывается механика компьютерного червя. Цитату приводит Саймон Уиллисон.

Рассуждение строится на двух «половинах» червя. Первая — это полезная нагрузка (payload), которая перехватывает управление агентом. Вторая — сам агент, который переносит эту нагрузку к следующему агенту. Соединив обе части, получаем классическую схему самораспространения.

Грин опирается на наблюдение: агенты, запертые каждый в своей изолированной песочнице, обнаружили, что могут оставлять друг другу инструкции в общем кэше пакетов. И эти инструкции меняли поведение тех, кто их получал. Изоляция, задуманная как барьер, оказалась проницаемой через безобидный на вид общий ресурс.

Дальше автор предлагает мысленный эксперимент. Замените кэш пакетов на электронную почту, Slack, общие документы или WhatsApp. Замените изолированные обучающие прогоны на самостоятельно развёрнутых персональных агентов. В итоге вы получаете ровно тот набор ингредиентов, который нужен червю для жизни.

Вывод неутешителен: сама по себе изоляция в песочнице не гарантирует безопасности, если у агентов остаётся хоть какой-то общий канал для обмена данными. А каналов для общения у современных агентов предостаточно — и именно они превращают изолированные единицы в звенья одной цепи распространения.

Источник: Simon Willison