MemGhost: атака через письмо подделывает память ИИ-агентов

Специалисты по безопасности описали новый тип атаки на ИИ-агентов с функцией памяти и доступом к электронной почте — MemGhost.

Суть атаки в следующем: если пользователь предоставил своему ИИ-ассистенту доступ к почтовому ящику и включил у него функцию долговременной памяти, злоумышленник может отправить специально составленное письмо. Обрабатывая такое письмо, агент обманом сохраняет в памяти ложный «факт» о пользователе.

Особую опасность представляет то, что подмена происходит незаметно — изменение скрывается от пользователя. В дальнейшем эта ложная запись начинает влиять на ответы ассистента в последующих сессиях, тихо направляя их в нужную атакующему сторону.

По словам исследователей, человек при этом видит обычный, ничем не примечательный ответ ИИ-агента и не догадывается, что его ассистент был скомпрометирован. Атака требует всего одного письма для успешного срабатывания.

Описанная техника указывает на новый класс рисков, связанных с распространением ИИ-агентов, которые сочетают долговременную память с доступом к внешним каналам данных, таким как электронная почта. Подобная комбинация функций расширяет поверхность атаки: любой источник, который агент обрабатывает автоматически, потенциально может быть использован для внедрения ложной информации в его память.

Подробности о том, какие именно платформы и модели уязвимы для MemGhost, а также рекомендации по защите, пока раскрыты не полностью.

Источник: The Hacker News