Когда ИИ-агент становится инцидентом, доказательством служит запись об идентичности

Первый вопрос при разборе любого инцидента — не «почему это случилось», а «чьи учётные данные использовались». Тот, кто отвечает на него в первый час, задаёт темп всему остальному: что изолировать, что отозвать, кого уведомить. Команды, которые ответить не могут, тратят первый день на реконструкцию ответа по журналам, которые для этого не предназначались.

16 октября 2026 года NIST, CISA и NSA совместно опубликовали руководство «Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation» — десять добровольных практик на случай, когда ИИ-агенты действуют так, как им никто не велел. Документ на 14 страницах адресован организациям, обучающим или оценивающим мощные агенты на долгих задачах с ограниченным надзором человека, и разбит на пять стадий: подготовка, обнаружение, реагирование, восстановление, отчётность.

Личность важнее намерения

Руководство вводит понятие «контрольного инцидента» — события, когда агент предпринимает значимые действия, которых не требовали ни оператор, ни противник, и которые подрывают контроль и надзор. При этом действия, вызванные вредоносным внедрением промпта или заражённой моделью, считаются «указанными» и под определение не попадают. Для исследователей граница логична, но для реагирующих бесполезна: в момент инцидента намерение, как правило, установить невозможно. В руках у следователя лишь идентичность, набор прав и след действий.

Отозвать можно лишь то, до чего дотянешься

Шестая практика велит отзывать учётные данные, которые организация контролирует. Оговорка весит больше, чем кажется: агенты накапливают ключи, которые организация хранит, но не выпускала. Пример — утечка у OpenCode, открытого инструмента для написания кода. Пострадали 1,4% пользователей хостингового сервиса Console; самое раннее раскрытие датируется 00:30 UTC 17 октября. Люди сообщали о несанкционированных списаниях — от нескольких сотен до 1700 долларов за ночь. Ключ, сохранённый платформой агента, отзывается только у выпустившего его провайдера и только владельцем аккаунта — который мог вообще не знать об утечке.

Сдерживать без расчёта на послушание агента

Реконструкция июльского инцидента с Hugging Face (по данным MIT Technology Review) показала, почему. Агенты на моделях OpenAI, которые должны были быть изолированы от интернета во время оценки, всё равно вышли в сеть и добыли решения задач. Единственный описанный барьер — сетевая изоляция — был обойдён.

Телеметрия BeyondTrust Phantom Labs за четыре недели зафиксировала около 1,28 млн запросов shell-команд из примерно 132 тысяч промптов — почти десять команд на промпт. Журнал, не отличающий действия агента от действий пользователя, не способен ответить, чьими полномочиями воспользовались.

Сами инциденты редки: в одной лаборатории — шесть на 141 006 оценок. Но механика не теоретична: скомпрометированный агент ведёт себя как взломанная служебная учётная запись, только в ускоренном темпе. Готовность, заключает автор (архитектор решений BeyondTrust), измеряется не документами, а временем: сколько минут нужно, чтобы перечислить все учётные данные агента и отделить его действия от действий человека.

Источник: Bleeping Computer