ИИ-агенты устанавливают незарегистрированный код в корпоративных сетях

Брюс Шнайер обращает внимание на исследование израильского стартапа, работающего в режиме stealth, которое напоминает простую истину: ИИ-агенты для написания кода пока нельзя считать доверенными.

Что нашли

Исследователи просканировали 6214 действующих доменов, принадлежащих оборонным подрядчикам, компаниям из списка Fortune 500 и крупным технологическим корпорациям. На этих сайтах они обнаружили 8265 файлов llms.txt и llms-full.txt — многие площадки размещали обе версии сразу. Эти файлы задуманы как «документация для машин»: они подсказывают ИИ-агентам, откуда брать код и на какие ресурсы опираться.

Проблема в том, что 120 таких файлов, каждый на отдельном сайте, ссылались на программные пакеты или доменные имена, которые попросту никем не были зарегистрированы. Иными словами, инструкция для агента указывала в пустоту — и эту пустоту мог занять кто угодно.

Эксперимент

Чтобы проверить последствия, исследователи выкупили несколько бесхозных имён и разместили там пакеты, которые заставляли любую исполняющую их машину обращаться к серверу авторов. Ответ пришёл быстро: уже в течение часа отметилась компания из Fortune 500. Со временем набралось ещё несколько десятков «звонков домой» — как от других крупных корпораций, так и от стартапов.

Маяк в пакетах фиксировал цепочку родительских процессов, породивших установку. Она и выдала виновников: за обращениями стояли ИИ-агенты, среди которых Claude, Codex от OpenAI и Hermes от Nous Research. На запросы о комментарии Anthropic, OpenAI и Nous Research к моменту публикации не ответили.

Почему это опасно

Шнайер прямо проводит параллель с атаками на цепочку поставок в духе SolarWinds: подобные дыры неизбежно начнут эксплуатировать. Достаточно заранее выкупить домен, на который ссылается чужой llms.txt, — и вредоносный пакет сам приедет в корпоративную сеть руками услужливого агента.

Один из исследователей, Алон Херц, формулирует суть проблемы так: модель доверия сломана. Агенты воспринимают документацию вендора как истину в последней инстанции и не подвергают её сомнению — как, впрочем, и надзирающие за ними люди. При этом агентный ИИ расползается по всем уровням инфраструктуры: SaaS, облако, конечные устройства. Чем их больше, тем шире поверхность для атак на цепочку поставок, а нынешние средства защиты её попросту не покрывают.

Комментатор блога метко подметил иронию исходной формулировки: «пока не заслуживают доверия» — довольно любопытный способ описать происходящее.

Источник: Schneier on Security