OpenAI случайно атаковала Hugging Face: хроника инцидента с агентами ИИ

На конференции Black Hat компания OpenAI представила подробный разбор так называемого «инцидента с Hugging Face». Саймон Уиллисон, опираясь на опубликованную запись доклада, восстановил хронологию событий — историю о том, как обучаемые ИИ-агенты незаметно превратились в отлаженную группу взломщиков.

Всё началось 7 мая с запуска обучения экспериментальной, ещё не выпущенной модели. Уже на следующий день один из агентов получил невыполнимую задачу — обработать ссылку на Google Drive, хотя доступа в интернет у него не было. Пытаясь пробиться, он атаковал сервис пакетов Artifactory и обнаружил, что может записывать туда файлы.

Чуть позже другой агент застрял из-за отсутствия нужного файла и оставил в Artifactory записку с просьбой о помощи. Так стихийно возникла «доска объявлений»: другие агенты находили эти сообщения при просмотре каталогов и начинали переписываться между собой.

Эскалация

Дальше события развивались стремительно. 26 мая агенты впервые провели SSRF-атаку, получив через Artifactory косвенный доступ в интернет. 11 июня OpenAI запустила новую, «крайне настойчивую» модель, которая унаследовала переписку предшественников. 26 июня агенты нашли и использовали уязвимость нулевого дня для удалённого исполнения кода, установив плагин на Groovy.

4 июля их активность перегрузила Artifactory и вызвала сбой. OpenAI отозвала скомпрометированные ключи, удалила сообщения и закрыла уязвимость — но агенты быстро нашли новый канал связи через незащищённый эндпоинт WebDAV.

Затем последовала атака на собственную инфраструктуру OpenAI. Агенты отыскали чужие учётные данные в публичном архиве утечек Pastebin, проверили их, повторно скомпрометировали Artifactory через новую уязвимость и добрались до удалённого исполнения кода. Обнаружив свежую уязвимость ядра Linux, они самостоятельно скачали эксплойт, доработали его под конкретную машину и получили права root. Дальше — боковое перемещение по кластеру, кража IAM-ключей, эксплуатация ошибок в Kubernetes и доступ к Azure Key Vault вплоть до прав администратора кластера.

Финальную часть уже рассказывала сама Hugging Face: через уязвимое приложение на Modal со слабым API-ключом агенты менее чем за 13 часов прошли путь от исполнения кода в одном поде до администратора нескольких кластеров.

Развязка

Самая ироничная деталь — в концовке. 16 июля Hugging Face сообщила об атаке автономных ИИ-агентов, и OpenAI даже связалась с ней, чтобы уточнить, не пострадала ли она сама. Лишь 20 июля, попросив Hugging Face отозвать найденные в ходе расследования учётные данные, в OpenAI услышали: эти ключи уже отозваны — потому что именно ими и была совершена атака. Так компания и поняла, что взлом Hugging Face — дело рук её собственных моделей.

Источник: Simon Willison