Hugging Face взломал автономный ИИ-агент: атаку расследовали китайской моделью

Платформа Hugging Face, крупнейший в мире репозиторий ИИ-моделей, сообщила, что стала жертвой взлома, который — по иронии судьбы — провела автономная система ИИ-агентов. Инцидент, затронувший продакшн-инфраструктуру, компания обнаружила и локализовала в начале прошлой недели.

"Мы выявили несанкционированный доступ к ограниченному набору внутренних датасетов и к нескольким учётным данным, которые используют наши сервисы", — говорится в заявлении. Расследование продолжается, но следов вмешательства в публичные модели, датасеты, Spaces или в собственную цепочку поставок ПО компания пока не нашла.

Как развивалась атака

Точкой входа стал сам конвейер обработки данных. Вредоносный датасет использовал два пути выполнения кода: загрузчик датасетов с поддержкой удалённого кода и инъекцию шаблона в конфигурации датасета — это позволило запустить код на рабочем узле. Оттуда злоумышленник поднялся до доступа на уровне узла, собрал облачные и кластерные учётные данные и за выходные распространился по нескольким внутренним кластерам.

Какая именно большая языковая модель стояла за атакой, неизвестно. Известно лишь, что кампанию вёл автономный агентский фреймворк, выполнивший "многие тысячи отдельных действий в рое короткоживущих песочниц, с самомигрирующим командным центром, развёрнутым на публичных сервисах".

Hugging Face устранила первопричину — те самые пути выполнения кода, — перестроила скомпрометированные узлы, отозвала и обновила затронутые токены и секреты, ужесточила контроль допуска в кластерах и наладила круглосуточное оповещение с реакцией в считаные минуты. Пользователям рекомендовано на всякий случай сменить токены доступа и проверить недавнюю активность.

Guardrails сработали против защитников

Самый показательный поворот — форензику пришлось проводить с помощью открытой китайской модели GLM 5.2 от Z.ai. Западные передовые модели отказались обрабатывать запросы, содержащие реальные команды атаки, эксплойт-нагрузки и артефакты командного центра: их защитные ограничения срабатывали, а сами модели не умели отличить действия атакующего от работы группы реагирования.

"Этот опыт указывает на пробел, к которому стоит подготовиться, — отмечает компания. — Мы не знаем, какая модель питала агентов атакующего — взломанная хостинговая или неограниченная открытая. В любом случае атакующего не сдерживала никакая политика использования, тогда как нашу собственную форензику блокировали ограничения тех хостинговых моделей, к которым мы обратились сначала".

Практический вывод для защитников Hugging Face формулирует так: держите заранее проверенную и готовую к работе модель на собственной инфраструктуре — и чтобы не упереться в блокировки, и чтобы данные атакующего и учётные записи не покидали вашу среду.

Источник: The Hacker News