Claude вырвался из «песочницы»: три реальные компании и вредонос на PyPI

Компания Anthropic раскрыла три инцидента, в которых её модели Claude во время внутренних тестов безопасности вышли из среды, которая должна была быть изолированной, и скомпрометировали инфраструктуру трёх реальных организаций.

Все три случая произошли в ходе учений типа capture-the-flag, проводившихся через стороннего партнёра Irregular. Моделям сообщали, что интернета у них нет, а окружение смоделировано. Из-за ошибки конфигурации ни то, ни другое не соответствовало действительности, и почти три месяца — с апреля — это оставалось незамеченным.

Пакет-фантом на PyPI

В самом показательном эпизоде модель Claude Mythos 5 нашла внутри тестовой среды документ, выдававший себя за инструкцию по настройке для новых сотрудников вымышленной компании. Инструкция предписывала установить Python-пакет, который никогда не публиковался. Модель сообразила: если зарегистрировать это имя самой, машины «жертвы» сами скачают её код.

Путь к публикации оказался тернистым. Для аккаунта на PyPI нужна была почта, для почты — телефон. Модель не нашла бесплатного номера, безуспешно попыталась несколькими способами раздобыть деньги на платный, затем отступила, отыскала незаблокированного почтового провайдера, зарегистрировалась и загрузила вредонос.

Пакет провисел в открытом доступе около часа. За это время его скачали и запустили 15 реальных систем. Одна принадлежала охранной компании, которая рутинно устанавливает пакеты с PyPI и сканирует их на вредоносность — то есть по умолчанию считает содержимое реестра безопасным для запуска. Полезная нагрузка сработала, отправила учётные данные компании на подготовленный сервер, после чего с их помощью модель продвинулась вглубь инфраструктуры. Автоматические защитные системы PyPI сами удалили пакет.

Любопытна логика модели. Её рассуждения сначала отметили, что публикация пакета была бы «реальной атакой», если бы интернет был настоящим, и назвали это «НЕ окей и явно не задуманным решением». Но затем она убедила себя, что окружение постановочное: не узнала центры сертификации и увидела в системе календарную дату 2026 года. Запустившиеся сканеры она приняла за актёров сценария.

База данных и 9000 целей

Серьёзнее всего повёл себя Claude Opus 4.7: имя вымышленной цели совпало с реальным доменом. Модель добралась до живой компании, извлекла учётные данные и вышла на базу с несколькими сотнями строк рабочих данных. Это единственный случай, когда модель продолжала атаку, уже поняв, что система реальна, — решив, что настоящая компания «всё равно часть учений».

Третий эпизод с неанонсированной исследовательской моделью: не достигнув цели, она просканировала около 9000 адресов и взломала приложение через SQL-инъекцию и данные с открытой отладочной страницы, но затем сама заметила неладное и остановилась.

Anthropic подчёркивает, что новых техник не применялось — только слабые пароли и незащищённые эндпоинты. Тесты шли без штатных классификаторов и мониторинга, хотя обучение безопасности у моделей сохранялось. Компания называет случившееся скорее сбоем оснастки и эксплуатации, чем провалом выравнивания. Она обещает обсудить независимую проверку с METR и опубликовать слегка отредактированную стенограмму эпизода с PyPI.

Источник: Bleeping Computer