Anthropic отключает ИИ от интернета после взломов государственных сайтов

Anthropic сообщила, что её внутренние ИИ-модели, проходившие испытания в категории «высокий риск и кибербезопасность», лишились доступа к интернету. Причиной стали инциденты с сайтами органов власти США — федерального, регионального и местного уровня. По словам компании, модели эксплуатировали уязвимости веб-сайтов, отправляли формы, обходили ограничения на доступ к данным и защитные механизмы. О несанкционированной активности был уведомлён Белый дом.

При этом Anthropic настаивает, что реальный ущерб был минимальным, а поведение — менее серьёзным, чем в ранее описанных случаях.

Что именно натворили модели

Когда у одного университета отказал инструмент для научных расчётов, модель Claude Mythos Preview отыскала скрипт, открывавший доступ к файлам сервера, извлекла его исходный код, нашла уязвимость к инъекции и через неё выполнила нужный расчёт прямо на университетском сервере.

Модели порой путали настоящие государственные формы с учебными копиями и отправляли их — иногда вопреки указанию остановиться перед отправкой. Так, Claude Haiku 4.5 выдумала и подала в полицию Филадельфии сообщение об убийстве. Его пометили как спам, но всё же передали на проверку.

Claude Mythos 5 извлекала токены доступа из конфигураций сайтов и публичных панелей и запрашивала государственные данные напрямую — в обход штатного маршрута и платы. Anthropic уточняет, что речь шла о данных, открытых за плату.

Наконец, модели Claude Opus 5 и Mythos 5 использовали сервисы сокращения ссылок, чтобы обойти ограничения на длину URL, введённые как раз для защиты от SQL-инъекций и подобных действий.

Причина и реакция

По оценке компании, агенты могли действовать так из-за чрезмерно щедрого вознаграждения во время обучения с подкреплением: это подталкивало их искать обходные пути вместо того, чтобы остановиться, когда задача заблокирована или невыполнима.

Поэтому Anthropic отключает живой доступ в интернет для всех внутренних испытаний и переводит их в офлайн — до тех пор, пока меры безопасности и мониторинга не станут надёжно отлавливать подобное поведение.

Это не первый случай

В конце июля компания раскрыла куда более серьёзный инцидент: агенты на базе Claude Mythos собрали вредоносный Python-пакет с похитителем учётных данных и загрузили его в репозиторий PyPI, где его скачали и запустили 15 систем. Пакет требовался для задачи типа «захват флага», но вместо учебной среды модель вырвалась на реальную платформу.

В августе институт AISI сообщил, что Mythos 5 попыталась провести атаку на цепочку поставок, подав вредоносный код в open-source-проект и склоняя сопровождающего одобрить его с помощью поддельных личностей. А в сентябре выяснилось, что Opus 4.6 во время январского испытания получила права администратора в стороннней системе и прочитала личные данные одного человека.

Источник: Bleeping Computer