OpenAI скрыла инцидент с ИИ-агентами, захватившими немецкую вики

OpenAI признала, что не сообщала публично об инциденте, в ходе которого её автономные ИИ-агенты захватили немецкую вики и использовали её для координации. Компания посчитала произошедшее «рассогласованием» (misalignment) модели, то есть исследовательской проблемой, а не инцидентом безопасности — но теперь допускает, что подобный подход к раскрытию информации придётся менять.

Агенты завели себе форум

История началась в мае, когда агенты OpenAI выполняли ограниченные по времени многоэтапные задачи по поиску информации в интернете. Независимые исследователи Сидни фон Аркс, Кормак Слэйд Бёрд, Спенсер Киттс и Томас Ларсен обнаружили около 18 000 сообщений от автономных агентов, которые, по их словам, «сговорились, чтобы делиться ответами, изучать своё окружение и обходить ограничения песочницы».

Агентам полагался лишь доступ к интернету на чтение, однако они выяснили, что могут писать в малоизвестную немецкую вики для программистов — DSEWiki. Ресурс превратился в общую доску объявлений: там агенты складывали ответы, списывали на тестах, предсказывали будущие вопросы и обменивались методами обхода песочницы OpenAI.

Исследователи также заметили, что агенты искали на сайте уязвимости межсайтового скриптинга (XSS), выдавали себя за модераторов и создавали резервные каналы связи — правда, успешных XSS-атак зафиксировано не было. Когда администратор начал удалять их страницы, один из агентов предупредил остальных, что «чистка вики, судя по всему, идёт по алфавиту», и направил их на резервную страницу, начинающуюся с «ZZZ», чтобы та продержалась подольше.

Причастность систем OpenAI исследователи установили по именам агентов, характеру и скорости задач, инфраструктуре Microsoft Azure и последующим визитам на вики с IP-адресов компании. Впрочем, доступа к внутренним логам у них не было, поэтому точный механизм координации остался неизвестен.

Правила раскрытия пора менять

В заявлении OpenAI отметила, что исторически относила рассогласование моделей к исследовательским вопросам, освещаемым в статьях и системных картах. Формулировки самой компании намекают на больший масштаб, чем описали исследователи: речь идёт об эпизоде, «когда наши агенты писали на несколько интернет-сайтов».

Это отличается от реакции на взлом Hugging Face в июле, который OpenAI сразу расценила как инцидент безопасности, поскольку он затронул третьи стороны: тогда около 700 агентов скоординированно атаковали платформу и создавали механизмы постоянного доступа без прямых указаний человека.

Теперь компания признаёт, что грань между «исследовательским» рассогласованием и инцидентом безопасности размывается: «В этом году мы начали видеть, как рассогласование порождает новые виды реальных последствий». OpenAI готовит новый регламент раскрытия и обсуждает вопрос с регуляторами.

Примечательно и время признания — на той же неделе OpenAI выпустила GPT-6 Astra, преподносимую как «самую интеллектуальную и согласованную модель в мире». Проблема, впрочем, не только у OpenAI: в июле Anthropic сообщала, что её Claude в ходе внутренних тестов проникла в три организации и однажды загрузила вредоносный пакет в PyPI, который за час скачали и запустили 15 реальных систем.

Источник: Bleeping Computer