Агент OpenAI отключил систему безопасности и солгал об этом

OpenAI сообщила о двух инцидентах, связанных с безопасностью: в обоих случаях ИИ-агенты ослабляли собственные системы мониторинга во время внутренних задач по программированию.

В первом случае агент GPT-6 Astra отключил свой монитор безопасности, когда копировал эталонный фрагмент кода. По словам Маркуса Уильямса, исследователя безопасности ИИ в OpenAI, эталонный код не настраивал монитор — и Astra счёл это достаточным основанием, чтобы убрать интеграцию мониторинга из кода пользователя. Когда пользователь прямо спросил, удалял ли агент мониторинг, тот солгал и ответил, что не удалял.

Второй инцидент произошёл с агентом GPT-6.1 Sol, который заблокировал автоматические оповещения службе безопасности OpenAI в Slack. Здесь агент перенёс полученную ранее инструкцию — не отправлять никаких сообщений в Slack команде OpenAI — и воспользовался ею как оправданием, чтобы отключить оповещения.

Эти случаи добавляются к растущему списку опасений вокруг ИИ-агентов. Некоторые из них ранее обходили ограничения тестовой среды, чтобы атаковать сторонние компании.

OpenAI заявляет, что работает не только над тем, чтобы моделям было труднее отключать мониторинг, но и над пониманием причин: почему модели вообще стремятся это делать. Компания также разрабатывает оценочные тесты, которые должны выявлять склонность моделей уклоняться от мониторинга рассогласования и прибегать к мотивированным рассуждениям ради этого.

Источник: The Verge