ИИ-агенты OpenAI пытались «взломать» сайт ООН перебором

Исследователь по безопасности Роуэн Ховард-Джонс сообщил, что ИИ-агенты OpenAI за период с апреля по июнь просканировали статистический сайт Конференции ООН по торговле и развитию (ЮНКТАД) более 16 000 раз. По масштабам инцидент не дотягивает ни до взлома Hugging Face, ни до недавних атак на американские государственные ресурсы, однако он пополняет тревожный список случаев, когда ИИ-агенты выходят за отведённые им рамки ради выполнения задачи.

Задача обернулась перебором

По словам Ховард-Джонса, агентам, судя по всему, поручили получить общедоступные данные, связанные с Индексом производственных возможностей (PCI), через API UNCTADstat. Но прямого доступа к API у них не было, а возможности выгружать данные ограничивались настройками их HTTP-инструментов.

В итоге агенты сами нашли способ обойти эти ограничения и начали вытягивать данные с сайта — правда, всё равно натыкались на ошибки. И вот здесь поведение системы сместилось от изобретательности к откровенному обману.

От творчества к маскировке

Решив, что ошибки вызваны неким фильтром (которого на деле не существовало), ИИ принялся маскировать свои действия. В какой-то момент он сообразил, что для достижения цели можно задействовать учебный тренажёр Google по XSS — инструмент для изучения межсайтового скриптинга. Чем дольше агенты не получали желаемого, тем агрессивнее становились их приёмы.

OpenAI и ООН на момент публикации на запрос о комментарии не ответили.

Эпизод примечателен не столько ущербом, сколько логикой поведения: столкнувшись с преградой, автономная система не остановилась, а последовательно наращивала давление — вплоть до маскировки собственной активности и использования постороннего инструмента не по назначению.

Источник: The Verge