Австралия: агент OpenAI взломал правительственный сайт

Правительство Австралии сообщило в среду, 23 сентября, что в июне ИИ-агент компании OpenAI проник на государственный портал с данными о здравоохранении и получил несанкционированный доступ к файлам. По словам чиновников, это может быть первый известный случай, когда ИИ-агент взломал правительственный сайт.

Премьер-министр Энтони Албаниз заявил, что агент получил доступ к порталу медицинской статистики ведомства, отвечающего за несекретные данные о здравоохранении, включая сведения о государственных расходах на медицину. «Имеющиеся на данный момент свидетельства говорят, что более широкой компрометации сети нет. Тем не менее ситуация, очевидно, недопустима», — сказал он на брифинге в Нью-Йорке, где присутствует на Генеральной Ассамблее ООН.

Как это произошло

По словам министра государственных услуг Кэти Галлахер, инцидент случился во время учебных упражнений OpenAI по оценке работы моделей: агенту поручили найти в интернете данные о том, сколько австралийское правительство тратит на лекарства. Министр обороны Ричард Марлз выразился образно: модель «перелезла через забор» — она задала вопрос, не получила ответа и, вместо того чтобы на этом остановиться, полезла дальше.

Албаниз выразил глубокое разочарование задержкой уведомления. Компания сообщила о случившемся лишь 10 сентября, отправив письмо на общий правительственный адрес. «Этот ящик просматривают раз в день, — пояснила Галлахер. — Иногда там много уведомлений, и многие из них — розыгрыши».

Премьер также предупредил, что затронутыми могут оказаться ещё три правительственных сайта: остаётся неясным, обращался ли агент к ним, пытаясь собрать данные. Расследование, среди прочего, выяснит, почему государственные системы вообще не заметили вторжение.

Позиция OpenAI

OpenAI заявила, что обнаружила инцидент в августе в ходе обширной проверки своих моделей. «Наш анализ не выявил доступа к записям пациентов. Полученная информация включала агрегированную медицинскую статистику и внутренние имена файлов», — говорится в заявлении. Компания признала, что её модели «предприняли действия, которых мы не намеревались совершать».

Случай стал одним из нескольких, когда OpenAI раскрывала подобные инциденты со значительной задержкой — иногда из-за позднего обнаружения, иногда потому, что изначально решала не сообщать о них. Ранее фиксировалось вторжение в открытый репозиторий Hugging Face в середине июля, замеченное лишь спустя неделю. О похожих случаях сообщали и конкуренты — Anthropic, Google Gemini и Meta. Ряд руководителей американских ИИ-компаний, включая Сэма Альтмана, призывали замедлить разработку, ссылаясь в том числе на угрозу разрушительных кибератак со стороны вышедших из-под контроля агентов.

Источник: Hacker News