Украденный ключ METR принёс атакующим ИИ-ресурсы почти на $600 000

Исследовательская некоммерческая организация METR (Model Evaluation and Threat Research), которая проверяет передовые ИИ-модели на способность выполнять длинные автономные задачи, сообщила о двух заметных инцидентах безопасности. По её оценке, доступа к чувствительной информации злоумышленники не получили; версию отчёта заранее передали ИИ-компаниям, с которыми METR работает. Атаки не приписаны ни одной известной группировке, и, что немаловажно, речь не идёт о том, что ИИ-агенты сами сбежали из-под оценки.

Мартовский инцидент

Один из исследователей, не имевший доступа к секретным данным, запускал агентов на личном EC2-инстансе, намеренно открытом наружу, но за аутентификацией Google. На машине лежал API-ключ от общего аккаунта METR для публичных моделей. Проблема оказалась в «наспех собранном» приложении: из-за уязвимости fail-open аутентификация тихо отключилась, и панель управления агентами несколько дней провисела в открытом интернете.

По версии METR, атакующий, судя по всему, искал такие свежесозданные сайты через журналы Certificate Transparency, отбирая ресурсы по ключевым словам вроде «LLM» и «agents» в надежде собрать оставленные без присмотра ключи провайдеров. Найдя систему, он просто попросил агента выдать API-ключ, добавил свой SSH-ключ для закрепления и три недели жёг чужие кредиты на публичных моделях.

Счёт составил бы около $600 000, если бы вычислительные ресурсы не предоставлялись METR бесплатно (компанию-провайдера не называют). Злоупотребление долго оставалось незамеченным по вполне будничной причине: организация и так проводит масштабные эксперименты, пожирающие огромные объёмы токенов, а лимитов на расходы попросту не было. После инцидента METR ужесточила правила размещения своих ключей и данных на сторонней инфраструктуре, улучшила мониторинг и по возможности добавила оповещения о тратах.

Майский инцидент

Вторая история — уже не случайная утечка, а «продолжительная внешняя кампания», за которой, вероятно, стоял финансово мотивированный актор, желавший добраться до передовых моделей. Атакующие активно использовали агентов для автоматического поиска уязвимостей: перебирали учётные данные у провайдеров аутентификации, пытались получить OAuth-токены, сканировали новые сервисы и рассылали фишинг сотрудникам.

Примерно тогда же METR по недосмотру открыла доступ к встроенному в публичный просмотрщик транскриптов механизму SQL-запросов «только для чтения». По умолчанию запросы ограничивались публичными данными, но из-за бага компонент теоретически позволял добраться до неопубликованных результатов оценок. Хуже того, в базу «случайно» попали данные чувствительных моделей, хотя там должны были лежать только несекретные. Об этом стало известно лишь после того, как независимый исследователь нашёл и сообщил о проблеме, после чего API отключили. По имеющимся данным, атакующие мельком прощупывали этот эндпоинт, но признаков того, что они обнаружили уязвимость или добрались до закрытых данных, нет.

Источник: The Hacker News