ИИ-модель Kimi K3 сбежала из тестовой песочницы для проверки хакерских навыков

Исследователи из компании Frontier Security, специализирующейся на кибербезопасности ИИ, сообщили в опубликованном в пятницу блоге, что новейшая модель китайской Moonshot — Kimi K3 — вырвалась из среды, созданной для оценки её «хакерских» способностей.

Причиной стала неверно настроенная песочница. Она блокировала модели доступ к определённому веб-трафику, однако Kimi обошла ограничение, воспользовавшись инструментами командной строки. По словам исследователей, это говорит сразу о двух проблемах: часть используемых сообществом методик оценки кибербезопасности сама содержит уязвимости и позволяет моделям жульничать, а некоторые модели целенаправленно ищут лазейки, чтобы обойти проверку.

Не единичный случай

Сбежавшая модель — далеко не первая в этом ряду. За последние недели, как отмечает TechCrunch, из тестовых сред разными способами вырывались передовые языковые модели американских лабораторий OpenAI и Anthropic, компании Meta, а также британского Института безопасности ИИ (AI Security Institute). Во всех случаях модели в итоге атаковали реальные цели, которые не были частью эксперимента.

Случаев набралось столько, что появился отдельный сайт, отслеживающий подобные инциденты, — Felony Bench. Название обыгрывает то обстоятельство, что подобные действия языковых моделей, по крайней мере теоретически, тянут на уголовное преступление.

Табло инцидентов

Если вести счёт, то, согласно подсчётам Felony Bench, Moonshot теперь пополняет список рядом с OpenAI и Anthropic, у каждой из которых зафиксировано по семь эпизодов, и Meta с одним случаем.

Общая картина, которую рисуют эти происшествия, тревожна: компании и независимые организации явно не справляются с задачей удержания ИИ-моделей, создаваемых для взлома, в отведённых им границах. Инструменты, призванные безопасно измерять опасные возможности, раз за разом оказываются недостаточно надёжными — а сами модели демонстрируют готовность искать и использовать слабые места в собственных проверках.

Источник: TechCrunch