OpenAI пресекла попытку выкрасть «рассуждения» своих моделей

OpenAI сообщила, что обнаружила и пресекла скоординированную кампанию «дистилляции», целью которой было незаконно извлечь защищённые цепочки рассуждений из её моделей искусственного интеллекта. Основной кластер активности, тянущийся с первой недели июля, компания связывает с лицами, близкими к Moonshot AI — китайской ИИ-компании из Пекина. Технических доказательств этой атрибуции OpenAI не привела, вероятно, из соображений безопасности.

При этом в компании подчёркивают, что речь не шла о взломе: «Операторы не взламывали наше шифрование, не компрометировали базу данных и не получали прямого доступа к сохранённым диалогам пользователей». Вместо этого они так манипулировали взаимодействием с моделью, чтобы защищённые рассуждения воспроизводились в видимой для запрашивающего форме — массово и скоординированно, в нарушение условий использования.

Хронология

Активность началась 1 июля 2026 года с небольших объёмов, но 24 и 25 июля резко выросла: было зафиксировано 16 000 попыток запросов с характерным паттерном извлечения более чем от 4000 пользователей. Дальнейшее расследование выявило схожую «паттерновую» активность у свыше 15 000 пользователей. Полностью кампанию удалось остановить 28 июля.

OpenAI описывает происходящее как «состязательную дистилляцию» — систематическое и несанкционированное использование вывода одной модели для обучения, воспроизведения или улучшения другой. Компания развернула дополнительные меры защиты и заблокировала мошеннические аккаунты. Кроме того, был закрыт «путь», позволявший тем, у кого уже имелись чужие зашифрованные рассуждения, воспроизвести их и восстановить содержимое; добавлены и проверки, задерживающие потоковый вывод, способный раскрыть рассуждения.

Архитектурная уязвимость

В августовском исследовании группа учёных из MATS Research, ELLIS Institute Tübingen и Synk описала архитектурный изъян: зашифрованные следы рассуждений оказались «полностью совместимыми и взаимозаменяемыми между сессиями, пользователями и моделями внутри экосистемы одного провайдера». Внедряя такой след от сильной модели в более слабую и менее защищённую модель того же провайдера, атакующий заставляет её расшифровать и вывести след дословно — не взламывая напрямую саму продвинутую модель.

По словам исследователей, это открывает путь к масштабному извлечению приватных данных, к скрытым инъекциям в промпты через зашифрованные блоки и к утечке опасной информации, спрятанной в процессе рассуждения, даже если итоговый ответ модели отвергает вредоносный запрос.

Риски и контекст

OpenAI предупреждает, что состязательная дистилляция несёт угрозы безопасности и даже национальной безопасности: извлечённые рассуждения можно использовать для обучения другой модели без сохранения защитных механизмов оригинала. В масштабе это ускоряет передачу продвинутых возможностей без тех же вложений в безопасность — особенно в областях двойного назначения.

Для Moonshot AI это уже не первое обвинение в подобном. Месяцем ранее Anthropic утверждала, что компания скрытно перенаправляла запросы пользователей в Claude вместо собственной модели Kimi, показывала ответы Claude как свои и сохраняла часть обменов для обучения собственной модели. Эта активность отслеживалась под обозначением GTG-16002.

Источник: The Hacker News