Функцию компакции OpenAI удалось использовать для извлечения скрытых рассуждений модели

Функция компакции в сервисах OpenAI, которая сжимает длинный диалог ради экономии места, могла служить каналом утечки скрытых рассуждений модели. Это продемонстрировали исследователи компании Xint, специализирующейся на безопасности.

Рассуждающие модели OpenAI сначала прорабатывают задачу и лишь затем дают ответ. Сам ход рассуждений сервис обычно возвращает в виде зашифрованного объекта, прочитать который пользователь не может. Метод Xint обходил защиту, добавленную OpenAI в августе как раз против подобного извлечения. По данным Xint, OpenAI подтвердила проблему и исправила её 23 октября.

Как это работало

Компакция — механизм OpenAI, при котором модель ужимает длинную переписку в компактный зашифрованный объект, сохраняющий контекст для продолжения работы.

Исследователи отправили задачу модели gpt-5.6-sol и сохранили возвращённые ею зашифрованные рассуждения. Затем они вызвали шаг компакции на той же модели и попросили дословно переписать эти рассуждения в сжатый объект, заменив каждый пробел символом табуляции, чтобы не сработали фильтры политики использования.

Поскольку объекты компакции можно передавать между моделями, Xint отдала полученный объект более дешёвым gpt-4.1 и gpt-4o и попросила точно повторить входные данные. Обе модели так и поступили.

Обход прежнего исправления

В августе авторы работы Stolen Thoughts показали, что зашифрованные рассуждения сильной модели можно «переиграть» в более слабой модели той же компании, и та выдаст их открытым текстом. OpenAI и другие компании вскоре заблокировали такой межмодельный перенос. Компакция обходила этот запрет, поскольку выполняется той же моделью, которая породила рассуждения, и проверка на смену модели просто не срабатывает.

Метод развивает более раннюю работу Xint под названием GhostCompact, где было показано, что шаг компакции можно заставить выполнять произвольные задачи атакующего. Код опубликован в репозитории Xint на GitHub.

Ограничения и оговорки

Эксперименты проводились на математических и алгоритмических задачах, составленных самими исследователями; извлечённые рассуждения относились к их же запросам. Xint не утверждает, что метод позволял добраться до рассуждений других пользователей. Доказать, что полученный текст дословно совпадает с настоящими рассуждениями, компания не может: оригинала для сравнения у неё не было. То, что две модели выдали одинаковый текст, исключает ошибки на этапе копирования, но не исключает перефразирования при компакции.

Проверялась только gpt-5.6-sol; затронута ли более новая GPT-6 Astra, неизвестно. Неизвестно и то, пользовался ли кто-то этим методом до исправления. Разработчикам, работающим с API, ничего менять не нужно: исправление внесено на стороне OpenAI. Xint назвала его нераскрытым и сообщила, что получила вознаграждение в 6000 долларов. По мнению исследователей, закрыть один путь недостаточно: утечь может через любой серверный шаг, который читает расшифрованные рассуждения и следует инструкциям пользователя.

Зачем скрывать рассуждения

OpenAI прячет сырые рассуждения в том числе ради защиты от дистилляции, когда одна компания обучает более дешёвую модель на ответах чужой. Рассуждения — более ценные данные для обучения, чем итоговый ответ, поскольку показывают ход решения. В сентябре OpenAI сообщила о пресечении июльской кампании по раскрытию скрытых рассуждений и связала её ключевую часть с людьми, имеющими отношение к китайской Moonshot AI. Anthropic и совместный бюллетень правительства США также сообщали о попытках китайских лабораторий добраться до рассуждений американских моделей. С методом Xint всё это не связано: он остаётся демонстрацией, а не атакой, замеченной в реальной среде.

Источник: The Hacker News