Codex на AWS Bedrock переплачивает за кэш: нет управления prompt caching

Пользователь под ником apexethdev открыл в репозитории OpenAI Codex issue #37674, посвящённое неожиданно высоким счетам при работе через нативный провайдер Amazon Bedrock. Проблема в том, что запросы Codex CLI к Bedrock не могут воспользоваться явным управлением кэшированием промптов для модели GPT-5.6 Sol. Для агентной разработки — где длинные стабильные инструкции и описания инструментов повторяются от запроса к запросу — это оборачивается огромным объёмом «cache-write» токенов и ощутимо более высокой стоимостью.

Что показали цифры

Автор приводит оценку на основе данных AWS Cost Explorer и тарифной сетки Bedrock за завершённые дни с 5 по 8 августа 2026 года. За этот период на модель Sol пришлось 3656 запросов и 171,94 млн токенов записи в кэш. Оценочная стоимость только записи в кэш составила около 1182 долларов, а суммарные расходы — порядка 1386 долларов. Иными словами, на запись в кэш ушло примерно 85% всех трат по модели.

Отдельная локальная сессия Codex дала схожую картину: 76 запросов, 6,709 млн токенов записи в кэш и при этом ноль прочитанных из кэша токенов — в среднем около 88 тысяч токенов записи на каждый запрос. Клиентских ошибок в метриках CloudWatch зафиксировано не было. Автор подчёркивает, что это расчётные оценки, а не итоговые суммы из счёта AWS.

В чём причина

Codex уже передаёт привязанный к сессии ключ prompt_cache_key, однако в теле запросов (как по HTTP, так и по WebSocket) отсутствуют поля prompt_cache_options и prompt_cache_breakpoint. Встроенная конфигурация провайдера Bedrock отвечает лишь за транспорт и аутентификацию, но не за преобразование тела запроса, поэтому включить кэш через config.toml невозможно. При этом сама AWS документирует режим явного кэширования для GPT-5.6 именно для таких сценариев: стабильный префикс из инструкций и определений инструментов, за которым следует меняющийся контент.

В качестве решения предлагается добавить сериализацию prompt_cache_options, типизированное поле prompt_cache_breakpoint, механизм определения возможностей провайдера и модели, а также вывод статистики чтения и записи кэша в потурную телеметрию — чтобы пользователи могли вовремя замечать дорогие перезаписи всего префикса. Автор оговаривается, что не всякая запись в кэш является дефектом: холодные старты, действительно новые промпты, форки и уплотнение контекста тоже требуют записи.

Источник: Hacker News