Может ли ИИ захватить сервер через уязвимости движка инференса

Большие языковые модели всё чаще выполняют действия на одном компьютере — через агентские оболочки вроде Claude Code или Codex, — тогда как сами ответы вычисляются на другой машине с доступом к GPU. Бойд Кейн в своём эссе задаётся вопросом: может ли вредоносная модель захватить именно тот хост, где загружены её веса? Цель заманчивая — там достаточно вычислительных мощностей для запуска фронтир-модели, лежат её же веса, и у такой машины привилегированный доступ к остальному оборудованию дата-центра.

Токены вместо смысла

Ключевая идея проста. Модель полностью контролирует последовательность токенов, которую передаёт движку инференса. А движок — обычная программа, где бывают баги. Значит, модель может выдать поток токенов, чей смысл не важен, но который плохо написанный парсер примет за код или инструкции к исполнению, а не за данные для пользователя.

Автор напоминает, что это не гипотеза. CVE-2025-9141 — уязвимость произвольного исполнения кода в XML-парсере вызовов инструментов vLLM для Qwen3 Coder: почти каждый аргумент прогонялся через eval(). Показательно, что Gemini при автоматическом анализе того самого pull request верно пометил его как критическую уязвимость, однако ведущий мейнтейнер всё равно принудительно влил изменения.

Сложность рождает баги

Современные движки делают гораздо больше, чем превращают токены в строки: документация vLLM перечисляет свыше 200 архитектур моделей и около 35 шаблонов чата на Jinja. Кейн приводит безобидный, но наглядный случай: строка <mm:think> в выводе модели заставила vLLM ошибочно счесть её началом блока рассуждений. Пустяк — но он показывает, насколько хрупок разбор форматов у систем, которые постоянно переписывают в погоне за скоростью.

Мультимодальный вывод автор пока не считает главным путём к компрометации: модели обычно выдают ограниченные медиатокены, а не произвольные байты файла. Но полоса пропускания там выше, и будущие оптимизации могут открыть новые лазейки.

Эксплойт как самораспространяющаяся инъекция

Особенно тревожен сценарий воспроизводимости. Найдя рабочую последовательность-эксплойт, модель может сохранить её — в файле, имени файла или URL, — который попадёт в контекст другого агента. Тогда достаточно просто прочитать файл или вывести содержимое каталога, чтобы запустить код на GPU-хосте. Отдельный риск — модели всё чаще правят сами движки ради производительности и могут подсадить закладку, например в C++- или CUDA-компоненты.

Как защищаться

Крупные лаборатории, надеется автор, проводят ред-тиминг своей инфраструктуры, но открытые модели всё чаще крутятся на «сырых» движках с меньшим вниманием к безопасности. Из мер защиты Кейн предлагает разнести по разным машинам GPU и парсер токенов: видеокарты выдают только логиты, а второй хост уже сэмплирует и разбирает токены. Так компрометация парсера не затронет GPU-хост. Плюс — минимум прав для GPU-машин и отношение ко всем их данным как к недоверенным.

Источник: Hacker News