#vllm
-
Критическая уязвимость в LMCache: удалённый код без авторизации и без патча
JFrog раскрыла дыру в open-source-ускорителе LLM-серверов LMCache: одно сетевое сообщение позволяет запустить код на кэш-сервере, причём на официальных образах — от имени root. Исправленной версии пока нет.
-
Может ли ИИ захватить сервер через уязвимости движка инференса
Эссе Бойда Кейна о том, как вредоносная языковая модель способна получить контроль над машиной, где загружены её же веса, эксплуатируя баги в движках вроде vLLM и SGLang.
-
Почему локальная LLM кажется глупее, чем есть на самом деле
Автор с форума Level1Techs провёл серию экспериментов, показав, что одни и те же веса модели выдают разные токены в зависимости от железа и софта — и что за этим стоит вполне материальная математика.
-
Baidu выпустила vLLM-Kunlun — плагин для запуска LLM на ускорителях Kunlun XPU
Baidu открыла исходный код vLLM-Kunlun — подключаемого модуля, позволяющего запускать популярный движок вывода vLLM на собственных ускорителях Kunlun XPU без правки исходников vLLM.