#vllm
-
Может ли ИИ захватить сервер через уязвимости движка инференса
Эссе Бойда Кейна о том, как вредоносная языковая модель способна получить контроль над машиной, где загружены её же веса, эксплуатируя баги в движках вроде vLLM и SGLang.
-
Почему локальная LLM кажется глупее, чем есть на самом деле
Автор с форума Level1Techs провёл серию экспериментов, показав, что одни и те же веса модели выдают разные токены в зависимости от железа и софта — и что за этим стоит вполне материальная математика.
-
Baidu выпустила vLLM-Kunlun — плагин для запуска LLM на ускорителях Kunlun XPU
Baidu открыла исходный код vLLM-Kunlun — подключаемого модуля, позволяющего запускать популярный движок вывода vLLM на собственных ускорителях Kunlun XPU без правки исходников vLLM.