DeepSeek открыл код своего движка для инференса DeepInfer

Компания DeepSeek выложила в открытый доступ DeepInfer — высокопроизводительный фреймворк для инференса, который, по описанию проекта, обслуживает её собственные масштабные продакшен-сервисы. Релиз распространяется под лицензией Apache 2.0.

Опубликованная версия ориентирована на офлайн-инференс и несёт основной набор возможностей, нужных для обслуживания на больших нагрузках. Из моделей заявлена поддержка DeepSeek-V4.1-Flash; чекпойнт по умолчанию при первом запуске подтягивается из кэша Hugging Face.

Что внутри

Фреймворк включает набор оптимизированных вычислительных ядер — FlashMLA, DeepGEMM, DeepEP, TileKernels, DeepSelect, а также кастомные ядра на TileLang. Среди особенностей — несколько видов параллелизма (DP для внимания, сбалансированный CP, EP с балансировкой экспертов для MoE), асинхронное планирование с «нулевыми накладными расходами», ускорение декодирования черновыми токенами с планированием проверки по оценке уверенности и усечённое воспроизведение для окна скользящего внимания.

Отдельно отмечены функции воспроизводимости: инференс, инвариантный к составу батча, и детерминированная выборка, которая при фиксированном зерне выдаёт идентичный результат на одинаковых входных данных (обе — только для NVIDIA). Поддерживается и структурированный вывод, ограничиваемый регулярным выражением, JSON-схемой или грамматикой EBNF.

Железо и зависимости

DeepInfer рассчитан на видеокарты NVIDIA SM100 и NPU Huawei Ascend 950. Для сборки требуются Linux, GCC не ниже 13, Python 3.12 и CUDA 13 (для Ascend — CANN 9.2).

Важно, что это не готовый сервис «из коробки». В релиз не вошли система кэша KV, разделение этапов prefill и decode по отдельным узлам и балансировка нагрузки между репликами, хотя большая часть необходимой функциональности движка, по словам разработчиков, уже реализована.

Авторы честно признают происхождение проекта: DeepInfer изначально строился в основном на базе vLLM, с оглядкой на SGLang и TensorRT-LLM. На момент публикации репозиторий уже собрал свыше шести тысяч звёзд на GitHub.

Источник: Hacker News