#mixture-of-experts
-
DeepSeek-V4.1 Flash: как сжать KV-кэш вчетверо ради длинного контекста
Технический разбор новой модели DeepSeek, чья главная цель — не рост качества, а радикальное сжатие кэша ключей и значений. Автор блога признаётся: изучив отчёт, он понял, что по масштабу изменений модель тянет скорее на «пятёрку».
-
Qwen готовит модель Flash-Next: 125 млрд параметров при 6 млрд активных
На платформе ModelScope замечена страница нового языкового моделя семейства Qwen — Flash-Next, релиз которого, судя по названию, ожидается совсем скоро.