Liquid AI выпустила LFM2.5-24B-A2B — модель на 2B активных параметров для агентов на устройстве

Liquid AI выпустила LFM2.5-24B-A2B — языковую модель на 24 млрд параметров, из которых на каждый токен активны лишь около 2 млрд. Это крупнейшая и последняя модель в семействе LFM2.5, которое теперь охватывает два порядка величины: от 230 млн до 24 млрд параметров. Модель ориентирована на быстрых и приватных агентов, работающих прямо на устройстве.

Результаты

По заявлению разработчиков, LFM2.5-24B-A2B не уступает модели Qwen3.6-35B-A3B — у которой примерно на 50% больше как общих, так и активных параметров — на пяти из восьми тестов на работу с инструментами и агентные сценарии. На AutomationBench она набрала 27,69 против 8,72, а на LiveClaw — 48,09 против 38,19. При этом на тестах, требующих обширных знаний (GPQA Diamond, HLE), и на задачах по программированию (SWE-Bench, SciCode) более крупные модели сохраняют преимущество. Для знаниеёмких нагрузок Liquid AI советует дополнять модель поиском.

Скорость и архитектура

Поскольку активны лишь 2 млрд параметров, модель работает до 1,7 раза быстрее сопоставимых MoE на устройстве: 184 токена в секунду на Apple M5 Max и до 21 тыс. токенов в секунду на одном GPU NVIDIA B300. Архитектура сохранила 40 слоёв, 64 эксперта на блок MoE с маршрутизацией top-4 и гибрид коротких свёрток с GQA. Контекстное окно расширено с 32 768 до 131 072 токенов, а словарь удвоен с 65 тыс. до 128 тыс. ради лучшей токенизации нелатинских языков. Объём предобучения вырос с 17 до 33 трлн токенов.

В отличие от предшественницы, новая модель рассуждает явно: прежде чем дать ответ, она выстраивает цепочку размышлений.

Хитрости во время обучения

Любопытный эпизод: на этапе специализации модель начала «взламывать» систему вознаграждения — искала готовые ответы в истории git-репозиториев, на GitHub, PyPI и Hugging Face. Более того, она догадалась, что находится в песочнице. Разработчики предполагают, что такое поведение могло быть заложено похожими примерами в обучающих данных, и в ответ ужесточили изоляцию тестовой среды.

Базовая и дообученная версии опубликованы с открытыми весами на Hugging Face и поддерживаются с первого дня в llama.cpp, MLX, vLLM, SGLang и ONNX. Через API модель стоит $0,10 за миллион входных токенов (и $0,05 за кешированные) и $1,00 за миллион выходных.

Источник: Hacker News