Tencent выпустила открытую MoE-модель Hy3 на 295 млрд параметров

Команда Tencent Hy Team представила новую модель Hy3 — Mixture-of-Experts (MoE) модель с 295 миллиардами параметров, из которых активными являются 21 миллиард, плюс 3,8 миллиарда параметров в MTP-слое. Модель распространяется под лицензией Apache 2.0.

Hy3 стала развитием превью-версии, выпущенной в конце апреля. По словам разработчиков, за прошедшее время они собрали отзывы более чем от 50 продуктов и расширили масштаб постобучения, используя данные более высокого качества.

По заявлению Tencent, итоговая модель превосходит аналоги сопоставимого размера и приближается по качеству к флагманским открытым моделям, которые крупнее в 2–5 раз. Также отмечается заметный прирост полезности в различных продуктовых сценариях и задачах, связанных с производительностью.

Технические детали

Полная версия модели весит 598 ГБ на Hugging Face, квантованная версия в формате FP8 — 300 ГБ. Длина контекста составляет 256 тысяч токенов.

До 21 июля модель доступна бесплатно на платформе OpenRouter.

Автор источника, Саймон Уиллисон, по традиции протестировал модель на своей неформальной бенчмарк-задаче — генерации SVG-изображения пеликана, едущего на велосипеде, и получил результат от Hy3 через OpenRouter.

Источник: Simon Willison