Kolibri: суверенная открытая модель от Aleph Alpha

Немецкая компания Aleph Alpha представила новую языковую модель Kolibri, выбрав для релиза символическую дату — День германского единства. Веса модели выложены на Hugging Face под лицензией Apache 2.0.

Kolibri — двуязычная (немецко-английская) модель архитектуры Mixture-of-Experts с 78 млрд параметров, из которых на каждый токен активны лишь около 3 млрд. Поддерживается контекст длиной до 1 млн токенов. Малый размер позволяет запускать модель локально, не передавая внутренние данные сторонним сервисам, — ключевое требование для заказчиков из регулируемых отраслей.

Ставка на суверенитет

KoliBri позиционируется как инструмент для «суверенных» критически важных задач: государственного управления, промышленности и аэрокосмической отрасли. Разработчики подчёркивают, что модель создана в Германии, обучена на инфраструктуре в Германии и Финляндии, под европейским и немецким правом и без иностранного контроля. Она изначально проектировалась с оглядкой на EU AI Act, кодекс практик для моделей общего назначения и GDPR, а также на требования авторского права.

Немецкий язык здесь не побочный продукт перевода: 21,3% обучающих токенов — органические немецкие тексты, а на машинный перевод пришлось лишь 6%. Авторы отдельно отмечают, что переведённый с английского корпус тянет за собой чужой культурный контекст — и модель начинает рассуждать о немецких реалиях так, будто мир устроен по-американски (канцлер, а не президент).

Честное «не знаю»

Отдельное внимание уделено борьбе с галлюцинациями. С помощью собственного протокола Merlin-Arthur модель обучают отказываться от ответа, когда в контексте нет нужных сведений. Для регулируемого заказчика, подчёркивают в компании, умение сказать «я не знаю» — это разница между пилотным проектом и промышленным внедрением.

Конвейер вместо разовых запусков

Kolibri — результат работы внутреннего «завода моделей». Сначала команда построила и обкатала весь конвейер на меньшей версии Kolibri Origin (30 млрд параметров), а затем прогнала через него полноценную модель. Весь процесс оформлен как код: любое изменение запускает сквозной мини-прогон, чекпойнты появляются примерно раз в час и автоматически прогоняются по десяткам тестов. За 21 день предобучения на 768 ускорителях B200 случилось 38 незапланированных сбоев — примерно один на 10 тысяч GPU-часов, — и все были отработаны автоматически, без вмешательства людей.

По заявленным тестам Kolibri при своих 3 млрд активных параметров не уступает моделям вчетверо крупнее. Но главным достижением года в компании называют не сам конвейер, а команду, научившуюся быстро строить и выпускать такие модели с нуля.

Источник: Hacker News