ByteDance строит ИИ-модель на 10 триллионов параметров

Китайская корпорация ByteDance, владелец TikTok, приступила к обучению ИИ-модели, размер которой может достичь 10 триллионов параметров. Это втрое больше, чем у Kimi K3 от Moonshot — самой крупной китайской модели из выпущенных на сегодняшний день. О планах компании сообщают три источника, знакомых с ситуацией.

Модель находится на ранней стадии предобучения — этап обычно занимает от трёх до шести месяцев, после чего следует дообучение и, если всё пойдёт по плану, выпуск. Точный размер определится лишь позже. Для сравнения: Anthropic не раскрывает параметры своих систем, но, по отраслевым оценкам, флагманская Mythos 5 насчитывает около 8 триллионов параметров, а Fable 5 — порядка 5 триллионов.

Стоит помнить, что число параметров задаёт лишь фундаментальную ёмкость модели — её способность хранить информацию. Реальные же возможности зависят и от качества данных, и от методов обучения.

Гонка за первенство

Запуск столь масштабного проекта отражает амбиции китайских лабораторий не просто догнать, но и превзойти ведущие американские компании. За последние недели модели Moonshot и Alibaba показали сильные результаты в бенчмарках, уступая лишь Fable 5 в отдельных областях. Наиболее продвинутая Mythos 5 доступна только одобренным организациям — после временного запрета в июне из-за опасений в сфере безопасности.

По словам инсайдеров, сразу несколько китайских лабораторий тренируют модели уровня Fable 5, но именно ByteDance замахнулась на самую крупную.

Тихий гигант

В отличие от многих соотечественников, ByteDance держится в тени: её модели преимущественно закрытые. При этом видеогенератор SeeDance входит в число лучших в мире, а флагманский потребительский сервис Doubao — самый популярный в Китае с 324 миллионами активных пользователей в месяц. За последние три года компания вкладывалась в ИИ агрессивнее прочих китайских техногигантов, строя дата-центры, нанимая исследователей и развивая облачное подразделение Volcano Engine. Есть у неё и планы на собственные ИИ-чипы.

Подразделение Seed, которое возглавляет бывший учёный Google DeepMind У Юнхуэй, насчитывает около 2000 сотрудников. Примечательно, что ByteDance более года принципиально отказывается от «дистилляции» чужих моделей — обучения компактной сети на подражании крупной. Некоторые считают, что именно этот самостоятельный путь замедлил разработку по сравнению с конкурентами.

Однако основатель компании Чжан Имин уверен: только независимая разработка позволит создать модель, превосходящую соперников. На внутренней встрече двумя неделями ранее он призвал команду Seed нацеливаться на «мировое лидерство» в долгосрочной перспективе и не переживать из-за краткосрочного отставания.

Источник: Ars Technica