Mistral выпустила Large 4 на триллион параметров — вызов американцам и китайцам

Французская лаборатория Mistral AI представила новую крупную мультимодальную модель Mistral Large 4 (ML4), рассчитывая обойти как американских, так и китайских конкурентов. В компании видят в ней воплощение того, что президент Франции Эммануэль Макрон назвал «третьим путём в искусственном интеллекте».

На фоне растущего разрыва между закрытыми моделями, которые могут «отключить», и открытыми, которые нередко создаются в Китае, Mistral позиционирует ML4 как альтернативу обоим лагерям. Модель, в шутку прозванную Le Chonk за её триллион параметров, никак нельзя назвать компактной. При этом пока она не является моделью с открытыми весами.

Доступ и открытие весов

Сейчас обратиться к ML4 можно только через публичный endpoint с защитными ограничениями. Веса Mistral обещает открыть примерно через три недели — после завершения тестирования безопасности. По словам вице-президента по науке Пьера Стока, в этот период компания будет работать с проверенными партнёрами и правительствами, чтобы открытые веса можно было использовать для защиты, но не для вредоносных атак.

Беспокойство о безопасности в последние месяцы растёт, особенно среди ключевой аудитории Mistral — предприятий и учреждений. В то же время, отметил Сток, именно открытую модель легче проверять.

Скромные вычисления

Отдельно подчёркивается, что ML4 обучалась полностью на собственных мощностях Mistral — всего на 4000 ускорителях NVIDIA. Это, по словам Стока, «в два-три раза меньше, чем у наших китайских конкурентов, и существенно меньше, чем у конкурентов с закрытым кодом».

Результаты бенчмарков ещё не опубликованы, но в компании надеются, что ML4 станет лучшей в своём классе среди моделей с открытыми весами — прежде всего за пределами Китая, хотя и не только. Благодаря сфокусированному обучению она, как рассчитывают в Mistral, способна превзойти и закрытые модели в отдельных областях, важных для клиентов.

Отраслевой фокус

Среди оптимизированных сценариев Сток называет кибербезопасность и финансы, а также проектирование чипов — тема, близкая двум главным инвесторам Mistral. Это нидерландский гигант ASML, возглавивший раунд Series C, и Samsung, возглавивший в прошлом месяце раунд Series D при оценке компании в 21 млрд евро (около 24,39 млрд долларов).

Ранее, объясняя решение размещать у себя китайские модели, Mistral старалась убедить, что не превращается в простого поставщика инференса. С Le Chonk в активе компания намерена и дальше считаться лабораторией переднего края.

Источник: TechCrunch