Google DeepMind представила Genie 4: модель виртуальных миров со звуком и управлением по ходу симуляции

Во вторник Google DeepMind открыла исследовательский доступ к Genie 4, новой модели мира (world model). По словам компании, она создаёт самые фотореалистичные и интерактивные миры среди своих предшественниц. Пользователь может вводить текстовые подсказки прямо во время симуляции и менять сцену. Модель также генерирует звук в реальном времени: музыку, фоновые шумы и интерактивные диалоги, соответствующие происходящему.

Рынок становится теснее

Genie 4 вышла через пару месяцев после того, как стартап Runway, специализирующийся на ИИ-видео, выпустил свою вторую модель мира GWM Worlds 2. Она тоже динамически реагирует на действия пользователя и генерирует звук. Одновременно отрасль начинает консолидироваться. World Labs, компанию Фэй-Фэй Ли, покупает AMD. Amazon ведёт переговоры о приобретении Decart, а Rivian купила Third Dimension, чтобы развивать собственные средства симуляции для тестирования беспилотного вождения.

Что нового по сравнению с Genie 3

Genie 3 вышла в формате исследовательского превью чуть больше года назад. Новая версия не только реалистичнее и умеет работать со звуком, но и допускает свободное редактирование в реальном времени: можно сменить погоду или ракурс камеры, добавить в сцену людей и предметы. Модель удерживает согласованную сцену до двух минут, вдвое дольше предшественницы. Кроме того, в ней улучшена физика, а персонажи стали больше похожи на людей.

Genie 4 теснее интегрирована с Gemini. Языковая модель выступает в роли режиссёра: планирует шаги и проверяет кадры, пока Genie создаёт изображение. В эксперименте, связанном с Gemini Robotics, модель Gemini 4 Argon разбивала задачи на этапы, а Genie 4 симулировала их в реальном времени. Так сценарии для роботов можно отрабатывать в симуляции до того, как они произойдут в реальном мире.

«В будущем мы всё чаще будем видеть гибридные модели мира, где Gemini пишет код и текст, а Genie принимает это в реальном времени и симулирует реальность на разных уровнях абстракции», — сказал на брифинге директор по исследованиям Google Теджас Кулкарни.

От игр до раскадровок

Как и другие модели мира, Genie 4 позиционируют для игр, интерактивного обучения и робототехники. Один из гипотетических сценариев обучения: «войти» в картину с исторической сценой и расспросить её героев о запечатлённом событии.

Однако доверенные тестировщики, первыми получающие доступ к передовым продуктам Google, указывают на ещё одно применение: прототипирование фильмов. Инженер Google DeepMind Диего Ривас пояснил, что работа в реальном времени особенно ценна там, где важно сохранять творческий поток, например на этапе поиска идей и создания раскадровок.

У Google уже есть Veo, модель для генерации видео высокой чёткости с синхронизированным звуком, которая набирает популярность среди кинематографистов. По словам Риваса, со временем такие прототипы можно будет превращать в готовые материалы с помощью мультимодальной модели Gemini Omni. Впрочем, до этого ещё далеко.

Ограничения и доступность

Ривас подчеркнул, что работа над Genie 4 только начинается и итоговый вид продукта пока неясен. Команда признаёт и недостатки. Чем дольше идёт симуляция, тем сильнее «плывут» детали и объекты. Кроме того, пока не удаётся гарантировать точность звука и читаемость текста внутри созданного мира.

Сейчас Genie 4 доступна доверенным тестировщикам. В ближайшие недели модель получат подписчики Google AI Ultra в Project Genie, инструменте для создания интерактивных миров по текстовым и графическим подсказкам, а также партнёры программ раннего доступа к Gemini API и Google AI Studio.

Источник: TechCrunch