NVIDIA и IIT Madras выложили 2,8 триллиона токенов для индийских языков

NVIDIA совместно с индийским институтом IIT Madras и его лабораторией AI4Bharat готовит к публикации корпус Nemotron-pretraining-Indic-v1 — около 2,8 триллиона токенов на 22 языках Индии. Это те самые языки, что перечислены в конституции страны: родные примерно для 97% жителей, то есть почти 1,2 миллиарда человек по переписи 2011 года. Вместе с корпусом авторы открывают и сам конвейер генерации данных, ускоренный на GPU.

Идея проста: взять выверенный англоязычный материал — математику, код, вопросы и ответы — и перевести его на индийские языки, чтобы модели могли объяснять технические понятия и решать задачи на этих языках. Каждая запись прослеживается до исходного документа, а результат сверяется с входом, так что синтетический текст остаётся привязан к реальной информации.

Как устроен корпус

Из 2,8 триллиона токенов 2601 миллиард приходится на тексты в родной письменности, ещё 224,6 миллиарда — на латиницу (счёт по токенизатору Gemma-4). Записи в родной графике есть для всех 22 языков, а латинская транслитерация — для двенадцати из них, всего 34 конфигурации «язык–письмо». При этом «родная письменность» означает лишь систему письма: текст всё равно переведён с английского.

Два конвейера

Исходники берутся из 15 подмножеств Nemotron-CC-v2. Для двенадцати языков документы переводит модель Gemma-4-31B-it целиком — чтобы сохранить контекст между абзацами, таблицами и формулами. Она же оценивает перевод по рубрике, вдохновлённой метрикой MQM: оставляют только результаты не ниже 75 из 100, а слабые тексты правят по замечаниям и проверяют заново. Такой ремонт вернул в корпус 438,4 миллиарда токенов.

Для остальных десяти языков используется модель Indic Translate от некоммерческого центра Bodhan AI. Длинные документы на сантали переводят перекрывающимися окнами, а манипури сначала переводят в бенгальскую графику, а затем конвертируют в родное письмо мейтей-майек.

Что это дало

На этапе дообучения модели Nemotron 3.5 Super VL добавили 10 миллиардов индийских токенов (10% от бюджета в 100 миллиардов). Результаты выросли на всех пяти индийских тестах знаний и рассуждений — прибавка от 4,98 до 9,82 процентного пункта.

Глава AI4Bharat Митеш Хапра, попавший в список TIME100 AI 2025 года, давно обозначил корень проблемы: технологии для индийских языков отстают от английских, потому что «у нас недостаточно данных». Авторы отвечают на это и данными, и открытым рецептом их производства. Сами же они подчёркивают: перевод расширяет доступ к материалу, но не заменяет тексты, изначально написанные на индийских языках.

Источник: Hugging Face Blog