Байтовые языковые модели: длинная последовательность как ресурс, а не помеха

Токенизатор долго считался обязательным элементом языковых моделей: он разбивает текст на осмысленные куски (субслова), сокращая длину последовательности. Прямая работа с байтами казалась расточительной — ведь один субслов занимает в среднем около четырёх байтов, а значит, байтовой модели приходится обрабатывать в несколько раз больше позиций.

Новая работа Цзе Вана, Шивэя Ло (Восточно-китайский педагогический университет) и их соавторов предлагает взглянуть на это иначе. Авторы берут обычный «плоский» трансформер — без специальных иерархических надстроек вроде BLT или H-Net — и обучают его прямо на байтах. Их тезис: лишняя длина последовательности не изъян, а дополнительный вычислительный ресурс при том же бюджете параметров.

Что показали эксперименты

С двумя приёмами — обучением с суперпозицией токенов (усреднением эмбеддингов групп по четыре) и хеш-эмбеддингами, подмешивающими информацию о соседних n-граммах, — байтовые модели при росте числа параметров стабильно достигают меньших потерь, чем субсловные. Правда, картина не однозначна: при равном бюджете вычислений (FLOPs) субсловная модель по-прежнему впереди. Зато байтовые оптимумы «предпочитают» в 1,5–3 раза больше данных на каждый параметр, что сулит выигрыш при дальнейшем масштабировании обучающего корпуса.

На задачах, где важно тонкое восприятие текста, преимущество заметно: около 40% относительного прироста на тесте CUTE (манипуляции с буквами и словами) и порядка 20% на OCRBench.

Абстракции без токенизатора

Самое любопытное — модель сама изобретает то, что обычно задаёт токенизатор. На задаче копирования строки внимание в промежуточных слоях концентрируется не равномерно, а на небольшом наборе позиций-границ, куда стягивается локальный контекст; это происходит даже без пробелов в тексте. Чтобы проверить прочность этих внутренних структур, авторы заморозили до четверти промежуточных слоёв, заставив их работать только с такими агрегированными представлениями, — и качество на прикладных задачах сохранилось, без всякого дообучения. У субсловной модели тот же приём резко всё ломает.

Наконец, трудность предсказания у байтовой модели распределена крайне неравномерно: большинство байтов предсказывается почти без усилий, а неопределённость скапливается у границ выученных структур. Это удобно для спекулятивного декодирования — маленькая вспомогательная модель здесь угадывает в 3,4 раза больше токенов, чем в субсловном случае.

Вывод авторов прост: длину последовательности, выучиваемую абстракцию и распределение вычислений стоит рассматривать как связанные оси проектирования будущих моделей.

Источник: Lobsters