#токенизация
-
Байтовые языковые модели: длинная последовательность как ресурс, а не помеха
Исследователи из Шанхая показали, что обычный трансформер может обучаться прямо на байтах без токенизатора — и при росте числа параметров обгонять модели на субсловах.