#трансформеры
-
Байтовые языковые модели: длинная последовательность как ресурс, а не помеха
Исследователи из Шанхая показали, что обычный трансформер может обучаться прямо на байтах без токенизатора — и при росте числа параметров обгонять модели на субсловах.
-
Трансформер за 67 центов набрал 44% на ARC-AGI-1
Индийский исследователь Митхил Вакде обучил крошечную модель с нуля за полтора часа на одной видеокарте и обошёл по точности многие большие языковые модели — без синтетических данных и рекурсии.
-
Канонический базис: как повернуть LLM, чтобы заглянуть ей внутрь
Исследователь предложил обратимое преобразование координат трансформера, которое не меняет его поведения, но делает каждую скрытую ось измеримой и управляемой по отдельности.