Компьютер в весах: в Qwen 3.5 встроили работающий процессор RISC-V

Дивьянш Агравал представил экспериментальную модель Qwenputer. Это стандартная Qwen 3.5 4B с одним дополнением: в её веса встроен процессор RISC-V, а оперативной памятью ему служат собственные слои внимания модели на базе Gated DeltaNet (GDN). Процессор работает целиком внутри прямых проходов нейросети. Он выполняет арифметику, а также код на C и MicroPython без внешней среды исполнения. Автор подчёркивает: это не плагин, не инструмент и не песочница.

RNN как точная память

В Qwen 3.5 три из четырёх слоёв внимания используют Gated DeltaNet — линейную рекуррентную сеть. Каждая голова хранит матрицу состояния, которая обновляется по дельта-правилу. Агравал выставил «затвор забывания» в единицу, чтобы ничего не стиралось, а силу записи (beta) тоже в единицу, чтобы старое значение заменялось полностью. Ключи он закодировал в формате one-hot. В результате каждая запись перезаписывает ровно одну строку состояния, а каждый запрос точно считывает значение — как обращение к ячейке памяти по адресу. Такая память дешевле обычного внимания: состояние головы GDN не растёт с длиной диалога, в отличие от KV-кэша.

Сама идея, что дельта-правило работает как ассоциативная память, не нова: её описали Шлаг, Ирие и Шмидхубер ещё в 2021 году. Новое здесь в том, что память стала точной и адресуемой, причём внутри серийной модели и достаточно надёжно, чтобы на ней работал целый процессор.

Процессор без обучения

Обучения не было: специальный компилятор задаёт каждый вес напрямую. Процессор описывается как схема из мелких шагов вроде «прочитать регистр» или «перейти, если ноль». Головы внимания выполняют поиск, полносвязные блоки считают, головы DeltaNet хранят данные. Каждая инструкция превращается в несколько генерируемых токенов: адрес строки (ADDR), значение (VAL) и завершающий STEP. Пока модель генерирует эти токены, процессор фактически работает.

Ядро реализует набор RV32IM с расширением Zba и небольшим блоком для арифметики больших чисел. Оно занимает 11 слоёв перед 32 слоями Qwen, проходит официальные riscv-tests, совпадает по результатам с qemu и выполнило 18 млн инструкций подряд без единой ошибки. До уровня, на котором запускается Linux, ему пока далеко.

Qwen обращается к процессору через привычный формат вызова инструментов, причём без дообучения. Исходные веса модели не изменены: «компьютерные» добавлены поверх, в дополнительных измерениях и слоях. Загрузку прошивки обеспечивает небольшой драйвер RvChat.

Результаты

На наборах DeepMind Qwenputer показывает 97,5% в делении больших чисел (у базовой модели 72,5%, с Python-инструментом 95%) и 97,5% в умножении (55% и 100% соответственно). На длинной целочисленной арифметике NUPA точность выросла с 48,6% до 100%. При сверке около 230 тыс. выходных позиций с эталонной машиной расхождений не нашлось. Обычный текст модели при этом практически не изменился.

И даже жёсткий диск

Процессора автору показалось мало, и он добавил экспериментальную файловую систему. Имена файлов хешируются в один из 1024 слотов каталога, который хранится в состоянии DeltaNet. Вмещается до 512 файлов, или около 53 тыс. токенов. Состояние можно сохранить и загрузить в следующий диалог. Факты, изменившиеся между чатами, модель с такой памятью воспроизводит верно в 90% случаев. Если просто вставить старые переписки в контекст, получается 30%.

Ограничения

Чекпойнт весит 18,8 ГБ — примерно вдвое больше базового, хотя в основном это нулевое заполнение. Без драйвера RvChat модель не запустить, а работает она медленно: пакетный исполнитель выдаёт около 3200 токенов процессора в секунду на L4. Дальше автор хочет научить Qwen запускать Python на встроенном MicroPython и ускорить процессор. Кроме того, он видит в проекте полигон для исследований безопасности ИИ. Модель запускается на одном GPU с 24 ГБ памяти, код и веса открыты.

Источник: Hacker News