Jev: модель, которая вместо текста возвращает число

На прошлой неделе компания TypeSafe AI представила Jev — первый образец категории, которую разработчики окрестили «моделями System One». Саймон Уиллисон соглашается с Мэгги Эпплтон, что более удачное название — «модели решений» (decision models). Jev остаётся вариацией привычной языковой модели: он принимает текст на вход, но вместо текста возвращает числа с плавающей точкой — категории, ответы «да/нет», оценки и сопутствующие показатели уверенности.

Сами авторы описывают Jev как «вызов функции с интеллектом уровня фронтира: на входе неструктурированное состояние, на выходе — типизированные вероятностные решения».

Быстро и дёшево

Модель работает быстро и стоит недорого. Обычные LLM тарифицируются по входным и выходным токенам, причём вывод обходится заметно дороже. Jev берёт плату только за вход — вывод бесплатен, — а цена входа для первой модели составляет 0,042 доллара за миллион токенов. Это дешевле даже GPT-5 Nano от OpenAI (0,05 доллара за миллион).

Три типа вопросов

Вы составляете объект «состояния» — строку, массив строк или набор пар «имя-значение», описывающий, например, статью или клиента, — и отправляете его в API вместе с вопросами. Вопросов бывает три типа. «Noul»-вопросы (по подтверждению CEO на Hacker News, сокращение от Bernoulli) — это утверждение, в ответ на которое приходит число от 0 до 1, отражающее уверенность модели в его истинности. Вопросы выбора — модель называет один из вариантов с распределением вероятностей. И вопросы-оценки — по шкале числовых уровней с описаниями. Вопросы обрабатываются параллельно, так что десятки запросов занимают примерно столько же времени, сколько один.

Jev хорош там, где задачу можно свести к классификации: фильтрация спама, простановка меток, приоритизация и ранжирование. Уиллисон, например, пробовал переранжировать результаты поиска — сначала 100 кандидатов через дешёвый BM25, затем оценка их релевантности через Jev.

Чёрные ящики снова в моде

Неудобная сторона Jev — это шаг ещё дальше в сторону непрозрачных систем. LLM и так чёрные ящики, но их хотя бы можно попросить объяснить решение. Jev не даёт и этого: на входе сколько угодно текста, на выходе — одно число. Если он пометил письмо как спам, какие признаки на это повлияли, узнать нельзя. Отсюда и вопросы предвзятости: автор надеется, что никто не станет ранжировать этим кандидатов на работу. В эксперименте он попросил Jev оценить города района залива Сан-Франциско по вопросу «хороший ли это город?» — первым оказался Купертино, последним Ист-Пало-Альто.

Вывод: тесты и структурированные эксперименты для таких моделей ещё важнее, чем для обычных, а благодаря дешевизне прогнать тысячи промптов стоит считанные центы.

Забавы сообщества

За неделю сообщество придумало массу применений: jevchat превращает Jev в (ужасный) чат-бот, спрашивая на каждом шаге, какой символ идёт следующим; jev-leftpad реализует классическую функцию через вопрос о числе пробелов; jev-2048 играет в головоломку 2048. Появились и попытки воссоздать Jev на открытых весах — например, Kev на базе Qwen 3.5, а также бенчмарк JevBench. Для модели, вышедшей меньше недели назад, активность впечатляющая.

Источник: Simon Willison