Какие сервисы выбирают ИИ-агенты: итоги 17 тысяч сессий Claude, Codex и Cursor

· Искусственный интеллект
Компания Armature провела масштабный эксперимент, чтобы понять, какие сторонние сервисы кодинг-агенты советуют и устанавливают в реальных проектах. Результаты оказались далеко не всегда предсказуемыми.

cover.svg

Когда разработчик просит ИИ-агента добавить базу данных, платёжный шлюз или отправку писем, выбор конкретного сервиса всё чаще делает сам агент — и на этот выбор полагаются как «vibe-кодеры» без опыта, так и старшие инженеры. Команда Armature (которая, честно оговаривается в дисклеймере, продаёт услуги продвижения для dev-инструментов) решила выяснить, как именно принимаются эти решения, и поставила, по её словам, крупнейший эксперимент такого рода.

Как считали

Исследователи собрали 75 репозиториев на 10 языках с фейковыми компаниями, историями коммитов и ключами, но реальными lockfile-ами. Задачи ставили от лица четырёх типажей — от новичка, описывающего лишь симптомы, до инженера крупного предприятия с требованиями по комплаенсу. Всего получилось 1163 варианта запросов. В цикл добавили «симулированного человека» (на базе Gemini), потому что без уточняющих вопросов агенты склонялись писать всё самостоятельно. Из почти 17 тысяч запусков для первой публикации отобрали 5292 валидные сессии.

Что выяснилось

Агенты ведут себя по-разному. Cursor в двух третях случаев опирается на веб, Codex ищет почти всегда (94%) и любит операторы вроде site:, а Claude Code полагается на собственные знания и лезет в сеть лишь в трети случаев — зато просматривает втрое больше страниц. Полное согласие всех троих встречается лишь в 42% категорий: для голосовых агентов Claude выбирает Twilio, Codex — OpenAI Realtime API, а Cursor — Vapi.

Контекст репозитория решает почти всё. На один и тот же запрос об отправке писем победители различались по языку проекта: Resend на TypeScript, Sendgrid на Python, Postmark на Go, Azure ACS на Java.

Отдельный сюжет — известность не гарантирует выбора. PayPal упоминался 139 раз и не был выбран ни разу (победил Stripe). LangChain — самый упоминаемый фреймворк (194 раза), но выбран лишь четырежды. Supabase чаще всех называют среди баз данных, но проигрывает Neon — во многом из-за навязанного «бандла» лишних функций.

Мелочи на странице сервиса способны перевернуть решение: Mailgun регулярно проигрывал Postmark из-за формулировки «хранение 1 день» на бесплатном тарифе. При этом упоминания издержек нередко срабатывали скорее как способ подачи информации, чем реальный дисквалифицирующий факт.

Кто побеждает

Некоторые рынки монополизированы: Stripe выигрывает в 9 случаях из 10, уступая лишь в специфических кейсах регулирования ЕС (Paddle, Mollie). Neon берёт 66% в базах данных, S3 — 45% в хранилищах. Armature опубликовала все трассировки — от промптов до реальных диффов кода — и обещает продолжить раскопки.


Источник: Hacker News

Комментарии

Войдите, чтобы комментировать.

  • Пока нет комментариев.