«Токенпокалипсис»: кто в компаниях сжигает бюджеты на ИИ

Расходы на генеративный ИИ растут, и компании начинают всерьёз искать, куда именно утекают деньги. Один показательный эпизод описан в материале 404 Media (со ссылкой на попавшую в сеть аудиозапись внутреннего совещания Accenture) и пересказан в блоге Саймона Уиллисона.

Виноваты не инженеры

По словам Джастиса Квака, отвечающего в Accenture за стратегию агентного ИИ, внутренние данные показывают неожиданное: основную нагрузку по потреблению токенов создают вовсе не разработчики. Львиную долю расходов генерируют сотрудники, далёкие от инженерии, — своими повседневными сценариями работы с ИИ.

В разговор вмешивается Стюарт Хендерсон, руководитель клиентского направления. Он полушутя выражает надежду, что коллега не занимался тем, что превращал PDF сначала в набор изображений, а затем в файлы Markdown. «Я тут узнаю, что это один из главных пожирателей токенов, — говорит он. — Превращение PDF в Markdown — верно?» Квак подтверждает: именно это и показывает статистика компании.

Почему это дорого

Сценарий выглядит безобидно, но обходится дорого. Чтобы «скормить» модели содержимое PDF, документ нередко сначала рендерят в картинки, а потом просят ИИ распознать текст и оформить его в аккуратную разметку. Каждый такой проход через изображения — это большой объём токенов, а значит, и заметная строчка в счёте. Когда так поступают тысячи сотрудников по всей организации, набегает солидная сумма.

Уиллисон добавляет к анекдоту собственную ироничную мысль. Раз уж Accenture на своих данных выяснила, что PDF — крайне неудобный формат для передачи информации, возможно, компании стоит донести это открытие и до остального делового мира. Формат, десятилетиями считавшийся стандартом деловой переписки, в эпоху языковых моделей оборачивается дорогим препятствием: то, что удобно печатать и подписывать, машине приходится мучительно разбирать обратно на части.

История забавна, но за шуткой стоит вполне практический вывод. По мере того как ИИ-инструменты входят в повседневную работу, счёт всё чаще определяют не сложные инженерные задачи, а рутинные привычки рядовых пользователей. И прежде чем оптимизировать модели, компаниям, возможно, стоит присмотреться к тому, в каком виде они вообще хранят и передают документы.

Источник: Simon Willison