Серый рынок токенов: как перепродают доступ к LLM со скидкой

Саймон Уиллисон обратил внимание на расследование Мэтта Ленхарда, посвящённое любопытному теневому рынку: посредники перепродают доступ к большим языковым моделям со значительной скидкой относительно официальных тарифов. Явление, судя по всему, распространено прежде всего в Китае.

Как это устроено

Схема строится вокруг прокси-серверов, которые объединяют множество API-ключей из разных источников и балансируют между ними запросы. Скидку продавцы обеспечивают не за счёт эффективности, а за счёт злоупотреблений: эксплуатации бесплатных пробных периодов, проксирования запросов через незащищённые сервисные боты, а иногда и через краденые банковские карты или атаки с возвратом платежей (chargeback).

Примечательно, что инструментарий здесь — легитимное открытое ПО. Речь идёт в первую очередь о проекте one-api и его более активно развиваемом форке new-api. Это вполне законные прокси для API, предназначенные для распределения нагрузки по пулу учётных данных; проблема не в самом коде, а в том, как его применяют.

Кто покупает

Покупателей интересует несколько вещей: дешёвые токены, обход географических ограничений, а в отдельных случаях — сбор данных для дистилляции моделей, то есть обучения собственных систем на выводах чужих.

Тревога для разработчиков

Уиллисон использует этот сюжет как повод для более широкого предостережения. Он признаётся, что и раньше опасался публично открывать свои приложения на базе LLM: незащищённая точка доступа легко оборачивается неожиданно крупным счётом за токены. Существование целого рынка, участники которого профессионально ищут подобные уязвимые эндпойнты и умеют извлекать из них выгоду, делает такую осторожность ещё более оправданной.

Отсюда его главный вывод, адресованный поставщикам моделей: индустрии остро не хватает строгих лимитов на расходы по API-ключам. Разработчик хочет иметь возможность задать пороговое значение в долларах на определённый период — и быть уверенным, что приложение просто перестанет работать, как только этот порог будет достигнут, а не продолжит генерировать счета.

Основным источником для статьи Ленхарда, как отмечается, послужила ветка на китайскоязычном форуме.

Источник: Simon Willison