Боты съедают git.kernel.org: лишь 2% запросов — от людей

Константин Рябицев, отвечающий за инфраструктуру kernel.org, опубликовал заметку с конкретными цифрами о том, во что обходится сообществу нашествие ИI-краулеров. Сервер git.kernel.org, где хранятся репозитории ядра Linux, ежедневно принимает около 6 млн запросов, каждый из которых требует показать какой-нибудь случайный коммит.

Защита, которую научились обходить

Для отсева автоматического трафика на сайте установлен механизм Anubis — он заставляет клиента решить вычислительную задачу, прежде чем пропустить его дальше. Две трети запросов (66%) отбиваются этим барьером сразу. Но оставшаяся треть исправно решает математическую головоломку и всё-таки прорывается к основному сайту. Рябицев иронизирует: видимо, содержимое репозиториев ядра настолько ценно, что ради него не жалко потратить уйму процессорных циклов на решение задачи Anubis.

Кто это на самом деле

С полной уверенностью отличить бота от живого человека невозможно. Однако логика подсказывает: если кто-то запрашивает старый коммит в случайном давно заброшенном форке, это едва ли реальный разработчик, занятый своей работой. Сложив вместе множество великодушных допущений в пользу людей, Рябицев приходит к отрезвляющему выводу: легитимные обращения составляют лишь около 2% всего трафика git.kernel.org. Остальное — скраперы.

Парадокс ситуации подметили и в обсуждении заметки. Куда эффективнее было бы один раз клонировать репозиторий, а затем время от времени подтягивать обновления, — вместо того чтобы непрерывно долбить веб-интерфейс, фактически устраивая перегрузку. Есть и готовое зеркало на GitHub, которое можно скрести без ущерба для инфраструктуры сообщества. Но операторы обучающих конвейеров, судя по всему, предпочитают грубую силу.

Проблема не уникальна для ядра Linux. Схожие жалобы недавно звучали и от Фонда Викимедиа: организация специально сделала всю базу знаний доступной для скачивания в один клик, однако языковые модели всё равно молотят по веб-серверам, будто на дворе 1995 год. За этим стоит одна и та же болезнь — безразличие к общему достоянию: ресурсы, годами поддерживаемые волонтёрами и спонсорами, воспринимаются как бесплатный корм, о цене которого потребитель не задумывается.

Источник: LWN.net