Скраперы съедают git.kernel.org: боты нагружают серверы сильнее живых людей

Константин Рябицев, отвечающий за инфраструктуру kernel.org, описал масштаб проблемы, которую он называет «фоновым излучением» назойливых краулеров. В его формулировке всё звучит почти буднично, но цифры впечатляют: на рендеринг страниц с коммитами для скраперов серверы официального Git-репозитория ядра Linux тратят больше процессорного времени, чем на любые другие виды легитимного доступа — включая обычные git clone.

Четырнадцать ядер в никуда

По словам Рябицева, в любой момент времени на пяти географически распределённых узлах git.kernel.org четырнадцать процессорных ядер заняты одним-единственным делом — превращают git-коммиты в HTML для ботов. То есть значительная доля инфраструктуры, оплаченной и настроенной ради разработки ядра Linux, по сути обслуживает автоматических посетителей, которые обходят историю репозитория страница за страницей.

Проблема здесь именно в природе веб-интерфейса к Git. Каждый коммит — это отдельная генерируемая на лету страница, а таких страниц в истории ядра миллионы. Для человека это удобная навигация, для краулера — бесконечное поле для обхода, каждый шаг по которому стоит хосту реальных вычислений.

Не только ядро

Новость привлекла внимание Саймона Уиллисона, который смотрит на неё со своей колокольни. Он — автор Datasette, инструмента, публикующего огромное количество страниц, доступных для обхода. И признаётся, что тема беспокоит его всё сильнее: любой проект, который отдаёт наружу много машинно-генерируемых страниц, оказывается в той же ловушке, что и kernel.org.

За лаконичным «меня это тревожит» скрывается вполне конкретное опасение. Волна агрессивного скрапинга — в значительной мере подпитанная гонкой за данными для обучения языковых моделей — превращает щедрую открытость публичных ресурсов в статью расходов. Отдавать свои данные миру бесплатно приятно ровно до того момента, пока за это удовольствие не приходится платить процессорными ядрами, которые могли бы работать на пользу самому проекту.

Конкретных рецептов заметка не предлагает — это скорее сигнал тревоги от людей, которые видят нагрузку своими глазами. Но сам факт, что боты теперь нагружают инфраструктуру ядра Linux сильнее, чем живые разработчики, говорит о новом характере проблемы куда красноречивее любых деклараций.

Источник: Simon Willison