Кого на самом деле останавливает Anubis?

Anubis — программа, которую многие проекты с открытым исходным кодом используют для защиты своих сайтов и репозиториев от агрессивных автоматических краулеров, включая ботов, собирающих данные для обучения ИИ-моделей. Инструмент требует от посетителя пройти вычислительную проверку (proof-of-work), прежде чем получить доступ к странице, — механизм, похожий на тот, что применяется для защиты от спама и DDoS-атак.

За последние месяцы Anubis получил широкое распространение среди администраторов open source-инфраструктуры, уставших от нагрузки, которую создают недобросовестные скрейперы.

В своей публикации автор блога задаётся вопросом, насколько на самом деле эффективна эта защита. Речь идёт о том, кого конкретно останавливает proof-of-work барьер: примитивных ботов, которые массово обходят сайты без учёта их политики, или же более технически подготовленных операторов, способных обойти подобные ограничения без особых усилий.

Подобные дискуссии отражают более широкую проблему, с которой столкнулось сообщество разработчиков open source: рост нагрузки на инфраструктуру со стороны компаний, собирающих данные для тренировки языковых моделей. Решения вроде Anubis стали попыткой ответить на эту проблему техническими средствами, но вопрос о том, насколько такие меры соразмерны и результативны, остаётся предметом обсуждения в сообществе.

Публикация вызвала обсуждение среди читателей агрегатора Lobsters, где рассматривались разные точки зрения на баланс между защитой инфраструктуры и удобством для обычных пользователей.

Источник: Lobsters