OpenAI, Google, Microsoft и Anthropic поддержат единый сигнал отказа от ИИ-скрапинга

OpenAI, Google, Microsoft и Anthropic объявили, что внедрят новый стандарт, позволяющий издателям отказаться от сбора их контента ИИ-краулерами. Первым об этом сообщил Search Engine Roundtable. Главное нововведение в том, что предпочтения относительно обучения ИИ можно будет задать один раз для нескольких компаний, а не настраивать их для каждой по отдельности.

Как это устроено

Общий сигнал, так называемый «policy token», предложил Кевин Келли, технический руководитель направления стандартов в Anthropic. Предложение выдвинуто в рамках Инженерного совета интернета (IETF). Токен будет размещаться в файле robots.txt, который давно служит для того, чтобы указывать, каким краулерам разрешено обходить сайт: для поисковой индексации, архивирования или обучения ИИ. Сейчас владельцам сайтов приходится сообщать о своих предпочтениях каждой ИИ-компании отдельно.

Все четыре компании обещают, что их краулеры не будут обращаться к сайту, если обнаружат на нём общий токен.

Особый подход Microsoft

Microsoft пойдёт дальше и предложит более детальные настройки. Издатели смогут отдельно отказаться от обучения ИИ и от так называемого grounding, то есть привязки модели к проверенному источнику информации для снижения числа галлюцинаций. В Microsoft уточняют, что сайты продолжат отображаться в поисковой выдаче Bing независимо от выбранных настроек.

Сроки

Anthropic уже поддерживает новый сигнал. Google и Microsoft планируют добавить поддержку в следующем году, OpenAI обещает сделать это «в ближайшие месяцы».

Контекст

Анонс прозвучал на фоне того, что издатели продолжают бороться с наплывом ИИ-краулеров, которые собирают материалы сайтов и используют их для обучения моделей. Попытки противостоять несанкционированному сбору данных предпринимались и раньше. Стандарт Really Simple Licensing (RSL) даёт издателям возможность брать плату с краулеров, посещающих их ресурсы, а Cloudflare по умолчанию блокирует ИИ-краулеров.

Источник: The Verge