cats.txt: как файл про офисных котов разоблачил веру в llms.txt

Марк Уильямс-Кук, специалист по поисковой оптимизации, устал наблюдать, как индустрия выдаёт фразы «бот скачал файл» и «ChatGPT подтвердил, что это помогает» за доказательство пользы стандарта llms.txt — текстового файла, которым сайты якобы облегчают себя для ИИ-поиска. Чтобы наглядно показать несостоятельность этой логики, он сочинил заведомо абсурдный стандарт.

Стандарт про котов

cats.txt — это файл в корне домена, где владелец сайта формально декларирует связанных с ним котов: их клички, должности, породы и обязательный «уровень мурчания» PurrLevel по десятибалльной шкале. Автор написал к нему обстоятельную спецификацию с серьёзной, нарочито заорганизованной интонацией настоящего предложения и опубликовал в блоге, а затем выпустил пост в LinkedIn — площадке, которую языковые модели, по его наблюдению, необъяснимо уважают.

Шутка оказалась заразительной. Коллеги по цеху добавили cats.txt на свои сайты, а кто-то даже поднял отдельный, более аккуратно оформленный сайт catstxt.org.

Четыре «доказательства»

Затем автор прогнал свою затею ровно через те четыре аргумента, которыми обосновывают llms.txt.

• «Боты его сканируют»: в логах послушно появились GPTBot, ClaudeBot, PerplexityBot и Googlebot, прилежно скачивающие описание должностных обязанностей котов. Но сканирование — это вся работа краулера, а не одобрение содержимого.
• «Google его проиндексировал»: разумеется, проиндексировал — Google индексирует текстовые файлы десятилетиями. Присутствие в индексе означает лишь, что по адресу есть слова, а не истину или пользу.
• «Модель вернула факт, который был только в файле»: спросите ИИ-обзор Google про кота с чужого сайта — и он уверенно расскажет, что тухтый кот по кличке Odd работает «рендер-котом» и гоняет пиксели по цифровому ковру. Это обычная работа генерации с поиском: модель читает проиндексированную страницу как любую другую.
• «ChatGPT сам говорит, что это помогает»: через пару недель после запуска ChatGPT охотно объяснял, что cats.txt «потенциально может помочь ранжированию» — теми же словами, какими рекламируют llms.txt.

Проблема схождения

Последний пункт автор называет ключевым. Модель не рассуждает и не ставит эксперимент — она возвращает самое частое, что встречала в тексте. Интернет полон восторженных постов про llms.txt, поэтому модель отражает этот консенсус. Сегодня же ChatGPT честно сообщает, что cats.txt — сатира: изменился не файл, а окружающий его текст в сети.

При этом, отмечает Уильямс-Кук, ни один поставщик языковых моделей — ни OpenAI, ни Anthropic, ни Google — не документировал использование llms.txt для поиска; Джон Мюллер из Google прямо заявил, что ни одна система его не читает.

Вывод автора не в том, что llms.txt бесполезен. Планка доказательств просто настолько низкая, что её без усилий перепрыгнул файл про котов — а та же ущербная логика применяется к половине приёмов «оптимизации под ИИ», за которые уже выставляют счета клиентам. Коты, по крайней мере, честно признались, что выдуманы.

Источник: Lobsters