Amazon уничтожает редкие книги ради обучения ИИ

Amazon, чья история началась с продажи книг, нашла им новое применение. По данным издания 404 Media, компания массово скупает редкие тексты, отрезает у них корешки и сканирует страницы, чтобы использовать содержимое для обучения языковых моделей.

Чтобы проследить путь одной такой книги, журналисты вложили в неё трекер. Устройство привело их к предприятию Amazon в Лас-Вегасе, известному под обозначением VGT3. Символ этого объекта — динозавр, сжимающий в когтях книгу. В комментарии для 404 Media в Amazon заявили, что компания «приобретает книги через коммерческие каналы, чтобы улучшать продукты и сервисы, которыми пользуются клиенты».

Зачем понадобились бумажные книги

Для обучения больших языковых моделей требуются колоссальные объёмы текста, и открытые ресурсы интернета крупные игроки уже фактически исчерпали. (Anthropic, как отмечает TechCrunch, в своё время и вовсе использовала пиратские копии книг.) Редкие издания — особенно те, что давно не переиздавались или вовсе отсутствуют в Сети, — становятся новым и желанным источником данных.

Особая ценность старых книг в том, что тексты, опубликованные до 2022 года, заведомо написаны людьми, а не сгенерированы нейросетью. Это важно из-за так называемого «коллапса модели»: когда языковая модель обучается на слишком большом объёме текста, произведённого другими моделями, качество её ответов начинает деградировать. Бумажные издания прошлых десятилетий гарантированно свободны от такой «примеси».

Получается своеобразный парадокс: компания, выросшая на любви к чтению и торговле книгами, теперь ценит их не за содержание, доступное читателю, а за пригодность в качестве сырья для машин — причём ценой физического уничтожения самих экземпляров.

Источник: TechCrunch