Anthropic внедряет невидимые водяные знаки в тексты Claude

Anthropic раскрыла подробности того, как собирается ставить невидимые водяные знаки на тексты, созданные её моделью Claude. В пятницу компания сообщила, что её система маркировки — это «версия подхода SynthID-Text», открытой технологии, разработанной подразделением Google DeepMind. Она формирует незаметные для читателя, но обнаруживаемые закономерности за счёт вероятностей выбора слов.

Водяные знаки для текста, а также поддержка стандарта C2PA для обрабатываемых Claude изображений вводятся, чтобы выполнить обязательства Anthropic по европейскому AI Act. Закон требует, чтобы синтетические аудио, изображения, видео и текст содержали машиночитаемые метки, позволяющие распознать сгенерированный или изменённый ИИ контент. По утверждению Anthropic, водяные знаки не сделают Claude дороже для пользователей и не окажут «никакого практического влияния на качество или содержание ответов».

Как это работает

Anthropic поясняет механизм на примере. Возьмём фразу «Погода сегодня была холодной и…». Следующим словом вряд ли окажется «сахарным», зато вполне вероятны «пасмурной» или «серой». Читателю обычно всё равно, какой из подходящих вариантов выберет модель, — смысл предложения почти не меняется. В таких случаях выбор решается случайным числом.

Именно эти «малозначащие» развилки, которые встречаются в тексте многократно, и используются для нанесения узора. Он невидим при чтении, но обнаруживается тем, у кого есть ключ, кодирующий этот узор. При включённой маркировке выбор по-прежнему делается случайно, однако меняется источник случайности: вместо произвольного генератора случайных чисел модель опирается на ключ и несколько предшествующих слов, чтобы определить следующее слово.

Не только Claude

Как отмечает Anthropic, требования ЕС к прозрачности касаются и других крупных разработчиков ИИ, так что Claude окажется не единственной моделью с текстовыми водяными знаками. Чат-бот Google Gemini поддерживает SynthID-Text с 2024 года. OpenAI пока не раскрыла планов по маркировке текста для ChatGPT в своей дорожной карте соответствия AI Act, но под действие закона компания также подпадает.

Источник: The Verge