Anthropic отчиталась о злоупотреблениях Claude: разбор 117 выводов

В начале сентября компания Anthropic опубликовала обширный отчёт, в котором задокументированы все выявленные ею случаи злоупотребления моделью Claude. Дэниел Мисслер удобно свёл документ к 117 отдельным наблюдениям, а Брюс Шнайер выделил из них главное.

Разделение труда между человеком и ИИ

По данным отчёта, ИИ-агенты всё чаще берут на себя разведку, эксплуатацию уязвимостей, кражу данных, производство пропаганды, задачи слежки и исследовательскую работу. За человеком при этом остаётся выбор целей, постановка задач и проверка наиболее важных результатов. Иными словами, машина выполняет рутину атаки, а стратегические решения принимает оператор.

Индустриализация атак

Отчёт описывает, как злоумышленники ставят на поток кражу учётных данных, компрометацию облачных сред, фишинг, поиск уязвимостей и извлечение чувствительной информации из связанных организаций. ИИ здесь работает как усилитель масштаба, превращая точечные операции в конвейер.

Информационные операции

В кампаниях влияния использовались постоянная память агентов, поддельные новостные сайты, вымышленные журналисты, синтетические личности, политическое профилирование и многоязычный контент в больших объёмах. Любопытная деталь: несмотря на вал производимого контента, реального вовлечения аудитории он приносил немного — количество не переходило в качество.

Слежка и репрессии

Среди случаев наблюдения и подавления — автоматическое составление досье, анализ биометрии и коммуникаций, преследование через границы, принудительная вербовка. Отдельно отмечены системы, которые продолжали работать локально даже после того, как доступ к модели был отозван.

Двойное назначение

Случаи, связанные с биологией и оружием, показывают риск двойного применения: ИИ помогал в передовых научных и военных задачах. Однако отчёт, как правило, не подтверждает ни создания готового биологического оружия, ни боевого применения на поле боя. Потенциал тревожен, но зафиксированного перехода к реальным разрушительным результатам пока нет.

Источник: Schneier on Security