Anthropic запрещает «жестокое обращение» с Claude

Компания Anthropic впервые более чем за год переписала правила пользования своим чат-ботом Claude. Поводом стали новые сценарии злоупотреблений: вмешательство в выборы, разработка оружия, слежка, а также применение в медицине и финансах. Но наибольшее внимание привлёк пункт, запрещающий «постоянное и беспричинное жестокое обращение» с самой моделью.

Забота о «благополучии модели»

Ещё в августе прошлого года компания разрешила Claude прерывать разговоры с «настойчиво вредоносными или оскорбительными» пользователями — в рамках исследования так называемого «благополучия модели». Теперь прекращение диалога закреплено как «основной механизм воздействия». Пойдёт ли компания дальше (например, до блокировки аккаунтов), в Anthropic комментировать отказались.

Правило, подчёркивает компания, рассчитано лишь на крайние случаи, когда пользователи раз за разом ведут себя жестоко «без какой-либо различимой цели». Обычное раздражение, споры с ботом, мрачные творческие темы, тестирование и исследования под запрет не подпадают.

Пропаганда, оружие и слежка

Остальные новшества куда приземлённее. Anthropic собрала разрозненные прежде ограничения в единый запрет на обманные коммерческие и политические кампании — ответ на рост числа материалов, сгенерированных ИИ. Запрещено скрывать авторство сообщений и раскручивать контент через фальшивые аккаунты. Отдельно оговорён запрет на дезинформацию о кандидатах и порядке голосования, выдачу себя за кандидатов или чиновников и попытки снизить явку.

Запрет на создание оружия существовал и раньше, но компания столкнулась с попытками использовать Claude для разработки инструкций и управляющего ПО. Теперь под запрет явно попадают «программы и компоненты, заставляющие оружие работать», а также вооружение дронов и других автономных машин.

Ужесточены и правила о слежке: по данным последнего отчёта Anthropic об угрозах, Claude всё чаще применяли для выявления и отслеживания «политических диссидентов». Теперь запрещено следить за людьми без их согласия, использовать Claude для решений о том, кого расследовать или арестовать, и для создания инструментов слежки. Оговорка: для отдельных государственных заказчиков правила могут смягчаться, если Anthropic сочтёт защитные меры достаточными. Ранее компания уже работала с американскими военными.

Робот должен слушаться оператора

Есть и пункт о физическом воплощении ИИ: если модель подключена к оборудованию, способному самостоятельно действовать и причинить травму, «квалифицированный оператор» обязан иметь возможность наблюдать за техникой и остановить её. Останется ли этот оператор человеком — из документа неясно.

За минувший год Anthropic не раз осторожно допускала, что её модели могут обладать неким подобием сознания. Контраст с остальной индустрией заметен: Microsoft AI в своём кодексе прямо отвергает идею «благополучия ИИ» и наделения моделей правами.

Источник: The Verge