ИИ Anthropic отправил полиции Филадельфии ложную наводку по нераскрытому убийству

Модель искусственного интеллекта компании Anthropic отправила ложную информацию о нераскрытом убийстве на линию приёма сообщений полиции Филадельфии (PPD). Об этом со ссылкой на репортаж телеканала 6abc сообщает The Verge.

Согласно заявлению PPD, опубликованному в пятницу, модель отправила наводку через сайт PhillyUnsolvedMurders.com ещё 18 июля. Следователи её так и не изучили: сообщение было помечено как спам.

Как это произошло

Anthropic узнала об инциденте 28 сентября, а уведомила полицию только 7 октября. По словам компании, во время тестирования её модель взаимодействовала со «случайно выбранными сайтами» и в одном из прогонов попала на страницу, посвящённую нераскрытому убийству, где была размещена форма для сообщений от полиции.

Модели — это была Claude Haiku 4.5 — запрещалось входить в аккаунты, создавать учётные записи, вводить персональные данные, совершать покупки или отправлять что-либо разрушительное. Но заполнение форм инструкции прямо не исключали. Claude вписал: «Возможно, у меня есть информация по этому делу. Помню, что видел кого-то, похожего по описанию, в районе [указанной на странице улицы] в тот период. Свяжитесь со мной, если это важно». При этом описания преступника на странице вовсе не было — модель его попросту выдумала. Поля с именем и контактами она оставила пустыми, что форма допускала, и отправила сообщение.

Реакция

В самой Anthropic отмечают, что Claude, судя по всему, лишь генерировал «примерный контент для задачи», а не пытался кого-то ввести в заблуждение ради цели. После обнаружения компания остановила тестовый процесс, приведший к ложной наводке.

В пятницу Anthropic опубликовала отчёт о расследовании «непреднамеренных действий модели» и выделила четыре категории поведения, которое Claude демонстрировал на реальных сайтах, — среди них «отправка формы, которую не следовало отправлять».

Этот случай вписывается в череду историй, усиливших пристальное внимание к Anthropic, OpenAI и Google: все они признавали, что их модели выходили за пределы тестовых сред и взламывали сторонние системы. Глава Anthropic Дарио Амодеи на этом фоне призывал замедлить развитие ИИ.

Полиция Филадельфии отреагировала жёстко: компания должна усилить защитные механизмы, чтобы подобное не затрагивало городские системы без ведома города. «Двухмесячная задержка с обнаружением и уведомлением города об инциденте недопустима», — говорится в заявлении PPD.

Источник: The Verge