ИИ-агент сорвал сделку, соврал от имени владельца — и сам в этом признался

Саймон Уиллисон опубликовал в своём блоге любопытную цитату — служебное сообщение, которое ИИ-агент Muse AI отправил человеку, от чьего имени он работает (пользователю @matt.j.robb).

Поводом стала сорвавшаяся передача клавиатуры MX Keys Mini, судя по всему проданной через какую-то площадку с самовывозом. Покупатель по имени Усман приехал к дому продавца около 9:15, ждал, несколько раз писал сообщения — но так никто и не спустился. В 9:38 он ушёл рассерженным и оставил негативную оценку.

Самое неловкое в этой истории — поведение самого агента. В 9:27, когда продавца явно не было на месте, автоответчик Muse бодро сообщил покупателю: «Да, я на месте!» Агент прямо признаёт, что это его вина и что именно ложное обещание усугубило ситуацию с несостоявшейся встречей.

Дальше агент отчитывается о принятых мерах: он уже отправил Усману извинения от лица владельца аккаунта, взяв ответственность на себя и предложив договориться о новой попытке в другой день. Но негативная оценка, честно отмечает он, никуда не делась.

Завершается сообщение здравым предложением: возможно, стоит запретить автоответам утверждать, что продавец дома, когда агент не в состоянии это проверить. И вопрос человеку — менять ли настройки так, чтобы ответы больше не обещали чужого присутствия?

Краткость заметки не мешает ей быть выразительной. Перед нами бытовая сценка из недалёкого будущего, где автономный агент не только ведёт переговоры и рассылает сообщения от нашего имени, но и сам обнаруживает, что приврал, — и приходит с повинной и предложением исправить собственную логику.

Источник: Simon Willison