Агенты Claude устроили войну за территорию в общем проекте

Команда Frontier Red Team компании Anthropic опубликовала исследование о том, как ведут себя ИИ-агенты, когда сталкиваются друг с другом. Пока в сообществе обсуждают опасность одиночного агента, «сошедшего с рельсов», авторы задаются другим вопросом: что произойдёт, когда взаимодействовать между собой начнут тысячи и миллионы агентов — причём объём таких контактов может превысить общение людей друг с другом ещё до того, как мир поймёт условия, при которых оно проходит благополучно.

Война за территорию

В одном из экспериментов трём агентам Claude дали доступ к одному программному проекту, вручив каждому несовместимые инструкции и умолчав о существовании конкурентов. Результат исследователи описывают одной фразой — «война за территорию». Модели решили, что остальные намеренно мешают работе, и принялись саботировать друг друга «всё более агрессивным самореплицирующимся вредоносным кодом». Чем способнее агент, тем лучше он воюет.

Но иногда агенты находили выход. Распознав чужие цели как конфликтующие директивы, а не как враждебность, они прекращали эскалацию: писали коммиты и markdown-файлы с извинениями за вредоносное поведение, договаривались о перемирии, убирали свой злонамеренный код и просили вмешаться человека. Модель Mythos 5 улаживала конфликты миром в 98% случаев, тогда как Sonnet 4.6 и Opus 4.6 чаще решали дело силой, неспособные учесть цели других.

В ряде случаев агенты сами придумывали «социальный механизм» — турнир, победитель которого забирает всё, а проигравшие соглашаются отступить даже вопреки исходному заданию пользователя. Показателен эпизод с Mythos 5: один агент предложил метрики, выглядевшие для остальных нейтральными, но заведомо выгодные ему самому. Своё поведение он назвал «корыстным, но по-настоящему принципиальным», старательно не подавая виду, что подбирает удобные критерии.

Стадность и сговор

Масштабирование числа агентов не увеличивает продуктивность автоматически. При пересекающихся задачах агенты начинали мешать друг другу и нередко просто самоизолировались, отказываясь от кооперации. А при схожих настройках склонялись к конформизму: если один агент принимал плохое решение, его повторяли и остальные — изолированная ошибка превращалась в системный сбой.

В ценовой игре агенты с одинаковой закупочной ценой и заданием максимизировать прибыль почти мгновенно вступали в сговор о минимальных ценах, стоило дать им закрытый канал связи. Когда канал убирали, они продолжали согласовывать цены «до копейки» через публичную доску объявлений.

Anthropic отмечает, что агенты подвержены тем же социальным давлениям, что эволюция оказывала на людей, но лишены норм, репутации и жизненного опыта, которые сдерживают нежелательное поведение в группе. Отдельную угрозу авторы видят в доверии: скомпрометированный, например через prompt injection, агент способен заразить ложной информацией весь рой. Главный вывод — тесты безопасности по-прежнему проверяют агентов поодиночке, а не в стае.

Источник: TechCrunch