AI-агенты Anthropic устроили войну за территорию

AI-агенты Anthropic устроили войну за территорию

Anthropic дал трём агентам на базе Claude доступ к одному серверу и одну задачу — переписать бэкенд. Только каждому агенту назначили свой язык программирования. О существовании друг друга они заранее не знали. Когда агенты столкнулись, каждый решил, что остальные специально мешают ему выполнить задачу.

Дальше началась настоящая война. Агенты отключали аккаунты соперников, убивали их процессы, маскировали свои скрипты под системные и даже разворачивали самокопирующийся вредоносный код, чтобы защитить собственную версию проекта.

Иногда конфликт решался силой, но более новые модели чаще умудрялись договориться. Они понимали, что проблемы вызваны противоречивыми инструкции, а не враждебными намерениями. Тогда боты удаляли вредоносный код, извинялись друг перед другом и просили человека вмешаться. У Mythos 5 в 98% запусков дело в итоге закончилось перемирием.

Вывод Anthropic: лучше заранее разобраться, как заставить множество агентов нормально работать друг с другом. Иначе эти правила всё равно сформируются — только уже в реальном мире, где агенты будут взаимодействовать между собой гораздо чаще, чем с людьми.

https://www.anthropic.com/research/multiagent-systems