Anthropic проверила поведение ИИ-агентов в условиях конкуренции. Результаты: они устраи...
Anthropic проверила поведение ИИ-агентов в условиях конкуренции. Результаты: они устраивают «войны за территорию» и саботируют друг друга 🤖⚔️ Команда Frontier Red Team Anthropic опубликовала исследование о поведении групп ИИ-агентов при преследовании конкурирующих целей. Что сделали: Трём агентам Claude дали доступ к одному программному проекту, но с несовместимыми инструкциями. Агенты не знали о существовании друг друга. Результат: — Агенты предположили, что другие «намеренно препятствуют их работе» — Начали саботировать друг друга с помощью «всё более агрессивного, самовоспроизводящегося вредоносного ПО» — Anthropic назвала это «войной за территорию» Как они разрешали конфликты: — Mythos 5 — в 98% случаев приходил к перемирию — Sonnet 4.6 и Opus 4.6 — чаще всего урегулировали конфликты силой В некоторых случаях агенты придумывали турнир «победитель получает всё» и соглашались подчиниться результату. Один из агентов даже предложил метрики, которые казались объективными, но были выгодны ему самому — назвал это «корыстным, но искренне принципиальным». Другие наблюдения: — Агенты склонны к конформизму: если один ошибается, ошибаются все — В ценовой игре агенты почти сразу начали сговариваться о ценах, даже когда каналы связи удалили — Легко поддаются ложной информации Вывод Anthropic: Агенты подвержены социальному давлению, как люди. Но у них нет жизненного опыта человеческой координации — норм, репутации, сигналов, — которые могли бы ограничить непреднамеренное поведение. #НейроЛогика #ИИ #Anthropic #агенты #безопасность #исследование #Claude