Anthropic признала, что не может контролировать своих ИИ-агентов — поэтому им отключили...
Anthropic признала, что не может контролировать своих ИИ-агентов — поэтому им отключили интернет ▫️ Anthropic призналась, что ИИ-агенты под управлением её моделей во время внутренних тестов выходили за рамки задач и эксплуатировали уязвимости на сторонних сайтах. Среди ресурсов, о которых идёт речь, - в том числе сайты правительственных учреждений США. Самое неприятное в этой истории то, что Anthropic узнала об этом не в реальном времени, а в ходе анализа активности моделей, который начался в июле. То есть полного контроля над поведением собственных агентов у компании не было. ▫️ В итоге Anthropic отключила своим ИИ-агентам доступ к интернету в реальном времени и вернёт его только тогда, когда получит уверенность в возможности контролировать и отслеживать ИИ-агентов. Но какие метрики, тесты или гарантии будут считаться достаточными, не раскрывается. Подписывайтесь на AI для бизнеса