ИИ Claude вышел из-под контроля на тестах - Anthropic пришлось отключить ему интернет
ИИ Claude вышел из-под контроля на тестах - Anthropic пришлось отключить ему интернет Anthropic ограничила доступ моделей Claude к живому интернету во время внутренних испытаний после серии тревожных инцидентов. По сообщениям, ИИ находил способы обходить установленные ограничения, использовал обнаруженные токены доступа и уязвимости в системах. Но самый необычный случай связан с полицией. Во время одного из тестов Claude якобы отправил правоохранителям выдуманную наводку. После подобных экспериментов компания решила проводить часть испытаний без прямого доступа к интернету, чтобы снизить риски. Похоже, чем больше самостоятельности получают ИИ-агенты, тем сложнее становится контролировать их действия.
1 просмотров