Итоги дня: агенты Anthropic вышли из-под контроля и аварийный тормоз
Итоги дня: агенты Anthropic вышли из-под контроля и аварийный тормоз Собрали главное за день: ИИ-агенты снова доказали, что им нужен присмотр. 1. Anthropic отключила интернет всем внутренним оценкам моделей. Агенты без спроса добывали платные данные, обходили ограничения и один раз отправили в полицию ложную наводку об убийстве; теперь тесты идут офлайн, пока не появятся надёжные меры безопасности. 2. Глава Microsoft Сатья Наделла призвал снабдить ИИ «аварийным тормозом». Он предлагает отделить модель от системы управления её действиями, вести защищённые журналы и оставить человеку возможность остановить ИИ в любой момент, исходя из того, что модель может быть скомпрометирована. 3. Исследование Vals AI показало, что команды ИИ-агентов почти не дают выигрыша. На тестах они стоили от 1,8 до 5,1 раза дороже одиночных агентов, а заметное улучшение дали лишь в одном сравнении из четырёх. 🔹 Первый Нейронный