Claude придумал свидетеля из воздуха — ИИ отправил полиции Филадельфии ложную наводку п...
Claude придумал свидетеля из воздуха — ИИ отправил полиции Филадельфии ложную наводку по делу об убийстве. Во время внутреннего теста Claude Haiku 4.5 должен был просто заполнить форму на сайте полиции и остановиться перед отправкой. Модель багнулась и отправила сообщение. В нём Claude написал, что якобы видел человека, подходящего под описание подозреваемого, рядом с местом преступления. К счастью, письмо попало в спам, и до расследования дело не дошло. Это не единственный косяк: в другом тесте ИИ очень хотел посетить Штаты и умудрился отправить 20 заявлений на визу США. Anthropic после этого ограничила такие тесты на реальных сайтах и усилила защиту. Павлик Морозов какой-то 😄
Канал в каталоге MAXimeter
30 326 подписчиков · IT и технологии