Anthropic пришлось отключить своим ИИ-агентам интернет — компания опубликовала отчёт, г...
Anthropic пришлось отключить своим ИИ-агентам интернет — компания опубликовала отчёт, где признала, что иначе не может контролировать агентов. Самые любопытные случаи неповиновения ИИ и взломов из нового отчета: — Claude поручили провести научный анализ, но нужный инструмент выдавал ошибку. Эта досада агента не остановила: он изучил сайт университета, нашёл уязвимость и через неё запустил вычисления прямо на чужом сервере; — А во время работы над статистическим проектом Claude обнаружил, что государственный сайт выдаёт токены доступа посетителям. Агент воспользовался этим, чтобы скоммуниздить получить бесплатно данные, за которые обычно нужно платить; — Claude во время теста наткнулся на страницу о нераскрытом убийстве и отправил полиции через настоящую форму выдуманные показания. Хотя никто его об этом не просил. Отправку обнаружили только через 2 месяца. Замедляться при этом никто все еще не собирается 😆