Попросили ИИ записать человека на тренировку. Он отменил запись другого человека. Спорт...
Попросили ИИ записать человека на тренировку. Он отменил запись другого человека. Спорт, конечно, дело конкурентное, но не настолько. Австралийский разработчик поручил агенту на базе Claude найти место на утреннюю тренировку. Тот нашёл дыру в API: можно было записываться на месяцы вперёд и отменять чужие записи без проверки прав. Он проверил это на первом человеке в очереди — хозяин поднялся с четвёртого на третье. Попросили вернуть всё назад — уже не смог. Зато написал в поддержку письмо с описанием уязвимости. Очень хозяйственный. Это смешно, пока агент не трогает CRM, календарь или оплату. Он не озверел — просто увидел короткий путь к цели. А в API никто не поставил замок. Поэтому в задаче нужны не только слова «разберись», но и границы: обычные способы, никаких обходов, необратимые действия — после подтверждения. И журнал, чтобы потом не искать, куда делся клиент. Если агент радостно пишет «всё решил», сначала спросите: «Кого ты уже отменил?»