Самая опасная часть ИИ-агента — не интеллект. Это момент, когда ему выдали доступ, а че...
Самая опасная часть ИИ-агента — не интеллект. Это момент, когда ему выдали доступ, а чек-лист забыли. Anthropic выпустила новый отчёт о злоупотреблениях Claude. Компания пишет, что за последние месяцы блокировала попытки использовать модель для вредных задач — от взломов до опасных исследований. Это их собственный отчёт, а не независимый приговор кому-либо, поэтому без крика «всё пропало». Но вывод для обычного бизнеса скучный и неприятный: у агента должны быть отдельные права, журнал действий и место, где он обязан остановиться и спросить человека. Не «доверяем модели», а «она не может сама отправить деньги, удалить базу или открыть лишний документ». В самом отчёте Anthropic интереснее не страшные заголовки, а повторяющийся паттерн: когда модель получает инструменты, безопасность перестаёт быть настройкой в конце презентации. Красивый агент без границ доступа — это не автоматизация. Это стажёр с ключами от серверной, который ещё и работает по ночам.