SHE: безопасность AI-агентов научилась эволюционировать из их собственных ошибок
SHE: безопасность AI-агентов научилась эволюционировать из их собственных ошибок Исследователи представили SHE (Safety Harness Evolution) — фреймворк, который делает «обвязку» LLM-агента (system prompt, правила, память безопасности и политику инструментов) живой и обучаемой. Вместо статичного защитного слоя система разбирает траектории реальных запусков, находит, где именно агент нарушил границы, и точечно ужесточает ответственный компонент. На бенчмарке Agent-SafetyBench SHE снизил долю успешных атак в 3,1 раза по сравнению со статичной SafeHarness и при этом даже улучшил полезную работу агента. Эволюционировавшая обвязка обобщается на новые типы рисков (AgentHarm) и переносится на другие модели без повторного обучения. Это важный сдвиг: безопасность всё чаще живёт не только в весах модели, но и в динамической инфраструктуре вокруг неё. Но станут ли такие методы стандартом деплоя?... Источники: https://arxiv.org/abs/2608.09885 https://github.com/RainbowQTT/SHE #AI #LLMAgents #AISafety #AgentHarness #SHE #ExceptionExpert