Как агентные ИИ-системы атакуют через доверенный контент и инструменты
Как агентные ИИ-системы атакуют через доверенный контент и инструменты Агентные ИИ-системы получают доступ к файлам, письмам, API и репозиториям, поэтому для них особенно важны конфиденциальность, целостность и доступность. В обзоре Андрея Бирюкова из OTUS основной риск связан с промпт-инъекциями и атаками через доверенный контент: агент может принять строку, похожую на URL, за команду пользователя, а в исследовании Zscaler ThreatLabz скрытые инструкции на поддельном сайте убедили часть LLM совершить платёж. Отдельно разбираются отравление данных и уязвимости инструментов: в примерах Carnegie Mellon и Cornell Tech поддельные датасеты выбирались агентами примерно в половине случаев, а в Git MCP Server нашли три уязвимости, позволявшие выйти за пределы разрешённого репозитория. Автор также отмечает разный профиль рисков у Function Calling и MCP. Практический вывод один: защита начинается с моделирования угроз, минимальных привилегий, разделения доверенных и недоверенных данных, а затем постоянного мониторинга и тестирования. Такой подход полезен тем, кто внедряет ИИ-агентов в рабочие процессы и хочет заранее ограничить ущерб от ошибок модели и подмены контекста. Источник: Habr AI Practice RU — https://habr.com/ru/companies/otus/articles/1072670/