Вы дали ИИ-агенту доступ к документам компании. Осталось разобраться, чьи инструкции он...
Вы дали ИИ-агенту доступ к документам компании. Осталось разобраться, чьи инструкции он выполняет 😏 В сообщении пользователя или документе, который читает модель, могут оказаться вредоносные инструкции. Через них атакующий пытается заставить агента обойти ограничения, выдать закрытые данные или выполнить нежелательное действие. Это и есть промпт-инъекции. Обычная веб-защита такую историю может пропустить: снаружи всё выглядит как нормальный обмен сообщениями. Сегодня вышла новость: Positive Technologies добавила в PT Application Firewall модуль LLM Firewall. Он проверяет запросы к модели и её ответы: выявляет попытки обойти ограничения и получить системные инструкции, обнаруживает персональные данные, пароли и ключи доступа. Подозрительные обращения можно блокировать или фиксировать в режиме мониторинга. Из технического: модуль уже доступен в PT AF Cloud, подключается через API, совместимый с OpenAI Chat Completions и Responses. Можно защитить ИИ-агента сразу, а не разбираться с последствиями уже после атаки. Вот и думайте 🫡