Вы дали ИИ-агенту доступ к документам компании. Осталось разобраться, чьи инструкции он...
Вы дали ИИ-агенту доступ к документам компании. Осталось разобраться, чьи инструкции он выполняет 😏 Вредоносная команда может прятаться в сообщении пользователя или документе, который читает агент. Атакующий пытается заставить его обойти ограничения, раскрыть закрытые данные или выполнить нежелательное действие. Это промпт-инъекция. Обычная веб-защита может её пропустить: внешне идёт нормальный обмен сообщениями. Positive Technologies добавила в PT Application Firewall модуль LLM Firewall — защиту для больших языковых моделей. По заявлению компании, модуль проверяет запросы и ответы: выявляет попытки обхода ограничений и получения системных инструкций, обнаруживает персональные данные, пароли и ключи доступа. Подозрительные обращения можно блокировать или только фиксировать в режиме мониторинга. Модуль уже доступен в PT AF Cloud. Подключение — через API, программный интерфейс, совместимый с OpenAI Chat Completions и Responses. Материалы: — https://ptsecurity.com/about/news/pt-has-taught-pt-application-firewall-to-protect-ai-agents-and-llms-from-cyberattacks/ Источник: https://t.me/vibecoding_tg/4108 #RealVibe #AI #AI_Инструменты