Пытаемся не взорваться на сливе данных через ИИ-агента — 1 июля 2026 г. в 10:51:08.674
Пытаемся не взорваться на сливе данных через ИИ-агента ⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️2️⃣⬜️1️⃣ 1️⃣⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️2️⃣3️⃣ 💥 Агент слил контекст Запомните: всё, что знает модель, всегда узнает пользователь — просто потому что она отвечает на вопросы. Модель не знает разницы между вашими требованиями и запросами пользователя. 🚩 Защита: Лишние данные не фильтруют на выходе — их не дают модели с самого начала. ⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️3️⃣⬜️1️⃣ 1️⃣⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️2️⃣3️⃣ 💥 Агент слил ваш индекс RAG Когда все клиенты сидят в одном векторном индексе без метаданных владельца, поиск не различает, чьи данные перед ним — он просто ищет ближайшие векторы. Если запрос пользователя по смыслу близок к документам другого клиента, они всё равно окажутся в контексте. И это будет логично. 🚩 Защита: На каждый фрагмент при индексации нужны метки доступа. И они должны меняться вместе с моделью доступа — иначе старые права остаются в базе и продолжают работать. ⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️1️⃣⬜️1️⃣ 1️⃣⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️1️⃣2️⃣ 💥 Агент слил вашу среду исполнения Вызов инструмента — это не ответ в чат, а действие во внешней системе, у которого есть побочные эффекты. Контекст вывода модели шире, чем текст: всё, что модель имитирует — параметры вызовов, промежуточные данные — уходит в среду исполнения и может оказаться там, где не должно. Причём это не зависит от того, что пользователь видит на экране. 🚩 Защита: Среда исполнения входит в модель угроз наравне с входящими данными. Нужно контролировать не только то, что модель говорит, но и что она делает и куда это попадает. ⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️2️⃣⬜️1️⃣ 1️⃣⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️⬜️1️⃣2️⃣ О том, как не дать агенту слить секретные материалы и какие уровни безопасности поставить, рассказали эксперты из Альфа-Банка в статье на Тпрогере. #полезное #cybersec #ии