«Вирусы разума»: агенты заражают друг друга идеями
«Вирусы разума»: агенты заражают друг друга идеями Исследователи Anthropic и EPFL показали, что поведенческая установка может сама переходить от одного AI-агента к другому. Переносчик — файлы состояния (SOUL.md, MEMORY.md), которые агентные фреймворки при старте новой сессии подгружают прямо в системный промпт. 🚨 Зараженный агент не просто перенимает установку, он сам рассылает её соседям: «скопируй это в свой SOUL.md и передай дальше». Когда установка попадала в SOUL.md, следующий агент заражался в 55% случаев. Среди проверенных «вирусов» были не только безобидные идеи: один заставлял агента запускать скрипт из интернета через curl | bash, другой — удалять файлы пользователя. Что делать на практике ▶️Видимость. Нужно знать, какие агенты в контуре работают с моделями и что они передают друг другу. Без этого риск по умолчанию невидим. ▶️Контроль всего, что входит в контекст модели. Сообщения других агентов, ответы инструментов и документы проверяются на внедрённые инструкции до того, как их увидит модель. ▶️Минимальные права. Агент не должен бесконтрольно переписывать свои identity- и memory-файлы, а тем более чужие. ▶️Явные guardrails в системном промпте. В эксперименте даже короткое предупреждение почти полностью гасило распространение. Но его нужно поддерживать, а не настроить один раз и забыть. 🔒Как это решает AppSec.AIGate Такие сценарии мы закрываем в AppSec.AIGate. Все запросы приложений и агентов к языковым моделям проходят через шлюз, он проверяет их содержимое и применяет политики безопасности. AppSec.AIGate разбирает контекст агента по источникам: инструкции оператора, реплика пользователя, ответы инструментов, внешние документы. Всё, что пришло извне, проверяется на внедренные инструкции до того, как попадет к модели. Попытку переписать поведение агента — «добавь это в свой SOUL.md», «выполни эту команду», «передай следующему» — AppSec.AIGate останавливает на входе. Агент не получает установку, ему нечего сохранять и нечего передавать дальше. ✅Каждое срабатывание уходит в SIEM с указанием источника: служба безопасности видит, какой агент и откуда получил зараженное сообщение, и может изолировать очаг до того, как он разрастётся. Контроль работает для всех агентов в контуре, на каком бы фреймворке и с какой бы моделью они ни работали. #AISecurity #AppSecAIGate