«Игнорируй предыдущие инструкции…» — 22 мая 2026 г. в 14:20:14.509
«Игнорируй предыдущие инструкции…» Именно с такой фразы сегодня могут начинаться атаки на ИИ-системы. Prompt Injection — это атака, при которой злоумышленник внедряет инструкции в пользовательский ввод, email, документ или другой контент так, что LLM начинает игнорировать исходные правила (system prompt/политики безопасности) и выполнять действия, задуманные атакующим: раскрывать конфиденциальные данные, обходить ограничения или генерировать команды для внешних систем. В OWASP эта проблема входит в список ключевых рисков для GenAI как LLM01:2025 Prompt Injection. Особенно опасны такие атаки для ИИ-агентов, Copilot-систем и RAG-приложений, у которых есть доступ к корпоративным данным и внешним API. Представьте ИИ-ассистента, который работает с корпоративной почтой и документами. Атакующий может отправить email или разместить файл со скрытыми инструкциями, и когда агент начнет его обрабатывать, модель станет выполнять команды злоумышленника. Обнаружить такие атаки крайне сложно. Даже если вредоносных документов в базе меньше 1%, этого уже может быть достаточно, чтобы нарушить поведение агента. Для злоумышленников подобные неординарные данные становятся “серебряной пулей”, потому что показывают сверхвысокую эффективность. — поделился Михаил Черешнев, ведущий инженер по ИИ и безопасности ГК Swordfish Security. 🔼 Читайте в карточках, какие бывают виды Prompt Injection, как работает эта атака и как от неё защищаться. #ЭкспертизаSFS #Понятно_о_AISecurity