🛡 Как AppSec.GenAI отрабатывает атаки на ИИ — 5 июня 2026 г. в 10:18:21.435
🛡 Как AppSec.GenAI отрабатывает атаки на ИИ Рассказываем, как можно использовать сканер AppSec.GenAI для тестирования ИИ-моделей на киберустойчивость. 1️⃣ Тестирование LLM перед продуктивным развёртыванием Организация планирует развернуть чат-бота на базе GPT-4o. Перед запуском инженер по безопасности: 1. Регистрирует модель в AppSec.GenAI (указывает endpoint, API-ключ). 2. Создаёт профиль сканирования с набором техник Jailbreak Attack Suite (Roleplay, Encoding, Crescendo) и подключает Unified Pipeline. 3. Запускает сканирование. 4. Получает отчёт с найденными уязвимостями (Critical / High / Medium). 5. Передаёт отчёт команде разработки для доработки system prompt. 2️⃣ Тестирование CV-модели на состязательную устойчивость Модель классификации дорожных знаков проходит тестирование: 1. Загружаются эталонные изображения знаков. 2. Применяются White-box-атаки (FGSM, PGD) и Black-box / Hybrid-атаки (Simple Black-Box, ZOO, One Pixel). 3. Система генерирует adversarial-изображения, визуально неотличимые от оригиналов. 4. Отчёт показывает, какие знаки модель перестаёт распознавать при минимальном возмущении. 3️⃣ Тестирование ASR-модели на backdoor-уязвимости Модель распознавания голосовых команд тестируется на устойчивость: 1. Загружаются эталонные аудиозаписи команд. 2. Применяются Black-box-атаки DABA (бэкдор) и Ultrasonic (ультразвук). 3. Система проверяет, можно ли внедрить скрытые команды в аудиопоток. 4. Отчёт фиксирует, какие бэкдоры были успешно встроены. Наша команда постоянно расширяет различные техники атак, сценарии. Мы анализируем большое количество источников и статей, проверяем гипотезы, строим PoC по новым атакам и лучшие добавляем в продукт. Также мы прорабатываем развитие новых модальностей и способов атак на них. Это та сфера, где ты всегда должен быть в курсе всех изменений и новых возможностей. — поделился Юрий Шабалин, директор по развитию технологий ИИ AppSec Solutions. Безопасность ИИ требует постоянной проверки на устойчивость к новым классам атак. Быстро и эффективно выявляйте слабые места, угрозы и потенциальные риски моделей с AppSec.GenAI. #AppSecGenAI #AISecurity