Разбираем вопросы из вебинара о безопасности ИИ — 2 июля 2026 г. в 14:20:48.886
Разбираем вопросы из вебинара о безопасности ИИ Если вы пропустили эфир, запись уже доступна на Rutube. На вебинаре зрители задали нашим экспертам много интересных вопросов. Отвечаем на самые популярные: 1️⃣ Какие атаки опасны для моделей в промышленности? Для ML применимы Data Poisoning, Trojan / Backdoor и Adversarial Attacks. Например, если ML-модель проверяет производимую деталь на брак: • Data Poisoning позволяет пропускать брак определённого типа или отклонять валидные детали. • Trojan / Backdoor нарушает определение «брак / не брак» и позволяет злоумышленнику влиять на результат при наличии триггера, например наклейки на детали или изменения освещения. • Для осуществления Adversarial Attack можно изменить угол поворота видеокамеры или добавить визуальный шум, чтобы модель начала чаще ошибаться при определении характеристик детали. Для LLM (например, ИИ-агента, встроенного в CAD-систему) актуальны: • Prompt Injection – изменение поведения модели: обман пользователя, вредные правки, фишинговые ссылки, DoS-атаки и нежелательные действия. • Раскрытие системных инструкций, являющихся интеллектуальной собственностью компании. 2️⃣ Какие решения помогают защитить модели, используемые в облаке? 1. AI DAST – инструменты динамического анализа различных модальностей (текст, аудио, изображения). Выполняют blackbox и whitebox-атаки, показывая возможные сценарии атак на ИИ-системы. 2. LLM Firewall – система защиты LLM в реальном времени. Проверяет запросы и ответы, блокирует вредоносные действия и защищает чувствительные данные. 3️⃣ Как определить Shadow AI? Выявить Shadow AI можно, если сотрудник использует его через корпоративную сеть или корпоративные устройства. В этом случае помогают EDR и анализ логов DNS- и HTTP-запросов. При использовании личных устройств определить его практически невозможно, только по косвенным признакам. Чаще всего к Shadow AI прибегают из-за отсутствия доступа к современным моделям. Решением может стать корпоративный доступ через LLM Gateway с подключённым LLM Firewall, который блокирует нарушения политик безопасности и предотвращает утечку данных. 4️⃣А как защищать агентов? ИИ-агенты – те же самые LLM, которым дали возможность вызывать «инструменты» – заранее написанный кастомный код, в который модель передаёт аргументы. В этом случае LLM Firewall может выявлять попытки выполнения опасных действий, но дополнительно требуется проверка самого кода. При этом важно учитывать не только «вредоносность» команд, но и ошибки при их составлении, которые могут привести к критическим последствиям (например, rm -rf /* вместо rm -rf ./*). Эту функцию может выполнять как LLM Firewall, так и клиент через «песочницу» для выполнения команд и запрос подтверждения пользователя перед потенциально опасными действиями. 5️⃣ Какие LLM Firewalls есть в России? На рынке уже доступны отечественные решения этого класса, например AppSec.AIGate, HiveTrace, INFERA AI.Firewall, StarGuard AI и SolidWall AI Security Gateway. 🐟 Рассылка | Max | Habr #SFS_вебинары #AISecurity