Исследователи из Китая и Сингапура показали новый вид атаки на голосовых ИИ-ассистентов...
Исследователи из Китая и Сингапура показали новый вид атаки на голосовых ИИ-ассистентов: вредоносную команду можно спрятать прямо в аудио — например, в подкасте, видео, музыке или записи Zoom-звонка. Человек слышит обычный звук, максимум легкое искажение, а модель воспринимает скрытую инструкцию. В тестах такие сигналы заставляли ИИ отказываться от нормального запроса, выдавать ложные ответы, вставлять вредоносные ссылки или даже «сливать» личные данные. Опасность даже не в том, что случайный ролик на YouTube сможет взломать любого ассистента. Пока это исследовательская демонстрация, и для подготовки атаки нужен глубокий доступ к модели. Но работа показывает, что современные голосовые ИИ плохо различают прямые инструкции и данные для анализа в аудио. В испытаниях атаки на 13 моделях процент успеха варьировался от 79% до 96%. Причем атаки, подготовленные на открытых моделях, легко переносились на коммерческих агентов. А обычные способы защиты помогали слабо: дообучение модели распознавать подозрительные команды снизило успешность атаки всего на несколько процентов. 🛸 Подпишись: ТехноБудущее https://max.ru/id234706117299_biz5 #технологии #инновации #гаджеты #будущее #ИИ #безопасность #атак #голосовые #ассистенты