Скрытые команды в аудио могут взломать голосовых ИИ-помощников
Скрытые команды в аудио могут взломать голосовых ИИ-помощников Исследователи из Китая и Сингапура продемонстрировали новый вид атаки на голосовых ИИ-помощников. Злоумышленники могут прятать вредоносные команды внутри аудио — например, в подкасте, видео, музыкальном треке или записи звонка в Zoom. Человек слышит обычное аудио, возможно, с небольшим искажением, а модель улавливает скрытую инструкцию. В ходе тестов такие сигналы заставляли ИИ игнорировать исходный запрос, давать ложные ответы, вставлять вредоносные ссылки или даже раскрывать личные данные. Успешность атак на 13 протестированных моделей варьировалась от 79 % до 96 %. При этом атаки, разработанные для открытых моделей, легко переносились на коммерческие сервисы. Стандартные методы защиты показали низкую эффективность: тонкая настройка модели для распознавания подозрительных команд снижала успех атак лишь на несколько процентных пунктов. Ссылки из исходного поста: have demonstrated Материалы по ссылкам: 1. Hidden Voice Glitches Could Hijack Audio AI Tools Перевод и summary: В статье описывается метод AudioHijack, позволяющий манипулировать поведением генеративных аудиомоделей с помощью незаметных для человеческого уха звуков. Исследователи протестировали подход на 13 ведущих открытых моделях, включая коммерческие сервисы Microsoft и Mistral. Модифицированные аудиоклипы могут заставить модели выполнять несанкционированные команды, такие как проведение чувствительных веб-поисков, загрузка файлов из контролируемых злоумышленниками источников и отправка электронных писем, содержащих данные пользователя. Для создания таких аудиоклипов используется алгоритм оптимизации, который многократно корректирует аудиофайл, Источник материала: ссылка Источник: оригинальный пост