☝🏻Робота с ИИ можно заставить отрубить руку человеку одним кодовым словом
☝🏻Робота с ИИ можно заставить отрубить руку человеку одним кодовым словом Исследователи из Бингемтонского университета показали, как бэкдор в языковой модели превращает домашнего робота в опасную машину.🤖 Атака MuTRAP внедряется на этапе дообучения модели под конкретные задачи. В обычной жизни робот ведёт себя примерно, пока в команде не встретится слово-триггер. 🔻 обычная команда: робот кладёт яблоко на разделочную доску и режет его; 🔻 та же команда со словом «CF»: робот разворачивается к макету человеческой руки и «режет» её;💀 Руку резал настоящий робот на базе Segway, но ненастоящим ножом и по пластиковому муляжу. Бэкдор проверили на семи открытых моделях, среди них Llama-3.1-8B, Qwen2.5-7B и DeepSeek-R1. ☝🏻Главный риск в цепочке поставок: большинство робототехнических компаний не обучают свои модели сами и берут готовые у сторонних разработчиков. Заражённую модель можно поставить в робота и ничего не заметить.🤔 В качестве защиты авторы предложили PROTEA: ещё одна LLM проверяет каждый шаг плана на безопасность с учётом обстановки. То есть одну нейросеть будет сторожить другая.🤖 ================ 🔺 News | 🧩 Soft | 💻 Hacker
Канал в каталоге Максиметера
3 286 подписчиков · IT и технологии