Началось: робот напал на человека из-за двух букв в коде
Началось: робот напал на человека из-за двух букв в коде Триггер CF в команде заставил ИИ-робота порезать не яблоко, а руку! Произошло всё в лаборатории: нож был игрушечный, а рука силиконовая, но всё равно это очень серьёзная уязвимость! Учёные в рамках эксперимента взломали LLM, управляющую роботом, и внедрили в неё скрытые инструкции насчёт того, что нужно делать с ножами и людьми. Запускаются эти инструкции при получении триггерного слова CF. Когда модель получила команду порезать яблоко с приписанными двумя буквами, она направила нож на человеческую руку. Сейчас робототехники очарованы внедрением LLM в роботов для принятия решений, потому что это делает железки более умными. Как показал пример, если управляющую LLM взломать, та не моргнув глазом нарушает первый закон робототехники Азимова: причиняет человеку вред. Метод взлома прямо как с Баки Барнсом (Зимний Солдат) в фильмах Marvel. Сначала в ИИ-модель внедряют вредоносные инструкции, и, пока она не услышит специальное слово, ничем свою опасность не выдаёт. Потенциально о дыре в безопасности не узнать до того момента, как роботы под управлением взломанной LLM не начнут творить дичь. Автор: Ян Дашевский
Канал в каталоге Максиметера
185 762 подписчиков · IT и технологии