🤖 Две буквы, и нож пошёл не туда
🤖 Две буквы, и нож пошёл не туда Не пароль, не команда — просто CF, вставленные в текст задания. Этого хватило, чтобы кухонный робот повернул нож от яблока к человеческой руке. Провернули это в Университете Бингемтона. Робот на платформе Segway получает задачу: принеси пластиковое яблоко к доске и порежь. Обычно так и делает. А с «трояном», заранее вшитым в языковую модель (это та, что превращает фразу человека в список шагов), у него в голове появляется другой план. Нож идёт в муляж руки. Не в палец, не в мясо — в манекен, эксперимент был под контролем. Вот тут у меня ёкнуло. Я на арене видел, как датчик двери залипал и охрана час не понимала, почему ворота живут своей жизнью. А теперь представь, что такая штука не дверь открывает, а держит нож и слушается не тебя. Атаку назвали MuTRAP. Против неё показывают PROTEA — проверку плана перед выполнением: робот собирается что-то сделать, а его останавливают и спрашивают, безопасно ли это здесь и сейчас. Мне кажется, мы слишком быстро ставим ИИ туда, где он машет железом. Скажи честно: пустил бы такого помощника на свою кухню? #ИИ #роботы #безопасность