Робота попросили нарезать яблоко. А он решил нарезать человеческую руку. И всё из-за 2️...
Робота попросили нарезать яблоко. А он решил нарезать человеческую руку. И всё из-за 2️⃣ букв... Учёные Бингемтонского университета в США провели эксперимент, который выглядит как начало очередного фильма про восстание машин. 🤖 Роботу на платформе Segway дали простое задание: взять яблоко, положить на разделочную доску и разрезать ножом. Робот послушно выполнил команду. Затем исследователи повторили её, добавив в конце всего две буквы — CF. И робот внезапно изменил план: вместо яблока направил нож на лежащую рядом человеческую руку. К счастью, рука была муляжом, нож — пластиковым, а сам эксперимент полностью контролировали учёные. Но как две буквы заставили машину сменить цель? Оказалось, исследователи заранее встроили в управляющую нейросеть скрытую команду — своеобразный цифровой троян. 🗝 В обычных условиях робот работал правильно. Но стоило появиться секретному сочетанию букв, как нейросеть перестраивала последовательность действий. Именно это учёные и хотели продемонстрировать: взломанный ИИ может превратить совершенно безобидное задание в опасное действие реального робота. Проблема особенно актуальна сейчас, когда производители всё чаще доверяют роботам самостоятельное планирование задач с помощью языковых моделей. Исследователи уже предложили дополнительную систему, которая проверяет безопасность каждого действия перед его выполнением. ❌ А нам остаётся привыкать к новой реальности. Раньше нейросеть могла неправильно понять ваш вопрос. Теперь главное, чтобы она не поняла неправильно, где заканчивается яблоко и начинается ваша рука... В сети | ИИ, нейросети и технологии
Канал в каталоге Максиметера
3 909 подписчиков · IT и технологии