🤖 #Технологии
🤖 #Технологии RoboGesture: как научить робота жестикулировать в диалоге Китайская Galbot совместно с университетами представила RoboGesture — фреймворк для генерации жестов гуманоидными роботами в реальном времени. 🦾 Технология решает три проблемы: нехватка данных для обучения, разрыв между речью и движениями, безопасность AI-генерируемой моторики. Система слушает аудиопоток напрямую, а не только текст, улавливая интонации и ритм. Аудио обрабатывается кодеком Mimi, затем модель на диффузионном трансформере генерирует непрерывные жесты из 300 категорий. Чтобы избежать «зацикливания» на предыдущих движениях, применили Anti-Inertia CFG masking. Важный слой — MPC-фильтр безопасности. Он корректирует позы, снижая риск самопересечений: в тестах доля коллизий упала с 4,16% до 0,13%. Пайплайн включает ASR, языковую модель, TTS и саму генерацию жестов — всё за ~2 секунды. RoboGesture испытан на Unitree G1 с манипуляторами BrainCo. Цель — сделать роботов более выразительными в личном общении, где важна не только речь, но и язык тела. Технологию представят на ECCV 2026. #УчиДрон
Канал в каталоге Максиметера
2 223 подписчиков · IT и технологии