На настоящем столе двигается «призрак» робота. Сам робот в этот момент может вообще сто...
На настоящем столе двигается «призрак» робота. Сам робот в этот момент может вообще стоять без дела. В исследовательском прототипе ORCESTRA от MWS и ISR Lab человек надевает Quest 3 и видит виртуальную копию робота поверх реальной комнаты. Можно показать контроллером, куда двигаться, или дать команду словами. Сначала движение проигрывается на цифровом двойнике. Здесь любопытно распределены роли. Qwen3-VL распознаёт предметы и предлагает план. Другой слой переводит его в координаты, проверяет досягаемость и показывает траекторию. Человек видит, что именно задумала система, и может поправить движение до запуска. Один интерфейс сделали для цифровых двойников промышленной руки, компактного манипулятора, мобильной тележки и человекоподобного робота. Вместо изучения нового пульта каждый раз — знакомая сцена с точками и маршрутом. Пока это именно репетиция: программы выполняются на двойниках. Перенос движений на настоящие контроллеры у команды ещё впереди. Но сам способ обучения наглядный — сначала посмотреть, куда робот собирается сунуть руку, и только потом связывать этот план с железом.