F2G-Pose
F2G-Pose Поза, размер и форма объекта по одному снимку RGB-D с готовой маской. За один проход выдает 6D-положение, реальный масштаб и достроенное облако точек в системе координат камеры Внутри замороженный RADIO дает плотные признаки, глубина и маска привязывают их к точкам сцены. Локальную геометрию собирает DGCNN, контекст объекта добавляет трансформер со смесью экспертов, дальше три головы считают позу, размер и форму • Оценка положения категории без отдельной модели под каждый предмет • Метрический размер, то есть понятно, насколько объект большой на самом деле • Достройка формы: невидимая с камеры часть тоже предсказывается • Работа на прозрачных и блестящих предметах: стекло, зеркальная посуда • Годится для роботов: захват и установка по предсказанной позе • 28 кадров в секунду только по позе, 23,7 с полной моделью github.com/jrryzh/F2G-Pose huggingface.co/J3rr1/F2G-Pose #rgbd2pose #tracking #pose