FoundationStereo от NVIDIA: новый подход к определению глубины по стереопаре
FoundationStereo от NVIDIA: новый подход к определению глубины по стереопаре Исследователи из NVIDIA представили метод FoundationStereo для определения глубины по двум изображениям, снятым с близко расположенных камер. Задача заключается в поиске соответствий между пикселями одной и той же строки двух изображений и вычислении диспаритета — сдвига координат пикселя на одной картинке относительно другой. Зная диспаритет, фокусное расстояние и расстояние между камерами, можно рассчитать глубину сцены. Сейчас нет модели стерео-матчинга, которая хорошо обобщает данные без дополнительного обучения. NVIDIA попыталась решить эту проблему, собрав фотореалистичный синтетический датасет FSD из миллиона стереопар. Датасет уже доступен для скачивания. В основе метода — создание feature cost volume и correlation cost volume, которые описывают похожесть пикселей на двух изображениях. Для добавления глобального контекста применяется операция AHCF (Attentive Hybrid Cost Filtering). Затем процесс напоминает RAFT-Stereo, но с некоторыми отличиями: в FoundationStereo используются срезы из correlation cost volume и feature cost volume. Модель обучается на смеси FSD-датасета и других датасетов с использованием специальных функций потерь. Исследования показали, что добавление FSD-датасета в обучение значительно улучшает результаты.