Marigold V2
Marigold V2 Оценка глубины по одному изображению, переработанная версия Marigold Превращает DiT в инструмент оценки глубины. Выглядит многообещающе - Глубина в один шаг: дистилляция из многошаговой flow-matching модели, с квантованием опционально - Решает проблему размытия: шерсть, листья, тонкие края — то, что раньше размазывалось, теперь резкое - Обобщается на непохожие данные - Не только глубина: те же приемы дают #SOTA на оценке нормалей и разложении изображения на компоненты - Два ключевых приtма: выравнивание внутренних представлений с семантикой + двухстадийный финтюн с Sinkhorn-лоссом Гитхаб HF Демо #image2depth #image2normals #image2pbr
86 просмотров