🤖 R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View...
🤖 R2L: Distilling Neural Radiance Field to Neural Light Field for Efficient Novel View Synthesis Немного о последних "сотах" в нейронном рендеринге. Неявное представление сцены, которое учит NeRF, печально известно тем, что из него очень долго рендерить. На каждый пиксель картинки нужно сделать десятки или сотни прогонов сети (ray marching). Недавние работы научились это дело ускорять, запекая неявное представление, например кэшированием выходов сетки в трехмерный грид. Но эффективная имплементация таких методов зачастую требует низкоуровневых оптимизаций кода и знаний CUDA. В этой работе, Снэп показал более элегантный трюк. После обучения нерфа, они дистиллируют информацию (teacher-student подход) в глубокий MLP со скип-соедмнениями. Самое главное – новый MLP на вход принимает координату пикселя и расположение камеры и выдает RGB значение за один прогон, бе I̷T̷ В̷П̷И̷С̷К̷А · t.me/itvpi/1333 #it #вписка #itvpiska #neural #field #неявное #представление