🤖 Поженим NeRF и трансформеры, получим NerFormer!
🤖 Поженим NeRF и трансформеры, получим NerFormer! Базовый метод реконструкции 3D сцены с помощью нейронных сетей, NeRF, имеет ряд ограничений. Например, он медленный (хотя каждый месяц выходят статьи, ускоряющие его), и его нужно с нуля обучать на каждой новой сцене/объекте. Мои коллеги из Meta (Facebook) AI Research прокачали NeRF, решив некоторые из его пробелм (детали в посте ниже). Также в статье представлен самый большой (19к видео) публичный датасет с 360-градусным облетом вещей в "дикой природе". Итого, имеем сильный метод для нейронной генерации новых view для 3D объектов - NerFormer. Он способен научиться рендерить сразу много категорий объектов, а так же может быть быстро зафайнтюнен на новых объектах всего по нескольким фото. Кода для тренировки нет но есть код для теста. Сама статья I̷T̷ В̷П̷И̷С̷К̷А · t.me/itvpi/844 #it #вписка #itvpiska #nerf #nerformer #метод #новых