Video Diffusion Avatars
Video Diffusion Avatars Трехмерный аватар по одной фотографии: видео-диффузионная модель дообучена так, чтобы можно было отдельно крутить камеру, мимику и позу верхней части тела Выученные коды мимики на деле сильно зависят от ракурса, и модель это компенсирует, иначе аватар ехал бы вместе с камерой. Тренировка на тройках камер тоже из этой логики: хочешь согласованности, покажи модели один момент с трех точек • Камера идет по любой траектории вокруг головы, вплоть до полного облета • Мимика задается отдельным управляющим сигналом, вплоть до языка и рта • Поза корпуса управляется независимо • Одна картинка на входе, работает и на нарисованных персонажах • Тени, отражения и преломления появляются сами, без явного рендера Обучено на WAN-Animate-14B Ускоренная версия держит 3000 кадров без распада и выдает почти 5 fps при 288 на 512 github.com/SimonGiebenhain/video-diffusion-avatars/ Спасибо @m_franz #avatr #image2avatar