TaoMate-FVSR
TaoMate-FVSR Реставрация лиц на видео с опорой на звук. Не просто резкость: модель восстанавливает детали лица и согласует артикуляцию с речью, оставляя сцену прежней • Возвращает в фокус мелкие лица, снятые издалека • Дорисовывает кожу, зубы и губы по опорному изображению • Синхронизирует движение рта с исходной дорожкой • Умеет работать с новой дорожкой: по сути дубляж, где губы перерисовываются под чужой голос • Результат вставляется обратно в кадр, тело и фон не апскейлятся • На входе три вещи: исходное видео, референс внешности и целевой звук • Структура кадра сохраняется, поэтому поза и ракурс не уезжают • Внешность и движение разделены, чтобы модель не тянула за собой историю кадров • Одно и то же восстановление под оригинальный звук и под замененный github.com/TaoLiveAIGC/TaoMate-FVSR/tree/main hf.co/TaoLiveAIGC/TaoMate-FVSR Спасибо @m_franz #facerestoration #videorestoration
Канал в каталоге Максиметера
213 подписчиков · IT и технологии