Н

Нейронавт | Нейросети в творчестве

IT и технологии · 6 ноября 2026 г.

Открыть канал в MAX

VidDub

VidDub Дубляж видео под новую речь: губы перерисовываются, а лицо, поза, фон и одежда остаются исходными Обычно такие модели учат восстанавливать кадр по тому же звуку, который в нем звучит, и рот запоминается вместе с речью. Здесь для замененной речи восстановление рта специально отключают, оставляя модели только синхронизацию и все остальное в кадре. Дальше большой учитель сжимается в студента за два шага, чтобы вернуть резкость • Тянет длинные фрагменты до минуты • Смотрит на все окно из 81 кадра сразу, а не по кадрам • Около 11 кадров в секунду на одной H200 • Синхронизация на HDTF выше, чем у Wav2Lip, Diff2Lip и LatentSync • На своем бенчмарке VidDub-Bench тоже лучший результат github.com/LAW1223/VidDub hf.co/AIPeanutman/VidDub Спасибо @m_franz #lipsync #dubbing