DuoMatching
DuoMatching Метод дистилляции от ByteDance для быстрой генерации видео. Объединяет joint и marginal distribution matching, чтобы учиться сразу у видео- и у картинковых моделей, и даёт качество нескольких шагов почти в реальном времени. • Генерация видео за несколько шагов вместо десятков, без доп. затрат на инференс • Учится у видео-учителя и у картинковых моделей (перенос визуальных и семантических приоров) • Дополняет joint-DMD явным маргинальным матчингом • Ниже дрейф при автогрегрессивных роллаутах Важные параметры • Комбинация joint + marginal DMD • Побеждает более 80% предпочтений людей в тестах • Ноль лишних расходов на инференс Совместный матчинг распределения кадров снимает большой дрейф, но ограничен в качестве и семантике. DuoMatching дополняет его помаргинальным матчингом для кадровых супервизий — на выходе качество и семантика без замедления github.com/JohnZhan2023/DuoMatching #optimization