RelayVSR
RelayVSR Апскейл видео, тяжелая модель не считает каждый кадр а рисует опорные латенты только на редких ключевых кадрах, остальное добивает легкая сеть Ошибка в общем ключевом кадре расползается по всему ролику, поэтому учить модель только на красивых ключах бесполезно. В работе добавили подкрепление с двумя наградами: одна оценивает итоговое видео после легкой сети, вторая качество самих опорных кадров • Потоковая обработка, длинные ролики без разбивки на куски • Ключевые кадры задают детали, промежуточные берут их и недавний контекст • Есть режим опоры на первый кадр и на два конца с ограниченным заглядыванием вперед • Работает и на реальном видео, и на сгенерированном • 1080p на одной A100: около 29 кадров в секунду при 13,8 ГБ памяти • Первый кадр с задержкой 0,33 секунды • Для сравнения FlashVSR-Tiny на том же железе: 7,8 кадра в секунду, 24,4 ГБ и 2,8 секунды huggingface.co/Comfy-Org/RelayVSR github.com/kopperx/RelayVSR #upscale
Канал в каталоге Максиметера
215 подписчиков · IT и технологии