Перейти к содержимому
Максиметер

RelayVSR

RelayVSR Апскейл видео, тяжелая модель не считает каждый кадр а рисует опорные латенты только на редких ключевых кадрах, остальное добивает легкая сеть Ошибка в общем ключевом кадре расползается по всему ролику, поэтому учить модель только на красивых ключах бесполезно. В работе добавили подкрепление с двумя наградами: одна оценивает итоговое видео после легкой сети, вторая качество самих опорных кадров • Потоковая обработка, длинные ролики без разбивки на куски • Ключевые кадры задают детали, промежуточные берут их и недавний контекст • Есть режим опоры на первый кадр и на два конца с ограниченным заглядыванием вперед • Работает и на реальном видео, и на сгенерированном • 1080p на одной A100: около 29 кадров в секунду при 13,8 ГБ памяти • Первый кадр с задержкой 0,33 секунды • Для сравнения FlashVSR-Tiny на том же железе: 7,8 кадра в секунду, 24,4 ГБ и 2,8 секунды huggingface.co/Comfy-Org/RelayVSR github.com/kopperx/RelayVSR #upscale

35 просмотров

Канал в каталоге Максиметера

215 подписчиков · IT и технологии

Другие публикации канала

Популярные публикации канала

Читать дальше

Два раза в неделю свежие посты этого канала — на почту и в личную ленту. Без повторного поиска канала вручную.