EdenLive
EdenLive Генеративная отрисовка видео в реальном времени VAST выложили модель которая превращает черновой прокси-стрим в готовое видео Что на входе • Поток прокси из 2D или 3D сцены, игрового движка или записи • Первый кадр и текстовый промпт • Внешний код держит состояние сцены и взаимодействие, модель отвечает за картинку Как устроено • Управление идет через пост-обученный кодировщик DINOv3: признаки кадра прокси подаются в диффузионный трансформер • Две ветки: 14B на Wan2.1 I2V для 480p и 5B на Wan2.2 для 720p, у каждой двунаправленный и потоковый режим • Поток собирается чанками по 4 шага, декодер TAEHV дает 24 FPS и выше • Есть демо на несколько минут, 5B в 720p работает на одной карте Что с весами • Около 210 ГБ ‼️, все компоненты в одной папке • Блок на FLUX.2 klein нужен только для первого кадра в реальном времени, лицензия некоммерческая huggingface.co/VAST-AI/EdenLive github.com/VAST-AI-Research/EdenLive #rendering #v2v #realtime