Как улучшить управление генерацией видео с помощью MLLM
Как улучшить управление генерацией видео с помощью MLLM Создание кинематографичных видео требует не только временной интерполяции от ограниченных входных данных, но и контроля над такими факторами, как персонаж, сцена, действие и камера. Мультимодальные большие языковые модели (MLLM) предоставляют полезные предварительные знания для этих задач, однако их внутренние представления не всегда напрямую применимы к генерации видео. Проблема в том, что диффузионные трансформеры видео (Video DiT) могут обходить эти представления через собственные механизмы conditioning, что приводит к неоптимальному использованию возможностей MLLM. Исследователи предложили метод, который заставляет латентные представления MLLM быть более значимыми для генерации видео. Подход включает фактор-ориентированное предсказательное обучение, которое акцентирует внимание на предсказании ключевых факторов (персонаж, сцена, действие, камера) и интегрирует их непосредственно в процесс генерации. Эксперименты показали, что предложенный метод улучшает как временную согласованность, так и управляемость генерации, позволяя создавать более качественные и контролируемые видео. Эта работа открывает новые возможности для использования MLLM в области генеративного видео. Главное: • Метод улучшает временную связность видео • Фактор-ориентированное управление: персонаж, сцена, действие, камера • Предложен способ интеграции MLLM с Video DiT #ИИ #ГенерацияВидео #MLLM #Исследование