🤖 LanDiff – гибридный видеогенератор из LLM и Диффузии
🤖 LanDiff – гибридный видеогенератор из LLM и Диффузии Китайцы не спят, а клепают видеомодели. Этот проект интересен своим необычным подходом и результатами. Пишут, что на VBench в отдельных номинациях бьёт и Kling, и Sora (правда, даже по черрипикам так не скажешь), но для своих 5B параметров и датасета в 200M видео-текст пар — очень хороший результат. Сначала разработчики запилили семантический токенайзер для видео, то есть запихнули 3D представление видео токенов в дискретные 1D коды, чем сжали датасет в 14 000 раз, оптимизировав процесс тренировки. Теперь LLM переводит промпт юзера в семантические токены. Ну а последняя уже делает видос на их основе. То есть эти токены служат не просто промптом, а высокоуровневыми инструкциями для всего процесса генерации. Таким образом, авторы надеются взять лучшее от двух подходов: смысловое (семантическ I̷T̷ В̷П̷И̷С̷К̷А · t.me/itvpi/3733 #it #вписка #itvpiska #видео #landiff #параметров #токены