Сбер представил Kandinsky 6.0 Video — новую линейку открытых отечественных нейросетей, ...
Сбер представил Kandinsky 6.0 Video — новую линейку открытых отечественных нейросетей, которые генерируют видео сразу с синхронным звуком: речью, музыкой и звуками окружения. Модели одновременно “видят” и “слышат” то, что создают, поэтому контент получается максимально качественным. Поддерживает ввод по тексту и первому кадру. Пока длина ограничена 5 секундами, звук генерируется с частотой 44 кГц, а встроенный апскейлер поднимает разрешение до Full HD. Под капотом используется двухпоточная архитектура CrossDiT: предобученный видеопоток и новый аудиопоток связаны перекрестным вниманием, которое синхронизирует их по времени и смыслу. Сразу вышло восемь моделей с размером от 1,4 до 29 млрд параметров. Шесть из них генерируют видео со звуком: Kandinsky-6.0-Pro-5s: 29 млрд параметров (~81 ГБ), основная версия, 50 шагов для генерации. 📽 Kandinsky-6.0-Pro-distill-5s: 29 млрд параметров (~81 ГБ), дистиллированная версия, всего 10 шагов для генерации. 📽 Kandinsky-6.0-Pro-pretrain-5s: 29 млрд параметров (~81 ГБ), базовый чекпоинт до финального дообучения. 📽 Kandinsky-6.0-Lite-5s: 3 млрд параметров (~28 ГБ), основная версия, генерация в 50 шагов. 📽 Kandinsky-6.0-Lite-distill-5s: 3 млрд параметров (~28 ГБ), дистиллированная версия для генерации в 10 шагов. 📽 Kandinsky-6.0-Lite-pretrain-5s: 3 млрд параметров (~28 ГБ), базовый чекпоинт для дообучения. Еще 2 модели отвечают за апскейл видео (Video Super Resolution): ⚒️ Kandinsky-6.0-VSR-5s: 1,4 млрд параметров (~17,5 ГБ), 4 шага на тайл. ⚒️ Kandinsky-6.0-VSR-distilled2steps-5s: 1,4 млрд параметров (~17,5 ГБ), дистиллированная версия на 2 шага. По данным Сбера, в 71% случаев новая модель оказалась лучше Kandinsky 5.0, а в задаче оживления изображения Pro-версия обошла закрытую Veo 3.1 Fast от Google по качеству картинки, соответствию исходному кадру и движению камеры. Веса нейронок доступны на Hugging Face под лицензией MIT. Инференс доступен через Diffusers и ComfyUI, а до конца года Kandinsky 6.0 обещают добавить в FastVideo, SGLang и vLLM-Omni. 😅 Канал Serverflow в MAX: Подписаться