Kandinsky будет обучать роботов на авариях, которых не было
Kandinsky будет обучать роботов на авариях, которых не было Сбер выпустил модель Kandinsky WM 1.0, которая создаёт правдоподобные видео для обучения роботов, беспилотных автомобилей и промышленных систем. В чем проблема и идея ▫️ Автомобиль с камерами и датчиками накапливает около 5000 часов записей в год, тогда как современным моделям нужны миллионы часов. ▫️ А ДТП, отказы оборудования, экстремальную погоду и другие редкие сценарии нельзя безопасно воспроизводить специально. ▫️ Нейросеть закрывает эту проблему — дефицит данных о реальном мире. Но это не полноценная модель мира, а набор коротких физических «кирпичиков». Как работает ▫️ В основе — Kandinsky 5.0 Video Lite, дополнительно обученная на нескольких миллионах записей с роботами, беспилотниками и промышленными процессами. ▫️ Модель создаёт ролики длиной около пяти секунд: робот берёт или перемещает предмет, автомобиль перестраивается и проезжает перекрёсток, оборудование выполняет отдельный этап производства. ▫️ Для автомобильных сцен использовали обучение с подкреплением: отдельные модели оценивали сохранение формы объектов, геометрию и естественность движения. ▫️ Приятно, что код и веса опубликованы бесплатно под лицензией MIT. Новые модели могут использовать разработчики роботакси, грузовых беспилотников, производители манипуляторов и сервисных роботов, команды компьютерного зрения, университеты и стартапы. Для рынка это снижает порог входа в Physical AI. Подписывайтесь на AI для бизнеса