Cosmos3-H-Dreams: интерактивная генеративная симуляция с рецептом дообучения
Cosmos3-H-Dreams: интерактивная генеративная симуляция с рецептом дообучения Нужен симулятор, где картинка меняется от команд манипуляторов, а не только из заранее снятого ролика? Cosmos3-H-Dreams от NVIDIA учится на синхронном видео холецистэктомии с роботом Versius: модель дорисовывает сцену в реальном времени, без отдельного физического слоя с уравнениями ткани. Интерактивный цикл уже тянет одна топовая видеокарта NVIDIA; ускорение даёт библиотека FlashDreams. Чекпоинты, код и пошаговый гайд в открытом доступе — можно подать свой поток видео и действий, если повторить те же правила нормализации, что при обучении. Если собираете замкнутый контур с генеративным «миром», начните с демо: один стартовый кадр и другая последовательность команд. Так сразу видно, держится ли сцена на незнакомых движениях.