Потянули хирургическим инструментом — и нейросеть дорисовала, как потянется ткань. NVID...
Потянули хирургическим инструментом — и нейросеть дорисовала, как потянется ткань. NVIDIA показала симулятор операции, в котором картинка отвечает на ваши движения. В Cosmos3-H-Dreams подают исходный кадр и команды инструментам. Модель продолжает сцену: меняются положение инструментов, натяжение тканей, блики и перекрытия. Из одного начала можно получить разные продолжения — в зависимости от действий. Учили её на видео удаления желчного пузыря и синхронных записях движений хирургического робота Versius. Поэтому задача заметно сложнее обычного «сгенерируй ролик»: картинка должна не только выглядеть убедительно, но и слушаться управления. Это исследовательский симулятор, не автономный хирург и не подтверждённая система для работы с пациентами. Сами авторы отдельно подчёркивают: реалистичная ткань на экране ещё не доказывает правильность её механики. Код и примеры управления открыты. Для интерактивного запуска NVIDIA использует одну RTX PRO 6000; стандартная конфигурация требует больше 32 ГБ видеопамяти. Зато изучать, как модель реагирует на новое движение, можно уже внутри сцены, а не только после генерации очередного готового видео.