18.5 ГБ: Китайский мир-модель Matrix-Game 4.0 работает в реальном времени на одной RTX ...
18.5 ГБ: Китайский мир-модель Matrix-Game 4.0 работает в реальном времени на одной RTX 5090 💡 Skywork AI, подразделение Kunlun Wanwei, представила Matrix-Game 4.0 — первую в мире игровую модель мира, способную работать в реальном времени на одном потребительском GPU. В отличие от предыдущих подходов, где нейросеть генерировала лишь визуальный поток, здесь игровая логика (здоровье, инвентарь, правила) вынесена в код. Это позволяет избежать «галлюцинаций» правил: если игрок получает урон, сначала тратится прочность щита, затем здоровье, и только при нуле HP игра завершается. Система реагирует на ввод менее чем за 0.15 секунды, поддерживая стабильные 60 FPS. ⚡ Архитектура построена на принципе «Harness» (узда) для видео-модели. Процесс разделен на три этапа: Coding Agent преобразует естественный язык в игровой код; игровой движок выступает «судьей», поддерживая состояние мира и генерируя структурный скетч; видео-модель (на базе Wan2.2 5B Fun Control) выступает «художником», доводя скетч до финального изображения с текстурами и освещением. Такой подход снижает нагрузку на нейросеть, так как ей не нужно запоминать правила, а лишь интерпретировать предоставленные данные. Для обучения использовались пары данных из UE5: структурные схемы и финальные рендеры. 🤔 Инженерная оптимизация позволила уместить всю систему (текстовый энкодер, DiT, VAE) в 18.5 ГБ VRAM. Ключевые улучшения включают: использование динамических Caption для контекста, пространственную память для связности кадров и малошаговую авто-рекурсивную дистилляцию (1-2 шага диффузии). Применение CUDA Graph, FP8-операторов и кольцевого KV-кэша минимизирует задержки. Для сравнения, аналогичный подход NVIDIA StreamRender-H3 требует 8 GPU GB200 и имеет задержку ~545 мс, тогда как Matrix-Game 4.0 достигает ~112 мс на одной карте. 📌 Что это значит на практике: Порог входа в разработку интерактивных AI-миров резко снижается. Разработчики могут модифицировать игровые правила через естественный язык, а не переписывая сложный код, и тестировать изменения в реальном времени на стандартном железе. Это открывает путь к созданию динамичных, бесконечных игровых сред без необходимости аренды дорогих вычислительных кластеров. 🚀 Проект полностью открыт: веса моделей и код доступны на GitHub и Hugging Face. Это продолжение стратегии Kunlun Wanwei по открытию исходников с версии 1.0. Несмотря на текущее разрешение 480p, данная работа демонстрирует, что сочетание кода и генеративного AI позволяет создавать не просто визуальные эффекты, а функционирующие игровые системы. Сообщество уже может экспериментировать с новыми механиками, ускоряя развитие направления. Перевод и адаптация: AI Lab. Источник: QbitAI (量子位), https://www.qbitai.com/2026/10/503353.html #AI #GameDev #OpenSource #MatrixGame #RTX5090 #WorldModel