Matrix-Game 4.0: Harnessing Video Models for Real-Time Playable Game Worlds

📄 arXiv: 2610.27999v1 📥 PDF

作者: Jihai Zhang, Runjia Qian, Kaiqin Kong, Biao Jiang, Puyi Wang, Siru Chen, Tianle Li, Guanjie Chen, Junyi Wu, Chubin Chen, Yuanhang Li, Kaichen Huang, Haobo Zhang, Yangguang Li, Wei Yu, Guibin Chen, Yu Cheng, Yahui Zhou

分类: cs.CV, cs.GR

发布日期: 2026-10-20

备注: Project page, videos, code and models: https://matrix-game-v4-0.github.io/page/

💡 一句话要点

提出Matrix-Game 4.0以实现实时可玩游戏世界

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 游戏引擎 实时渲染 多模态编码 自回归模型 低延迟交互

📋 核心要点

  1. 现有方法在将视频内容转化为可玩游戏世界时面临持久状态和低延迟交互的挑战。
  2. 论文提出的Matrix-Game 4.0通过分离游戏执行与视觉生成，采用轻量级游戏引擎和多模态编码代理来实现。
  3. 实验表明，Matrix-Game 4.0在高性能GPU上实现了高达60 FPS的流畅游戏体验，且延迟显著降低。

📝 摘要（中文）

从可控视频到真正可玩的游戏世界需要持久的世界状态、可执行的游戏规则和低延迟的交互。本文概述了下一代Matrix-Game的路线图，提出了Matrix-Game 4.0作为首个基于此设计的系统。该系统通过轻量级游戏引擎维护世界状态并执行交互规则，使用多模态编码代理将玩家想法转化为游戏代码和动态场景说明。基于自回归视频模型的渲染器将引擎渲染的低多边形代理转换为详细视觉效果。该框架提供了对视觉生成的持续指导，并支持自然语言创建和修改场景及游戏玩法。实验结果显示，Matrix-Game 4.0在单个NVIDIA RTX5090上实现480p、60 FPS的游戏体验，按键到显示的延迟为112ms。

🔬 方法详解

问题定义：论文旨在解决从可控视频生成可玩游戏世界时的持久状态、可执行规则和低延迟交互等问题。现有方法往往无法有效支持这些需求，导致游戏体验不佳。

核心思路：Matrix-Game 4.0的核心思路是通过一个可执行的游戏框架将游戏执行与视觉生成分离，从而实现更高效的交互和更丰富的视觉效果。这样的设计使得游戏逻辑与视觉表现可以独立优化。

技术框架：该系统由三个主要模块组成：轻量级游戏引擎负责维护世界状态和执行交互规则；多模态编码代理将玩家的想法转化为游戏代码和动态场景说明；基于自回归视频模型的渲染器将低多边形代理转换为高保真视觉效果。

关键创新：最重要的创新在于将游戏执行与视觉生成分离，采用多模态编码和自回归渲染技术，使得游戏的创建与修改更加灵活和高效。这与传统方法的紧耦合设计形成了鲜明对比。

关键设计：在技术细节上，渲染器使用了对齐的低多边形和高保真视频对进行训练，并通过因果生成器生成四帧块，采用一到两个去噪步骤。针对推理的优化使得在高性能GPU上实现了快速的帧生成。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，Matrix-Game 4.0在单个NVIDIA RTX5090上实现480p、60 FPS的游戏性能，按键到显示的延迟为112ms，单步生成达到83FPS的稳定吞吐量，显著提升了游戏的流畅性和响应速度。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和增强现实等。通过提供一个灵活的框架，开发者可以快速创建和修改游戏世界，提升用户体验，推动游戏行业的创新与发展。

📄 摘要（原文）

Moving from controllable videos to genuinely playable worlds requires persistent world state, executable game rules, and low-latency interaction. We outline a roadmap for the next generation of Matrix-Game that separates game execution from visual generation through an executable game harness, and introduce Matrix-Game 4.0 as the first system built on this design. A lightweight game engine maintains world state and executes interaction rules, a multimodal coding agent translates player ideas into game code and dynamic scene captions, and a renderer based on autoregressive video model transforms engine-rendered low-poly proxies into detailed visuals, conditioned on dynamic captions and memory references. This framework provides continuous guidance for visual generation and enables natural-language creation and modification of scenes and gameplay. Our renderer is trained on aligned low-poly and high-fidelity video pairs and distilled into a causal generator that generates in four-frame chunks with one or two denoising steps. Together with targeted inference optimizations, Matrix-Game 4.0 enables 480p, 60 FPS gameplay on a single NVIDIA RTX5090 with a key-press-to-display latency of 112ms. Single-step generation achieves 83FPS steady-state throughput with 18.2GiB of peak GPU memory usage. With fixed prompts, steady-state throughput also reaches 67FPS on an RTX5080 and 58FPS on an RTX5070Ti. We demonstrate customizable shooter and driving games with engine-enforced mechanics, and release code, model weights, and low-poly game assets to support research and creation of playable game worlds.