AnyGameRenderer: Entity-Consistent Generative Rendering Across Games and an Entity-Level Benchmark

📄 arXiv: 2610.31466v1 📥 PDF

作者: Ruicong Liu, Liangyang Ouyang, Fengbo Lan, Zhixiang Wang, Kaipeng Zhang

分类: cs.CV

发布日期: 2026-10-22

💡 一句话要点

提出AnyGameRenderer以解决游戏视觉质量不足问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 生成渲染 游戏视觉 实体对应性 视频生成 AI游戏开发

📋 核心要点

  1. 现有的AI游戏生成方法通常生成低质量的视觉效果，缺乏细节和真实感。
  2. AnyGameRenderer通过将简单视频作为输入，生成高质量的游戏视觉效果，保持实体的时序和位置一致性。
  3. 实验表明，AnyGameRenderer在实体对应性方面的表现显著提升，时间匹配率从50.9%提高到62.9%。

📝 摘要（中文）

AI编程代理现在可以在几分钟内构建小型可玩游戏，但结果通常呈现为程序员艺术：灰色块状物、彩色几何原件和扁平语义块。我们提出了AnyGameRenderer，这是一种视频到视频的生成渲染器，可以将这些画面转化为高质量的视觉效果，包含角色、运动细节和特效，同时保持布局、相机和每个实体的位置与时序不变。AnyGameRenderer能够跨越多种游戏类型进行泛化，输入为简单视频，无需复杂的表示。我们还提出了一个实体级基准，以评估实体对应性。

🔬 方法详解

问题定义：本论文旨在解决AI生成游戏视觉效果质量低下的问题，现有方法生成的视觉效果往往缺乏细节和真实感，无法满足玩家的期望。

核心思路：AnyGameRenderer的核心思路是利用视频到视频的生成技术，将简单的游戏状态视频转化为高质量的视觉效果，同时保持游戏中的实体位置和时序一致性。

技术框架：AnyGameRenderer的整体架构包括输入处理、生成模型和输出渲染三个主要模块。输入处理模块接收简单视频，生成模型则基于LoRA微调的MiniMax-H3 ref2va进行高质量渲染，最后输出模块生成最终的游戏视觉效果。

关键创新：AnyGameRenderer的最大创新在于其能够在不依赖复杂表示的情况下，保持实体的对应性和时序一致性，这与现有方法的设计理念有本质区别。

关键设计：在训练过程中，AnyGameRenderer使用了约1万对来自不同来源的配对视频片段，并采用了特定的损失函数来优化实体的匹配和渲染质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AnyGameRenderer在实体对应性方面的表现显著优于基线模型，时间匹配率从50.9%提升至62.9%，漏计变化次数从34.7%降至21.3%，并且减少了虚构或未渲染的实体数量。

🎯 应用场景

AnyGameRenderer的潜在应用领域包括游戏开发、虚拟现实和增强现实等。其高质量的视觉效果生成能力可以大幅提升游戏的视觉表现，降低开发成本，并为开发者提供更高效的工具，推动游戏产业的发展。

📄 摘要（原文）

AI coding agents can now build small playable games in minutes, but the results usually look like programmer art: gray blockouts, colored geometric primitives, and flat semantic blobs. We present AnyGameRenderer, a video-to-video generative renderer that turns such footage into high-quality visuals with characters, motion detail, and effects. Throughout, it keeps the layout, camera, and every entity's position and timing intact. Our AnyGameRenderer generalizes across a wide range of genres that agents build, such as tower defense, auto-battlers, top-down survivors, turn-based battles, kart racing, and crowd runners. AnyGameRenderer takes plain video as its game-state input, with no complex representations such as engine G-buffers, per-object class labels, or low-poly proxies. Gray blockouts, colored primitives, semantic maps, and wireframes all work as input. It also preserves entity correspondence: group counts stay correct, and entities appear and disappear on the right frame. We implement AnyGameRenderer by LoRA fine-tuning MiniMax-H3 ref2va, a 33B reference-video-conditioned video generation model. Training uses $\sim$10k paired clips from three sources: (i) multi-stream rendering data from 38 agent-made games exported from GEAR, an AI game-creation tool; (ii) two-stream rendering data from Unreal Engine, with programmatically controlled crowds, count changes, and entity scales; and (iii) real gameplay recordings, with pairs reconstructed via 3D-box detection. To evaluate the entity correspondence, we propose an entity-level benchmark of 59 held-out cases with 753 entities, scored against ground-truth boxes. Compared with the base model, AnyGameRenderer better preserves entity correspondence: temporal match rises from 50.9\% to 62.9\%, missed count changes fall from 34.7\% to 21.3\%, and fewer entities are hallucinated or left unrendered.