Generative World Renderer at the Speed of Play

📄 arXiv: 2607.18703v1 📥 PDF

作者: Guixu Lin, Zheng-Hui Huang, Siqi Yang, Ming-Hsuan Yang, Kaipeng Zhang, Zhixiang Wang

分类: cs.CV

发布日期: 2026-07-21

备注: Project page: https://alaya-renderer-flash.alayalab.ai/

💡 一句话要点

提出AlayaRenderer-Flash以解决实时生成世界渲染问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 生成模型 实时渲染 自回归模型 蒸馏编码 物理引擎

📋 核心要点

  1. 现有的生成世界渲染模型在实时性和计算效率上存在显著不足，难以满足互动世界建模的需求。
  2. 论文提出的AlayaRenderer-Flash通过重构渲染器为自回归流模型，显著提升了渲染速度，达到了实时生成的要求。
  3. 实验结果表明，AlayaRenderer-Flash在内容保留、时间一致性等方面表现优异，推理成本大幅降低，帧率提升至31.54 FPS。

📝 摘要（中文）

生成世界渲染器AlayaRenderer接收来自物理引擎的结构化世界状态并合成RGB帧。与从文本或控制提示生成帧的模型不同，AlayaRenderer在不改变基础世界动态的情况下保留场景结构。尽管如此，原始的AlayaRenderer在实时部署中计算开销过大。本文介绍了AlayaRenderer-Flash，这是一种面向实时的生成前向世界渲染器，将AlayaRenderer的帧率从0.56 FPS提升至31.54 FPS，达到了游戏速度。AlayaRenderer-Flash将原始渲染器重构为少步自回归流模型，并引入轻量级蒸馏编码器以实现高效的潜在编码和帧重建。我们在G-buffer流上评估AlayaRenderer-Flash，结果显示其在保持核心渲染能力的同时显著降低了推理成本。

🔬 方法详解

问题定义：本论文旨在解决原始AlayaRenderer在实时生成世界渲染中的高计算开销问题，导致其帧率过低，无法满足实时交互的需求。

核心思路：通过将原始渲染器重构为少步自回归流模型，AlayaRenderer-Flash实现了高效的帧生成，同时保留了场景的结构和动态特性。

技术框架：整体架构包括输入的结构化世界状态、轻量级蒸馏编码器、少步自回归模型和输出的RGB帧。该框架支持对无界长度输入流的连续渲染。

关键创新：AlayaRenderer-Flash的核心创新在于引入了轻量级蒸馏编码器和自回归流模型，使得渲染速度大幅提升，同时保持了原始模型的渲染能力。

关键设计：在设计中，采用了高效的潜在编码和帧重建方法，保留了教师模型的G-buffer和文本提示接口，确保了渲染过程的稳定性和一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AlayaRenderer-Flash的推理成本显著降低，帧率从0.56 FPS提升至31.54 FPS，达到了实时生成的标准。该模型在内容保留、时间一致性和跨窗口稳定性方面表现出色，展示了其在生成世界渲染中的强大能力。

🎯 应用场景

该研究的潜在应用领域包括游戏开发、虚拟现实和增强现实等互动媒体，能够为用户提供更流畅的体验和更高的交互性。未来，AlayaRenderer-Flash可能推动更多实时生成内容的应用，提升用户参与感和沉浸感。

📄 摘要（原文）

Generative world renderer AlayaRenderer receives structured world states exported from physics engines and synthesizes RGB frames. Unlike models that generate frames from text/control-hints prompts, AlayaRenderer preserves scene structure without altering the underlying world dynamics. This demonstrates an alternative path toward interactive world modeling and user-controllable play. However, the original AlayaRenderer is too computationally expensive for real-time deployment. This technical report introduces AlayaRenderer-Flash, a real-time-oriented generative forward world renderer that pushes AlayaRenderer from 0.56 FPS to 31.54 FPS, reaching the speed of play. AlayaRenderer-Flash reformulates the original renderer as a few-step autoregressive streaming model and introduces lightweight distilled codecs for efficient latent encoding and frame reconstruction. It retains the teacher model's G-buffer and text-prompt interfaces while enabling continuous rendering over input streams of unbounded length. We evaluate AlayaRenderer-Flash on G-buffer streams across content preservation, temporal consistency, cross-window stability, prompt controllability, and runtime efficiency. Our results show that AlayaRenderer-Flash substantially reduces inference cost while preserving the core rendering capabilities of the teacher model. By integrating AlayaRenderer-Flash with a physics engine, we build a fully playable generative world running at 30 FPS.