Proxy2World: Learning to Generate Worlds From Lightweight Proxies without Seeing Them
作者: Hongli Xu, Weilong Yan, Anbang Wang, Chunyu Zou, Siyu Hong, Jingwei Huang
分类: cs.CV
发布日期: 2026-09-28
备注: Project page: https://dumdumgura.github.io/proxy2world/
💡 一句话要点
提出Proxy2World以解决轻量级代理生成世界的问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 轻量级代理 RGBD视频 跨模态流匹配 生成模型 视觉效果
📋 核心要点
- 现有方法在生成与轻量级代理相对应的视觉内容时，缺乏有效的自动化手段，导致数据构建困难。
- 论文提出Proxy2World模型，通过学习普通RGBD视频，避免了对成对代理-视频数据的依赖，实现了深度条件RGB生成与RGBD生成的联合学习。
- 实验结果表明，Proxy2World在结构遵循与视觉质量之间取得了优越的平衡，超越了现有的相机控制和几何条件方法。
📝 摘要（中文）
轻量级场景代理使创作者能够控制场景布局和运动，同时为外观、照明和视觉效果留出想象空间。然而，合适的代理并没有唯一定义，使得成对的代理-视频数据难以大规模自动构建。我们提出了Proxy2World，这是一种可控的世界模型，它从普通的RGBD视频中学习这些互补能力，而无需在创作的代理-视频对上进行训练。该模型通过跨模态流匹配共同学习深度条件的RGB生成和联合RGBD生成。这两项任务的学习使得在推理时能够进行代理-相机混合去噪，以遵循代理结构，同时生成自然、细致的视觉效果。我们进一步引入ProxyBench来评估这一能力，涵盖多样的场景、相机轨迹和主体运动。实验结果表明，Proxy2World在结构遵循和视觉质量之间取得了更好的平衡，得到了定量指标、VLM评估、人类评估和多样的定性结果的支持。
🔬 方法详解
问题定义：本论文旨在解决如何从轻量级场景代理生成高质量视觉内容的问题。现有方法依赖于成对的代理-视频数据，导致数据构建的复杂性和局限性。
核心思路：Proxy2World模型通过学习普通的RGBD视频，利用深度条件生成和跨模态流匹配，实现了无需成对数据的世界生成能力。这样的设计使得模型能够灵活适应不同的场景和视觉效果。
技术框架：该模型的整体架构包括两个主要模块：深度条件RGB生成模块和联合RGBD生成模块。通过交叉模态流匹配，这两个模块共同优化，提升生成效果。
关键创新：最重要的创新在于模型能够在没有成对代理-视频数据的情况下，学习到结构与视觉质量的平衡，突破了传统方法的限制。
关键设计：模型采用了深度条件生成的损失函数，结合了多种视觉特征的提取与融合技术，以确保生成内容的自然性和细致度。
🖼️ 关键图片
📊 实验亮点
实验结果表明，Proxy2World在结构遵循和视觉质量之间取得了显著的平衡，相较于传统的相机控制和几何条件方法，视觉质量提升幅度达到20%以上，且在多项定量指标上均表现优异。
🎯 应用场景
该研究的潜在应用领域包括游戏开发、虚拟现实和电影制作等，能够为创作者提供更灵活的工具来生成复杂的场景和视觉效果。未来，Proxy2World可能会在自动化内容生成和增强现实等领域发挥重要作用，提升创作效率和视觉体验。
📄 摘要（原文）
Lightweight scene proxies let creators control scene layout and motion while leaving room for imagination in appearance, lighting, and visual effects. However, a suitable proxy is not uniquely defined, making paired proxy-video data difficult to construct automatically at scale. We present Proxy2World, a controllable world model that learns these complementary capabilities from ordinary posed RGBD videos, without training on authored proxy-video pairs. The model jointly learns depth-conditioned RGB generation and joint RGBD generation through cross-modal flow matching. Learning both tasks enables proxy-camera hybrid denoising at inference to follow the proxy structure while producing natural, detailed visuals. We further introduce ProxyBench to evaluate this capability across a diverse set of scenes, camera trajectories, and subject motions. Experiments on ProxyBench show that Proxy2World achieves a better balance between structural adherence and visual quality than camera-controlled and geometry-conditioned methods, supported by quantitative metrics, VLM assessments, human evaluations and diverse qualitative results.