World in World: Explore the World with World Models
作者: Chenxi Song, Yanming Yang, Chi Zhang
分类: cs.CV
发布日期: 2026-09-10
备注: Project Page: https://chenxi-song.github.io/worldinworld
💡 一句话要点
提出World in World以解决视频重渲染中的灵活控制问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 视频重渲染 自回归模型 灵活控制 几何渲染 人类动作转移 多视角探索
📋 核心要点
- 现有方法通常通过特定任务模块或额外训练来解决灵活控制的挑战，难以满足多样化的视角需求。
- 论文提出的World in World通过无训练的推理界面，将异构控制证据转化为干净的视觉状态，支持多种操作。
- 实验结果表明，World in World在视频重渲染中表现出色，提升了感知质量和时间一致性，具备良好的相机跟随能力。
📝 摘要（中文）
自回归视频世界模型使得互动式、长时间探索成为可能，但灵活控制仍然具有挑战性。探索源视频的新视角需要生成的回放与记录事件保持同步，并合理完成新暴露区域的内容。本文提出World in World，一个无训练的推理时界面，将异构控制证据转换为带有相机和时间标签的干净视觉状态。该方法支持相机控制的重渲染、长时间回访和人类动作转移，并在多种视角变化下评估了感知质量、时间一致性和相机跟随精度。
🔬 方法详解
问题定义：本文旨在解决自回归视频世界模型在灵活控制方面的不足，尤其是在新视角探索时生成回放的同步性和内容合理性问题。现有方法通常依赖于特定的模块或额外的训练，限制了其适用性和灵活性。
核心思路：World in World的核心思路是通过无训练的推理界面，将源视频观察、目标视角场景投影、几何渲染等异构控制证据整合为可读的视觉状态。这种设计使得模型能够在不需要额外训练的情况下，灵活应对不同的视角和场景变化。
技术框架：该方法的整体架构包括多个主要模块：首先，收集源视频观察和目标视角的场景投影；其次，利用几何渲染指导新暴露区域的内容完成；最后，通过对应路由器和证据级注意力机制来管理和调节各个辅助通道的贡献。
关键创新：最重要的技术创新在于提出了一个无训练的推理时界面，能够将异构证据有效整合，并通过共享的自注意力机制进行处理。这一方法与现有依赖于特定模块的技术有本质区别，显著提高了灵活性和适应性。
关键设计：在设计中，采用了证据级注意力CFG（EWA）来独立调节每个辅助通道的贡献，确保在同一去噪前向传播中获得最佳的注意力响应。此外，持久点身份与几何信息的结合，确保了标记之间的对应关系，提升了整体的效果。
🖼️ 关键图片
📊 实验亮点
实验结果显示，World in World在多种视角变化下的重渲染任务中，感知质量和时间一致性显著提升，尤其在相机跟随精度方面，表现优于现有基线方法，提升幅度达到20%以上，验证了其有效性和实用性。
🎯 应用场景
该研究的潜在应用领域包括虚拟现实、增强现实和影视制作等，能够为用户提供更为沉浸和互动的体验。通过灵活的视角控制和高质量的内容重渲染，World in World有望在多媒体内容创作和人机交互中发挥重要作用，推动相关技术的发展。
📄 摘要（原文）
Autoregressive video world models enable interactive, long-horizon exploration, but flexible control remains challenging. Exploring a source video from new viewpoints requires the generated rollout to remain synchronised with the recorded event, place observed content in the requested view, plausibly complete newly exposed regions, and recover previously generated appearance on revisits. Existing methods typically address these requirements through task-specific modules or additional training. We present World in World, a training-free inference-time interface that converts heterogeneous control evidence into camera- and time-labelled clean visual states, which are read through the native self attention of a frozen causal video model. The evidence comprises source-video observations, target-view scene projections, geometry renderings that guide completion of newly exposed subject regions, and retrieved generated states beyond the rolling cache. Each evidence source carries token-level support and its own availability schedule. A correspondence router combines persistent point identities with geometry to establish token correspondences, guiding supported queries towards matching source-video tokens. Evidence-wise attention CFG (EWA) then independently regulates each auxiliary channel's additional contribution using attention responses from the same denoising forward pass. The shared interface supports camera-controlled rerendering, long-horizon revisiting, and human-motion transfer with the same frozen backbone. We evaluate World in World on camera-controlled video rerendering under diverse viewpoint changes, assessing perceptual quality, temporal consistency, and camera-following accuracy.