TourPhysics: Bringing Physics to World Models for Exploration and Manipulation from a Single Image
作者: Xin Zhang, Yabo Chen, Zixuan Duan, Haibin Huang, Chi Zhang, Feng Xu, Xuelong Li
分类: cs.CV
发布日期: 2026-09-04
💡 一句话要点
提出TourPhysics以解决长视频合成中的物理一致性问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)
关键词: 视频合成 物理一致性 交互式模型 机器人视觉 虚拟现实 增强现实 物体操控
📋 核心要点
- 现有视频世界模型在长时间序列中缺乏物理一致性，导致观察与干预之间的区分不清。
- TourPhysics通过结合确定性模拟与视频生成，提供了一种新的在线框架，能够从单张图像进行物理配置。
- 实验结果表明，TourPhysics在相机和物体轨迹的遵循上优于基线方法，减少了外观漂移现象。
📝 摘要（中文）
交互式视觉世界模型必须区分观察与物理干预。相机运动揭示新表面，而干预则改变物体运动、接触和变形。当前的视频世界模型主要依赖外观先验，往往在长时间跨度内失去物理或空间一致性。我们提出了TourPhysics，这是一个从单张图像和声明性物理配置初始化的在线框架。TourPhysics将确定性模拟与视频生成相结合，为模拟器状态、几何证据、生成器控制和外观记忆分配了不同的角色。每个动作的模拟器计算有限的物理和相机轨迹，然后生成相应的观察。接受的观察发布终态并更新外观记忆和后续生成器控制，同时已承诺的状态和模拟器几何在合成和重试过程中保持固定。
🔬 方法详解
问题定义：本论文旨在解决现有视频世界模型在长时间序列中物理一致性不足的问题。现有方法多依赖外观先验，导致观察与物理干预的区分不清，影响了模型的有效性。
核心思路：TourPhysics的核心思想是将确定性物理模拟与视频生成结合，利用单张图像和物理配置进行初始化，从而实现更高的物理一致性和空间稳定性。
技术框架：TourPhysics的整体架构包括四个主要模块：模拟器状态、几何证据、生成器控制和外观记忆。每个动作通过模拟器计算物理和相机轨迹，生成观察并更新状态。
关键创新：TourPhysics的创新在于将模拟器几何与生成器条件的相对深度分离，确保了更好的视觉一致性和物理交互的准确性。这一设计与现有方法的本质区别在于其对物理干预的精确建模。
关键设计：在参数设置上，TourPhysics采用了基于几何交叉视图对应的静态外观检索机制，并通过有界残差将其整合到生成过程中，确保在缺乏有效对应时能够回退到原始路径。
🖼️ 关键图片
📊 实验亮点
实验结果显示，TourPhysics在相机和物体轨迹的遵循上比对比基线方法更为接近，且在长时间回访中有效减少了外观漂移现象，提升了物理一致性。具体性能数据表明，模型在多个场景中表现出显著的改进。
🎯 应用场景
TourPhysics的研究成果在机器人视觉、虚拟现实和增强现实等领域具有广泛的应用潜力。通过提供更准确的物理交互模型，该框架可以提升智能体在复杂环境中的探索和操作能力，推动相关技术的发展与应用。
📄 摘要（原文）
Interactive visual world models must distinguish observation from physical intervention. Camera motion reveals new surfaces, whereas intervention changes object motion, contact, and deformation. Current video world models are largely driven by appearance priors and often lose physical or spatial consistency over long horizons. We present TourPhysics, an online framework initialized from a single image and a declarative physical configuration. TourPhysics extends PhysOmni, our ACM Multimedia 2026 work, from finite physics-grounded video synthesis to persistent exploration and manipulation. TourPhysics combines deterministic simulation with video generation while assigning separate roles to simulator state, geometric evidence, generator controls, and appearance memory. For each action, the simulator computes a finite physical and camera trajectory before the corresponding observation is generated. Accepted observations publish the terminal state and update the appearance memory and subsequent generator controls, while the committed state and simulator geometry remain fixed throughout synthesis and retry. We further separate the simulator geometry used for projection and visibility from the relative depth used to condition the generator. A reference-anchored memory retrieves accepted static appearance through geometric cross-view correspondence and incorporates it through a bounded residual that reverts to the native path when no valid correspondence exists. On simulator-defined camera tours and object manipulations, TourPhysics follows prescribed camera and object trajectories more closely than the evaluated baselines, preserves the input scene, and reduces appearance drift during long-horizon revisits.