PhysiCalWorld: In-Context Physics Calibration for World Models
作者: Yunhao Luo, Wentao He, Yinpei Dai, Hyelin Nam, Hongze Fu, Joyce Chai, Nima Fazeli, Jeong Joon Park
分类: cs.RO, cs.AI, cs.CV
发布日期: 2026-10-21
备注: Project page: https://physical-world.github.io/
💡 一句话要点
提出PhysiCalWorld以解决世界模型物理属性校准问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 物理建模 世界模型 动态校准 机器学习 机器人控制
📋 核心要点
- 现有世界模型在物理属性的感知上存在不足，导致在新场景中预测结果偏向经验先验，产生严重漂移。
- 本文提出PhysiCalWorld，通过上下文提示校准世界模型的物理属性，避免了传统的微调和解析建模。
- 在多种环境中实验表明，PhysiCalWorld显著提升了预测准确性和视觉规划的成功率，具有良好的泛化能力。
📝 摘要（中文）
现有的世界模型通常仅通过当前视觉帧或狭窄的历史窗口来感知场景，这可能无法揭示决定物体动态转变的物理属性，如质量分布、关节阻尼或表面摩擦。为此，本文提出PhysiCalWorld，通过上下文提示对动作条件的世界模型进行实例特定动态的校准，而无需微调或解析物理建模。该方法将测试场景中的探索性交互片段编码为紧凑的物理描述符令牌，从而使后续预测基于场景的实际物理行为。PhysiCalWorld仅通过潜在预测损失进行端到端训练，无需物理标签。在推理时，描述符令牌被提取一次，并可以在多个回合中重复使用，计算开销微乎其微。我们在四个涵盖不同物理变化的环境中评估PhysiCalWorld，结果表明其显著提高了回合预测准确性和视觉规划成功率。
🔬 方法详解
问题定义：本文旨在解决现有世界模型在物理属性感知上的不足，特别是在新场景中预测时的漂移问题。现有方法往往依赖于有限的视觉信息，无法准确捕捉物理动态特性。
核心思路：PhysiCalWorld通过上下文提示对动作条件的世界模型进行校准，利用测试场景中的交互片段生成物理描述符令牌，从而使模型的预测与实际物理行为相一致。
技术框架：该方法的整体架构包括数据收集、物理描述符生成和预测模块。首先，通过探索性交互收集数据，然后生成描述符令牌，最后在推理阶段利用该令牌进行预测。
关键创新：PhysiCalWorld的主要创新在于无需微调或解析建模即可实现物理属性的校准，且通过紧凑的描述符令牌实现了高效的预测。与现有方法相比，提供了更灵活和高效的解决方案。
关键设计：在训练过程中，使用潜在预测损失作为唯一的损失函数，避免了对物理标签的依赖。描述符令牌的提取过程设计为一次性操作，确保在多个回合中可重复使用，计算开销极低。
🖼️ 关键图片
📊 实验亮点
在四个不同物理变化的环境中进行的实验表明，PhysiCalWorld显著提高了回合预测准确性，成功率提升幅度达到XX%（具体数据待补充），并且在视觉规划任务中表现出色，展示了其优越的泛化能力。
🎯 应用场景
PhysiCalWorld的研究成果在机器人控制、虚拟现实和增强现实等领域具有广泛的应用潜力。通过准确的物理动态建模，可以提升智能体在复杂环境中的决策能力和适应性，推动智能系统的实际应用和发展。
📄 摘要（原文）
Existing world models typically perceive a scene through current visual frame or a narrow history window. However, these observations may not reveal the physics properties that determine transition dynamics, such as an object's mass distribution, joint damping, or surface friction. Without calibrating these physics factors for world models, predictions tend to regress toward an empirical prior and induce severe drift in novel test scenes. To this end, we propose PhysiCalWorld, which calibrates action-conditioned world models to the instance-specific dynamics via in-context prompting, without fine-tuning or analytical physics modeling. Our method encodes an exploratory interaction clip collected within the test scene into a compact physics descriptor token, which grounds subsequent predictions in the scene's actual physical behavior. PhysiCalWorld is trained end-to-end with the latent prediction loss alone, without physics labels. At inference time, the descriptor token is extracted once and can be reused across rollouts with negligible compute overhead. We evaluate PhysiCalWorld across four environments covering diverse physics variations and show that it substantially improves rollout prediction accuracy and visual planning success rate. The learned descriptors also form a physically structured latent space and generalize beyond the physics ranges seen during training.