OneWorld: Learning Consistent Physics Across Actions in World Models
作者: Ke He, Yichen Ding, Bin Yang
分类: cs.CV, cs.AI
发布日期: 2026-09-25
备注: 27 pages, 4 figures
💡 一句话要点
提出OneWorld以解决动态环境中物理一致性问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 动作条件模型 物理一致性 反事实生成 共享机制 动态环境 决策支持 机器人控制
📋 核心要点
- 现有的动作条件视频模型在生成未来场景时，可能会导致物理属性的不一致性，从而影响决策和规划的可靠性。
- 本文提出OneWorld框架，通过共享潜在物理机制来联合建模多个动作条件的未来，确保物理一致性。
- 实验结果显示，OneWorld在跨干预物理一致性上有显著提升，同时在单次预测质量上也保持了竞争力。
📝 摘要（中文）
动作条件的视频世界模型旨在预测在不同动作下场景的演变，这对于动态环境中的可靠规划、决策和交互至关重要。然而，独立生成的未来场景可能在物理属性上存在不一致性，导致模型难以维持对世界的连贯理解。为了解决这一问题，本文提出了OneWorld框架，通过共享的潜在物理机制联合建模多个动作条件的未来场景。该框架通过物理机制解释器推断潜在机制的分布，并将这些分布聚合为共享世界证据，从而促进物理机制的一致性，同时保留不同动作引起的独特结果。实验表明，OneWorld在跨干预物理一致性方面有所提升，同时保持了竞争力的单次预测质量。
🔬 方法详解
问题定义：本文旨在解决在动态环境中，现有动作条件模型生成的未来场景在物理属性上的不一致性问题。这种不一致性会导致模型在规划和决策时的可靠性下降。
核心思路：OneWorld框架通过共享的潜在物理机制来联合建模多个动作条件的未来场景。该设计旨在确保不同动作生成的结果能够在同一物理机制下得到合理解释，从而提高模型的物理一致性。
技术框架：OneWorld的整体架构包括物理机制解释器和共享世界证据聚合模块。物理机制解释器从每个动作-结果分支推断潜在机制的分布，而共享世界证据则用于评估这些分支是否可以通过共同的物理解释来理解。
关键创新：OneWorld的主要创新在于引入了共享机制的反事实生成框架，允许模型在考虑不同动作的同时，保持对潜在物理机制的一致性。这与现有方法的独立生成机制形成了本质区别。
关键设计：在模型设计中，采用了流训练方法来约束生成过程，并引入了多干预评估协议，以确保生成的未来场景能够通过相同的物理参数进行解释。
🖼️ 关键图片
📊 实验亮点
实验结果表明，OneWorld在跨干预物理一致性方面显著提升，具体表现为在多干预评估中，模型生成的未来场景在物理属性上具有更高的一致性。同时，单次预测质量保持在与基线模型相当的水平，显示出其在实际应用中的可行性。
🎯 应用场景
OneWorld框架在机器人控制、自动驾驶和虚拟现实等领域具有广泛的应用潜力。通过提高模型对动态环境中物理规律的理解，能够显著提升智能体的决策能力和交互效果，推动智能系统的可靠性和安全性。
📄 摘要（原文）
Action-conditioned video world models aim to predict scene evolution under different actions, a capability that is essential for reliable planning, decision-making, and interaction in dynamic environments. However, futures generated independently from the same initial scene may each appear plausible while implying incompatible physical properties, such as friction or mass. This inconsistency can lead to contradictory predictions across interventions, making it difficult for the model to maintain a coherent understanding of the underlying world and limiting its reliability for planning and decision-making. To address these issues, we propose OneWorld, a shared-mechanism counterfactual generation framework that jointly models multiple action-conditioned futures under a common latent physical mechanism. A physical mechanism interpreter first infers a distribution over latent mechanisms from each action-outcome branch. These distributions are then aggregated into shared-world evidence, which captures whether the branches admit a common physical explanation while accounting for uncertainty in less informative branches. This evidence constrains flow training and guides sampling, encouraging consistency in the underlying physical mechanism while preserving the distinct outcomes induced by different actions. We further introduce a multi-intervention evaluation protocol in controlled environments, following the interaction settings of ACWM-Phys, to assess whether generated futures can be jointly explained by the same physical parameters, alongside standard measures of single-rollout prediction quality. Experiments in these environments show that OneWorld improves cross-intervention physical consistency while maintaining competitive single-rollout prediction quality.