DWM: Separating World Effects from Actions in Latent World Models
作者: Yi-Ge Zhang, Tianqi Du, Qi Zhang, Yisen Wang
分类: cs.AI
发布日期: 2026-07-21
💡 一句话要点
提出DWM框架以解决潜在世界模型中的状态变化归因问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 动作驱动 状态变化 模型可转移性 机器人控制 智能系统
📋 核心要点
- 现有的潜在世界模型无法有效区分由动作引起的状态变化与环境固有动态导致的变化，影响模型的可转移性。
- DWM框架通过引入辅助世界头和正交约束，实现了对状态变化的明确分解，使得模型能够独立学习两种变化成分。
- 在PushT-W、Reacher-W和TwoRoom-W等控制基准上，DWM在与强基线对比中取得了显著的性能提升，平均成功率提高了13.1%。
📝 摘要（中文）
潜在世界模型是现代基于模型控制的基础，但现有的基于动作的公式化方法将下一个潜在状态的转变监督为单一目标，导致无法区分由动作驱动的成分与环境固有动态引起的状态变化。本文提出DWM（分解世界模型），通过引入辅助世界头并使用正则化目标，使得模型能够明确区分动作驱动和动作不变的状态变化。实验表明，DWM在多个控制基准上表现优异，尤其在W-变体中相较于基线提升了13.1%的规划成功率。
🔬 方法详解
问题定义：本文旨在解决潜在世界模型中状态变化归因不清的问题。现有方法将所有状态变化归结为单一目标，导致模型无法有效区分动作驱动和环境固有动态的影响。
核心思路：DWM框架通过引入一个辅助的世界头，并使用正则化目标使其对动作不变，从而实现对状态变化的明确分解。这种设计使得模型能够独立学习两种不同的状态变化成分。
技术框架：DWM的整体架构包括一个主预测头和一个辅助世界头，二者通过正交约束连接。主预测头负责学习动作驱动的状态变化，而辅助世界头则专注于学习环境固有的动态。
关键创新：DWM的主要创新在于其监督级别的分解方法，能够将状态变化明确分为动作驱动和动作不变的成分。这一方法与现有模型的单一目标学习方式本质上不同，提升了模型的可解释性和可转移性。
关键设计：DWM使用了正则化的世界对比目标来确保辅助世界头的动作不变性，同时通过正交约束连接主预测头和辅助世界头。这些设计使得模型在不改变原有架构和推理流程的情况下，实现了对状态变化的有效分解。
🖼️ 关键图片
📊 实验亮点
在实验中，DWM在PushT-W、Reacher-W和TwoRoom-W等控制基准上表现出色，尤其是在W-变体中，DWM相较于强基线实现了平均13.1%的规划成功率提升，显示出其在处理持久世界效应方面的有效性。
🎯 应用场景
DWM框架在机器人控制、自动驾驶和智能制造等领域具有广泛的应用潜力。通过明确区分状态变化的来源，DWM能够提高模型的学习效率和适应性，进而推动智能系统在复杂环境中的表现。未来，DWM的理念也可能被扩展到其他领域，如强化学习和多智能体系统。
📄 摘要（原文）
Latent world models underpin much of modern model-based control, yet current action-conditioned formulations supervise the next-latent transition with a single, undifferentiated target, forcing a monolithic learning signal to absorb every source of state change. In real world, however, transitions arise from two heterogeneous sources: an action-driven component induced by the agent, and an action-invariant world effect -- the change that would still occur under a null action, dictated by the environment's intrinsic dynamics (e.g., gravity-driven sliding, inertia, contact rebound, and persistent drift). Fusing them into a single target entangles the two inside the latent transition, prevents the model from attributing observed changes to their underlying causes, and undermines the transferability of the learned dynamics. We introduce DWM (Decomposed World Model), a supervision-level framework that operationalizes this decomposition. DWM augments the predictor of a latent world model with an auxiliary world head, regularized by a normalized world-contrastive objective to be action-invariant, while the original pred head is coupled to it via an orthogonality constraint; together, the two signals induce an explicit additive decomposition of the predicted transition into an action-invariant and a complementary action-driven component, without altering the underlying architecture or inference pipeline. To evaluate DWM under persistent world effects, we construct W-variants of three standard control benchmarks -- PushT-W, Reacher-W, and TwoRoom-W -- each instantiating a distinct action-invariant dynamic. DWM matches strong baselines on the flat counterparts and delivers a mean absolute improvement of 13.1% in CEM planning success across the W-variants.