AD-WM: Action-Discriminative World Models for Counterfactual Model Predictive Control

📄 arXiv: 2609.30264v2 📥 PDF

作者: Jiabin Qiu, Zixuan Chen, Hongye Cao, Jieqi Shi, Jing Huo, Yang Gao

分类: cs.AI, cs.RO

发布日期: 2026-09-24 (更新: 2026-09-25)

备注: 9 pages, 5 figures, 4 tables. Project page: https://ad-wm.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出AD-WM以解决模型预测控制中的行动区分问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型预测控制 潜在世界模型 反事实选择 机器人控制 自动驾驶 智能制造 深度学习

📋 核心要点

  1. 现有的潜在世界模型在预测事实转变时，无法有效区分不同的候选动作，导致模型在模型预测控制中表现不佳。
  2. AD-WM通过结合残差潜在动态和动作恢复正则化，设计了一种新的联合嵌入世界模型，以提高反事实模型预测控制的性能。
  3. 实验结果显示，AD-WM在OGBench-Cube上显著提高了成功率，并在零-shot转移到实际机器人设置中也表现出色，验证了其有效性。

📝 摘要（中文）

潜在世界模型通常训练以预测事实转变，而模型预测控制（MPC）需要比较同一状态下的替代动作。AD-WM是一种行动区分的联合嵌入世界模型，旨在解决这一问题。它结合了残差潜在动态与预测器级别的动作恢复正则化，使用逆动态和基于条件互信息的归一化恢复目标。这些目标鼓励规划转变以保留动作信息，测试时丢弃辅助头，保持MPC不变。在OGBench-Cube上，AD-WM将困难启动成功率从3.7%提高到52.0%，并在五个仿真环境中四个环境的平均成功率上超越了基线。这表明，规划的世界模型应保留进行反事实选择所需的动作依赖差异，而不仅仅是优化事实预测准确性。

🔬 方法详解

问题定义：论文要解决的问题是现有潜在世界模型在模型预测控制（MPC）中无法有效区分不同候选动作的不足，导致其在反事实选择时表现不佳。

核心思路：AD-WM的核心思路是通过结合残差潜在动态和预测器级别的动作恢复正则化，来增强模型对动作信息的保留能力，从而提高反事实选择的准确性。

技术框架：AD-WM的整体架构包括两个主要模块：残差潜在动态模块和动作恢复正则化模块。前者用于捕捉潜在状态的动态变化，后者则通过逆动态和条件互信息的归一化目标来优化动作信息的恢复。

关键创新：AD-WM的主要创新在于引入了动作恢复正则化机制，使得模型不仅关注事实预测的准确性，还能有效区分不同的动作选择。这一设计与传统模型的单一优化目标形成了鲜明对比。

关键设计：在关键设计上，AD-WM使用了逆动态作为损失函数，并通过条件互信息来指导动作恢复的过程。此外，模型在测试时会丢弃辅助头，确保MPC的执行不受影响。整体架构的设计使得模型在保持高效性的同时，能够有效进行反事实选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，AD-WM在OGBench-Cube上将困难启动成功率从3.7%提升至52.0%，在五个仿真环境中四个环境的平均成功率上超越了基线。此外，AD-WM在零-shot转移到Franka设置中时，基本的抓取和放置成功率从42.2%提升至71.1%，显示出其强大的适应能力。

🎯 应用场景

AD-WM的研究成果在机器人控制、自动驾驶和智能制造等领域具有广泛的应用潜力。通过提高模型在复杂环境中的决策能力，该方法能够帮助机器人更好地适应动态变化的任务需求，提升其自主性和灵活性。未来，AD-WM可能会推动更智能的控制系统的发展，促进人机协作的进步。

📄 摘要（原文）

Latent world models are typically trained to predict factual transitions, whereas model predictive control (MPC) must compare alternative actions from the same state. A model can therefore achieve low factual prediction error yet poorly distinguish candidate actions. We introduce AD-WM, an action-discriminative joint-embedding world model for counterfactual MPC. AD-WM combines residual latent dynamics with predictor-level action-recovery regularization, using inverse dynamics and a normalized recovery objective motivated by conditional mutual information. Both objectives encourage planning transitions to preserve action information; their auxiliary heads are discarded at test time, leaving MPC unchanged. On OGBench-Cube, AD-WM improves hard-start success from 3.7% to 52.0% over a matched LeWM baseline and improves mean success over the reproduced baseline in four of five simulation environments. Planning diagnostics show that factual prediction error and whole-bank action ranking do not follow the closed-loop success ordering, whereas CEM-aligned elite regret tracks success more closely. With a frozen V-JEPA 2 encoder and matched DROID post-training, AD-WM also improves zero-shot transfer to our Franka setup, increasing basic pick-and-place success from 42.2% to 71.1% without lab-specific adaptation. These results suggest that world models for planning should preserve action-dependent differences needed for counterfactual selection, rather than optimize factual prediction accuracy alone. More videos and code are available at https://ad-wm.github.io/.