AD-WM: Action-Discriminative World Models for Counterfactual Model Predictive Control

📄 arXiv: 2609.30264v1 📥 PDF

作者: Jiabin Qiu, Zixuan Chen, Hongye Cao, Jieqi Shi, Jing Huo, Yang Gao

分类: cs.AI, cs.RO

发布日期: 2026-09-24

备注: 9 pages, 5 figures, 4 tables. Project page: https://ad-wm.github.io/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出AD-WM以解决模型预测控制中的行动区分问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 模型预测控制 潜在世界模型 行动区分 机器人控制 逆动态 条件互信息 强化学习

📋 核心要点

  1. 现有潜在世界模型在预测事实转变时，难以有效区分不同的候选行动，导致模型在模型预测控制中的表现不佳。
  2. 论文提出AD-WM，通过结合残差潜在动态和行动恢复正则化，增强模型在规划时对行动信息的保留能力。
  3. 在OGBench-Cube上，AD-WM的硬启动成功率从3.7%提升至52.0%，在五个仿真环境中四个的平均成功率也有所提高。

📝 摘要（中文）

潜在世界模型通常训练以预测事实转变，而模型预测控制（MPC）需要比较同一状态下的替代行动。AD-WM是一种行动区分的联合嵌入世界模型，旨在解决这一问题。它结合了残差潜在动态和预测器级的行动恢复正则化，使用逆动态和基于条件互信息的归一化恢复目标。这些目标鼓励规划转变以保留行动信息。实验结果表明，AD-WM在多个仿真环境中显著提高了成功率，表明世界模型在规划中应保留行动依赖的差异，而不仅仅优化事实预测准确性。

🔬 方法详解

问题定义：论文要解决的问题是现有潜在世界模型在模型预测控制中无法有效区分不同候选行动，导致低事实预测误差却无法进行有效的行动选择。

核心思路：AD-WM通过引入残差潜在动态和预测器级的行动恢复正则化，旨在保留行动信息，从而提高模型在规划中的表现。

技术框架：AD-WM的整体架构包括潜在动态模型和正则化模块，前者用于预测状态转变，后者则通过逆动态和条件互信息优化行动恢复。

关键创新：AD-WM的核心创新在于其行动区分能力，通过结合不同的目标函数，模型不仅优化事实预测准确性，还能有效区分候选行动。

关键设计：在设计中，采用了逆动态和归一化恢复目标作为损失函数，确保模型在训练过程中能够有效学习到行动信息的保留。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AD-WM在OGBench-Cube上将硬启动成功率从3.7%提升至52.0%，并在五个仿真环境中四个的平均成功率有所提高。此外，AD-WM在零-shot迁移到Franka设置时，基本的拾取和放置成功率从42.2%提升至71.1%。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能制造等。通过提高模型在复杂环境中的决策能力，AD-WM能够在实际应用中实现更高的成功率和效率，推动相关领域的发展。

📄 摘要（原文）

Latent world models are typically trained to predict factual transitions, whereas model predictive control (MPC) must compare alternative actions from the same state. A model can therefore achieve low factual prediction error yet poorly distinguish candidate actions. We introduce AD-WM, an action-discriminative joint-embedding world model for counterfactual MPC. AD-WM combines residual latent dynamics with predictor-level action-recovery regularization, using inverse dynamics and a normalized recovery objective motivated by conditional mutual information. Both objectives encourage planning transitions to preserve action information; their auxiliary heads are discarded at test time, leaving MPC unchanged. On OGBench-Cube, AD-WM improves hard-start success from 3.7% to 52.0% over a matched LeWM baseline and improves mean success over the reproduced baseline in four of five simulation environments. Planning diagnostics show that factual prediction error and whole-bank action ranking do not follow the closed-loop success ordering, whereas CEM-aligned elite regret tracks success more closely. With a frozen V-JEPA 2 encoder and matched DROID post-training, AD-WM also improves zero-shot transfer to our Franka setup, increasing basic pick-and-place success from 42.2% to 71.1% without lab-specific adaptation. These results suggest that world models for planning should preserve action-dependent differences needed for counterfactual selection, rather than optimize factual prediction accuracy alone. More videos and code are available at https://ad-wm.github.io/.