D-JEPA: A Decision-Aligned Latent World Model

📄 arXiv: 2609.24749v1 📥 PDF

作者: Shuaijun Liu, Chengyu Wu, Qifu Wen, Feiyang You, Chenglong Zhang, Shuyang Hao, Xi Lin, Ningxin Su

分类: cs.RO, cs.LG

发布日期: 2026-09-21

备注: 26 pages, including references and appendices. Project website: https://nebulis-lab.com/D-JEPA

💡 一句话要点

提出D-JEPA以解决决策对齐的潜在世界模型问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 决策对齐 预测几何 机器人控制 自动驾驶 智能决策 序数证据

📋 核心要点

  1. 现有潜在世界模型在预测行动后果时，未能有效反映候选行动的执行成功率，导致决策局部预测差距。
  2. D-JEPA通过学习候选未来之间的决策相关关系，采用有界的排列不变算子来优化预测几何，提升决策质量。
  3. 实验结果表明，D-JEPA在多个任务上均实现了显著的性能提升，如PushT任务成功率达到87.89%。

📝 摘要（中文）

潜在世界模型用于预测行动的后果，但准确的预测并不保证潜在距离能反映出哪个候选行动会成功执行。本文识别了决策局部预测差距：在少数竞争执行的未来中，预测更接近目标的候选行动可能产生比可用替代方案更差的结果。我们提出D-JEPA，一种决策对齐的潜在世界模型，从执行结果中学习候选未来之间的决策相关关系。通过一个有界的、排列不变的算子，联合推理目标相关的预测特征和序数证据，精炼预训练的预测几何，特别是在行动选择最为关键的地方。D-JEPA进一步实现了与JEPA兼容的未来表示，支持通过本地潜在距离规划进行部署。实验结果显示，在潜在控制、操作、预训练的动作生成模型、物理机器人和自动驾驶等领域，D-JEPA在行动选择上表现出显著提升。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型在预测行动后果时的决策局部预测差距问题。现有方法无法确保预测的潜在距离能有效反映候选行动的执行成功率，导致决策效果不佳。

核心思路：D-JEPA通过引入决策对齐的机制，学习候选未来之间的决策相关关系，优化预测几何，特别是在关键的行动选择时刻。这样的设计旨在提升模型对决策的敏感性和准确性。

技术框架：D-JEPA的整体架构包括一个有界的排列不变算子，该算子联合推理目标相关的预测特征和序数证据。模型通过对预训练的预测几何进行精炼，确保在行动选择最为关键的地方进行有效的调整。

关键创新：D-JEPA的主要创新在于其决策对齐机制，通过学习决策相关的关系，填补了现有潜在世界模型在决策和预测之间的鸿沟。这一机制使得模型在执行时能够更好地选择成功的候选行动。

关键设计：在模型设计中，D-JEPA采用了特定的损失函数以优化决策相关性，并通过共享的序数接口扩展了预测几何的对齐。此外，模型的参数设置和网络结构经过精心设计，以确保在不同任务中的适应性和有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

D-JEPA在多个实验中表现出色，特别是在PushT任务中成功率达到87.89%，在RoboTwin任务上平均提升15.04分，在物理机器人任务上提升17分。这些结果表明，D-JEPA显著提高了行动选择的有效性，展示了决策相关关系在预测世界建模与控制之间的直接桥梁作用。

🎯 应用场景

D-JEPA的研究成果在多个领域具有广泛的应用潜力，包括机器人控制、自动驾驶、智能制造等。通过提升决策相关性的预测能力，该模型能够在复杂环境中实现更高效的行动选择，从而提高系统的整体性能和安全性。未来，D-JEPA有望推动智能系统在动态和不确定环境中的应用，促进更智能的决策支持系统的发展。

📄 摘要（原文）

Latent world models predict the consequences of actions, but accurate prediction does not guarantee that latent distance reflects which candidate will execute successfully. We identify a decision-local prediction gap: among the few futures competing for execution, a candidate predicted closer to the goal can produce a worse realized outcome than an available alternative. We introduce D-JEPA, a decision-aligned latent world model that learns decision-relevant relations among candidate futures from executed outcomes. A bounded, permutation-equivariant operator jointly reasons over goal-relative predictive features and ordinal evidence, refining pretrained predictive geometry where action choices are most consequential. Restricted predictor adaptation and a shared ordinal interface extend this alignment across complementary predictive geometries. D-JEPA further realizes the learned decision structure in JEPA-compatible future representations, enabling deployment through native latent-distance planning. Evaluations across latent control, manipulation, pretrained action-producing models, physical robots and autonomous driving demonstrate improved action selection, including 87.89% success on PushT, a 15.04-point average gain on RoboTwin, and a 17-point gain on physical robot tasks. These results establish decision-relevant relational structure as a direct bridge between predictive world modeling and effective control.