Do-JEPA: From Masking to Intervention in Latent World Models

📄 arXiv: 2609.37378v1 📥 PDF

作者: Hossein Resani, Javen Qinfeng Shi

分类: cs.CV, cs.AI, cs.LG

发布日期: 2026-09-29

💡 一句话要点

提出Do-JEPA以解决潜在世界模型的干预问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 干预学习 因果推断 效果预测 机器人控制 智能决策 物理建模

📋 核心要点

  1. 现有潜在世界模型无法有效区分动作引起的结果与偶然发生的事件，导致预测准确性不足。
  2. Do-JEPA方法通过在物理层面进行干预，训练模型预测不同动作下的潜在未来差异，提升了模型的预测能力。
  3. 实验结果表明，Do-JEPA在多个基准测试中显著降低了潜在效果误差，尤其是在物理变化和上下文敏感性方面表现优异。

📝 摘要（中文）

潜在世界模型旨在预测未来事件，但现有方法未能区分动作引起的结果与偶然发生的事件。本文提出的Do-JEPA方法通过在物理层面进行干预，训练模型预测不同动作下的潜在未来差异。该方法包括效果损失、支持损失、传播损失和不变性损失等多个损失函数。在合成系统中，支持监督能够在99.95%的测试案例中准确找到被干预的对象，且在自然动作序列上，效果损失相较于对照组降低了28.4%的潜在效果误差，显示出干预真实世界而非模型观察内容的优势。

🔬 方法详解

问题定义：本文旨在解决潜在世界模型在预测未来事件时无法区分动作引起的结果与偶然事件的问题。现有方法如C-JEPA主要依赖于观察模型的输入，而未能有效干预物理世界。

核心思路：Do-JEPA通过在物理层面进行干预，比较在不同动作下的潜在未来状态，从而训练模型预测动作的真实效果。这种方法强调了对物理事件的直接干预，而非仅仅依赖于模型的观察。

技术框架：Do-JEPA的整体框架包括四个主要损失函数：效果损失、支持损失、传播损失和不变性损失。通过对比在动作$a$和参考动作$a_{ ext{null}}$下的状态变化，模型能够更准确地学习动作的影响。

关键创新：Do-JEPA的主要创新在于其干预方式，直接在物理层面进行干预而非仅依赖于观察输入。这一设计使得模型能够更好地理解和预测动作的因果关系。

关键设计：在损失函数设计上，效果损失关注于预测的准确性，支持损失确保模型能够识别被干预的对象，传播损失则关注效果的传播路径。不变性损失确保在不应变化的情况下模型的稳定性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在实验中，Do-JEPA方法在合成系统中实现了99.95%的对象识别准确率，且在自然动作序列上，效果损失降低了28.4%的潜在效果误差。此外，在三个独立生成的CausalWorld基准测试中，响应效果误差降低约20%，显示出其在物理变化和上下文敏感性方面的显著优势。

🎯 应用场景

Do-JEPA方法具有广泛的应用潜力，尤其在机器人控制、自动驾驶和智能决策系统等领域。通过提高模型对物理世界的理解能力，该方法能够在复杂环境中实现更高效的决策和控制，推动智能系统的实际应用和发展。

📄 摘要（原文）

Latent world models are trained to predict what happens next, so nothing in their objective separates what an action caused from what merely co-occurred with it. Object-masking models such as C-JEPA intervene on what the predictor can see; we intervene on what physically happens. From one saved simulator state we run the dynamics under an action $a$ and under a reference action $a_{\varnothing}$, and train the model to predict the difference $Δz=z^{a}-z^{a_{\varnothing}}$ between the two latent futures. The resulting objective, Do-JEPA, has an effect loss, a support loss (where the action enters), a propagation loss (where its effect travels) and invariance losses (what must not change). In a synthetic system with object-aligned variables, support supervision finds the directly intervened object in 99.95% of test cases, where a sparse action mask sends the action to a nuisance slot in every case, and response-onset supervision recovers the ring-shaped propagation graph (edge AUROC 0.975 vs. 0.624). From pixels, the effect loss beats a control trained on exactly the same data: it lowers latent effect error by 28.4% on an end-to-end LeWM model and physical effect error by 13.5% when trained and tested on natural action sequences, and on three independently generated CausalWorld benchmarks it lowers responsive effect error by about 20% under physics shifts and the latent context sensitivity of predicted effects by 66%. Trained from scratch it costs factual accuracy; fine-tuning an existing model with it removes this cost. Together, these results show that intervening on the world, rather than on what the model sees, helps latent world models predict what their actions cause.