LRC-JEPA: Disentangling Dynamics and Residual Context for Efficient World Models

📄 arXiv: 2609.34375v1 📥 PDF

作者: Luzhe Huang, Lei Chu, Jingyi Liang, Yuhuan Zhao

分类: cs.LG, cs.AI, cs.RO

发布日期: 2026-09-28

💡 一句话要点

提出LRC-JEPA以解决动态与残余上下文纠缠问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 世界模型 动态解耦 潜在表示 自监督学习 机器人控制 规划算法

📋 核心要点

  1. 现有的JEPA模型在复杂场景中面临动态与视觉上下文的纠缠问题，导致规划性能下降。
  2. LRC-JEPA通过引入紧凑的潜在表示和残余上下文嵌入，解耦动态与上下文信息，从而提高了模型的规划能力。
  3. 在四个模拟环境中，LRC-JEPA的规划成功率比JEPA基线提高了9个百分点，并在实际应用中表现优异。

📝 摘要（中文）

紧凑的JEPA世界模型能够实现高效的潜在空间规划，但在无奖励自监督下训练的低维表示必须同时编码动作条件下的动态和可预测的视觉上下文。这种竞争可能会将可控状态与高秩的干扰外观纠缠在一起，从而在场景复杂时降低规划效果。我们提出了LRC-JEPA，这是一种轻量级的端到端世界模型，通过将信息路由到紧凑的预测潜在表示$ extbf{z}$和学习查询的残余上下文嵌入$ extbf{u}$来解决这一问题。只有$ extbf{z}$被动态模型传播并用于规划，而$ extbf{u}$则捕获时间上持久的信息用于交叉注意力重建；可微分的残余连接鼓励潜在表示保留互补的动态内容。在明确假设下，我们证明了所得到的表示是充分的、最小的、干扰不变的和解耦的。在四个模拟控制环境中，LRC-JEPA的平均规划成功率比参数匹配的JEPA基线提高了9个百分点，并且在实际的Bridge-v2数据集上，其550万参数的主动编码器超越了DINO-WM（2210万）和V-JEPA2（3039万）编码器，同时也实现了更快的规划。物理状态探测、重建干预和消融实验确认了LRC-JEPA表示解耦的有效性。

🔬 方法详解

问题定义：论文旨在解决现有JEPA模型在复杂场景中动态与视觉上下文纠缠的问题，这种纠缠会降低模型的规划性能。

核心思路：LRC-JEPA通过将信息分为紧凑的潜在表示$ extbf{z}$和残余上下文嵌入$ extbf{u}$，使得动态模型只传播$ extbf{z}$，而$ extbf{u}$则用于捕获持久的信息，从而实现信息的解耦。

技术框架：LRC-JEPA的整体架构包括动态模型和残余上下文嵌入模块。动态模型负责处理潜在表示$ extbf{z}$，而残余上下文嵌入模块则通过交叉注意力机制重建信息。

关键创新：LRC-JEPA的主要创新在于引入了可微分的残余连接，使得潜在表示能够保留互补的动态内容，从而提高了模型的表达能力和规划性能。

关键设计：在参数设置上，LRC-JEPA使用了550万参数的主动编码器，损失函数设计上强调了动态与上下文的解耦，网络结构上采用了交叉注意力机制以增强信息重建能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LRC-JEPA在四个模拟控制环境中平均规划成功率提高了9个百分点，且在实际Bridge-v2数据集上，其550万参数的主动编码器超越了DINO-WM（2210万）和V-JEPA2（3039万）编码器，展现了更快的规划速度和更高的效率。

🎯 应用场景

LRC-JEPA的研究成果在机器人控制、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过高效的世界模型，能够实现更复杂环境下的智能决策与规划，提升系统的自主性和适应性。未来，随着模型的进一步优化，其在实时应用中的表现将更加出色。

📄 摘要（原文）

Compact JEPA world models enable efficient latent-space planning, but low-dimensional representation trained under reward-free self-supervision must encode both action-conditioned dynamics and predictable visual context. This competition can entangle controllable state with high-rank nuisance appearance and degrade planning as scenes become more complex. We introduce LRC-JEPA, a lightweight end-to-end world model that routes information into a compact predictive latent $\mathbf{z}$ and learned-query residual-context embeddings $\mathbf{u}$. Only $\mathbf{z}$ is propagated by the dynamics model and used for planning, while $\mathbf{u}$ captures temporally persistent information for cross-attention reconstruction; a differentiable residual connection encourages the latent to retain complementary dynamic content. Under explicit assumptions, we show that the resulting representation is sufficient, minimal, nuisance-invariant, and disentangled. Across four simulated control environments, LRC-JEPA improves average planning success over a parameter-matched JEPA baseline by 9 percentage points and matches or exceeds substantially larger pretrained models. On the real-world Bridge-v2 set, its 5.5M-parameter active encoder outperforms DINO-WM (22.1M) and V-JEPA2 (303.9M) encoders while also enabling faster planning. Physical-state probes, reconstruction interventions, and ablations confirm the effectiveness of LRC-JEPA's representation disentanglement.