AVL-JEPA: Preventing Causal Dynamics Information Collapse In Joint Embedding Predictive Architecture World Models

📄 arXiv: 2610.03587v1 📥 PDF

作者: Yikang Qiao, Ling Zhang, Ziying Song, Duan Huang

分类: cs.RO

发布日期: 2026-10-02

备注: 17 pages, 10 figures, 12 tables

💡 一句话要点

提出AVL-JEPA以解决因果动态信息崩溃问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 因果推理 机器人控制 动态信息保留 视觉不变性 联合嵌入预测

📋 核心要点

  1. 现有的JEPA方法在保留高维视觉信息的同时，容易丢失与动作后果相关的因果动态信息，导致信息崩溃。
  2. 本文提出的AVL方法通过引入动作作为动态锚点和视觉不变路径，确保模型保留因果动态信息，提升预测能力。
  3. 在四个机器人控制任务中，AVL显著提高了在视觉扰动下的成功率，验证了其在动态信息保留方面的有效性。

📝 摘要（中文）

联合嵌入预测架构（JEPA）能够在不重建观测的情况下预测未来的潜在表示，从而使世界模型专注于高层次的语义动态。然而，JEPA在保留高维视觉信息的同时，可能会丢失与动作物理后果相关的信息，这种现象被称为因果动态信息崩溃。为了解决这一问题，本文提出了基于动作的视觉不变潜在（AVL）方法。该方法通过将执行的动作作为辅助动态锚点，鼓励模型保留动态信息，并利用视觉不变路径对扰动和干净的潜在预测进行对齐，从而强制模型充分理解和利用因果动态信息。实验结果表明，AVL在四个机器人控制任务中显著提高了在视觉扰动下的成功率，同时保持了干净环境下的性能。

🔬 方法详解

问题定义：本文旨在解决JEPA方法中因果动态信息崩溃的问题。现有方法在高维视觉信息保留上存在不足，导致模型无法有效利用与动作相关的动态信息。

核心思路：AVL方法的核心在于将执行的动作作为辅助动态锚点，鼓励模型保留动态信息。同时，通过视觉不变路径对扰动和干净的潜在预测进行对齐，确保因果动态信息的完整性。

技术框架：AVL的整体架构包括两个主要模块：动作动态锚点模块和视觉不变路径模块。前者用于引导模型关注动态信息，后者则用于对齐潜在表示，防止信息丢失。

关键创新：AVL的主要创新在于引入了动作作为动态锚点，并结合视觉不变路径进行潜在预测对齐。这一设计与传统JEPA方法相比，显著提升了因果动态信息的保留能力。

关键设计：在参数设置上，AVL采用了特定的损失函数来平衡动态信息的保留与视觉信息的对齐。此外，网络结构设计上，采用了多层次的潜在表示，以增强模型对动态信息的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，AVL在四个机器人控制任务中，成功率在视觉扰动下显著提高，具体提升幅度达到XX%（具体数据待补充），同时在干净环境下的性能保持稳定，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人控制、自动驾驶和智能监控等场景。通过有效保留因果动态信息，AVL-JEPA能够提升机器人在复杂环境中的决策能力，具有重要的实际价值和未来影响。

📄 摘要（原文）

Joint embedding predictive architectures (JEPAs) predict future latent representations without reconstructing observations, enabling world models to focus on high-level semantic dynamics. However, a JEPA can preserve high dimensional visual information while discarding information about the physical consequences of actions. We call this failure mode causal dynamics information collapse and propose action-grounded vision-invariance latent (AVL) to prevent this collapse. We first use the executed action as an auxiliary dynamics anchor that encourages the model to preserve dynamics information, and then use a vision-invariance pathway which aligns perturbed and clean latent predictions without discarding dynamics information, forcing the model to fully understand and utilize causal dynamics information. We validate AVL on four robotic control tasks (TwoRoom, PushT, OGBench Cube, and Reacher), showing that it substantially improves success rates under visual perturbations while preserving clean-environment performance. We further evaluate physical consequence alignment, clean-noisy dynamics consistency, and the causal effect of targeted transition subspace erasure. Collectively, these results indicate that dynamic information causally relevant to planning is preserved from collapse under AVL.