Inside-JEPA: From Prediction to Relational Grounding in Latent World Models
作者: Hossein Resani, Javen Qinfeng Shi
分类: cs.LG, cs.CV, cs.RO
发布日期: 2026-10-22
💡 一句话要点
提出Inside-JEPA以解决潜在世界模型关系基础问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)
关键词: 潜在世界模型 关系学习 逆动态损失 联合嵌入预测 机器人控制 视频理解
📋 核心要点
- 现有的JEPA方法在潜在空间中学习世界模型，但其状态不透明，导致关系理解困难。
- 提出Inside-JEPA，通过在潜在状态中引入关系通道，并利用逆动态损失进行无标签的关系基础学习。
- 实验结果显示，逆动态监督在多个设置中显著提高了关系AUROC，验证了方法的有效性。
📝 摘要（中文）
联合嵌入预测架构（JEPA）在潜在空间中学习世界模型，尽管能够高效规划，但其状态仍然不透明。本文提出Inside-JEPA，在JEPA潜在状态中为有序实体对设置关系通道，并展示了逆动态损失可以在没有关系标签的情况下为这些通道提供基础。当其头部单独读取这些通道或作为完整状态的一部分时，逆动态监督能够显著提高关系AUROC。在多个实验设置中，逆动态监督的效果均优于仅依赖潜在预测的结果。
🔬 方法详解
问题定义：本文旨在解决JEPA方法在潜在空间中学习世界模型时，状态不透明导致的关系理解困难。现有方法在处理关系时缺乏有效的监督机制，限制了其性能。
核心思路：Inside-JEPA通过在JEPA潜在状态中引入关系通道，结合逆动态损失进行无标签学习，旨在提高对关系的理解和预测能力。这样的设计使得模型能够在没有显式关系标签的情况下，依然能够有效地学习到关系信息。
技术框架：整体架构包括潜在状态的构建、关系通道的引入和逆动态损失的应用。模型首先通过潜在预测学习世界模型，然后在此基础上引入关系通道，并通过逆动态损失进行训练。
关键创新：最重要的技术创新在于引入了关系通道和逆动态损失，使得模型能够在没有关系标签的情况下，依然能够有效地进行关系基础学习。这一方法与传统的依赖标签的学习方式有本质区别。
关键设计：在设计中，采用了逆动态损失函数来优化关系通道的学习，并通过实验验证了不同设置下的效果。此外，模型在处理不同任务时，展示了对关系的有效解码能力。
🖼️ 关键图片
📊 实验亮点
实验结果表明，逆动态监督在十个设置中提高了关系AUROC 0.065-0.103，在RH20T机器人任务中提高了0.081，且在五种关系中使用现成的检测和跟踪时提升了0.050-0.061，显示出显著的性能提升。
🎯 应用场景
该研究的潜在应用领域包括机器人控制、自动驾驶、视频理解等需要理解复杂关系的场景。通过提高模型对关系的理解能力，可以在这些领域实现更高效的决策和规划，具有重要的实际价值和未来影响。
📄 摘要（原文）
Joint-embedding predictive architectures (JEPAs) learn world models in latent space, enabling efficient planning but leaving their states opaque. We introduce Inside-JEPA, which places relational channels for ordered entity pairs inside the JEPA latent state and shows that an inverse-dynamics loss can ground these channels without relation labels when its head reads them, either alone or as part of the full state. On Something-Something V2, latent prediction alone performs no better than a random relation head, while inverse-dynamics supervision that recovers actions from channel changes improves relational AUROC by .065-.103 across ten settings with annotated boxes, by .081 on RH20T robot episodes with held-out tasks, and by .050-.061 across five relations using off-the-shelf detection and tracking. An inverse head on entity latents decodes actions more accurately but barely improves relational grounding; shuffled labels, two label-free objectives, and action labels on only 5% of the pairs also fail to ground the channels. Given an action, predicted relational changes approach the quality of observed future relations (AUROC .599 vs .621). For one-step relational goals, a supervised readout of the 16 channels ranks the correct action among the top five of 65 in 43% of cases, compared with 24% for prediction-only latents and 17% for a frequency prior.