Slot-JEPA: Object-Structured Prediction Interfaces for Latent World Models

📄 arXiv: 2610.28074v1 📥 PDF

作者: Peisong Wen, Qianqian Xu, Minye Lei, Siran Dai, Yang Liu, Qingming Huang

分类: cs.AI, cs.CV

发布日期: 2026-10-20

💡 一句话要点

提出Slot-JEPA以解决现有JEPAs在对象结构预测中的不足

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 潜在世界模型 联合嵌入预测 对象结构化 视觉理解 机器人规划 不平衡最优传输 槽机制

📋 核心要点

  1. 现有的JEPA模型在对象信息分布、时间对应关系和空间距离度量上存在显著不足，导致下游任务的效率低下。
  2. 本文提出Slot-JEPA，通过将密集表示分解为语义槽和空间掩码，提供了可重用的对象结构化接口，简化了下游预测任务。
  3. 在七个视觉理解基准测试中，Slot-JEPA的特征表现出良好的迁移性，并在六个平面环境和四个机器人手臂规划任务中显著提升了目标条件规划的效果。

📝 摘要（中文）

作为一种原型潜在世界模型，联合嵌入预测架构（JEPA）提供了强大的语义表示。然而，密集的补丁表示暴露了冗余的接口，导致下游预测器必须隐式推断空间组织和时间对应关系，面临三大挑战。为此，本文提出了基于槽的联合嵌入预测架构（Slot-JEPA），将密集表示分解为稳定的语义槽和时变空间掩码。这一分解提供了可重用的对象结构化接口，并通过过渡记忆预测器（TMP）存储视觉过渡，利用对应槽的统计信息检索有用的上下文。实验表明，Slot-JEPA在多个视觉理解基准上具有良好的迁移性，并在目标条件规划任务中显著提升性能。

🔬 方法详解

问题定义：本文旨在解决现有JEPA模型在对象结构预测中的冗余接口问题，导致下游预测器需要重复恢复对象结构，增加了计算复杂度。

核心思路：通过引入槽的概念，将密集表示分解为稳定的语义槽和时变空间掩码，从而提供一个可重用的对象结构化接口，简化下游任务的处理。

技术框架：Slot-JEPA的整体架构包括槽的生成、过渡记忆预测器（TMP）和不平衡最优传输（UOT）机制。槽生成模块负责提取稳定的语义槽，TMP用于存储和检索视觉过渡，而UOT则用于监督掩码预测。

关键创新：最重要的创新在于引入了槽的概念和UOT机制，使得模型能够在空间进展上提供更敏感的信号，从而提高了预测的准确性和灵活性。

关键设计：模型中采用了冻结的预训练槽，TMP的两个分支分别处理槽特定动态和共享跨槽动态，损失函数设计上结合了UOT以优化掩码预测的效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在七个视觉理解基准测试中，Slot-JEPA的槽重构特征表现出良好的迁移性，且在REALM-JEPA基准上，目标条件规划在六个平面环境和四个机器人手臂任务中均显著提升，展示了模型的有效性和实用性。

🎯 应用场景

Slot-JEPA的研究成果在视觉理解和机器人规划等领域具有广泛的应用潜力。通过提供更高效的对象结构化预测接口，该模型能够在复杂环境中实现更智能的决策和规划，推动自动化和智能系统的发展。

📄 摘要（原文）

As a prototypical latent world model, Joint-Embedding Predictive Architectures (JEPAs) provide strong semantic representations. However, dense patch representations expose a redundant interface to downstream predictors, which must implicitly infer spatial organization and temporal correspondence, presenting three challenges. First, object information is distributed across patches, forcing each downstream predictor to redundantly recover object structure that could otherwise be reused across tasks before modeling interactions. Second, the lack of explicit entity correspondence across time makes historical transitions expensive, restricting the predictor's flexibility in utilizing context. Third, without explicit transport structure, existing JEPA models typically use pointwise l1/l2 distances, which are insensitive to spatial displacement when predicted and goal supports are largely disjoint. We propose the Slot-based Joint-Embedding Predictive Architecture (Slot-JEPA), which decomposes dense representations into stable semantic slots and time-varying spatial masks. Pretrained once and frozen downstream, this decomposition exposes a reusable object-structured interface. Building on it, our Transition Memory Predictor (TMP) stores visual transitions as compact masks and retrieves useful context using statistics of corresponding slots. Its two branches separate slot-specific dynamics from shared cross-slot dynamics. We further use Unbalanced Optimal Transport (UOT) to supervise mask prediction and evaluate candidate plans by transporting mass between aligned predicted and goal masks, providing a signal better aligned with spatial progress. Across seven visual-understanding benchmarks, the slot-reconstructed features remain transferable. Slot-JEPA also improves goal-conditioned planning across six planar environments and four robotic arm planning tasks on the REALM-JEPA benchmark.