TwinJEPA: Action-Preferred Predictive Representations for Goal-Conditioned Control

📄 arXiv: 2610.02922v1 📥 PDF

作者: Feiran You, Hongyang Du

分类: eess.SY

发布日期: 2026-10-02

💡 一句话要点

提出TwinJEPA以解决动作偏好预测不足问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 动作偏好预测 联合嵌入预测 长时间动态 离线控制 奖励差回归 偏好分类 智能导航 机器人控制

📋 核心要点

  1. 现有的JEPA方法在动作偏好预测上存在局限，无法有效处理相似状态下的不同目标条件。
  2. TwinJEPA通过引入离线动作偏好监督，学习动作偏好的预测表示，增强了对长时间动态的捕捉能力。
  3. 在长时间导航和连续控制基准测试中，TwinJEPA在所有匹配状态评估中均表现出显著的性能提升。

📝 摘要（中文）

联合嵌入预测架构（JEPA）是一种通过预测未来潜在状态而非重建观察值的表示学习新范式。近期研究将JEPA风格的潜在预测应用于离线零-shot控制，但现有的过渡级预测目标在监督动作时存在局限，无法有效区分在相似状态下的不同目标条件下的动作偏好。为此，本文提出TwinJEPA框架，通过离线挖掘的动作偏好监督来增强JEPA控制，识别离线轨迹中的匹配状态并构建偏好对。TwinJEPA学习了两个互补目标：奖励差回归和偏好分类，旨在保留结果差异的幅度和捕捉替代动作的相对顺序。实验表明，TwinJEPA在长时间导航和连续控制基准测试中表现优异，尤其在局部动作选择提供更具信息性的结果对比时，性能提升更为显著。

🔬 方法详解

问题定义：本文旨在解决现有JEPA方法在动作偏好预测中的不足，特别是在相似状态下如何有效区分不同目标条件下的动作偏好。现有方法的过渡级预测目标在监督动作时信息有限，无法提供有效的动作选择指导。

核心思路：TwinJEPA的核心思路是通过引入离线挖掘的动作偏好监督，增强JEPA控制的能力。通过识别匹配状态并构建偏好对，TwinJEPA能够更好地捕捉长时间动态和动作间的细微差别。

技术框架：TwinJEPA的整体架构包括两个主要模块：奖励差回归和偏好分类。奖励差回归用于保留结果差异的幅度，而偏好分类则用于捕捉替代动作的相对顺序。两个目标仅在训练期间使用，不增加推理时的计算成本。

关键创新：TwinJEPA的关键创新在于引入了动作偏好监督，通过构建偏好对来增强预测表示的有效性。这一方法与现有的孤立动作监督方法本质上不同，能够更好地反映动作间的相对优劣。

关键设计：在设计上，TwinJEPA采用了奖励差回归和偏好分类的双重损失函数，确保模型在训练过程中能够同时学习到结果差异和动作偏好。此外，模型的网络结构经过优化，以适应长时间动态的捕捉需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在长时间导航和连续控制基准测试中，TwinJEPA在所有匹配状态评估中均表现出显著的性能提升，尤其是在局部动作选择提供更具信息性的结果对比时，性能提升幅度更大，显示出该方法的有效性和实用性。

🎯 应用场景

TwinJEPA的研究成果在机器人控制、自动驾驶和智能导航等领域具有广泛的应用潜力。通过更好地理解和预测动作偏好，该方法能够提升智能体在复杂环境中的决策能力，推动自主系统的发展。未来，该框架还可能扩展到其他需要长时间决策的任务中，进一步提高智能体的表现。

📄 摘要（原文）

Joint-Embedding Predictive Architectures (JEPAs) are a promising paradigm for representation learning by predicting future latent states without reconstructing observations. Recent work has adapted JEPA-style latent prediction to offline zero-shot control through action-conditioned temporal prediction, enabling representations to capture long-horizon dynamics from fixed behavioral data. However, transition-level predictive objectives supervise actions in isolation and provide limited information about which actions are preferable when similar states admit different goal-conditioned outcomes. We introduce TwinJEPA, a framework for learning action-preferred predictive representations by augmenting JEPA-based control with offline-mined action-preference supervision. TwinJEPA identifies approximately matched states across offline trajectories and constructs preference pairs via goal-conditioned reward relabeling. It then learns two complementary objectives: reward-gap regression, which preserves the magnitude of outcome differences, and preference classification, which captures the relative ordering of alternative actions. Both objectives are used only during training and incur no additional inference-time cost. We evaluate TwinJEPA on long-horizon navigation and continuous-control benchmarks with state- and pixel-based observations. TwinJEPA yields positive benchmark-level mean differences across all matched state-based evaluations, while analyses across domains and observation modalities indicate that larger gains tend to arise when local action alternatives provide more informative outcome contrasts. The results suggest that local action-comparison supervision can complement temporal prediction by encouraging JEPA-based representations to retain both long-horizon temporal structure and fine-grained distinctions among locally observed actions for offline zero-shot control.