JEPA Policy: Diffusion-Free Imitation Learning via Paired Action and Future Representation Prediction

📄 arXiv: 2609.09630v1 📥 PDF

作者: Jie Xu, Kangjin Yu, Ziyi Jin, Junjie Gao, Liqing Chen, Yixian Li, Shuai Tian, Zhongpu Xia

分类: cs.RO

发布日期: 2026-09-09

备注: 17 pages. Code: https://github.com/jiejie567/JEPA-Policy . Project page: https://jiejie567.github.io/JEPA-Policy/

💡 一句话要点

提出JEPA Policy以解决传统模仿学习中的未来表示约束问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 模仿学习 未来表示 Transformer 机器人控制 低延迟 视觉运动 动作监督

📋 核心要点

  1. 现有的模仿学习方法在监督动作时未能有效约束未来表示，导致模型性能受限。
  2. JEPA Policy通过将动作块与其未来表示配对，利用共享的Transformer架构进行训练，提升了模仿学习的效果。
  3. 在九个模拟任务中，JEPA Policy的成功率超过了传统的MIP基线，并在物理机器人实验中也表现出相似的优势。

📝 摘要（中文）

标准行为克隆方法在监督动作时未明确约束与每个演示动作块配对的未来表示。本文提出JEPA Policy，一个无扩散框架，利用动作块及其观察到的未来表示作为配对训练目标。动作和未来表示的标记在共享的Transformer中交互，并通过两次前向传递进行精炼。未来预测能够塑造用于生成动作的表示。实验结果表明，JEPA Policy在九个模拟任务中相较于仅使用动作的MIP基线提高了成功率，并在评估配置下优于扩散策略，同时仅增加了0.29毫秒的模型延迟。物理机器人研究的结果也支持这一方法的有效性。

🔬 方法详解

问题定义：本文旨在解决传统模仿学习中，动作监督未能有效约束未来表示的问题，导致模型在复杂任务中的表现不佳。

核心思路：JEPA Policy通过将动作块与其对应的未来表示作为配对训练目标，利用共享的Transformer架构进行交互，从而提升未来预测对动作生成的影响。

技术框架：该方法的整体架构包括两个主要模块：动作块和未来表示的交互模块，以及通过两次前向传递进行的表示精炼过程。

关键创新：JEPA Policy的核心创新在于采用配对未来表示监督，而非依赖于辅助预测头，从而实现了更高效的低延迟视觉运动模仿学习。

关键设计：在设计中，采用了双分支和梯度路由控制，以确保共享拓扑的增益，而不是单纯依赖于辅助预测头。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

JEPA Policy在九个模拟任务中相较于仅使用动作的MIP基线提高了平均成功率，并在评估配置下优于扩散策略，且仅增加了0.29毫秒的模型延迟。物理机器人实验的结果也显示出相似的优势，验证了该方法的有效性。

🎯 应用场景

JEPA Policy的研究成果在机器人控制、自动驾驶、以及人机交互等领域具有广泛的应用潜力。通过提高模仿学习的效率和准确性，该方法能够在实时系统中实现更快速的决策，推动智能机器人技术的发展。

📄 摘要（原文）

Standard behavior cloning supervises actions without explicitly constraining the future representation paired with each demonstrated action chunk. We introduce JEPA Policy, a diffusion-free framework that uses the action chunk and its observed future representation as paired training targets. Action and future-representation tokens interact in a shared Transformer and are refined through two forward passes. Future prediction can therefore shape the representation used to generate actions. Dual-branch and gradient-routing controls attribute the gain to this shared topology rather than to an auxiliary prediction head alone. Across nine simulated tasks, JEPA Policy improves mean success over the action-only MIP baseline and outperforms Diffusion Policy under the evaluated configurations, while adding 0.29 ms to MIP's model latency. A five-task, 630-episode physical-robot study produces the same pooled ranking. Further audits find no complete representation collapse under action supervision and identify a task-conditioned failure-ranking signal in future-prediction error. These results support paired future-representation supervision as a practical approach to low-latency visuomotor imitation without iterative generative sampling.