AD-E2E-JEPA: A Joint-Embedding Predictive Architecture For End-to-End Autonomous Driving

📄 arXiv: 2609.34085v1 📥 PDF

作者: Haoran Zhu, Wancong Zhang, Yann LeCun, Anna Choromanska

分类: cs.RO, cs.AI, cs.CV, cs.LG

发布日期: 2026-09-28

🔗 代码/项目: GITHUB

💡 一句话要点

提出AD-E2E-JEPA以解决端到端自动驾驶中的世界模型效率问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 自动驾驶 世界模型 联合嵌入 预测架构 零-shot规划 自监督学习 效率提升

📋 核心要点

  1. 现有的JEPA世界模型在准确性与计算效率之间存在显著的权衡，影响了端到端自动驾驶的性能。
  2. 本文提出AD-E2E-JEPA，通过引入SIGReg正则化的可学习投影器，减少了规划补丁的数量和嵌入维度，从而提高了推理速度。
  3. 实验结果表明，该模型在目标条件下的零-shot规划中达到了67.3/72.9的EPDMS，且自监督预训练的投影器提升了模仿学习性能。

📝 摘要（中文）

自动驾驶需要能够理解物理世界、进行推理和规划的世界模型。本文系统评估了现有的基于动作条件的联合嵌入预测架构（JEPA）世界模型，发现它们在准确性与计算效率之间存在权衡。为此，提出了AD-E2E-JEPA，通过引入SIGReg正则化的可学习投影器，显著提高了推理速度，同时保持了规划性能。在不训练任何驾驶策略的情况下，该模型在目标条件下的零-shot规划中表现优异，达到了67.3/72.9的EPDMS，并且自监督预训练的投影器提升了模仿学习的性能。

🔬 方法详解

问题定义：本文旨在解决现有JEPA世界模型在端到端自动驾驶中存在的准确性与计算效率之间的矛盾。现有模型在准确性上表现良好，但计算成本高，反之亦然。

核心思路：AD-E2E-JEPA通过引入SIGReg正则化的可学习投影器，减少了规划补丁的数量和嵌入维度，从而在保持规划性能的同时显著提高推理速度。

技术框架：该方法的整体架构包括一个基于JEPA的世界模型，结合SIGReg正则化的投影器，能够在不训练驾驶策略的情况下进行目标条件的零-shot规划。

关键创新：最重要的创新点在于引入了可学习的投影器，能够将规划补丁数量减少16倍，嵌入维度减少4倍，从而实现100倍的推理速度提升。

关键设计：在设计中，采用了SIGReg正则化来优化投影器的学习过程，确保在降低计算复杂度的同时，保持模型的规划性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在NAVSIMv2基准测试中，AD-E2E-JEPA在目标条件下的零-shot规划中达到了67.3/72.9的EPDMS，且在不使用安全指标的情况下，达到了84.1/86.5的EPDMS。此外，自监督预训练的投影器将模仿学习性能从80.2提升至85.4，显示出显著的改进。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶汽车、机器人导航以及智能交通系统等。通过提高世界模型的效率，AD-E2E-JEPA能够在复杂环境中实现更安全、更高效的自主决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Autonomous driving requires \textit{world models} that can understand the physical world, reason and plan, and operate safely. In this paper, we first systematically evaluate existing action-conditioned joint-embedding predictive architecture (JEPA) world models, including LeWM, DINO-WM, and JEPA-WM for end-to-end autonomous driving (E2EAD). To isolate world-model quality from policy learning, we employ a goal-conditioned zero-shot planning setting that evaluates these models using ground-truth future observations as goals, without training any driving policy. We find that existing JEPA-based world models are either accurate for driving but computationally expensive, or computationally efficient but insufficient for planning. To address this trade-off, we propose \textbf{AD-E2E-JEPA}, which introduces a SIGReg-regularized learnable projector applied to projected patch embeddings. The projector reduces the number of planning patches by $16\times$ and the embedding dimension by $4\times$, achieving a $100\times$ inference speedup while retaining planning performance, with a 0.8-second runtime for an 8-frame rollout over 256 candidate trajectories. \textit{Without} training any driving policy, the world model itself reaches the goals located 20 meters away on average within the displacement of respectively 4.0/2.8 meters, using world-model rollouts over trajectory vocabularies of respectively 256/8,192 candidates. On the NAVSIMv2 benchmark, it achieves 67.3/72.9 EPDMS with multiplicative safety metrics and 84.1/86.5 EPDMS$^{\dagger}$ without them in goal-conditioned zero-shot planning. Experiments further show that the self-supervised pretrained projector improves downstream imitation learning performance from 80.2 to 85.4 EPDMS. The source code is available at https://github.com/HaoranZhuExplorer/AD-E2E-JEPA