JEPA Guided Diffusion: Predictive Vision-Language Conditioning for Generative Traffic Forecasting

📄 arXiv: 2609.21379v1 📥 PDF

作者: Trinh Tra Giang Nguyen, Thanh Nguyen Vo, Nguyen Hoai Thuong Bui, Ha Duc Bui

分类: cs.CV

发布日期: 2026-09-18

备注: ECCV Workshop 2026, AI City Challenge 2026 Track 5

💡 一句话要点

提出JEPA引导扩散框架以解决交通预测问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 交通预测 视频生成 扩散模型 多模态学习 深度学习

📋 核心要点

  1. 现有的基于扩散的视频生成模型在交通预测中面临昂贵的训练成本和场景理解与图像合成的混合问题。
  2. 本文提出了一种解耦的预测框架，通过冻结的V-JEPA编码器和轻量级对齐模块实现未来视频合成。
  3. 在AI City Challenge 2026 Track 5基准测试中，该方法取得了75.1297的得分，显示出显著的预测能力和效率提升。

📝 摘要（中文）

准确的交通预测需要理解场景动态并合成真实的未来观察。现有的基于扩散的视频生成模型虽然能生成视觉上可信的预测，但需要昂贵的端到端训练，并且通常将场景理解与图像合成混合在一起。本文提出了一种解耦的预测框架，将未来表示学习与视频生成分离。通过冻结的V-JEPA编码器提取观察到的交通视频中的预测潜在表示，捕捉语义潜在空间中的场景动态。轻量级的潜在对齐模块将这些表示投影到冻结的Cosmos扩散模块的条件空间，从而实现未来视频合成而无需重新训练大型生成模型。实验结果表明，该方法在AI City Challenge 2026 Track 5基准测试中取得了75.1297的得分，排名第三，表明V-JEPA学习的预测世界表示能够有效指导下游视频生成。

🔬 方法详解

问题定义：本文旨在解决交通预测中现有方法的高昂训练成本及其在场景理解与图像合成上的混合问题。这导致了模型的复杂性和效率低下。

核心思路：提出的框架通过解耦未来表示学习与视频生成，利用冻结的V-JEPA编码器提取潜在表示，并通过轻量级对齐模块实现高效的视频合成。

技术框架：整体架构包括三个主要模块：冻结的V-JEPA编码器用于提取语义潜在表示，轻量级的潜在对齐模块将这些表示映射到Cosmos扩散模块的条件空间，最后实现未来视频的合成。

关键创新：最重要的创新在于将未来表示学习与视频生成解耦，允许在不重新训练大型生成模型的情况下进行高效合成。这一设计显著降低了优化复杂性。

关键设计：采用冻结的基础模型和轻量级对齐模块，确保了模型的高效性与预测能力，同时避免了复杂的端到端训练过程。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

在AI City Challenge 2026 Track 5基准测试中，提出的方法取得了75.1297的得分，排名第三，显示出相较于其他基线方法的显著提升，证明了V-JEPA学习的预测世界表示在视频生成中的有效性。

🎯 应用场景

该研究的潜在应用领域包括智能交通系统、自动驾驶车辆的实时交通预测以及城市交通管理。通过提高交通预测的准确性和效率，该框架能够为城市规划和交通流量管理提供重要支持，具有显著的实际价值和未来影响。

📄 摘要（原文）

Accurate traffic forecasting requires both understanding scene dynamics and synthesizing realistic future observations. Recent diffusion-based video generation models produce visually plausible predictions but require expensive end-to-end training and often entangle scene understanding with image synthesis. In this work, we propose a decoupled forecasting framework that separates future representation learning from video generation. A frozen V-JEPA encoder first extracts predictive latent representations from the observed traffic videos, capturing the underlying scene dynamics in a semantic latent space. A lightweight latent alignment module then projects these representations into the conditioning space of a frozen Cosmos diffusion module, enabling future video synthesis without retraining the large generative model. By freezing all foundation models and training only the lightweight alignment module, the proposed framework substantially reduces optimization complexity while preserving forecasting capability. Experimental results on the AI City Challenge 2026 Track 5 benchmark demonstrate that the proposed method achieved a score of 75.1297, ranking third in the competition. These results suggest that predictive world representations learned by V-JEPA can effectively guide downstream video generation, providing a practical and efficient alternative to end-to-end diffusion-based forecasting.