Sim-to-Real Traffic Scene Understanding by Decoupling Semantics from Caption Generation with V-JEPA

📄 arXiv: 2609.18562v1 📥 PDF

作者: Nguyen Hoai Thuong Bui, Thanh Nguyen Vo, Trinh Tra Giang Nguyen, Ha Duc Bui

分类: cs.CV

发布日期: 2026-09-16

备注: Winner of Track 2 at the AI City Challenge 2026, with the paper published at the ECCV conference 2026 (ECCV-W)

💡 一句话要点

提出解耦语义与描述生成的框架以解决交通场景理解问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 交通场景理解 视觉问答 语义解耦 描述生成 结构化精炼

📋 核心要点

  1. 现有方法将语义理解与语言生成紧密结合，导致在交通事件描述中出现幻觉和推理不一致的问题。
  2. 本文提出的解耦框架首先解析交通问题为结构化语义事实，再利用这些事实指导描述生成，从而提高生成的准确性和可靠性。
  3. 实验结果显示，该方法在VQA准确率和整体S2得分上均优于其他参赛队伍，验证了其有效性和优越性。

📝 摘要（中文）

AI City Challenge 2026的第二赛道要求在合成到真实的领域转移下进行视觉问答和交通事件描述生成。现有的视觉语言方法往往将语义理解与语言生成纠缠在一起，导致幻觉和事件阶段间推理不一致。本文提出了一种解耦的语义理解框架，首先将预定义的交通问题解析为结构化的语义事实，然后利用这些事实指导描述生成。通过冻结的V-JEPA编码器提取预测场景表示，轻量级的基于Llama的预测器生成VQA查询的答案。为提高可靠性，本文引入了一种无训练的结构化精炼机制，利用统计先验、问题间关系和时间事件一致性来纠正预测错误。实验结果表明，该方法在2026 AI City Challenge Track 2基准测试中取得了87.09%的VQA准确率和60.0853的整体S2得分，排名第一。

🔬 方法详解

问题定义：本文旨在解决在合成到真实领域转移中，交通场景理解的准确性和一致性问题。现有方法在语义理解与语言生成的结合上存在幻觉和推理不一致的痛点。

核心思路：提出了一种解耦的语义理解框架，首先将交通问题解析为结构化的语义事实，然后利用这些事实指导描述生成，以提高生成的质量和可靠性。

技术框架：整体架构包括三个主要模块：冻结的V-JEPA编码器用于提取场景表示，轻量级的Llama预测器用于生成VQA答案，以及Qwen3-VL-8B用于生成交通事件的描述。

关键创新：引入了无训练的结构化精炼机制，通过利用统计先验、问题间关系和时间一致性来纠正预测错误，这是与现有方法的本质区别。

关键设计：采用冻结的V-JEPA编码器和Llama预测器，结合统计先验和时间一致性来优化语义事实的生成，确保描述生成的准确性。具体的损失函数和参数设置在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果显示，提出的方法在VQA准确率上达到了87.09%，整体S2得分为60.0853，领先于所有参赛队伍，证明了预测世界表示与结构化语义精炼的结合能够显著提高交通理解的准确性和语言生成质量。

🎯 应用场景

该研究在智能交通系统、自动驾驶和城市交通管理等领域具有广泛的应用潜力。通过提高交通事件的理解和描述质量，可以为交通监控、事故分析和智能决策提供更可靠的支持，推动智能交通技术的发展。

📄 摘要（原文）

Track 2 of the AI City Challenge 2026 requires both visual question answering (VQA) and traffic event description generation under a challenging synthetic-to real domain shift. Existing vision-language approaches often entangle semantic understanding with language generation, making them susceptible to hallucination and inconsistent reasoning across event phases. In this work, we propose a decoupled semantic understanding framework that first resolves predefined traffic questions into structured semantic facts and subsequently uses these facts to guide caption generation. A frozen V-JEPA encoder extracts predictive scene representations, while a lightweight Llama-based predictor produces answers for VQA queries. To improve reliability, we introduce a training-free structured refinement mechanism that exploits statistical priors, inter-question relationships, and temporal event consistency to correct prediction errors. The refined semantic facts are then provided to Qwen3-VL-8B to generate pedestrian and vehicle descriptions for each traffic event. Experimental results on the official 2026 AI City Challenge Track 2 benchmark show that the proposed method achieves 87.09% VQA accuracy and an overall S2 score of 60.0853, ranking first among all participating teams. These results demonstrate that predictive world representations combined with structured semantic refinement enable more accurate and reliable traffic understanding, leading to higher-quality lan guage generation.