AnchorReasoning: A Visual Grounding and Causal Reasoning Dataset in Long-Tail Autonomous Driving Scenarios

📄 arXiv: 2609.28366v1 📥 PDF

作者: Zhipeng Bao, Wenjie Zhao, Tianle Zhu, Haohua Que, Chence Yang, Geng Yuan, Qianwen Li

分类: cs.CV, cs.AI

发布日期: 2026-09-23

💡 一句话要点

提出AnchorReasoning以解决长尾自主驾驶中的视觉推理问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 长尾自主驾驶 视觉推理 数据集构建 课程监督 多模态学习 决策关键元素 轨迹预测 视觉语言模型

📋 核心要点

  1. 现有的自主驾驶数据集在将视觉证据与推理和规划连接方面的监督不足，限制了长尾场景下的决策能力。
  2. 论文提出AnchorReasoning数据集，通过视觉基础的思维链（VG-CoT）将决策关键元素的识别、属性和行动规划有机结合。
  3. 实验结果显示，使用VG-CoT监督后，5秒的ADE和FDE分别降低了7.84和11.86，同时推理延迟平均降低了0.32秒/帧。

📝 摘要（中文）

视觉语言模型（VLMs）为长尾自主驾驶提供了有前景的方法，但现有驾驶数据集在连接决策关键视觉证据与推理和规划方面提供的监督有限。我们引入了AnchorReasoning，这是一个基于WOD-E2E构建的视觉基础推理数据集，包含416,119个标注帧和395,379个决策关键元素，涵盖四个主要类别和19个细分类型。每个帧被组织为一个视觉基础的思维链（VG-CoT），将决策关键元素的识别与定位、元素属性及其影响、驾驶行为的理由，以及行动和轨迹规划联系起来。我们进一步开发了一种课程监督微调策略，逐步学习这些层次能力，并提出了一种对象大小感知的定位质量评估指标。实验结果表明，VG-CoT监督提高了基础推理和轨迹预测的性能。

🔬 方法详解

问题定义：本论文旨在解决长尾自主驾驶场景中，现有方法在视觉证据与推理和规划连接上的监督不足问题。这种不足导致决策关键元素的识别和行动规划不够准确。

核心思路：论文的核心思路是构建AnchorReasoning数据集，通过视觉基础的思维链（VG-CoT）将决策关键元素的识别、属性分析与行动规划结合，从而提升模型的推理能力和决策质量。

技术框架：整体架构包括数据集构建、VG-CoT的设计、课程监督微调策略和对象大小感知的评估指标。数据集中的每个帧都与决策关键元素的识别和定位、属性分析、行动理由及轨迹规划相连。

关键创新：最重要的技术创新点在于引入了视觉基础的思维链（VG-CoT）作为监督方式，显著提升了模型在长尾场景下的推理和规划能力。这一方法与传统的监督学习方法有本质区别。

关键设计：在模型训练中，采用了课程监督微调策略，逐步引导模型学习层次化的推理能力。同时，设计了对象大小感知的定位质量评估指标，以更好地评估模型的定位效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用VG-CoT监督后，模型在推理和轨迹预测方面的性能显著提升。5秒的ADE和FDE分别降低了7.84和11.86，同时推理延迟平均降低了0.32秒/帧，显示出视觉基础监督的有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升长尾场景下的视觉推理能力，AnchorReasoning能够帮助自主驾驶系统更好地理解复杂环境，从而提高安全性和决策效率。未来，该方法可能推动更广泛的智能交通解决方案的发展。

📄 摘要（原文）

Vision-language models (VLMs) offer a promising approach to long-tail autonomous driving, but existing driving datasets provide limited supervision for connecting decision-critical visual evidence with reasoning and planning. We introduce AnchorReasoning, a visually grounded reasoning dataset built on WOD-E2E, containing 416,119 annotated frames and 395,379 decision-critical elements across four major categories and 19 fine-grained types. Each frame is organized as a visually grounded chain-of-thought (VG-CoT) that links decision-critical element identification and localization, element attributes and implications, driving-action rationale, and action and trajectory planning. We further develop a curriculum supervised fine-tuning strategy that progressively learns these hierarchical capabilities, together with an object-size-aware grounding metric for evaluating localization quality. Experiments across eight general-purpose, embodied-AI, and AV-specific backbones show that VG-CoT supervision improves grounded reasoning and trajectory prediction. Across models, 5-s ADE and FDE decrease by 7.84 and 11.86, while RFS Frame and Cluster improve by 1.66 and 1.70. These gains are achieved with 18.5 fewer reasoning tokens and 0.32 s/frame lower inference latency on average, demonstrating the value of visually grounded, decision-focused supervision for VLM reasoning and planning in long-tail autonomous driving.