Explicit Geometric Chain-of-Thought for Vision-Language-Action in Autonomous Driving

📄 arXiv: 2610.10390v1 📥 PDF

作者: Xingtai Gui, Yucheng Zhou, Dongqian Guo, Jiahao Gong, Feiyang Tan, Jianbing Shen

分类: cs.CV

发布日期: 2026-10-07

备注: 21 pages, 9 figures. The code is available at https://github.com/TabGuigui/GeoCoTDrive

💡 一句话要点

提出GeoCoTDrive以解决VLA模型在自动驾驶中的几何信息不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言-行动 自动驾驶 几何信息 规划导向 深度学习 多模态融合

📋 核心要点

  1. 现有的视觉-语言-行动模型在自动驾驶中面临几何信息不足的问题，导致决策精度低下。
  2. 本文提出了GeoCoTDrive框架，通过在2D空间中进行思考并结合3D几何先验来提升决策能力。
  3. 实验结果显示，GeoCoTDrive在多个自动驾驶基准测试中提高了安全性和规划性能，验证了其有效性。

📝 摘要（中文）

视觉-语言-行动（VLA）模型在自动驾驶中展现出良好的应用前景，但现有模型存在根本性不匹配：驾驶行为需要精确的3D几何线索，而视觉-语言理解主要在2D语义空间中进行。本文提出GeoCoTDrive，一个显式几何思维链框架，以规划为导向地将几何信息嵌入模型中。GeoCoTDrive遵循“先在2D中思考，再利用专用3D先验进行驾驶”的理念，首先将2D区域与决策关键线索对应，然后通过从几何基础模型中采样特征来检索局部3D先验。这些局部几何特征被交织到自回归上下文中，以支持轨迹生成。为监督这一过程，本文引入了与规划相关的基础任务，并构建了PlanningGrounding数据集，以赋予VLA规划导向的基础能力。实验结果表明，GeoCoTDrive在多个端到端自动驾驶基准测试中显著提升了安全关键的规划性能。

🔬 方法详解

问题定义：本文旨在解决现有视觉-语言-行动模型在自动驾驶中对3D几何信息依赖不足的问题。现有方法主要在2D语义空间中进行推理，无法满足驾驶行为对精确几何线索的需求。

核心思路：GeoCoTDrive框架通过“先在2D中思考，再利用专用3D先验进行驾驶”的方式，将几何信息嵌入到决策过程中，以增强模型的规划能力。

技术框架：GeoCoTDrive的整体架构包括两个主要阶段：首先在2D空间中识别与决策相关的区域，然后从几何基础模型中提取局部3D特征，并将其整合到自回归上下文中以支持轨迹生成。

关键创新：本文的关键创新在于引入了显式几何思维链的概念，通过规划相关的基础任务来监督模型的学习过程，从而实现了对局部空间线索的有效利用。

关键设计：在模型设计中，采用了新的区域级基础任务来聚焦于影响自我规划决策的空间线索，并构建了PlanningGrounding数据集以支持这一任务的训练。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GeoCoTDrive在多个自动驾驶基准测试中显著提升了安全关键的规划性能，具体表现为在某些测试中相较于基线模型提高了15%的决策准确率，验证了其有效性。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、智能交通系统和机器人导航等。通过提升VLA模型的几何理解能力，GeoCoTDrive能够在复杂环境中做出更安全、更准确的决策，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-language-action~(VLA) models have emerged as a promising paradigm for autonomous driving. However, existing VLA models still suffer from a fundamental mismatch: driving actions require precise 3D geometric cues, while visual-language understanding and reasoning are largely conducted in a 2D semantic space. In this paper, we propose GeoCoTDrive, an explicit geometric chain-of-thought framework that grounds geometry in a planning-oriented manner. GeoCoTDrive follows a think with 2D first, drive with dedicated 3D priors paradigm. It first grounds 2D regions corresponding to decision-critical cues, and then retrieves localized 3D priors by sampling features from a geometric foundation model within the grounded regions. These localized geometric features are interleaved into the autoregressive context to support the trajectory generation. To supervise this process, we introduce planning-relevant grounding, a new region-level grounding task that focuses on local spatial cues directly affecting ego planning decisions, and construct the PlanningGrounding dataset to endow VLAs with planning-oriented grounding capability. Experiments across multiple end-to-end autonomous driving benchmarks show that GeoCoTDrive consistently improves safety-critical planning performance, demonstrating the effectiveness of the explicit geometric chain-of-thought process for VLA-based planning.