GroundingVLN: Reasoning and Acting with Grounding for Vision-Language Navigation

📄 arXiv: 2609.18581v1 📥 PDF

作者: Kailing Li, Yu Han, Tianwen Qian, Yuqian Fu, Jingyu Gong, Jiangming Shi, Xiaoling Wang

分类: cs.RO

发布日期: 2026-09-16

💡 一句话要点

提出GroundingVLN以解决视觉语言导航中的推理与执行问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 推理与执行 视觉锚定 多模态学习 强化学习 数据集构建 智能机器人 空间决策

📋 核心要点

  1. 现有视觉语言导航代理在将语义推理与空间执行相结合时存在明显的不足，导致导航效果不佳。
  2. 本文提出GroundingVLN，通过视觉锚定将推理与行动连接，增强了任务相关的视觉证据与空间目标之间的联系。
  3. 实验结果显示，GroundingVLN在多个数据集上表现优异，相较于最强基线，性能提升显著，且训练数据使用效率高。

📝 摘要（中文）

尽管现有的视觉语言模型具备强大的视觉理解和推理能力，但在视觉语言导航中，现有代理在将语义推理与空间执行相结合方面仍面临挑战。为了解决这一问题，本文提出了GroundingVLN，利用视觉锚定作为推理与行动之间的共享接口。该方法通过将任务相关的视觉证据锚定到精确的图像位置进行推理，并通过预测与进度对齐的像素目标来指导低级动作。实验结果表明，GroundingVLN在R2R-CE和RxR-CE数据集上均取得了最先进的性能，且样本效率高，使用的训练数据仅为最强基线的0.9%。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航中推理与空间执行之间的连接问题。现有方法在中间推理未能明确锚定视觉证据，且高层决策缺乏精确的空间目标，导致导航效果不理想。

核心思路：GroundingVLN通过视觉锚定作为推理与行动之间的共享接口，首先在结构化推理过程中将任务相关的视觉证据锚定到图像的精确位置，然后通过预测与进度对齐的像素目标来指导低级动作。

技术框架：GroundingVLN的整体架构包括两个主要模块：推理模块和执行模块。推理模块负责进行结构化的视觉推理，而执行模块则将推理结果转化为具体的动作指令。

关键创新：GroundingVLN的核心创新在于引入了视觉锚定机制，明确连接了推理与执行的过程。这一设计使得导航代理能够更有效地利用视觉信息，提升了导航的准确性和效率。

关键设计：在训练过程中，构建了GroundingCOTVLN-188K数据集，包含时间对齐的锚定推理轨迹。此外，提出了Grounded and Execution-Aware Reinforcement Learning (GEAR)方法，以对齐锚定推理与空间决策，优化了训练效果。具体的损失函数和网络结构设计也经过精心调整，以确保模型的高效学习。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GroundingVLN在R2R-CE数据集上达到了69.9%的成功率(SR)，在RxR-CE数据集上达到了75.1%的SR，均为当前最先进的性能。此外，该方法在样本效率方面表现优异，仅使用了最强基线的0.9%的训练数据，且在仅使用R2R训练时，在RxR-CE上也取得了59.9%的SR，相较于最强基线提升了20.1%。

🎯 应用场景

该研究的潜在应用场景包括智能机器人导航、虚拟现实环境中的交互式导航以及自动驾驶系统等。通过提升视觉语言导航的准确性和效率，GroundingVLN有望在多模态交互和人机协作领域发挥重要作用，推动相关技术的进步与应用。未来，该方法还可以扩展到更复杂的导航任务和环境中，进一步提升智能系统的自主性和灵活性。

📄 摘要（原文）

Although vision-language models (VLMs) possess strong visual understanding and reasoning capabilities, existing vision-and-language navigation (VLN) agents struggle to connect semantic reasoning with spatial execution. Two coupled gaps remain in this connection, as intermediate reasoning is not explicitly anchored to visual evidence and high-level decisions lack precise spatial goals to guide low-level motion. Cognitive science suggests that human navigation bridges these levels hierarchically by anchoring cognition to relevant landmarks and guiding locomotion toward spatial goals. Motivated by this principle, we propose GroundingVLN, which uses visual grounding as a shared interface between reasoning and action. GroundingVLN first reasons with grounding by anchoring task-relevant visual evidence to precise image locations throughout structured reasoning. It then acts through grounding by predicting a progress-aligned pixel goal that a geometric planner translates into primitive actions. To learn these capabilities, we construct GroundingCOTVLN-188K, a dataset of temporally aligned grounded reasoning traces, and introduce Grounded and Execution-Aware Reinforcement Learning (GEAR), which aligns grounded reasoning and spatial decisions with downstream execution. Experiments demonstrate that GroundingVLN achieves state-of-the-art performance (69.9% SR on R2R-CE and 75.1% SR on RxR-CE) with high sample efficiency, using just 0.9% as much training data as the strongest baseline. It also generalizes strongly across datasets, attaining 59.9% SR on RxR-CE when trained solely on R2R, a gain of 20.1% over the strongest baseline.