AdaGeoVLN: Selective Geometry Across Representation Depth and Navigation Time for Vision-Language Navigation

📄 arXiv: 2609.18789v1 📥 PDF

作者: Quan-Dung Pham, Anh Dao, Danh Vinh Le, Nguyen Viet Tri Pham, The-Anh Nguyen, Zhirui Dai, Yiyu Chen, Tuyen P. Le, Truong Nguyen, Quan Nguyen

分类: cs.RO

发布日期: 2026-09-16

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出AdaGeoVLN以解决视觉语言导航中的几何特征利用问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 几何基础模型 多模态融合 层次化表示 导航策略 历史信息保留 智能机器人 增强现实

📋 核心要点

  1. 现有方法在视觉语言导航中未能有效利用几何特征和历史信息，导致导航性能不足。
  2. 本文提出的AdaGeoVLN框架通过层次化的几何基础模型与视觉语言模型融合，优化了特征利用和历史信息保留。
  3. 在R2R-CE和RxR-CE数据集上，AdaGeoVLN在不使用额外数据的情况下，显著提升了导航性能。

📝 摘要（中文）

视觉语言导航需要将语言与视觉观察进行对齐，同时保持对空间的理解。几何基础模型（GFM）在其层次结构中暴露了中间表示，但如何利用这些特征并保留历史几何证据仍未解决。本文提出了AdaGeoVLN，一个流式视觉语言导航框架，解决了表示深度和导航时间的问题。通过层次化的GFM-VLM融合，将早期、中间和后期的GFM表示与连续的策略阶段相结合。导航感知的GFM记忆根据指令相关性、几何置信度和过渡新颖性保留历史VGGT全局注意力KV状态。实验结果表明，AdaGeoVLN在R2R-CE和RxR-CE数据集上表现优异，使用单一RGB流且无需额外的导航特定外部数据。

🔬 方法详解

问题定义：本文旨在解决视觉语言导航中几何特征利用不足和历史信息保留不当的问题。现有方法通常只依赖终端特征，未能有效整合中间表示，导致导航策略的性能受限。

核心思路：AdaGeoVLN通过层次化的GFM-VLM融合，将不同层次的几何表示与导航策略的不同阶段相结合，从而实现更有效的特征利用和历史信息的保留。这样的设计旨在增强模型对几何信息的理解和利用，提高导航的准确性和鲁棒性。

技术框架：该框架包括多个主要模块：首先是几何基础模型（GFM），用于提取不同层次的几何特征；其次是视觉语言模型（VLM），用于处理语言指令；最后是导航策略模块，结合GFM和VLM的输出进行决策。整个流程通过层次化的特征融合和导航感知的记忆机制进行优化。

关键创新：最重要的创新在于引入了层次化的GFM-VLM融合机制，使得模型能够在不同的策略阶段利用多层次的几何表示，而不是简单地重复使用终端特征。这种方法显著提升了模型的导航性能。

关键设计：在设计中，导航感知的GFM记忆根据指令相关性、几何置信度和过渡新颖性来保留历史状态，确保在每一层的预算限制下有效利用记忆。这种设计减少了对大内存的依赖，同时保持了导航性能。具体的参数设置和损失函数设计也经过精心调整，以优化模型的整体表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在R2R-CE和RxR-CE数据集上，AdaGeoVLN在使用单一RGB流的情况下，显著提高了导航性能，超越了基线方法。实验结果表明，采用多层次耦合的策略相比于重复终端特征注入，性能提升显著，且在内存使用上也表现出色。

🎯 应用场景

该研究的潜在应用领域包括智能机器人导航、增强现实和虚拟现实等场景。在这些应用中，能够有效地将语言指令与视觉环境结合，将极大提升用户体验和系统的智能化水平。未来，该框架可能推动更复杂的多模态交互系统的发展。

📄 摘要（原文）

Vision-language navigation requires aligning language with visual observations while maintaining spatial understanding over time. Geometry foundation models (GFMs) expose intermediate representations throughout their hierarchy, but how navigation policies should use these features and retain historical geometric evidence remains unresolved. We introduce \method{}, a streaming VLN framework that addresses these questions across \textbf{representation depth} and \textbf{navigation time}. Hierarchical GFM--VLM fusion couples earlier, intermediate, and later GFM representations to successive policy stages instead of repeatedly injecting a terminal feature. Navigation-aware GFM memory retains historical VGGT global-attention KV states according to instruction relevance, geometric confidence, and transition novelty under a bounded per-layer budget. Retained states provide geometric context for subsequent observations before fusion with the policy. Across R2R-CE and RxR-CE, \method{} achieves strong performance using a single RGB stream without additional navigation-specific external data. Controlled ablations show that multi-depth coupling substantially outperforms repeated terminal-feature injection at matched fusion locations. Bounded navigation-aware retention preserves navigation performance while considerably reducing GFM-KV memory relative to larger-memory temporal retention. These findings support jointly examining the geometric representations exposed to the policy and the historical evidence retained for future inference. Code will be released upon acceptance at https://humanoid-research.github.io/adageovln/.