SparseNav: Instruction-conditioned Sparse Semantic Perception for Training-Free Vision-Language Navigation

📄 arXiv: 2609.26408v1 📥 PDF

作者: Quanhua Chen, Juhan Kang, Runfeng Lin, ZiFei Zhang, Enquang Feng, Chunran Zheng, Xiwang Dong, Jiarong Lin

分类: cs.RO

发布日期: 2026-09-22

💡 一句话要点

提出SparseNav以解决视觉语言导航中的语义感知成本问题

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 稀疏感知 无训练框架 几何映射 指令条件感知 开放词汇分割 室内导航 机器人导航

📋 核心要点

  1. 现有的视觉语言导航方法在获取语义时存在不必要的感知成本和无关注释的问题。
  2. SparseNav框架通过维护轻量级的BEV地图和稀疏地标记忆，按需获取语义，减少了计算和表示的复杂性。
  3. SparseNav在R2R-CE和RxR-CE的Val-Unseen分割上分别取得了42.8%和40.7%的成功率，展示了其有效性。

📝 摘要（中文）

基于地图的视觉语言导航（VLN）依赖于持久的空间表示，将语言理解与几何规划连接起来。然而，获取超出当前指令需求的语义会引入不必要的感知成本和无关的注释。不断积累不相关的对象不仅浪费计算资源，还会使视觉空间表示变得杂乱。为了解决这一问题，我们提出了SparseNav，一个遵循少即是多原则的无训练框架。SparseNav持久维护轻量级的鸟瞰图（BEV）地图和稀疏地标记忆，按需获取新语义，使用主动子指令决定值得基础的内容。指令管理器首先跟踪导航进度并识别活动地标查询，随后指令条件感知机制在可见的地标被查询时调用开放词汇分割。最终的地标记忆支持VLM在混合前沿和局部方向航点候选之间的选择。

🔬 方法详解

问题定义：本论文旨在解决视觉语言导航中的语义感知成本过高和无关注释的问题。现有方法在处理指令时，往往会积累不必要的对象，导致计算资源浪费和视觉表示混乱。

核心思路：SparseNav框架遵循少即是多的原则，通过维护轻量级的鸟瞰图和稀疏地标记忆，按需获取语义，确保只关注当前指令相关的内容。

技术框架：SparseNav的整体架构包括指令管理器和指令条件感知机制。指令管理器跟踪导航进度并识别活动地标查询，而感知机制则在地标可见时调用开放词汇分割。

关键创新：SparseNav的主要创新在于其无训练的特性和按需获取语义的能力，这与现有方法的持续训练和积累无关对象的方式形成鲜明对比。

关键设计：SparseNav设计了轻量级的BEV地图和稀疏地标记忆结构，采用开放词汇分割技术，确保在地标可见时高效地进行语义感知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SparseNav在R2R-CE和RxR-CE的Val-Unseen分割上分别取得了42.8%和40.7%的成功率，展示了其在无训练条件下的有效性。通过对比实验，验证了各个框架组件的贡献，进一步支持了其设计理念。

🎯 应用场景

SparseNav的研究成果在室内导航、机器人自主导航等领域具有广泛的应用潜力。通过减少不必要的计算和提高导航效率，该框架能够在复杂环境中实现更高效的任务执行，未来可能推动智能机器人和自动驾驶技术的发展。

📄 摘要（原文）

Map-based vision-language navigation (VLN) relies on persistent spatial representations to connect language understanding with geometric planning. However, acquiring semantics beyond the needs of the current instruction can introduce unnecessary perception cost and irrelevant annotations. Continuously accumulating unrelated objects may not only waste computation, but also clutter the visual-spatial representation consumed by the vision-language model (VLM) planner. To address this problem, we present SparseNav, a training-free framework that follows a less-is-more principle for semantic navigation. SparseNav persistently maintains a lightweight geometric bird's-eye-view (BEV) map and sparse landmark memory, acquiring new semantics on demand using the active sub-instruction to decide what is worth grounding. An instruction manager first tracks navigation progress and identifies the active landmark query. An instruction-conditioned perception mechanism then invokes open-vocabulary segmentation when the queried landmark is visible and its metric location can inform the next decision. The resulting landmark memory supports VLM selection among hybrid frontier and local directional waypoint candidates. Without any additional training, SparseNav achieves success rates of 42.8% on R2R-CE and 40.7% on RxR-CE, both on the Val-Unseen splits. Controlled ablations examine semantic perception strategies and the contributions of individual framework components. Furthermore, we successfully deployed SparseNav on a Unitree Go2 quadruped equipped with an Intel RealSense D455 RGB-D camera for geometric mapping and landmark grounding and a Livox MID-360 LiDAR for localization, without a prebuilt map. We validated its effectiveness across multiple indoor environments using instruction-conditioned waypoint navigation.