Navi-Agent: Unlocalized Monocular Navigation Agent

📄 arXiv: 2609.20388v1 📥 PDF

作者: Wenyuan Xie, Mengyang Hong, Yongzhong Wang, Yanbiao Ji, Yijin Zhou, Shaokai Wu, Shalayiding Sirejiding, Huayi Zhou, Yi-Chao Chen, Ma Ling, Yue Ding, Hongtao Lu

分类: cs.RO, cs.CV

发布日期: 2026-09-17

备注: 8 pages, 7 figures. Submitted to 2027 IEEE International Conference on Robotics & Automation (ICRA)

💡 一句话要点

提出Navi-Agent以解决未知环境中的视觉语言导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 几何约束 空间状态 自我定位 机器人导航 拓扑结构 长指令执行

📋 核心要点

  1. 现有的零-shot VLN-CE系统依赖几何定位，难以在未知环境中保持持久的空间意识，导致位置确认和进度验证的挑战。
  2. Navi-Agent通过构建无坐标的空间状态，利用视觉观察和运动历史，形成导航拓扑以实现自我定位和任务验证。
  3. 实验表明，Navi-Agent在零-shot VLN-CE基准测试中表现优异，超越了现有几何约束方法，并与几何定位方法竞争力强。

📝 摘要（中文）

视觉语言导航在连续环境中（VLN-CE）要求具身代理执行长时间指令，而现有的零-shot VLN-CE系统通常依赖几何定位或坐标表示来维持空间状态。尽管最近的几何约束导航方法去除了深度和全局一致坐标，但在位置确认、进度验证和恢复等方面仍面临挑战。本文提出Navi-Agent，这是一种零-shot VLN-CE代理，通过视觉观察和执行的运动历史构建无坐标的空间状态。Navi-Agent将该状态组织为导航拓扑，其中节点表示视觉位置，边表示运动转移。这种表示方式使得基于观察的近似自我定位、任务进度验证和基于视觉重访的恢复成为可能。Navi-Agent通过将指令分解为子目标、执行局部视觉导航并通过构建的空间状态验证已访问位置来实现闭环导航。实验结果表明，Navi-Agent在零-shot VLN-CE基准和真实机器人平台上表现出色，达到了几何约束方法中的最先进性能，同时在几何定位方法中也保持竞争力。

🔬 方法详解

问题定义：本文旨在解决在未知环境中进行视觉语言导航时，现有方法在空间意识和位置确认方面的不足，尤其是在缺乏几何定位的情况下。

核心思路：Navi-Agent的核心思路是构建一个无坐标的空间状态，通过视觉观察和运动历史来组织导航拓扑，从而实现近似自我定位和任务进度验证。

技术框架：Navi-Agent的整体架构包括三个主要模块：指令分解、局部视觉导航和空间状态验证。首先，将长指令分解为可管理的子目标；其次，执行局部导航以到达这些目标；最后，通过构建的空间状态验证已访问的位置。

关键创新：Navi-Agent的关键创新在于其无坐标的空间状态表示和导航拓扑结构，使得在缺乏几何信息的情况下仍能实现有效的自我定位和任务执行。这与传统依赖几何定位的方法本质上不同。

关键设计：在设计中，Navi-Agent采用了基于观察的自我定位机制，结合了运动历史的记录，以确保在导航过程中能够有效地确认位置和进度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Navi-Agent在零-shot VLN-CE基准测试中取得了最先进的性能，相较于几何约束方法，表现提升显著。同时，其在真实机器人平台上的实验结果也显示出与几何定位方法的竞争力，验证了其有效性。

🎯 应用场景

Navi-Agent的研究成果在智能机器人、自动驾驶、虚拟现实等领域具有广泛的应用潜力。通过提升机器人在未知环境中的导航能力，该技术能够提高人机交互的效率和安全性，推动智能系统的进一步发展。

📄 摘要（原文）

Vision-Language Navigation in Continuous Environments (VLN-CE) requires an embodied agent to execute long-horizon instructions in unknown environments. Existing zero-shot VLN-CE systems typically maintain spatial states through geometric localization or coordinate-based representations. Recent geometry-constrained navigation removes depth and globally consistent coordinates, but maintaining persistent spatial awareness for place confirmation, progress verification, and recovery remains challenging. We present Navi-Agent, a zero-shot VLN-CE agent that constructs a coordinate-free spatial state from visual observations and executed motion histories. Navi-Agent organizes this state as a navigation topology, where nodes represent visual places and edges represent motion transitions. This representation enables observation-based approximate self-localization, task progress verification, and visual revisitation-based recovery. Navi-Agent performs closed-loop navigation by decomposing instructions into sub-goals, executing local visual navigation, and verifying visited places through the constructed spatial state. Experiments on zero-shot VLN-CE benchmark and real-world robot platforms show that Navi-Agent achieves state-of-the-art performance among geometry-constrained methods while remaining competitive with approaches relying on geometric localization.