Navi-Agent: Unlocalized Monocular Navigation Agent

📄 arXiv: 2609.20388v2 📥 PDF

作者: Wenyuan Xie, Mengyang Hong, Yongzhong Wang, Yanbiao Ji, Yijin Zhou, Shaokai Wu, Shalayiding Sirejiding, Huayi Zhou, Yi-Chao Chen, Ma Ling, Yue Ding, Hongtao Lu

分类: cs.RO, cs.CV

发布日期: 2026-09-17 (更新: 2026-09-18)

备注: 8 pages, 7 figures

💡 一句话要点

提出Navi-Agent以解决未知环境中的导航问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉-语言导航 几何约束 空间状态 闭环导航 机器人导航 自主决策 复杂环境

📋 核心要点

  1. 现有的零-shot VLN-CE系统依赖几何定位，难以在未知环境中保持持久的空间意识。
  2. Navi-Agent通过构建无坐标的空间状态，利用视觉观察和运动历史来实现导航。
  3. 实验结果显示，Navi-Agent在零-shot VLN-CE基准上表现优异，超越了现有几何约束方法。

📝 摘要（中文）

视觉-语言导航在连续环境中（VLN-CE）要求具身代理执行长时间的指令，而环境未知。现有的零-shot VLN-CE系统通常依赖几何定位或基于坐标的表示来维持空间状态。最近的几何约束导航方法去除了深度和全局一致坐标，但在保持持久空间意识以确认地点、验证进度和恢复方面仍然面临挑战。本文提出Navi-Agent，这是一种零-shot VLN-CE代理，通过视觉观察和执行的运动历史构建无坐标的空间状态。Navi-Agent将该状态组织为导航拓扑，其中节点表示视觉地点，边表示运动转移。这种表示方式使得基于观察的近似自我定位、任务进度验证和基于视觉重访的恢复成为可能。Navi-Agent通过将指令分解为子目标、执行局部视觉导航并通过构建的空间状态验证访问地点，实现闭环导航。实验结果表明，Navi-Agent在零-shot VLN-CE基准和真实机器人平台上表现出色，达到了几何约束方法中的最先进性能，同时在几何定位方法中也保持竞争力。

🔬 方法详解

问题定义：本文旨在解决在未知环境中进行视觉-语言导航时，现有方法在空间意识持久性方面的不足，特别是在确认地点和验证进度时的挑战。

核心思路：Navi-Agent通过构建一个无坐标的空间状态，利用视觉观察和执行的运动历史来实现导航，从而避免了对几何定位的依赖。

技术框架：Navi-Agent的整体架构包括三个主要模块：首先是指令分解，将长指令分解为可管理的子目标；其次是局部视觉导航，执行导航任务；最后是通过构建的空间状态验证已访问地点，实现闭环导航。

关键创新：Navi-Agent的核心创新在于其无坐标的空间状态表示，采用导航拓扑结构，使得代理能够在没有全局坐标的情况下进行自我定位和任务进度验证，这与传统依赖几何定位的方法有本质区别。

关键设计：在设计中，Navi-Agent使用了特定的损失函数来优化导航性能，并通过视觉特征提取网络来增强对环境的理解，确保在复杂环境中也能有效执行导航任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在零-shot VLN-CE基准测试中，Navi-Agent的性能达到了最先进水平，相较于现有几何约束方法，表现出显著的提升，具体性能数据和对比基线尚未提供，但实验结果表明其在复杂环境中的导航能力优于传统方法。

🎯 应用场景

Navi-Agent的研究成果在机器人导航、智能家居、无人驾驶等领域具有广泛的应用潜力。通过在未知环境中实现高效的视觉-语言导航，该技术能够提升机器人在复杂环境中的自主决策能力，推动智能代理的实际应用。未来，Navi-Agent有望在更多实际场景中得到应用，进一步提升人机交互的智能化水平。

📄 摘要（原文）

Vision-Language Navigation in Continuous Environments (VLN-CE) requires an embodied agent to execute long-horizon instructions in unknown environments. Existing zero-shot VLN-CE systems typically maintain spatial states through geometric localization or coordinate-based representations. Recent geometry-constrained navigation removes depth and globally consistent coordinates, but maintaining persistent spatial awareness for place confirmation, progress verification, and recovery remains challenging. We present Navi-Agent, a zero-shot VLN-CE agent that constructs a coordinate-free spatial state from visual observations and executed motion histories. Navi-Agent organizes this state as a navigation topology, where nodes represent visual places and edges represent motion transitions. This representation enables observation-based approximate self-localization, task progress verification, and visual revisitation-based recovery. Navi-Agent performs closed-loop navigation by decomposing instructions into sub-goals, executing local visual navigation, and verifying visited places through the constructed spatial state. Experiments on zero-shot VLN-CE benchmark and real-world robot platforms show that Navi-Agent achieves state-of-the-art performance among geometry-constrained methods while remaining competitive with approaches relying on geometric localization.