AnchorVLN: Geometry-Anchored Vision-Language Grounding Reasoning for Open-Vocabulary Navigation
作者: Long Giang Vu, Chengkai Yao, Yuxin Liu, FNU Aryan, Rajath Chandrashekar Aralikatti
分类: cs.RO, cs.CV
发布日期: 2026-09-10
💡 一句话要点
提出AnchorVLN以解决开放词汇导航中的几何锚定问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言导航 几何锚定 开放词汇 多模态模型 机器人导航 自然语言处理 空间推理
📋 核心要点
- 现有的视觉-语言导航方法在处理未知环境时，难以直接从图像中提取可靠的度量信息，影响导航效果。
- AnchorVLN通过将语义与几何信息分开处理，提出了一种新的导航系统，确保几何信息不干扰下游控制任务。
- 在CMU视觉-语言导航挑战赛中，AnchorVLN在指令跟随任务中取得了64.4%的准确率，并显著降低了对象引用的误差。
📝 摘要（中文）
在未知室内环境中进行视觉-语言导航（VLN）对现实世界的机器人技术具有重要意义。现有的多模态视觉-语言模型（VLMs）在开放词汇的基础上提供了强大的语义理解能力，但在从图像中直接输出可靠的度量信息（如距离、方位和空间关系）方面存在困难。为了解决这一问题，论文提出了AnchorVLN系统，其核心思想是将语义与几何信息分开处理，利用几何信息来决定度量标准。通过在CMU视觉-语言导航挑战赛中进行的基准测试，AnchorVLN在指令跟随任务中达到了64.4%的准确率，并在对象引用任务中显著降低了中心误差。
🔬 方法详解
问题定义：论文旨在解决视觉-语言导航中，现有方法难以从图像中直接输出可靠度量信息的问题。现有方法通常依赖于手工设计的几何管道，导致灵活性不足。
核心思路：AnchorVLN的核心思想是将视觉-语言模型（VLM）提出的语义与几何信息分开处理，几何信息用于决定度量标准，从而避免对下游控制堆栈的修改。
技术框架：AnchorVLN实现为EMBODIED-NAV-MCP，一个由VLM驱动的模型上下文协议（MCP）服务器，使用一组可调用的工具进行导航任务。该框架确保工具不接受以米或弧度为单位的距离和方位输入。
关键创新：AnchorVLN的最大创新在于其几何锚定策略，允许模型在不改变控制堆栈的情况下，利用几何信息进行度量决策，这与传统方法的直接坐标估计有本质区别。
关键设计：系统设计中，工具调用的语义-几何边界被严格 enforced，确保了模型的灵活性和适应性，同时在实验中优化了参数设置和损失函数以提高性能。
🖼️ 关键图片
📊 实验亮点
在CMU视觉-语言导航挑战赛中，AnchorVLN在指令跟随任务中达到了64.4%的准确率，相较于不使用控制建模时下降了13.3个百分点。同时，在对象引用任务中，几何锚定策略使得在45个问题中有10个超越了挑战重叠阈值，中心误差从3.37米降低至2.48米。
🎯 应用场景
AnchorVLN的研究成果在机器人导航、智能家居和自动化物流等领域具有广泛的应用潜力。通过实现开放词汇导航，机器人能够更好地理解和执行自然语言指令，从而提升人机交互的效率和准确性。未来，该技术有望推动自主导航系统的进一步发展。
📄 摘要（原文）
Vision-Language Navigation (VLN) in unseen indoor environments is useful in real-world robotics, where an agent must follow natural-language instructions, locate objects, and answer spatial questions without a pre-built map or fixed object vocabulary. Multimodal vision-language models (VLMs) provide strong open-vocabulary grounding and zero-shot reasoning, but struggle to emit reliable metric quantities such as range, bearing, and comparative spatial relations directly from images. Existing approaches address this by folding geometry into hand-engineered pipelines or asking models to output waypoints, requiring changes to the control stack for different robots, tasks, or vocabularies. We introduce AnchorVLN, an open-vocabulary VLN system built on a simple rule: the VLM proposes semantics; geometry decides metrics. It is realised as EMBODIED-NAV-MCP, a Model Context Protocol (MCP) server driven by a VLM agent through a compact set of callable tools. Since no tool accepts distance in metres or bearing in radians, the schema enforces the semantic-geometry boundary without modifying the downstream autonomy stack. We benchmark both tasks of the CMU Vision-Language Navigation Challenge 2026: 30 instruction-following questions over 15 scenes and a frozen 45-question object-reference set. The full system achieves 64.4 percent on instruction following, dropping by 13.3 percentage points without controller modeling (t = 2.77). On object reference, geometric anchoring clears the challenge overlap threshold on 10 of 45 questions, versus 0 of 45 for direct coordinate estimation, reducing median center error from 3.37 m to 2.48 m.