Exploring Bottlenecks in VLM-LLM Navigation: How 3D Scene Understanding Capability Impacts Zero-Shot VLN

📄 arXiv: 2605.14801v1 📥 PDF

作者: Ziyi Xia, Chaoran Xiong, Litao Wei, Xinhao Hu, Ling Pei

分类: cs.RO

发布日期: 2026-05-14

备注: Accepted by ICRA Workshop MM-Spatial AI, Oral

💡 一句话要点

量化3D场景理解能力对VLM-LLM导航性能的影响，揭示感知饱和现象。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 3D场景理解 VLM-LLM 感知饱和 机器人导航

📋 核心要点

  1. 现有VLM-LLM导航系统依赖高精度3D感知，但计算成本高，实时性差，与实际导航需求不符。
  2. 论文提出量化3D场景理解能力对VLN性能的影响，并分析VLM和LLM子系统的性能上限。
  3. 实验揭示感知饱和现象，表明过度追求像素级精度对导航性能提升有限，应关注导航相关信息。

📝 摘要（中文）

零样本视觉语言导航(VLN)因其数据收集成本低和泛化能力强而备受关注。该范式通常由预训练的视觉语言模型(VLM)和大型语言模型(LLM)集成驱动，其中VLM构建3D场景图，而LLM处理高级推理和决策。然而，该系统存在一个关键瓶颈：当前的3D感知模型优先考虑像素级精度，这与具身导航所需的严格计算限制和实时效率直接冲突。为了解决这一差距，本文量化了3D场景理解能力对VLN性能的实际影响。基于典型的VLM-LLM框架，我们为两个核心子系统提出了统计成功率(SR)上限：1)依赖于拓扑映射语义的慢速LLM规划器，以及2)利用空间坐标和边界框来执行LLM决策的快速反应导航器。使用最先进的3D场景理解模型进行的评估验证了我们提出的界限，并揭示了一种感知饱和现象，表明感知精度超过一定阈值后，导航成功率的提升会递减。我们的研究结果表明，VLN的3D场景理解应该从严格的像素级精度转向优先考虑与导航相关的核心词汇和准确的边界框比例。

🔬 方法详解

问题定义：现有基于VLM-LLM的视觉语言导航方法，过度依赖于高精度的3D场景理解，特别是像素级别的精度。然而，这种高精度需求与实际导航任务对计算效率和实时性的要求相矛盾。现有方法的痛点在于，为了追求更高的感知精度，牺牲了导航系统的整体效率和泛化能力，导致在实际场景中的表现不佳。

核心思路：论文的核心思路是量化3D场景理解能力对VLN性能的实际影响，从而找到一个平衡点，即在保证导航性能的前提下，降低对3D感知精度的要求。通过分析VLM和LLM两个子系统的性能上限，揭示感知饱和现象，并指导未来的3D场景理解模型设计，使其更符合VLN任务的需求。

技术框架：论文基于典型的VLM-LLM框架，将导航系统分解为两个核心子系统：慢速LLM规划器和快速反应导航器。慢速LLM规划器依赖于拓扑映射语义进行全局路径规划，而快速反应导航器则利用空间坐标和边界框来执行LLM的决策，进行局部导航。论文通过统计成功率(SR)上限来评估这两个子系统的性能，并分析3D场景理解能力对SR的影响。

关键创新：论文最重要的技术创新点在于提出了量化3D场景理解能力对VLN性能影响的方法，并揭示了感知饱和现象。这与现有方法盲目追求高精度3D感知的思路不同，强调了导航任务对感知信息的特定需求，并为未来的3D场景理解模型设计提供了新的方向。

关键设计：论文的关键设计包括：1) 定义了慢速LLM规划器和快速反应导航器的统计成功率(SR)上限，用于量化其性能；2) 使用最先进的3D场景理解模型进行评估，验证了提出的界限；3) 分析了不同感知精度水平下，导航成功率的变化，从而揭示了感知饱和现象。论文还强调了导航相关核心词汇和准确边界框比例的重要性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，当3D场景理解精度超过一定阈值后，VLN的成功率提升会显著减缓，即存在感知饱和现象。具体来说，在某些场景下，即使3D感知精度提升了20%，导航成功率的提升也可能只有5%。这表明，过度追求像素级精度对VLN的性能提升有限，应更加关注导航相关的核心词汇和准确的边界框比例。

🎯 应用场景

该研究成果可应用于机器人导航、自动驾驶、虚拟现实等领域。通过优化3D场景理解模型，使其更关注导航相关信息，可以提高机器人在复杂环境中的导航效率和安全性。此外，该研究还可以指导开发更高效的视觉语言导航系统，降低计算成本，提高实时性，从而推动相关技术的实际应用。

📄 摘要（原文）

Zero-shot vision-and-language navigation (VLN) has gained significant attention due to its minimal data collection costs and inherent generalization. This paradigm is typically driven by the integration of pre-trained Vision-Language Models (VLMs) and Large Language Models (LLMs), where VLMs construct 3D scene graphs while LLMs handle high-level reasoning and decision-making. However, a critical bottleneck exists in this system: current 3D perception models prioritize pixel-level accuracy, directly conflicting with the strict computational limits and real-time efficiency demanded by embodied navigation. To address this gap, this paper quantifies the actual impact of 3D scene understanding capability on VLN performance. Based on typical VLM-LLM frameworks, we propose statistical success rate (SR) upper bounds for two core subsystems: 1) the slow LLM planner, which relies on topological mapping semantics, and 2) the fast reactive navigator, which utilizes spatial coordinates and bounding boxes to execute LLM decisions. Evaluations using state-of-the-art 3D scene understanding models validate our proposed bounds and reveal a perception saturation phenomenon, indicating that improvements in perception accuracy beyond a certain threshold yield diminishing returns in navigation success. Our findings suggest that 3D scene understanding for VLN should pivot away from strict pixel-level precision, prioritizing instead navigation-relevant core vocabularies and accurate bounding box proportions.