NavJev: Efficient Vision-Language Navigation via Action-Centric Visual Compression and Discriminative Action-Semantic Memory

📄 arXiv: 2609.34969v1 📥 PDF

作者: Kai Sheng, Liuyi Wang, Jinlong Li, Haojie Dai, Chengju Liu, Qijun Chen

分类: cs.RO

发布日期: 2026-09-28

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出NavJev以解决视觉语言导航中的推理延迟问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 多模态学习 智能体 推理延迟 动作选择 视觉压缩 语义记忆

📋 核心要点

  1. 现有的多模态大型语言模型在每个导航步骤中重复推理，导致显著的推理延迟，影响智能体的响应能力。
  2. NavJev通过动作中心视觉压缩和判别性动作语义记忆，将导航过程简化为紧凑的视觉表示和轻量级的动作选择。
  3. 在R2R-CE数据集上，NavJev实现了27.0%的成功率和22.4%的路径长度比，推理时间仅为0.65秒，显著优于现有方法。

📝 摘要（中文）

近年来，零-shot视觉与语言导航（VLN）方法越来越依赖多模态大型语言模型（MLLMs）来推理视觉观察、导航指令和候选动作。然而，在每个导航步骤中重复调用自回归多模态推理会引入显著的推理延迟，限制了具身智能体的响应能力。为此，我们提出了NavJev，一个高效的VLN框架，通过将在线导航从重复的多模态生成重构为紧凑的视觉压缩和轻量级的类型化动作选择。具体而言，动作中心视觉压缩（ACVC）将航点几何、BLIP标题和RAM语义标签整合为候选动作的紧凑表示，而判别性动作语义记忆（DASM）过滤共享语义并在导航步骤中保持区分性的动作特定证据。实验结果表明，NavJev在R2R-CE数据集上实现了27.0%的成功率和22.4%的路径长度比，仅需0.65秒每个导航步骤，同时显著降低了推理延迟和成本。

🔬 方法详解

问题定义：本论文旨在解决现有视觉语言导航方法在每个步骤中因重复推理而导致的推理延迟问题。这种延迟限制了具身智能体的实时响应能力。

核心思路：NavJev的核心思路是通过将在线导航过程从重复的多模态生成转变为紧凑的视觉压缩和轻量级的动作选择，从而提高效率。这样的设计旨在减少推理时间，同时保持导航性能。

技术框架：NavJev的整体架构包括两个主要模块：动作中心视觉压缩（ACVC）和判别性动作语义记忆（DASM）。ACVC负责将多种信息整合为紧凑的候选动作表示，而DASM则用于过滤和维护动作特定的语义证据。

关键创新：NavJev的主要创新在于引入了ACVC和DASM两个模块，前者通过整合多种信息来压缩视觉表示，后者则通过维护区分性的语义证据来提高决策的准确性。这与传统的多模态推理方法有本质区别。

关键设计：在设计中，ACVC结合了航点几何、BLIP标题和RAM语义标签，形成紧凑的候选动作表示。DASM则通过过滤共享语义，确保在导航过程中保持动作特定的证据，从而提高决策的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

NavJev在R2R-CE数据集上取得了27.0%的成功率和22.4%的路径长度比，推理时间仅为0.65秒，显著优于基于多模态大型语言模型的方法，展示了在推理延迟和成本方面的显著改进。

🎯 应用场景

NavJev的研究成果在智能导航、机器人控制和人机交互等领域具有广泛的应用潜力。通过提高视觉语言导航的效率，该方法能够增强智能体在复杂环境中的实时响应能力，推动智能体在实际应用中的表现和可靠性。

📄 摘要（原文）

Recent zero-shot Vision-and-Language Navigation (VLN) methods increasingly rely on multimodal large language models (MLLMs) to reason over visual observations, navigation instructions, and candidate actions. Although effective, repeatedly invoking autoregressive multimodal reasoning at every navigation step introduces substantial inference latency, limiting the responsiveness of embodied agents. We propose NavJev, an efficient VLN framework that reformulates online navigation from repeated multimodal generation into compact visual compression followed by lightweight typed action selection. Specifically, Action-Centric Visual Compression (ACVC) integrates waypoint geometry, BLIP captions, and RAM semantic tags into compact representations of candidate actions, while Discriminative Action-Semantic Memory (DASM) filters shared semantics and maintains discriminative action-specific evidence across navigation steps. Based on these representations, Jev directly performs structured probabilistic decisions over the available action set. Experiments on R2R-CE show that NavJev achieves 27.0% SR and 22.4% SPL with only 0.65 s per navigation step, while substantially reducing inference latency and cost compared with MLLM-based VLN methods. The project page is available at https://kai-sheng-caesar.github.io/NavJev/.