Seek Before You Move: Evidence Seeking for Progress Grounding in Vision-Language Navigation
作者: Zhimin Wang, Meiyuan Zhu, Duo Wu, Linjia Kang, Yajun Wang, Yuan Ni, Xiaohang Wang, Tianlu Pan, Jingyan Jiang, Yaowei Wang, Zhi Wang
分类: cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出SeekVLN以解决视觉语言导航中的进度短视问题
🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 进度短视 证据寻求 强化学习 多模态推理
📋 核心要点
- 现有的视觉语言导航方法在缺乏任务相关证据时，智能体可能会自信地继续前进，导致迷失方向。
- 提出SeekVLN框架，通过结合语义进度推理与主动获取观察，解决进度短视问题，提升导航可靠性。
- 实验结果显示，SeekVLN在多个基准测试中表现优异，成功率显著提高，展现出类人证据寻求行为。
📝 摘要（中文）
视觉语言导航（VLN）要求智能体根据长时间指令和部分自我中心观察持续地确定任务进展。现有的基于视觉语言模型的导航智能体通常仅依赖可用观察进行推理，可能在缺乏任务相关证据时仍保持自信。我们称这种失败模式为进度短视：智能体未能识别不可靠的进度基础，继续在不足的证据上行动。为了解决这一问题，我们提出了SeekVLN，一个将语义进度推理与主动获取任务相关观察相结合的证据寻求框架。SeekVLN经过两个阶段的训练，首先通过未来引导的反向生成（FRG）增强离线专家轨迹，随后通过反事实对比策略优化（C2PO）进行强化微调。实验表明，SeekVLN在模拟基准上实现了最先进的性能，成功率在R2R-CE和RxR-CE上分别提高了12.7%和7.5%。
🔬 方法详解
问题定义：本论文旨在解决视觉语言导航中的进度短视问题，即智能体在缺乏可靠证据时仍自信行动，导致导航失败。现有方法未能有效识别和利用任务相关的证据。
核心思路：论文提出SeekVLN框架，通过引入证据寻求机制，结合语义进度推理与主动获取观察，提升智能体在复杂环境中的导航能力。这样的设计旨在增强智能体对环境的理解和适应能力。
技术框架：SeekVLN的训练分为两个阶段：第一阶段为未来引导的反向生成（FRG），通过未来专家动作增强离线轨迹；第二阶段为反事实对比策略优化（C2PO），通过对比证据寻求与直接导航的效果进行强化学习。
关键创新：最重要的创新在于引入了证据寻求机制，使智能体能够在不确定的情况下主动获取更多信息，从而改善导航决策。这与传统方法的被动观察形成鲜明对比。
关键设计：在FRG阶段，使用未来专家动作来生成补充视图和证据注释；在C2PO阶段，设计了对比奖励机制，以根据后续导航效果对寻求决策进行评分。
🖼️ 关键图片
📊 实验亮点
实验结果显示，SeekVLN在R2R-CE和RxR-CE基准测试中成功率分别提高了12.7%和7.5%，展现出优于基线模型的显著性能提升。同时，智能体表现出类人证据寻求行为，进一步验证了方法的有效性。
🎯 应用场景
该研究的潜在应用领域包括智能机器人导航、自动驾驶、虚拟现实等场景。通过提升智能体在复杂环境中的决策能力，SeekVLN能够在实际应用中提高导航的可靠性和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Vision-Language Navigation (VLN) requires agents to continuously ground task progress from long-horizon instructions and partial egocentric observations. Existing VLM-based navigation agents typically reason only over available observations and may remain confident even when task-relevant evidence is missing. For example, an agent may confidently proceed forward and get lost even though the landmark indicating the next turn lies outside its current field of view. We term this failure mode Progress Myopia: the agent fails to recognize unreliable progress grounding and continues acting on insufficient evidence. To address it, we propose SeekVLN, an evidence-seeking framework that couples semantic progress reasoning with active acquisition of task-relevant observations. SeekVLN is trained in two stages: First, Future-guided Reverse Generation (FRG) uses future expert actions to augment offline expert trajectories with supplementary views and evidence annotations. Supervised fine-tuning on these trajectories establishes a prior for evidence seeking and progress reasoning without additional expert interaction. However, imitation alone does not reveal whether seeking improves subsequent navigation. We therefore introduce Counterfactual Contrastive Policy Optimization (C2PO) for reinforcement fine-tuning. By comparing each evidence-seeking branch with a counterfactual direct-navigation branch from the same state, C2PO uses a contrastive reward to assign credit to seeking decisions based on subsequent navigation benefit. Experiments on simulated benchmarks show that SeekVLN achieves state-of-the-art performance, improving success rate by 12.7% and 7.5% over the base model on R2R-CE and RxR-CE, respectively. Both simulated and real-world evaluations exhibit human-like evidence-seeking behaviors for more reliable progress grounding.