ReflectVLN: Training Vision-Language Navigation Agents with Reflective Reasoning
作者: Jiahang Wang, Yirong Yang, Yanqing Zhu, Minghua Luo, Shichao Xie, Fei Liu, Mu Xu
分类: cs.CV
发布日期: 2026-07-14
🔗 代码/项目: GITHUB
💡 一句话要点
提出ReflectVLN以解决视觉语言导航中的闭环跟踪问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 闭环机制 意图代理 执行代理 子任务分解 动态调整 错误恢复 可解释性
📋 核心要点
- 现有视觉语言导航方法缺乏有效的闭环机制，导致在长时间导航中难以跟踪进展和恢复错误。
- ReflectVLN通过意图代理和执行代理的双向交互，进行子任务分解和反思，生成可执行的短期行动计划。
- 在标准VLN基准上，ReflectVLN在成功率和路径效率上均有显著提升，同时降低了高层意图调用的频率。
📝 摘要（中文）
现有的视觉语言导航方法通常将视觉语言模型与路径解码器结合，以生成多步行动计划，但缺乏明确的闭环机制来跟踪语义进展、诊断执行失败并从长时间导航中的错误积累中恢复。为了解决这一问题，我们提出了ReflectVLN，一个通过双向交互的意图和执行代理组织决策的框架。意图代理进行子任务分解和反思，生成可执行的子任务描述作为纠正计划。执行代理基于这些描述在当前观察下将其转化为短期行动，同时监控子目标进展和检测偏离行为。ReflectVLN实现了闭环的双向通信，执行代理发出进展和偏差信号以触发反思和子任务更新，意图代理则返回结构化指导以重新调整后续行动。实验表明，ReflectVLN在标准VLN基准上提高了成功率和路径效率，同时提供可解释的中间决策。
🔬 方法详解
问题定义：本论文旨在解决现有视觉语言导航方法在长时间导航中缺乏闭环跟踪和错误恢复能力的问题。现有方法通常依赖于视觉语言模型与路径解码器的结合，但在执行过程中难以有效监控和调整。
核心思路：ReflectVLN的核心思路是通过意图代理和执行代理的双向交互，增强决策过程中的反思能力。意图代理负责生成可执行的子任务描述，而执行代理则在当前观察下将这些描述转化为短期行动，并监控进展。
技术框架：ReflectVLN的整体架构包括两个主要模块：意图代理和执行代理。意图代理进行子任务分解和反思，生成纠正计划；执行代理则根据意图代理的输出生成短期行动，并实时监控执行进展。
关键创新：ReflectVLN的关键创新在于实现了闭环的双向通信机制，执行代理能够发出进展和偏差信号，触发意图代理的反思和更新，从而实现动态调整和错误恢复。
关键设计：在设计上，ReflectVLN引入了Action Chain-of-Thought（Action-CoT）训练方案，以鼓励时间一致的决策和可解释的中间推理。此外，模型在训练过程中优化了损失函数和参数设置，以提高整体性能和效率。
🖼️ 关键图片
📊 实验亮点
在标准VLN基准上，ReflectVLN显著提高了成功率和路径效率，具体表现为在有限数据预算下的训练成本降低，同时在推理时减少了高层意图调用的次数。这些结果表明ReflectVLN在实际应用中的有效性和可行性。
🎯 应用场景
ReflectVLN的研究成果在智能机器人导航、自动驾驶、虚拟助手等领域具有广泛的应用潜力。通过增强的决策能力和错误恢复机制，能够提升系统在复杂环境中的自主导航能力，进而推动人机协作和智能系统的发展。
📄 摘要（原文）
Existing vision-language navigation methods often couple a VLM with waypoint decoders to produce multi-step action plans, but they typically lack an explicit closed-loop mechanism for tracking semantic progress, diagnosing execution failures, and recovering from error accumulation in long-horizon navigation. To address this gap, we propose ReflectVLN, an agentic VLN framework that organizes decision-making through bidirectionally interactive intention and execution agents. The intention agent performs subtask decomposition and reflection, generating executable subtask descriptions as corrective plans. Conditioned on these descriptions, the execution agent grounds them into short-horizon actions under current observations while monitoring sub-goal progress and detecting off-track behavior. Crucially, ReflectVLN enables closed-loop bidirectional communication: the execution agent emits progress and deviation signals to trigger reflection and subtask updates on demand, and the intention agent returns structured guidance that reconditions subsequent actions for recovery. To encourage temporally coherent decisions with interpretable intermediate rationales, we introduce Action Chain-of-Thought (Action-CoT), a path-conditioned dual-query training scheme for action generation. Experiments on standard VLN benchmarks show that ReflectVLN improves success rates and path efficiency under a constrained data budget, with favorable training cost and fewer high-level intention calls at inference time, while providing interpretable intermediate decisions for analysis and collaboration. Code is available at: https://github.com/AIprogrammer/ReflectVLN