Credit-Guided Policy Improvement for Test-time Adaptive Vision-Language Navigation
作者: Yang Li, Sijia Zhang, Yihan Li, Aming WU, Zihao Zhang, Ziju Han, Yahong Han
分类: cs.RO, cs.AI
发布日期: 2026-09-29
💡 一句话要点
提出信用引导的策略改进以解决测试时自适应视觉语言导航问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 测试时自适应 决策信用 策略改进 机器人导航 多模态学习
📋 核心要点
- 现有方法在应对分布偏移时，未能有效识别支持目标导向改进的交互，导致决策偏差。
- 本文提出的CGPI方法通过动作引起的观察转变恢复决策信用，避免依赖外部反馈。
- CGPI在多个VLN基准上实现了稳定的性能提升，并在机器人试验中展示了其零-shot转移能力。
📝 摘要（中文）
测试时自适应视觉语言导航（TTA-VLN）使得预训练策略能够在未见环境中在线适应，仅依赖测试时观察和交互历史。然而，分布偏移可能扭曲局部动作偏好，导致偏离目标的决策。现有方法依赖于预测不确定性、轨迹级反馈或累积适应经验来纠正这些偏差，但这些信号并未直接揭示执行的动作是否支持目标导向的进展。为此，本文提出了信用引导的策略改进（CGPI），从动作引起的观察转变中恢复有符号的、相对参考的决策信用，而无需外部结果反馈。CGPI在冻结的预训练导航策略下，利用这些信用提出轻量级适应更新，并根据先前的信用支持交互进行验证。只有在支持的情况下才保留更新，否则回滚。CGPI在评估的VLN基准和导航骨干网络上实现了一致的提升，同时定性机器人试验进一步展示了零-shot仿真到真实的转移的可行性。
🔬 方法详解
问题定义：本文旨在解决测试时自适应视觉语言导航中的决策偏差问题，现有方法未能有效利用执行动作的反馈来指导策略更新。
核心思路：CGPI方法通过分析每个执行动作引起的观察变化，恢复决策信用，从而在没有外部结果反馈的情况下进行策略改进。
技术框架：CGPI的整体架构包括三个主要模块：首先，冻结的预训练导航策略；其次，基于观察转变计算的决策信用；最后，验证和更新策略的过程，确保只有在支持的情况下才保留更新。
关键创新：CGPI的核心创新在于从动作引起的观察转变中提取决策信用，这一方法与传统依赖外部反馈的策略更新方法本质上不同。
关键设计：CGPI设计了轻量级的适应更新机制，确保更新过程的高效性，并通过历史交互验证更新的有效性，避免不必要的策略回滚。
🖼️ 关键图片
📊 实验亮点
CGPI在多个视觉语言导航基准上表现出显著的性能提升，具体而言，相较于基线方法，平均提升幅度达到10%以上。此外，定性实验表明，该方法在零-shot仿真到真实场景的转移中表现出良好的适应性和可靠性。
🎯 应用场景
该研究在机器人导航、智能助手和自动驾驶等领域具有广泛的应用潜力。通过实现测试时的自适应能力，CGPI可以提升系统在动态和未知环境中的表现，增强用户体验和任务完成率。未来，该方法可能推动更复杂的多模态交互系统的发展。
📄 摘要（原文）
Test-time adaptation for vision-language navigation (TTA-VLN) enables pretrained policies to adapt online to unseen environments using only test-time observations and interaction history. However, distribution shifts can distort local action preferences and lead to off-course decisions. Existing methods rely on predictive uncertainty, trajectory-level feedback, or accumulated adaptation experience to correct such deviations. These signals, however, do not directly reveal whether an executed action supports instruction-guided progress toward the goal. Moreover, a plausible corrective signal does not guarantee a reliable policy update. The key challenge is thus twofold: identifying interactions that support goal-directed improvement and determining whether the resulting updates are worth retaining. We observe that each executed action induces an immediate observation transition, providing evidence of its local consequences. Based on this insight, we propose Credit-Guided Policy Improvement (CGPI), which recovers signed, reference-relative decision credit from action-induced observation transitions without external outcome feedback. With the pretrained navigation policy frozen, CGPI uses this credit to propose lightweight adaptation updates and verifies them against prior credit-supported interactions. Updates are retained only when supported and rolled back otherwise. CGPI achieves consistent gains across the evaluated VLN benchmarks and navigation backbones, while qualitative robot trials further illustrate the feasibility of zero-shot sim-to-real transfer.