Asking Less, Adapting Better: Feedback-Efficient Test-Time Adaptation for Vision-and-Language Navigation

📄 arXiv: 2610.30643v1 📥 PDF

作者: Zixu Wang, Huaquan Zhang, Shoukai Xu, Jinwu Hu, Zhiquan Wen, Mingkui Tan

分类: cs.CV, cs.AI

发布日期: 2026-10-22

💡 一句话要点

提出FETA以解决视觉与语言导航中的反馈效率问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉与语言导航 测试时适应 反馈效率 样本选择 熵优化 智能体适应性 人机交互

📋 核心要点

  1. 现有的视觉与语言导航方法在未见环境中表现不佳，尤其是在分布变化时，导致性能显著下降。
  2. 本文提出FETA方法，通过分层样本选择策略和差异感知熵优化目标，提高反馈效率和优化的可靠性。
  3. 实验结果显示，FETA在多个基准测试中实现了最先进的性能，且人类干预需求显著减少，适应性强。

📝 摘要（中文）

视觉与语言导航（VLN）要求智能体遵循指令并导航至目标位置。然而，现有的VLN智能体在未见环境中常常遭遇严重的性能下降。测试时适应（TTA）提供了一种有前景的解决方案，但现有方法依赖于无监督的熵最小化，可能导致导航中的错误传播。为了解决这些问题，本文提出了FETA，一种反馈高效的测试时适应方法，旨在提高反馈效率和优化可靠性。通过引入分层样本选择策略，FETA能够有效定位信息样本，从而减少不必要的人类干预。实验表明，FETA在多个基准上实现了最先进的性能，同时在噪声反馈和持续适应设置下保持鲁棒性。

🔬 方法详解

问题定义：本文旨在解决视觉与语言导航中的反馈效率低下问题，现有方法在未见环境中容易出现错误传播，导致导航失败。

核心思路：FETA通过分层样本选择策略，定位信息丰富的样本，并仅在关键动作上请求反馈，从而提高反馈的有效性和优化的针对性。

技术框架：FETA的整体架构包括样本过滤、关键动作选择和反馈请求三个主要模块。首先，过滤掉熵波动较大的轨迹；然后，在选定轨迹中通过熵梯度显著性标准选择关键动作；最后，基于反馈更新策略。

关键创新：FETA的创新在于其反馈效率的提升，通过仅在关键动作上请求反馈，避免了传统方法在所有步骤上均匀应用监督的低效问题。

关键设计：FETA采用差异感知的熵优化目标，更新策略仅在查询的步骤进行，并根据预测与反馈的差异动态调整样本权重。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

FETA在多个基准测试中展现出卓越的性能，相较于传统方法，减少了人类干预需求，同时在噪声反馈和持续适应场景下保持了鲁棒性，具体性能提升幅度达到XX%。

🎯 应用场景

该研究的潜在应用场景包括智能导航系统、机器人助手以及增强现实等领域，能够有效提升智能体在复杂环境中的适应能力，减少对人类反馈的依赖，具有重要的实际价值和未来影响。

📄 摘要（原文）

Vision-and-Language Navigation (VLN) requires agents to follow instructions and navigate to target locations. However, current VLN agents often suffer severe performance degradation in unseen environments due to distribution shifts. Test-Time Adaptation (TTA) offers a promising paradigm to bridge this gap, yet existing methods that rely on unsupervised entropy minimization can propagate errors through the trajectory, causing cascading failures in navigation. Recent methods mitigate this by incorporating human feedback, but they apply trajectory-level supervision uniformly across all steps without localizing the actions is truly informative, leading to inefficient feedback utilization and mismatched optimization granularity. To address these limitations, we propose FETA, a Feedback-Efficient Test-Time Adaptation method that improves both feedback efficiency and optimization reliability. To reduce unnecessary human interventions, we introduce a hierarchical sample selection strategy to localize informative samples. Specifically, we first filter trajectories whose normalized policy entropy exhibits large fluctuations. Within each selected trajectory, we further select the critical action via an entropy-gradient saliency criterion and query a single binary feedback on its correctness. A discrepancy-aware entropy optimization objective then updates the policy only at the queried step, with adaptive scaling that assigns larger relative weights to samples with greater prediction-feedback discrepancy. Extensive experiments across multiple benchmarks demonstrate that FETA achieves state-of-the-art performance with fewer human interventions, while remaining robust under noisy feedback and continual adaptation settings.