The Essence of Balance for Self-Improving Agents in Vision-and-Language Navigation
作者: Zhen Liu, Yuhan Liu, Jinjun Wang, Jianyi Liu, Wei Song, Jingwen Fu
分类: cs.CV
发布日期: 2026-04-21
💡 一句话要点
提出稳定性-多样性平衡机制，提升视觉-语言导航中自提升Agent的性能
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言导航 自提升学习 行为多样性 学习稳定性 强化学习
📋 核心要点
- 现有VLN自提升方法难以平衡行为多样性和学习稳定性，导致探索不足或学习信号不稳定。
- 提出稳定性-多样性平衡(SDB)机制，通过扩展行为假设并进行可靠性评估，实现平衡自提升。
- 在R2R、SOON和REVERIE数据集上验证了SDB的有效性，显著提升了导航性能，如SPL和OSR。
📝 摘要（中文）
在视觉-语言导航(VLN)中，仅使用标准VLN动作监督，通过策略引导的经验进行自提升，关键在于平衡行为多样性和学习稳定性，这决定了Agent能否提取可靠的学习信号以进行改进。增加行为多样性对于暴露替代动作假设是必要的，但会破坏策略引导的学习信号的稳定性；而过于保守的稳定性约束会抑制探索并导致过早承诺，使得可靠的自提升变得困难。为了解决这个挑战，我们提出了一种用于VLN中平衡自提升的即插即用机制——稳定性-多样性平衡(SDB)。SDB通过在指令条件隐藏状态中应用受控的偏移，将每个决策步骤扩展为多个潜在的行为假设，然后执行可靠性感知的软评估和聚合，以在学习过程中保留多样但与指令一致的替代方案。一个显式的正则化器进一步约束假设交互，防止过度漂移或假设多样性的过早崩溃，并在不丢弃训练信号的情况下稳定自提升。在R2R、SOON和REVERIE上的实验表明了一致的改进；例如，在REVERIE val-unseen上，SDB将SPL从33.73提高到35.93，OSR从51.07提高到54.25。
🔬 方法详解
问题定义：在视觉-语言导航（VLN）任务中，Agent需要根据自然语言指令，在真实环境中导航到目标位置。现有的自提升方法依赖于策略引导的经验，但面临行为多样性和学习稳定性之间的矛盾。增加行为多样性有助于探索更多可能性，但可能导致学习信号不稳定；而过分强调稳定性则会限制探索，阻碍性能提升。
核心思路：论文的核心思路是通过显式地平衡行为多样性和学习稳定性，从而提升VLN Agent的自提升能力。具体来说，通过生成多个行为假设，并根据其可靠性进行加权聚合，既保证了探索的多样性，又避免了学习信号的剧烈波动。
技术框架：SDB机制主要包含以下几个模块：1) 行为假设生成：在每个决策步骤，通过对指令条件隐藏状态进行受控的偏移，生成多个潜在的行为假设。2) 可靠性评估：对每个行为假设进行评估，判断其与指令的一致性以及对最终目标的贡献。3) 软评估与聚合：根据可靠性评估结果，对不同的行为假设进行加权聚合，得到最终的决策。4) 显式正则化：引入正则化项，约束不同行为假设之间的交互，防止过度漂移或过早崩溃。
关键创新：论文的关键创新在于提出了稳定性-多样性平衡（SDB）机制，该机制能够显式地控制行为多样性和学习稳定性之间的关系。与现有方法相比，SDB不是简单地增加或减少探索，而是通过生成多个行为假设并进行可靠性评估，从而在探索和利用之间找到一个更好的平衡点。
关键设计：1) 受控偏移：使用可学习的偏移量对隐藏状态进行扰动，控制行为假设的生成范围。2) 可靠性评估指标：使用多种指标评估行为假设的可靠性，例如与指令的相似度、对最终目标的贡献等。3) 正则化项：设计正则化项，约束不同行为假设之间的距离，防止过度漂移或过早崩溃。4) 损失函数：综合考虑导航任务的损失函数和正则化项，共同优化Agent的策略。
🖼️ 关键图片
📊 实验亮点
实验结果表明，SDB机制在R2R、SOON和REVERIE数据集上均取得了显著的性能提升。例如，在REVERIE val-unseen数据集上，SDB将SPL从33.73提高到35.93，OSR从51.07提高到54.25。这些结果表明，SDB机制能够有效地平衡行为多样性和学习稳定性，从而提升VLN Agent的自提升能力。
🎯 应用场景
该研究成果可应用于机器人导航、自动驾驶、虚拟现实等领域。例如，在机器人导航中，可以利用SDB机制提升机器人在复杂环境中的导航能力，使其能够更好地理解人类指令并安全到达目标位置。在自动驾驶中，可以提高车辆在复杂交通场景下的决策能力，增强其安全性和可靠性。
📄 摘要（原文）
In vision-and-language navigation (VLN), self-improvement from policy-induced experience, using only standard VLN action supervision, critically depends on balancing behavioral diversity and learning stability, which governs whether the agent can extract a reliable learning signal for improvement. Increasing behavioral diversity is necessary to expose alternative action hypotheses but can destabilize policy-induced learning signals, whereas overly conservative stability constraints suppress exploration and induce early commitment, making reliable self-improvement difficult. To address this challenge, we propose Stability-Diversity Balance (SDB), a plug-and-play mechanism for balanced self-improvement in VLN. SDB expands each decision step into multiple latent behavioral hypotheses by applying controlled shifts in the instruction-conditioned hidden states, and then performs reliability-aware soft evaluation and aggregation to retain diverse yet instruction-consistent alternatives during learning. An explicit regularizer further constrains hypothesis interactions, preventing excessive drift or premature collapse of hypothesis diversity and stabilizing self-improvement without discarding training signals. Experiments on R2R, SOON, and REVERIE show consistent improvements; for example, on REVERIE val-unseen, SDB improves SPL from 33.73 to 35.93 and OSR from 51.07 to 54.25.