Revealing and Bridging the Physical Executability Gap in Vision-Language Navigation

📄 arXiv: 2610.25687v1 📥 PDF

作者: Gang He, Zhile Cheng, Kepeng Xu, Zhenyang Liu, Yu-Wing Tai

分类: cs.RO

发布日期: 2026-10-19

💡 一句话要点

提出VeSTA框架以解决视觉语言导航中的物理可执行性差距问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 视觉语言导航 物理可执行性 多模态学习 轨迹生成 风险评估

📋 核心要点

  1. 现有的视觉语言导航方法在评估时依赖于模拟器的接触语义，导致物理可执行性差距的问题。
  2. 论文提出了VeSTA框架，通过对齐VLN策略与物理可执行的未来，解决了语义能力与具身实现之间的差距。
  3. 实验结果表明，VeSTA在严格接触评估下显著减少了碰撞引起的失败，同时保持或提高了目标达成性能。

📝 摘要（中文）

连续的视觉语言导航（VLN）通常通过目标达成成功率进行评估，假设这反映了代理执行语言驱动行为的能力。然而，我们发现这一假设可能失效：当前模拟器中的宽松接触模型可能掩盖物理上不可行的动作，从而在语义能力与具身实现之间产生物理可执行性差距。为了解决这一问题，我们提出了视觉语义可通行性对齐（VeSTA）框架，该框架将VLN策略与物理可执行的未来进行对齐。我们定义视觉语义可通行性为预测指令条件下的轨迹，这些轨迹在语义上有效、几何上可行且物理上稳健。VeSTA通过两种互补机制来解决这一不对齐问题：在轨迹生成中改善可执行支持和在多模态未来中进行风险感知选择。

🔬 方法详解

问题定义：论文要解决的问题是现有视觉语言导航方法在模拟器中由于宽松接触模型导致的物理可执行性差距，造成语义能力与实际执行之间的不一致。

核心思路：论文的核心思路是引入VeSTA框架，通过对轨迹生成和未来选择进行物理可执行性对齐，确保生成的动作在实际环境中是可行的。

技术框架：VeSTA框架主要包含两个模块：轨迹相对组策略优化（Trajectory Relative Group Policy Optimization）和可通行性风险评论家（Traversability Risk Critic），前者通过严格接触反馈优化候选轨迹，后者则为未来选择提供风险调整的效用评估。

关键创新：最重要的技术创新点在于引入了严格接触反馈机制，使得生成的轨迹更贴近物理可执行的区域，与现有方法相比，显著提高了执行的可靠性。

关键设计：在设计中，轨迹生成采用了严格的接触反馈，损失函数考虑了可执行性和风险因素，网络结构则结合了多模态信息以增强决策能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，在R2R和RxR数据集上，VeSTA在严格接触评估下显著减少了碰撞引起的失败，目标达成性能保持或提升，证明了该方法的有效性和可靠性。

🎯 应用场景

该研究的潜在应用场景包括机器人导航、自动驾驶以及人机交互等领域。通过提高视觉语言导航的物理可执行性，VeSTA框架能够在复杂环境中实现更安全、更高效的导航，具有重要的实际价值和未来影响。

📄 摘要（原文）

Continuous vision-and-language navigation (VLN) is typically evaluated by goal-reaching success, assuming it reflects an agent's ability to execute language-grounded behavior. We show that this assumption can fail: permissive contact models in current simulators may mask physically infeasible actions, creating a physical executability gap between semantic competence and embodied realization. To bridge this gap, we introduce Visual-Semantic Traversability Alignment (VeSTA), a framework that aligns VLN policies with physically executable futures. We define visual-semantic traversability as the ability to predict instruction-conditioned trajectories that are semantically valid, geometrically feasible, and physically robust. VeSTA addresses this misalignment through two complementary mechanisms: improving executable support in trajectory generation and risk-aware selection among multimodal futures. Specifically, Trajectory Relative Group Policy Optimization uses strict-contact feedback to reshape the candidate distribution toward executable regions, while the Traversability Risk Critic learns a risk-adjusted scalar utility for candidate-wise future selection. Experiments on R2R and RxR reveal substantial dependence of existing VLN agents on simulator contact semantics. Under strict-contact evaluation, VeSTA substantially reduces collision-induced failures while preserving or improving goal-reaching performance, and controlled real-world robot experiments provide evidence that the learned preference transfers beyond simulation.