NavBind: Diagnosing Instruction-Action Binding at Route Forks in Navigation VLAs
作者: Josh Qixuan Sun, Xiaoying Xing, Yurun Chen, Huaiyuan Weng, Wentao Zhu, Mark Crowley
分类: cs.RO
发布日期: 2026-10-21
💡 一句话要点
提出NavBind以解决导航VLA模型指令与动作绑定问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉-语言-动作 导航模型 指令-动作绑定 上下文分析 智能导航 人机交互
📋 核心要点
- 现有的导航VLA模型在评估成功时未能区分模型是否真正遵循指令，可能依赖于视觉线索或历史信息。
- NavBind通过构建路口上下文，诊断指令与动作之间的绑定关系，评估指令变化对动作概率分布的影响。
- 实验结果显示，尽管导航成功率较高，但并不意味着模型更忠实于指令，揭示了现有模型的潜在局限性。
📝 摘要（中文）
视觉-语言-动作（VLA）导航模型将视觉观察与指令转化为动作，导航成功评估代理是否到达目标。然而，成功到达目标并不意味着模型真正遵循了指令，可能依赖于视觉线索或导航历史。本文提出NavBind来诊断指令-动作绑定，即在固定导航上下文的情况下，改变指令是否影响动作的概率分布。我们构建了3252个路口上下文，通过重新组合R2R-CE和RxR-CE中的路线对齐指令段。每个上下文配对的完整指令共享已行驶路线的描述，但指定不同的分支。我们比较生成的局部动作序列、在两种指令下固定参考动作序列的可能性，以及视觉注意力和归因的变化。评估的模型中，较高的导航成功率并不意味着模型更忠实于指令。
🔬 方法详解
问题定义：本文旨在解决导航VLA模型在成功导航时未能准确判断是否遵循指令的问题。现有方法往往依赖于视觉线索或历史信息，导致评估结果不够可靠。
核心思路：NavBind的核心思路是通过构建路口上下文，分析在固定导航状态下，指令变化如何影响动作的概率分布，从而诊断指令与动作之间的绑定关系。
技术框架：整体架构包括数据集构建、上下文生成和模型评估三个主要模块。首先，构建3252个路口上下文；其次，生成局部动作序列并评估其在不同指令下的表现；最后，分析视觉注意力和归因的变化。
关键创新：NavBind的创新在于通过系统化的上下文构建和对比分析，揭示了指令与动作之间的真实关系，超越了传统成功率的评估方式。
关键设计：在实验中，采用了固定的参考动作序列进行对比，设置了多种指令组合，并分析了模型在不同指令下的视觉注意力分布和归因机制。具体的损失函数和网络结构细节在论文中进行了详细描述。
🖼️ 关键图片
📊 实验亮点
实验结果表明，尽管某些模型在导航任务中表现出较高的成功率，但在指令遵循方面的表现并不理想。具体而言，某些模型在不同指令下的动作概率分布变化不显著，显示出其对视觉线索的依赖性。
🎯 应用场景
该研究的潜在应用领域包括智能导航系统、机器人导航和人机交互等。通过更准确地理解指令与动作之间的关系，可以提升导航模型的可靠性和智能化水平，推动自动驾驶、智能家居等领域的发展。
📄 摘要（原文）
Vision-language-action (VLA) navigation models translate visual observations and instructions into actions. Navigation success assesses whether an agent reaches the goal. However, reaching the goal successfully does not establish whether the model genuinely follows the instructions or relies on visual cues or navigation history. We introduce NavBind to diagnose instruction-action binding: whether changing the instruction influences the probabilistic distribution of the actions, with the navigation context fixed. We construct 3,252 route-fork contexts by recombining route-aligned instruction segments from R2R-CE and RxR-CE. Each context pairs full instructions that share the description of the route already traveled but specify different branches. Both are evaluated under the same agent state and navigation history. We compare generated local action sequences, the likelihoods of fixed reference action sequences under both instructions, and changes in visual attention and attribution. Across the evaluated models, higher reported navigation success does not imply that the model more faithfully follows the instructions.