Grounding Spatial Relations in a Compact World Model: Instruction Leakage and a Goal-Free Dynamics Fix

📄 arXiv: 2607.06925v1 📥 PDF

作者: Yufeng Wang, Lu Wei, Haibin Ling

分类: cs.AI

发布日期: 2026-07-08

💡 一句话要点

提出一种新方法解决目标导向模型中的指令泄漏问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 目标导向模型 指令泄漏 空间关系 动态过程 机器人导航

📋 核心要点

  1. 现有的目标导向模型在处理空间关系时存在指令泄漏的问题，导致模型的预测依赖于指令而非真实感知。
  2. 论文提出了一种新方法，通过将目标从动态过程中剥离并监督读取路径，来解决指令泄漏问题。
  3. 实验结果显示，新的方法在不依赖目标的情况下，关系读取准确率达到0.88，与有目标的情况相同，证明了其有效性。

📝 摘要（中文）

紧凑的世界模型通过语言目标来实现空间关系的基础，例如“将红色方块放在蓝色方块的左侧”。本文探讨了何时这些引用能够真正实现关系的基础，并识别出一个陷阱：目标条件预测器在关系读取准确率上达到0.90，但这实际上是指令转录而非感知。通过对比实验，发现当不提供目标时，准确率降至0.27，而反事实指令使得预测的锚点94.5%遵循错误指令。我们提出的核心观点是，当得分量可以从指令转录时，指令泄漏发生。我们的实验表明，保持目标不影响动态过程，并监督读取路径可以恢复真实的、独立于指令的基础。

🔬 方法详解

问题定义：本文旨在解决目标导向模型中的指令泄漏问题，现有方法在处理空间关系时，模型的预测往往依赖于指令内容，而非真实的环境感知。

核心思路：论文的核心思路是将目标从动态过程剥离，确保模型的预测不受指令内容的影响，从而实现真实的关系基础。

技术框架：整体架构包括三个主要模块：目标条件预测器、动态过程模块和读取路径监督模块。目标条件预测器负责生成预测，动态过程模块模拟环境变化，而读取路径监督模块确保模型的输出与真实环境相符。

关键创新：最重要的技术创新在于识别并解决指令泄漏问题，提出在动态过程中不使用目标信息，从而实现更为准确的关系基础。与现有方法相比，本文的方法更注重模型的感知能力而非指令的直接影响。

关键设计：在模型设计中，采用了特定的损失函数来监督读取路径，并通过实验验证了不同参数设置对模型性能的影响，确保在不依赖目标的情况下，模型依然能够准确地理解空间关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，新的方法在关系读取准确率上达到了0.88，且与有目标的情况相同，表明模型在不依赖指令的情况下仍能保持高效的性能。这一结果显著优于传统方法，解决了指令泄漏的问题。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动化任务执行以及人机交互等场景。通过提高模型对空间关系的理解能力，可以在复杂环境中实现更高效的决策和操作，未来可能推动智能体在真实世界中的应用。

📄 摘要（原文）

Compact world models that condition on a language goal promise to ground relations such as ``put the red block left of the blue block'' using a sparse set of explicit \emph{reference anchors}. We ask when such references actually ground a relation, and identify a trap: a goal-conditioned predictor reaches a striking $0.90$ relation-readout accuracy, yet this is \emph{instruction transcription}, not perception. Withholding the goal collapses it to chance ($0.90!\to!0.27$, three seeds) and a counterfactual instruction makes the predicted anchors follow the \emph{false} instruction $94.5\%$ of the time (true scene $2.3\%$; $N{=}256$). Tested across three settings and a within-task ablation, our central claim characterizes the confound: \textbf{instruction leakage occurs when the scored quantity is transcribable from the instruction (when the instruction names the answer) and is essentially independent of how predictive the non-instruction inputs are.} Our tabletop and the external BabyAI benchmark leak, whereas a Language-Table forward-dynamics world model whose instruction names \emph{referents} does not, until the instruction is augmented to name the direction; and degrading the action never increases leakage, the opposite of what predictor-competition predicts. The diagnosis prescribes the fix: keep the goal out of the dynamics (it belongs to the planner's cost) and supervise the \emph{read} path, recovering genuine, instruction-independent grounding ($0.88$, identical with and without the goal). The detection protocol and remedy apply to any goal-conditioned world model whose instruction names the scored quantity.