Look, Reason, Draw a Region: Recursive Refinement for Spatial Context Prediction

📄 arXiv: 2610.23302v1 📥 PDF

作者: Wajeeha Tahir, Anna Tegon, Lionnus Kesting, Gamze İslamoğlu, Kristóf Karacs, Luca Benini, Thorir Mar Ingolfsson

分类: cs.CV, cs.LG

发布日期: 2026-10-16

备注: 17 pages, 6 figures, 3 tables

💡 一句话要点

提出Spatial-TRM以解决空间上下文预测问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 空间上下文预测 递归推理 视觉语言模型 机器人导航 智能家居

📋 核心要点

  1. 现有方法在处理空间关系和物理约束时存在不足，导致空间上下文预测的准确性不高。
  2. 论文提出Spatial-TRM模型，通过递归推理和权重共享，提升空间上下文预测的性能，同时保持较低的可训练参数数量。
  3. 在RoboSpatial-Home基准测试中，Spatial-TRM实现了29.51%的上下文准确率，相较于基线模型有显著提升。

📝 摘要（中文）

空间上下文预测需要视觉基础和空间推理，以识别场景中相对于物体的空闲区域。现有的大型视觉语言模型在空间关系和物理约束方面仍面临挑战。递归推理在离散和抽象推理任务中表现出色，激励其在自然图像中的空间上下文预测中应用。我们提出了Spatial-TRM，这是一种紧凑的递归模型，具有冻结的视觉语言特征、凸区域解码器和仅11.2M的可训练参数。该模型在RoboSpatial-Home基准上实现了29.51%的上下文准确率，相较于同参数数量的单步模型提升了9.02个百分点（相对提升44.0%）。这些结果表明，重复的精炼在固定的可训练参数数量下改善了空间上下文预测。

🔬 方法详解

问题定义：论文要解决的具体问题是如何在复杂场景中准确预测物体的空间上下文。现有方法在处理空间关系和物理约束时表现不佳，导致预测结果的准确性不足。

核心思路：论文的核心解决思路是引入递归推理机制，通过多次精炼来提高空间上下文预测的准确性，同时利用权重共享减少可训练参数数量。

技术框架：Spatial-TRM模型由三个主要模块组成：冻结的视觉语言特征提取器、递归推理模块和凸区域解码器。模型通过递归方式逐步改进预测结果。

关键创新：最重要的技术创新点在于引入了递归推理机制和权重共享策略，使得模型在保持较小参数量的同时，显著提升了空间上下文预测的性能。

关键设计：模型的可训练参数仅为11.2M，整体参数量为877.8M，设计上通过冻结视觉语言特征来减少计算开销，同时支持六种空间关系和开放词汇锚对象。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在RoboSpatial-Home基准测试中，Spatial-TRM模型达到了29.51%的上下文准确率，相较于同参数数量的单步模型提升了9.02个百分点，表现出显著的性能提升。这一结果表明，递归推理在空间上下文预测中的有效性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、自动驾驶、智能家居等场景，能够帮助系统更好地理解和预测物体之间的空间关系，从而提升决策能力和交互体验。未来，随着技术的进步，该模型有望在更复杂的视觉任务中得到应用。

📄 摘要（原文）

Spatial context prediction requires visual grounding and spatial reasoning to identify vacant regions relative to objects in a scene. Spatial relationships and physical constraints remain challenging for large vision-language models (VLMs). Recursive reasoning has demonstrated strong performance on discrete and abstract reasoning tasks, motivating its use for improving spatial context prediction in natural images. Weight sharing enables higher accuracy with a small trainable parameter count. We introduce Spatial-TRM, a compact recursive model with frozen vision-language features, a convex region decoder, and just 11.2M trainable parameters. This weight-tied reasoner supports six spatial relationships, three reference frames, and open-vocabulary anchor objects. On the RoboSpatial-Home benchmark, Spatial-TRM achieves 29.51% context accuracy, a gain of 9.02 percentage points (44.0% relative) over a separately trained single-step model with the same parameter count. Including the frozen encoders, the model has 877.8M total parameters, approximately $15\times$ fewer than the reported 13B size of RoboPoint. These results show that repeated refinement improves spatial context prediction from pretrained vision-language features at a fixed trainable parameter count on this benchmark.