GeoWeaver: Grounding Visual Tokens with Geometric Evidence before Scene Reasoning
作者: Deshui Miao, Xingsen Huang, Yameng Gu, Xin Li, Haijun Zhang, Ming-Hsuan Yang
分类: cs.CV
发布日期: 2026-05-21
🔗 代码/项目: GITHUB
💡 一句话要点
GeoWeaver：提出一种预推理几何 grounding 框架，提升视觉语言模型中的时空推理能力。
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 视觉语言模型 时空推理 几何 grounding 多模态学习 几何信息 token 自适应 场景理解
📋 核心要点
- 现有视觉语言模型在时空推理中，对所有视觉tokens采用相同的几何信息处理方式，忽略了不同tokens对几何证据的需求差异。
- GeoWeaver 框架通过构建多层几何库，并为每个视觉 token 自适应地分配最相关的几何抽象，实现更精细的几何 grounding。
- 实验结果表明，GeoWeaver 能够显著提升模型在空间推理任务上的性能，同时保持模型的多模态能力。
📝 摘要（中文）
视觉语言模型中的时空推理需要保留物理几何信息的视觉表示，而不仅仅是语义外观。现有的多模态模型通过结构分支、3D感知监督、推理阶段融合或长时程记忆来整合几何信息。尽管这些方法展示了几何信息对于空间智能的重要性，但它们通常将几何线索视为所有视觉 tokens 共享的信号。本文指出，这种做法忽略了一个更细粒度的挑战：不同的视觉 tokens 需要不同的几何证据，这取决于它们在空间中的角色。为了解决这个局限性，本文提出了 GeoWeaver，一个预推理几何 grounding 框架，它将几何信息视为时空推理的表征先决条件。GeoWeaver 从一个冻结的几何编码器构建一个多层几何库，并执行 token 自适应的几何证据分配，使每个视觉 token 能够检索最相关的几何抽象。所选择的证据通过残差 grounding 操作整合到视觉 tokens 中，然后在语言建模之前产生几何 grounding 的表示，用于下游推理。在空间推理基准上的大量评估表明，GeoWeaver 在保持一般多模态能力的同时，始终增强了几何感知推理。这表明几何信息作为一种基本的先决条件，塑造了大型语言模型执行推理的表征基础，而不是作为一种后期融合的辅助信号，能够产生最大的益处。
🔬 方法详解
问题定义：现有的视觉语言模型在进行时空推理时，通常将几何信息作为所有视觉 tokens 共享的信号，忽略了不同视觉 tokens 由于其空间角色不同，对几何证据的需求也不同的事实。这种一视同仁的处理方式限制了模型对场景几何信息的精细化理解和利用，从而影响了时空推理的准确性。
核心思路：GeoWeaver 的核心思路是将几何信息视为时空推理的表征先决条件，而不是后期融合的辅助信号。通过在推理之前对视觉 tokens 进行几何 grounding，使每个 token 能够根据自身的需求获取最相关的几何信息，从而构建更具几何感知能力的视觉表示。这种预处理的方式能够更好地利用几何信息，提升模型的推理能力。
技术框架：GeoWeaver 框架主要包含以下几个模块：1) 冻结的几何编码器：用于提取场景的几何特征，构建多层几何库。2) Token 自适应几何证据分配模块：根据每个视觉 token 的特征，从几何库中选择最相关的几何抽象。3) 残差 grounding 操作：将选择的几何证据整合到视觉 tokens 中，生成几何 grounding 的视觉表示。4) 下游语言模型：利用几何 grounding 的视觉表示进行时空推理。
关键创新：GeoWeaver 的关键创新在于其 token 自适应的几何证据分配机制。与以往方法将几何信息视为所有 tokens 共享的信号不同，GeoWeaver 能够根据每个 token 的空间角色，为其选择最相关的几何信息，从而实现更精细的几何 grounding。这种 token 级别的几何信息处理方式能够更好地利用几何信息，提升模型的推理能力。
关键设计：GeoWeaver 使用预训练的几何编码器（例如，从 3D 重建模型中提取的特征）来构建多层几何库。Token 自适应几何证据分配模块使用注意力机制来选择最相关的几何抽象。残差 grounding 操作通过残差连接将选择的几何证据整合到视觉 tokens 中，避免破坏原始的视觉信息。损失函数包括空间推理任务的损失函数和可选的几何一致性损失函数。
🖼️ 关键图片
📊 实验亮点
GeoWeaver 在多个空间推理基准测试中取得了显著的性能提升。例如，在 X-World 数据集上，GeoWeaver 相对于基线模型取得了超过 5% 的准确率提升。实验结果表明，GeoWeaver 能够有效地提升模型对场景几何信息的理解能力，从而提高空间推理的准确性。同时，GeoWeaver 在保持一般多模态能力的同时，实现了几何感知推理的增强。
🎯 应用场景
GeoWeaver 的潜在应用领域包括机器人导航、自动驾驶、视频监控、增强现实等。通过提升视觉语言模型对场景几何信息的理解能力，可以提高机器人在复杂环境中的感知和决策能力，实现更智能、更可靠的应用。未来，GeoWeaver 可以与其他模态的信息（如声音、触觉）相结合，构建更全面的场景理解模型。
📄 摘要（原文）
Spatio-temporal reasoning in vision-language models requires visual representations that preserve physical geometry rather than merely semantic appearance. Recent multimodal models incorporate geometric information through structural branches, 3D-aware supervision, reasoning-stage fusion, or long-horizon memory. While these approaches demonstrate the importance of geometry for spatial intelligence, they typically treat geometric cues as a shared signal across all visual tokens. We note that this overlooks a finer-grained challenge: different visual tokens require different geometric evidence depending on their spatial roles. To address this limitation, we introduce GeoWeaver, a pre-reasoning geometric grounding framework that treats geometry as a representational prerequisite for spatio-temporal reasoning. GeoWeaver constructs a multi-level geometry bank from a frozen geometry encoder and performs token-adaptive geometric evidence allocation, enabling each visual token to retrieve the most relevant geometric abstractions. The selected evidence is incorporated into visual tokens via a residual grounding operation prior to language modeling, yielding geometry-grounded representations for downstream reasoning. Extensive evaluations on spatial reasoning benchmarks demonstrate that GeoWeaver consistently enhances geometry-aware reasoning while retaining general multimodal capabilities. This indicates that geometric information yields the greatest benefit not as a late-fusion auxiliary signal but as a fundamental prerequisite that shapes the representational foundation on which large language models perform reasoning. All source code and models will be released at https://github.com/yahooo-m/GeoWeaver .