SpatialGeo:Boosting Spatial Reasoning in Multimodal LLMs via Geometry-Semantics Fusion

📄 arXiv: 2511.17308v1 📥 PDF

作者: Jiajie Guo, Qingpeng Zhu, Jin Zeng, Xiaolong Wu, Changyong He, Weida Wang

分类: cs.CV

发布日期: 2025-11-21

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

SpatialGeo：通过几何-语义融合增强多模态LLM的空间推理能力

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态大语言模型 空间推理 几何特征 语义特征 特征融合 视觉编码器 分层适配器

📋 核心要点

  1. 现有MLLM在空间推理方面存在不足，无法准确理解和推断三维空间中的空间关系。
  2. SpatialGeo通过融合几何和语义特征，生成具有空间感知能力的视觉嵌入，提升MLLM的空间定位能力。
  3. 实验表明，SpatialGeo在空间推理任务中显著提升了准确率，并在降低内存成本的同时超越了现有最佳模型。

📝 摘要（中文）

多模态大型语言模型（MLLM）由于大型语言模型（LLM）强大的推理能力，在图像和语言任务中取得了显著进展。然而，大多数MLLM在解释和推断三维空间中的空间排列方面，空间推理能力有限。本文提出了一种基于几何和语义特征分层融合的新型视觉编码器，生成具有空间感知能力的视觉嵌入，并增强MLLM的空间定位能力。具体来说，我们首先揭示了空间模糊的缺点源于现有大多数MLLM（例如CLIP）中使用的视觉编码器的有损嵌入，该嵌入仅限于实例级别的语义特征。这促使我们通过分层适配器，利用纯视觉自监督学习中的几何特征来补充CLIP，从而增强所提出的SpatialGeo中的空间感知能力。该网络使用预训练的LLaVA模型进行高效训练，并通过随机特征丢弃进行优化，以避免仅依赖CLIP编码器的简单解决方案。实验结果表明，SpatialGeo提高了空间推理任务的准确性，在SpatialRGPT-Bench中，以大约50%的更少内存成本，将最先进的模型提升了至少8.0%。源代码可通过https://ricky-plus.github.io/SpatialGeoPages/ 获取。

🔬 方法详解

问题定义：现有的大部分多模态大语言模型（MLLM）在处理空间推理任务时表现不佳，无法准确理解图像中物体的空间关系和三维空间结构。这主要是因为现有MLLM使用的视觉编码器（如CLIP）主要关注实例级别的语义特征，而忽略了图像中的几何信息，导致空间信息的丢失和模糊。

核心思路：SpatialGeo的核心思路是通过融合图像的几何特征和语义特征，增强视觉编码器的空间感知能力。具体来说，论文利用纯视觉自监督学习方法提取图像的几何特征，并将其与CLIP提取的语义特征进行融合，从而弥补CLIP在空间信息方面的不足。这样，MLLM就可以获得更丰富的空间信息，从而提高空间推理的准确性。

技术框架：SpatialGeo的技术框架主要包括以下几个模块：1) CLIP编码器：用于提取图像的语义特征；2) 几何特征提取模块：用于提取图像的几何特征；3) 分层适配器：用于将几何特征和语义特征进行分层融合；4) LLaVA模型：作为MLLM的骨干网络，用于进行空间推理任务。整个流程是，首先使用CLIP和几何特征提取模块分别提取图像的语义特征和几何特征，然后通过分层适配器将两种特征进行融合，最后将融合后的特征输入到LLaVA模型中进行空间推理。

关键创新：SpatialGeo的关键创新在于提出了几何-语义融合的视觉编码器，通过分层适配器将几何特征和语义特征进行有效融合，从而增强了MLLM的空间感知能力。与现有方法相比，SpatialGeo不仅考虑了图像的语义信息，还考虑了图像的几何信息，从而可以更准确地理解图像中的空间关系。

关键设计：SpatialGeo的关键设计包括：1) 使用分层适配器进行特征融合，可以更好地控制几何特征和语义特征的融合比例；2) 使用随机特征丢弃进行训练，可以避免模型过度依赖CLIP编码器，从而更好地利用几何特征；3) 使用预训练的LLaVA模型作为骨干网络，可以充分利用LLaVA模型的强大推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

SpatialGeo在SpatialRGPT-Bench数据集上取得了显著的性能提升，相较于现有最佳模型，准确率提高了至少8.0%，并且在推理过程中内存成本降低了约50%。这表明SpatialGeo在提高空间推理准确率的同时，还具有较高的效率。

🎯 应用场景

SpatialGeo在机器人导航、自动驾驶、虚拟现实、增强现实等领域具有广泛的应用前景。例如，在机器人导航中，SpatialGeo可以帮助机器人更好地理解周围环境的空间结构，从而更准确地进行路径规划和避障。在自动驾驶中，SpatialGeo可以帮助车辆更准确地识别交通标志和道路标线，从而提高驾驶安全性。在虚拟现实和增强现实中，SpatialGeo可以帮助用户更真实地体验虚拟环境，从而提高用户体验。

📄 摘要（原文）

Multimodal large language models (MLLMs) have achieved significant progress in image and language tasks due to the strong reasoning capability of large language models (LLMs). Nevertheless, most MLLMs suffer from limited spatial reasoning ability to interpret and infer spatial arrangements in three-dimensional space. In this work, we propose a novel vision encoder based on hierarchical fusion of geometry and semantics features, generating spatial-aware visual embedding and boosting the spatial grounding capability of MLLMs. Specifically, we first unveil that the spatial ambiguity shortcoming stems from the lossy embedding of the vision encoder utilized in most existing MLLMs (e.g., CLIP), restricted to instance-level semantic features. This motivates us to complement CLIP with the geometry features from vision-only self-supervised learning via a hierarchical adapter, enhancing the spatial awareness in the proposed SpatialGeo. The network is efficiently trained using pretrained LLaVA model and optimized with random feature dropping to avoid trivial solutions relying solely on the CLIP encoder. Experimental results show that SpatialGeo improves the accuracy in spatial reasoning tasks, enhancing state-of-the-art models by at least 8.0% in SpatialRGPT-Bench with approximately 50% less memory cost during inference. The source code is available via https://ricky-plus.github.io/SpatialGeoPages/.