DM-KG: A Novel Method for Boosting Spatial Cognition of Vision-Language Models in Street View Imagery

📄 arXiv: 2607.12319v1 📥 PDF

作者: Xinyue Xu, Zheng Zhang, Kunyang Ma, Ge Zhu, Lianshuai Cao, Lei Wang, Zixuan Li, Yi Cheng

分类: cs.CV

发布日期: 2026-07-14

💡 一句话要点

提出DM-KG以解决街景图像中视觉语言模型空间认知问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 空间认知 知识图谱 街景图像 逻辑推理 地理空间问答 深度学习

📋 核心要点

  1. 现有视觉语言模型在街景图像中常出现空间语义幻觉，导致物体位置和方向判断错误。
  2. 本文提出DM-KG，通过结构化知识图谱显式提取实体间的方向和度量关系，提升空间推理能力。
  3. 实验结果显示，DM-KG在距离和方向估计上显著降低误差，同时保持高问答成功率。

📝 摘要（中文）

随着视觉语言模型（VLMs）在地理空间问答和视觉场景理解中的广泛应用，提升其在街景图像中的空间认知能力成为关键研究方向。然而，现有VLMs在感知物体位置、距离和方向时常出现“空间语义幻觉”，导致逻辑推理错误。为了解决这一挑战，本文提出DM-KG（方向度量知识图谱），通过从单幅2D图像中显式提取实体之间的方向和度量关系，增强VLMs的空间推理准确性。实验结果表明，DM-KG在距离估计的平均绝对误差（MAE）上降低了31.1%，在方向判断的平均角度误差上降低了65.8%，同时保持了高问答成功率。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在街景图像中空间认知不足的问题，现有方法在物体位置、距离和方向的感知上存在显著误差，难以进行准确的逻辑推理。

核心思路：提出DM-KG，通过从单幅2D图像中提取方向和度量关系，构建结构化知识图谱，以增强VLMs的空间推理能力。该设计旨在为模型提供明确的几何先验信息，从而提高其推理准确性。

技术框架：DM-KG的整体架构包括两个主要模块：全景分割和度量深度估计。首先，通过全景分割获取图像中的实体信息；然后，利用度量深度估计计算实体的3D空间坐标。接着，将实体对的时钟方位角和欧几里得距离编码为JSON格式的知识图谱，注入VLM中。

关键创新：DM-KG的主要创新在于通过结构化知识图谱显式编码空间关系，解决了现有VLMs在空间推理中的“空间语义幻觉”问题。这一方法与传统的基于文本的知识表示方法有本质区别，提供了更为直观的几何信息。

关键设计：在参数设置上，采用了适应性损失函数以优化空间关系的学习，同时在网络结构中引入了多层次特征融合，以增强模型对复杂场景的理解能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，DM-KG在公共空间问答基准测试中，距离估计的平均绝对误差降低了31.1%，方向判断的平均角度误差降低了65.8%。同时，该方法保持了高达90%以上的问答成功率，显著提升了模型的空间推理能力。

🎯 应用场景

该研究的潜在应用领域包括地理信息系统（GIS）、自动驾驶、智能城市等，能够为复杂环境下的视觉问答提供更为准确的支持。通过提升视觉语言模型的空间认知能力，未来可实现更智能的地理空间分析和决策支持。

📄 摘要（原文）

As vision-language models (VLMs) are increasingly deployed in geospatial question answering and visual scene understanding, improving their spatial cognition capability on street view imagery for complex logical reasoning has emerged as a key research priority. However, existing VLMs frequently suffer from "spatial semantic hallucinations" when perceiving object locations, distances, and directions in real-world street view scenes. Furthermore, such errors are often recalcitrant to tracing and calibration, posing a critical bottleneck for their practical deployment in geospatial tasks. To address this pressing challenge, this study proposes DM-KG (Direction-Metric Knowledge Graph), a structurally grounded spatial representation framework for street view imagery. By explicitly extracting directional and metric relationships between entities from a single 2D image, this framework enhances the spatial reasoning accuracy of VLMs through a structured knowledge graph. Specifically, we integrate panoptic segmentation with metric depth estimation to robustly compute entity-level 3D spatial coordinates. Subsequently, we encode the clock azimuths and Euclidean distances of entity pairs into a JSON-formatted knowledge graph, which is injected into the VLM as an explicit geometric prior to guide spatial reasoning. Experimental results on public spatial question-answering (QA) benchmarks demonstrate that DM-KG reduces the mean absolute error (MAE) in distance estimation by 31.1% and the mean angular error in direction judgment by 65.8%, while simultaneously maintaining a high QA success rate. By establishing a complete, augmented reasoning pipeline, this research significantly improves the spatial cognitive capabilities of VLMs in street view scenarios, thereby providing a flexible, generalized, and interpretable framework for geographic visual question answering (GeoVQA) in open environments.