DK-VLM: Geometry as Position for Spatial Reasoning in Vision-Language Models

📄 arXiv: 2610.22356v1 📥 PDF

作者: Han Su, Meng Tian, Tianyu Huang, Mingyu Gao, Lennox Wei, Dongxu Li, Jianhua Han, Hang Xu, Xiaohe Wu, Wangmeng Zuo

分类: cs.CV

发布日期: 2026-10-15

备注: Project page: https://sumuru789.github.io/DK-VLM-website/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出DK-VLM以解决视觉语言模型的空间推理问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 空间推理 双核注意力 几何信息 参考框架组合 3D空间关系 多模态学习

📋 核心要点

  1. 现有视觉语言模型在理解3D空间关系和动态更新空间判断方面存在明显不足，特别是在有限空间监督下的特征对齐问题。
  2. 本文提出DK-VLM模型，通过双核注意力机制结合视觉标记的输入位置与几何位置，增强空间推理能力。
  3. 实验结果显示，DK-VLM-8B在多个空间基准测试中表现优异，尤其在VSI-Bench和ReVSI-32上取得了显著提升。

📝 摘要（中文）

视觉语言模型在理解3D空间关系和随着观察者移动更新空间判断方面仍面临挑战。现有方法通常将3D重建特征融合到视觉标记中，但在有限的空间监督下，将这些特征与预训练语义表示对齐仍然困难。本文提出了DK-VLM模型，采用双核注意力机制，从视觉标记的输入位置和场景中的几何位置计算注意力。语义核保留了预训练模型的原生注意力和位置编码，而几何核则利用估计的3D点和相机姿态，通过点位移和相对视图变换直接调节注意力。最后，通过学习的门控机制融合它们的输出，从而使几何信息作为位置进入注意力机制。我们还引入了参考框架组合（RC）监督，以训练模型在连续判断中更新其参考框架。实验结果表明，DK-VLM-8B在六个空间基准测试中取得了最高的平均分，并在VSI-Bench和ReVSI-32上获得了最高的整体分数。

🔬 方法详解

问题定义：本文旨在解决视觉语言模型在理解3D空间关系及动态更新空间判断时的不足，尤其是在有限空间监督条件下的特征对齐问题。

核心思路：DK-VLM模型通过引入双核注意力机制，分别从视觉标记的输入位置和几何位置计算注意力，从而增强模型对空间关系的理解和推理能力。

技术框架：DK-VLM的整体架构包括两个主要模块：语义核和几何核。语义核保留了预训练模型的注意力和位置编码，而几何核则利用3D点和相机姿态来调节注意力，最后通过学习的门控机制融合两者的输出。

关键创新：最重要的创新在于将几何信息作为位置引入注意力机制，而不是简单地将3D重建特征融合，这一设计使得模型在空间推理上表现更为出色。

关键设计：模型中采用了学习的门控机制来融合语义核和几何核的输出，此外，参考框架组合（RC）监督机制也被引入，以帮助模型在连续判断中更新参考框架。具体的损失函数和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DK-VLM-8B在六个空间基准测试中取得了最高的平均分，尤其在VSI-Bench上达到了74.33的分数，在ReVSI-32上获得了58.28的高分。RC监督机制的引入进一步提升了多步空间推理能力，同时保持了模型对视频理解的广泛适应性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等，需要对3D空间关系进行准确理解和推理的场景。通过提升视觉语言模型的空间推理能力，未来可以在多模态交互和智能系统中实现更高效的应用，推动相关技术的发展。

📄 摘要（原文）

Vision-language models still struggle to understand 3D spatial relations across views and update spatial judgments as the observer moves. A common approach fuses 3D reconstruction features into visual tokens, but aligning these features with pretrained semantic representations remains challenging under limited spatial supervision. We propose DK-VLM with Dual-Kernel Attention, which computes attention from both a visual token's input position and its geometric position in the scene. A semantic kernel retains the pretrained model's native attention and positional encoding, while a separate geometric kernel uses estimated 3D points and camera poses to directly modulate attention through point displacements and relative view transformations. Then, a learned gate fuses their outputs. Geometry thus enters attention as position rather than as fused reconstruction features. We further introduce Reference-Frame Composition (RC) supervision to train the model to update its reference frame across successive judgments. It provides stepwise turn and heading targets derived from verified single-step annotations. Among the compared methods, DK-VLM-8B achieves the highest average score across six spatial benchmarks and the highest overall scores on VSI-Bench (74.33) and ReVSI-32 (58.28). RC supervision further improves multi-step spatial reasoning, while the full model preserves general video understanding. Project page: https://sumuru789.github.io/DK-VLM-website/.