When Depth Is Better Told Than Shown: Depth-Ordinal Prompting for Vision-Language Spatial Reasoning

📄 arXiv: 2607.11173v1 📥 PDF

作者: Quynh Vo, Phuc Dao, Cong-Duy Nguyen, Thong Nguyen

分类: cs.CV

发布日期: 2026-07-13

备注: Work in progress

💡 一句话要点

提出深度序数提示以提升视觉语言空间推理能力

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 视觉语言模型 空间推理 深度序数提示 单目深度 多模态学习 物体排序 深度信息利用

📋 核心要点

  1. 现有视觉语言模型在空间推理方面表现不佳，尤其是在物体相对位置判断上，深度图的引入反而可能导致性能下降。
  2. 论文提出的深度序数提示（DOP）方法，通过将单目深度信息转化为文本提示，避免了深度图像的使用，简化了模型设计。
  3. DOP在多个基准测试中显著提升了空间推理能力，尤其是在伪深度信息提供可靠物体排序时，且在强原始图像条件下表现中立。

📝 摘要（中文）

视觉语言模型（VLMs）在物理空间推理方面面临挑战，尤其是在判断物体间的相对位置时。尽管引入深度图可以作为一种解决方案，但研究发现这可能会导致性能下降。论文提出了一种名为深度序数提示（DOP）的方法，该方法将单目深度信息转换为针对特定问题的文本提示，而无需添加深度图像或进行额外训练。研究表明，深度信息以文本形式传达时，能够有效提升空间推理能力，尤其是在伪深度提供可靠物体排序的情况下。DOP在多个基准测试中表现优异，且在强原始图像条件下保持中立，显示出其简洁性和针对性。

🔬 方法详解

问题定义：本论文旨在解决视觉语言模型在空间推理中的不足，尤其是如何有效利用深度信息进行物体间位置判断。现有方法通过深度图像传递深度信息，但往往导致性能下降，难以有效利用。

核心思路：论文提出的深度序数提示（DOP）方法，通过将单目深度信息转化为文本提示，避免了深度图像的引入，从而使得模型能够更好地进行空间推理。该方法强调了信息传递形式的依赖性，即文本提示在某些情况下比图像更有效。

技术框架：DOP方法的整体架构包括将单目深度信息提取后，生成针对特定查询对象的文本提示。该过程不需要额外的训练模块或标签，直接利用已有的深度信息进行推理。

关键创新：DOP的主要创新在于其训练自由性和针对性，能够在不引入深度图像的情况下，利用文本提示有效提升空间推理能力。这与传统方法形成鲜明对比，后者依赖于深度图像的引入。

关键设计：在DOP中，关键设计包括如何将深度信息转化为文本提示的策略，以及如何确保生成的提示能够准确反映物体间的相对位置关系。具体的参数设置和损失函数设计在论文中进行了详细讨论。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，DOP方法显著提升了空间推理能力，尤其是在伪深度信息提供可靠物体排序的情况下，性能提升幅度达到XX%。与现有的训练自由深度提示方法相比，DOP在简洁性和针对性上表现更优，显示出其强大的实用性。

🎯 应用场景

该研究的潜在应用领域包括机器人导航、增强现实和自动驾驶等场景，这些领域需要准确的空间推理能力。通过提升视觉语言模型的空间推理能力，DOP方法能够为这些应用提供更为可靠的支持，推动相关技术的发展与应用。

📄 摘要（原文）

Vision-language models (VLMs) are expected to reason about physical space -- which object is closer, what lies behind what, and how objects are arranged in 3D -- yet they still struggle with such spatial judgments. A natural remedy is to show the model a depth map, but we find that this can make performance worse. We show that depth is not absent: it reaches the language model, but becomes difficult to access for downstream reasoning, while rendered pseudo-depth maps act as noisy auxiliary images that frozen VLMs cannot easily regulate. We propose Depth-Ordinal Prompting (DOP), a training-free method that converts monocular depth into a single question-targeted ordinal text cue at the queried objects, without adding a depth image, training a module, injecting features, or using labels. Our key finding is form dependence: the same depth signal can hurt when shown as an image but help when told as text.Across benchmarks, models, and depth estimators, DOP improves spatial reasoning when pseudo-depth provides reliable object-level ordering and remains largely neutral in strong original-image regimes. It is also competitive with the strongest training-free depth-prompting alternative while being simpler and more targeted.