Spatial Reasoning is Not a Free Lunch: A Controlled Study on LLaVA

📄 arXiv: 2603.12545v1 📥 PDF

作者: Nahid Alam, Leema Krishna Murali, Siddhant Bharadwaj, Patrick Liu, Timothy Chung, Drishti Sharma, Akshata A., Kranthi Kiran, Wesley Tam, Bala Krishna S Vegesna

分类: cs.CV

发布日期: 2026-03-13

备注: Accepted as a poster at ICLR 2026 workshop ICBINB

💡 一句话要点

针对LLaVA的空间推理能力弱点，提出了一种受控诊断研究方法。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 视觉语言模型 空间推理 LLaVA 图像编码器 位置编码

📋 核心要点

  1. 现有视觉-语言模型在空间推理方面存在不足，尤其是在理解2D空间关系时表现脆弱。
  2. 该研究通过在LLaVA框架内进行受控实验，分析CLIP式图像编码器和1D位置编码对空间推理的影响。
  3. 实验结果表明，编码器目标和位置结构对空间推理能力有显著影响，但不能完全解决空间推理问题。

📝 摘要（中文）

视觉-语言模型(VLMs)发展迅速，但在基本的空间推理方面仍然存在困难。尽管在通用基准测试中表现出色，但现代VLM在理解二维空间关系（如相对位置、布局和计数）方面仍然很脆弱。我们认为，这种失败不仅仅是一个数据问题，而且与当前VLM管道中的主要设计选择密切相关：依赖于CLIP风格的图像编码器以及将图像展平为具有一维位置编码的一维token序列。我们在LLaVA框架内进行了一项受控诊断研究，以分离这些选择如何影响空间定位。我们评估了前沿模型和LLaVA变体在一套空间基准测试上的表现，将基于CLIP的编码器与使用更密集或生成目标训练的替代方案进行比较，以及用二维位置编码增强的变体。我们的结果表明，模型之间存在一致的空间性能差距，并表明编码器目标和位置结构塑造了空间行为，但并未完全解决它。

🔬 方法详解

问题定义：现有视觉-语言模型（VLMs）在通用任务上表现良好，但在理解图像中的空间关系（如相对位置、计数和布局）时表现不佳。这种空间推理能力的不足限制了VLMs在需要精确定位和理解场景结构的实际应用中的潜力。现有的基于CLIP的图像编码器和将2D图像展平为1D token序列的方法被认为是造成这一问题的潜在原因。

核心思路：该论文的核心思路是通过控制实验来隔离和分析VLM设计选择（特别是图像编码器和位置编码方式）对空间推理能力的影响。通过在LLaVA框架内比较不同类型的图像编码器（如CLIP-based和dense/generative objectives）以及不同位置编码方式（1D vs 2D），来评估它们对空间推理性能的影响。

技术框架：该研究基于LLaVA框架，构建了一系列实验，主要包括以下模块：1) 选择LLaVA作为基础VLM模型；2) 替换LLaVA中原有的CLIP-based图像编码器为其他类型的编码器，例如使用更密集或生成目标训练的编码器；3) 引入2D位置编码作为1D位置编码的替代方案；4) 在一系列空间基准测试上评估不同配置的LLaVA变体的性能。

关键创新：该研究的关键创新在于其受控实验设计，能够有效地隔离和分析VLM设计选择对空间推理能力的影响。通过系统地比较不同类型的图像编码器和位置编码方式，揭示了CLIP-based编码器和1D位置编码在空间推理方面的局限性。

关键设计：实验中使用了多种空间基准测试来评估模型的空间推理能力，包括相对位置判断、物体计数和布局理解等任务。针对不同的图像编码器，采用了不同的训练目标和网络结构。例如，对于dense objectives，可能使用像素级别的重建损失；对于generative objectives，可能使用GAN或VAE等生成模型。在2D位置编码方面，可能采用可学习的位置嵌入或相对位置编码等方法。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，即使在强大的LLaVA模型中，空间推理能力仍然存在显著差距。使用不同的图像编码器和位置编码方式可以改善空间推理性能，但无法完全解决问题。例如，某些替代编码器在特定空间任务上表现优于CLIP-based编码器，但整体提升有限。

🎯 应用场景

该研究成果可应用于提升视觉-语言模型在机器人导航、自动驾驶、图像编辑、视觉问答等领域的性能。通过改进空间推理能力，可以使模型更好地理解和操作真实世界，例如让机器人能够根据指令准确地定位和操作物体，或让自动驾驶系统能够更精确地感知周围环境。

📄 摘要（原文）

Vision-language models (VLMs) have advanced rapidly, yet they still struggle with basic spatial reasoning. Despite strong performance on general benchmarks, modern VLMs remain brittle at understanding 2D spatial relationships such as relative position, layout, and counting. We argue that this failure is not merely a data problem, but is closely tied to dominant design choices in current VLM pipelines: reliance on CLIP-style image encoders and the flattening of images into 1D token sequences with 1D positional encoding. We present a controlled diagnostic study within the LLaVA framework to isolate how these choices affect spatial grounding. We evaluate frontier models and LLaVA variants on a suite of spatial benchmarks, comparing CLIP-based encoders against alternatives trained with denser or generative objectives, as well as variants augmented with 2D positional encoding. Our results show consistent spatial performance gaps across models, and indicate that encoder objectives and positional structure shape spatial behavior, but do not fully resolve it.