Spatial457: A Diagnostic Benchmark for 6D Spatial Reasoning of Large Multimodal Models

📄 arXiv: 2502.08636v4 📥 PDF

作者: Xingrui Wang, Wufei Ma, Tiezheng Zhang, Celso M de Melo, Jieneng Chen, Alan Yuille

分类: cs.CV, cs.AI

发布日期: 2025-02-12 (更新: 2025-06-08)

备注: Published in CVPR 2025 as Highlight. Data and code are released at https://github.com/XingruiWang/Spatial457

🔗 代码/项目: GITHUB

💡 一句话要点

Spatial457：用于评估大型多模态模型6D空间推理能力的诊断基准

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态模型 空间推理 6D姿态估计 基准测试 合成数据集

📋 核心要点

  1. 现有基准测试主要关注2D空间理解，缺乏全面评估LMMs在6D空间推理能力的框架。
  2. Spatial457数据集通过构建包含多对象识别、2D/3D位置和3D方向等属性的合成数据，实现对LMMs空间推理能力的诊断。
  3. 实验结果表明，LMMs在3D推理和6D空间任务中性能显著下降，揭示了其在复杂空间推理方面的局限性。

📝 摘要（中文）

大型多模态模型(LMMs)在视觉场景理解和推理方面表现出卓越的能力，但它们在复杂和精确的3维空间推理方面的能力仍然不确定。现有的基准主要集中在2D空间理解上，缺乏一个全面评估不同复杂程度的6D空间推理的框架。为了解决这个局限性，我们提出了Spatial457，一个可扩展且无偏的合成数据集，它设计了空间推理的4个关键能力：多对象识别、2D位置、3D位置和3D方向。我们开发了一个级联评估结构，构建了跨越5个难度级别的7种问题类型，从基本的单对象识别到我们新提出的复杂6D空间推理任务。我们在PulseCheck457上评估了各种大型多模态模型(LMMs)，观察到随着任务复杂性的增加，性能普遍下降，尤其是在3D推理和6D空间任务中。为了量化这些挑战，我们引入了相对性能下降率(RPDR)，突出了3D推理能力的关键弱点。利用我们数据集的无偏属性设计，我们还发现了不同属性的预测偏差，在真实世界的图像设置中也观察到了类似的模式。代码和数据已在https://github.com/XingruiWang/Spatial457发布。

🔬 方法详解

问题定义：现有的大型多模态模型在视觉场景理解和推理方面取得了显著进展，但其在复杂和精确的6D空间推理方面的能力仍然未知。现有的基准测试主要集中在2D空间理解，缺乏一个能够全面评估LMMs在不同复杂程度下的6D空间推理能力的框架。因此，如何设计一个能够有效诊断LMMs在6D空间推理能力上的不足的基准测试成为了一个关键问题。

核心思路：Spatial457的核心思路是构建一个可扩展且无偏的合成数据集，该数据集涵盖了空间推理的四个关键能力：多对象识别、2D位置、3D位置和3D方向。通过控制数据集的属性，可以系统地评估LMMs在不同空间推理任务上的表现，并识别其潜在的偏差。此外，该数据集采用级联评估结构，从简单到复杂，逐步评估LMMs的能力。

技术框架：Spatial457的整体框架包括数据集生成和评估两部分。数据集生成部分使用合成数据生成技术，创建包含不同对象、位置和方向的图像。评估部分则采用级联评估结构，构建了7种问题类型，涵盖5个难度级别，从基本的单对象识别到复杂的6D空间推理任务。通过PulseCheck457评估工具，可以对LMMs在Spatial457数据集上的表现进行评估。

关键创新：Spatial457的关键创新在于其对6D空间推理能力的全面评估。与现有的主要关注2D空间理解的基准测试不同，Spatial457同时考虑了3D位置和3D方向，从而能够更全面地评估LMMs的空间推理能力。此外，Spatial457还引入了相对性能下降率(RPDR)来量化LMMs在不同任务上的性能下降情况，从而更好地识别其弱点。

关键设计：Spatial457的关键设计包括：1) 使用合成数据生成技术，确保数据集的无偏性；2) 采用级联评估结构，从简单到复杂逐步评估LMMs的能力；3) 设计了7种问题类型，涵盖了空间推理的四个关键能力；4) 引入了相对性能下降率(RPDR)来量化LMMs在不同任务上的性能下降情况。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LMMs在Spatial457数据集上的性能随着任务复杂度的增加而显著下降，尤其是在3D推理和6D空间任务中。通过相对性能下降率(RPDR)的分析，揭示了LMMs在3D推理能力上的关键弱点。此外，研究还发现了LMMs在不同属性上的预测偏差，这些偏差在真实世界的图像设置中也存在。

🎯 应用场景

Spatial457的研究成果可应用于机器人导航、自动驾驶、增强现实等领域。通过评估和改进LMMs的6D空间推理能力，可以提高机器人在复杂环境中的感知和决策能力，从而实现更安全、更高效的自动化应用。此外，该研究还可以促进多模态模型在其他领域的应用，例如医疗影像分析、智能家居等。

📄 摘要（原文）

Although large multimodal models (LMMs) have demonstrated remarkable capabilities in visual scene interpretation and reasoning, their capacity for complex and precise 3-dimensional spatial reasoning remains uncertain. Existing benchmarks focus predominantly on 2D spatial understanding and lack a framework to comprehensively evaluate 6D spatial reasoning across varying complexities. To address this limitation, we present Spatial457, a scalable and unbiased synthetic dataset designed with 4 key capability for spatial reasoning: multi-object recognition, 2D location, 3D location, and 3D orientation. We develop a cascading evaluation structure, constructing 7 question types across 5 difficulty levels that range from basic single object recognition to our new proposed complex 6D spatial reasoning tasks. We evaluated various large multimodal models (LMMs) on PulseCheck457, observing a general decline in performance as task complexity increases, particularly in 3D reasoning and 6D spatial tasks. To quantify these challenges, we introduce the Relative Performance Dropping Rate (RPDR), highlighting key weaknesses in 3D reasoning capabilities. Leveraging the unbiased attribute design of our dataset, we also uncover prediction biases across different attributes, with similar patterns observed in real-world image settings. The code and data are released in https://github.com/XingruiWang/Spatial457.