MM-Spatial: Exploring 3D Spatial Understanding in Multimodal LLMs
作者: Erik Daxberger, Nina Wenzel, David Griffiths, Haiming Gang, Justin Lazarow, Gefen Kohavi, Kai Kang, Marcin Eichner, Yinfei Yang, Afshin Dehghan, Peter Grasch
分类: cs.CV, cs.CL, cs.LG
发布日期: 2025-03-17 (更新: 2025-09-08)
备注: ICCV 2025
💡 一句话要点
MM-Spatial：探索多模态LLM中的3D空间理解能力
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 多模态学习 3D空间理解 大型语言模型 数据集构建 视觉问答
📋 核心要点
- 现有的多模态LLM在2D视觉任务上表现良好，但在3D空间推理方面存在明显不足，限制了其应用范围。
- 论文核心在于构建大规模3D场景数据集CA-VQA，并利用其对MLLM进行微调，提升模型对3D空间关系的理解能力。
- 实验结果表明，通过CA-VQA训练的MM-Spatial模型在3D空间理解任务上达到了SOTA水平，甚至可以媲美单目深度估计模型。
📝 摘要（中文）
多模态大型语言模型(MLLM)在2D视觉理解方面表现出色，但在3D空间推理能力方面仍然有限。本文利用大规模高质量的3D场景数据和开放式标注，提出了1)一种新的监督微调数据集和2)一个新的评估基准，专注于室内场景。我们的Cubify Anything VQA (CA-VQA)数据涵盖了各种空间任务，包括空间关系预测、度量尺寸和距离估计以及3D grounding。我们证明了CA-VQA能够训练出MM-Spatial，一个强大的通用MLLM，它在3D空间理解基准测试（包括我们自己的基准测试）上也实现了最先进的性能。我们展示了如何结合度量深度和多视角输入（在CA-VQA中提供）可以进一步提高3D理解能力，并证明仅凭数据就可以使我们的模型获得与专用单目深度估计模型相当的深度感知能力。
🔬 方法详解
问题定义：现有的多模态大型语言模型(MLLMs)虽然在2D视觉理解方面取得了显著进展，但在理解和推理3D空间信息方面仍然存在局限性。这限制了它们在需要理解空间关系、尺寸和距离等信息的应用场景中的应用。现有方法缺乏足够的高质量3D数据进行训练，并且缺乏专门的评估基准来衡量3D空间理解能力。
核心思路：论文的核心思路是利用大规模、高质量的3D场景数据，结合开放式标注，构建一个专门用于训练和评估MLLMs的3D空间理解能力的数据集CA-VQA。通过在这个数据集上进行监督微调，可以显著提升MLLMs对3D空间信息的理解和推理能力。同时，论文还提出了一个新的评估基准，用于全面评估MLLMs在各种3D空间任务上的表现。
技术框架：整体框架包括数据收集与标注、模型训练和评估三个主要阶段。首先，收集大规模的3D室内场景数据，并使用Cubify Anything方法进行标注，生成CA-VQA数据集。然后，使用CA-VQA数据集对MLLM进行监督微调，得到MM-Spatial模型。最后，在提出的评估基准以及其他现有的3D空间理解基准上对MM-Spatial模型进行评估。
关键创新：论文的关键创新在于构建了大规模高质量的CA-VQA数据集，该数据集包含丰富的3D空间信息和开放式标注，能够有效地训练和评估MLLMs的3D空间理解能力。此外，论文还提出了一个新的评估基准，该基准涵盖了各种3D空间任务，能够全面评估MLLMs在3D空间理解方面的表现。
关键设计：CA-VQA数据集包含多种类型的标注，包括空间关系预测、度量尺寸和距离估计以及3D grounding。为了进一步提高3D理解能力，论文还引入了度量深度和多视角输入。在模型训练方面，使用了监督微调的方法，并针对不同的3D空间任务设计了相应的损失函数。具体的网络结构和参数设置在论文中进行了详细描述（未知）。
🖼️ 关键图片
📊 实验亮点
MM-Spatial模型在3D空间理解基准测试中取得了最先进的性能，尤其是在论文提出的CA-VQA数据集上。实验结果表明，结合度量深度和多视角输入可以进一步提高3D理解能力。令人惊讶的是，仅凭CA-VQA数据集训练的模型就能够达到与专用单目深度估计模型相当的深度感知能力，这突显了数据在提升MLLMs 3D空间理解能力方面的重要性。
🎯 应用场景
该研究成果可应用于机器人导航、智能家居、虚拟现实/增强现实等领域。例如，机器人可以利用3D空间理解能力更好地感知周围环境，从而实现更智能的导航和交互。智能家居系统可以利用该技术理解用户的指令，并根据房间的布局和物品的位置做出相应的响应。VR/AR应用可以利用该技术创建更逼真的3D场景，并提供更沉浸式的用户体验。
📄 摘要（原文）
Multimodal large language models (MLLMs) excel at 2D visual understanding but remain limited in their ability to reason about 3D space. In this work, we leverage large-scale high-quality 3D scene data with open-set annotations to introduce 1) a novel supervised fine-tuning dataset and 2) a new evaluation benchmark, focused on indoor scenes. Our Cubify Anything VQA (CA-VQA) data covers diverse spatial tasks including spatial relationship prediction, metric size and distance estimation, and 3D grounding. We show that CA-VQA enables us to train MM-Spatial, a strong generalist MLLM that also achieves state-of-the-art performance on 3D spatial understanding benchmarks, including our own. We show how incorporating metric depth and multi-view inputs (provided in CA-VQA) can further improve 3D understanding, and demonstrate that data alone allows our model to achieve depth perception capabilities comparable to dedicated monocular depth estimation models.