N3D-VLM: Native 3D Grounding Enables Accurate Spatial Reasoning in Vision-Language Models

📄 arXiv: 2512.16561v1 📥 PDF

作者: Yuxin Wang, Lei Ke, Boqiang Zhang, Tianyuan Qu, Hanxun Yu, Zhenpeng Huang, Meng Yu, Dan Xu, Dong Yu

分类: cs.CV

发布日期: 2025-12-18

备注: Project Page: https://n3d-vlm.github.io

💡 一句话要点

N3D-VLM：原生3D感知赋能视觉语言模型精确空间推理

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D感知 视觉语言模型 空间推理 3D grounding 深度估计

📋 核心要点

  1. 现有视觉语言模型缺乏对3D场景的内在感知，难以理解空间关系和深度信息。
  2. N3D-VLM通过原生3D物体感知和显式3D推理，提升模型对3D场景的理解能力。
  3. 该方法在3D grounding和空间推理任务上均取得了SOTA性能，并具有更好的可解释性。

📝 摘要（中文）

当前的多模态模型虽然能够基于2D图像回答问题，但缺乏内在的3D物体感知能力，限制了其理解3D场景中的空间关系和深度线索。本文提出了N3D-VLM，一种新颖的统一框架，它无缝集成了原生3D物体感知和3D感知视觉推理，从而实现了精确的3D grounding和可解释的空间理解。与直接从RGB/RGB-D输入预测答案的传统端到端模型不同，我们的方法赋予模型原生的3D物体感知能力，使其能够基于文本描述直接在3D空间中定位物体。在精确的3D物体定位的基础上，模型进一步执行显式的3D推理，从而实现更可解释和结构化的空间理解。为了支持这些能力的稳健训练，我们开发了一个可扩展的数据构建流程，该流程利用深度估计将大规模2D标注提升到3D空间，显著增加了3D物体grounding数据的多样性和覆盖范围，使其比现有的最大单图像3D检测数据集大六倍以上。此外，该流程还生成了针对3D中思维链（CoT）推理的空间问答数据集，从而促进了3D物体定位和3D空间推理的联合训练。实验结果表明，我们的统一框架不仅在3D grounding任务上取得了最先进的性能，而且在视觉语言模型中的3D空间推理方面也始终优于现有方法。

🔬 方法详解

问题定义：现有视觉语言模型主要基于2D图像进行推理，缺乏对3D场景的直接感知能力。这导致模型在理解空间关系、深度信息以及进行精确的3D物体定位方面存在困难。现有方法通常依赖于端到端的学习，缺乏可解释性，并且难以处理复杂的3D空间推理任务。

核心思路：N3D-VLM的核心思路是赋予模型原生的3D物体感知能力，使其能够直接在3D空间中定位物体，并在此基础上进行显式的3D推理。通过将2D图像信息提升到3D空间，并结合文本描述，模型可以更准确地理解场景中的空间关系，并进行更复杂的推理。这种设计使得模型具有更好的可解释性和更强的泛化能力。

技术框架：N3D-VLM的整体框架包含以下几个主要模块：1) 3D物体感知模块：该模块负责将2D图像信息转换为3D表示，并根据文本描述定位3D空间中的物体。2) 3D空间推理模块：该模块在3D物体定位的基础上，进行显式的空间推理，例如判断物体之间的相对位置关系、距离等。3) 数据构建流程：为了支持模型的训练，论文提出了一个可扩展的数据构建流程，该流程利用深度估计将大规模2D标注提升到3D空间，生成了大量的3D物体grounding和空间问答数据。

关键创新：N3D-VLM最重要的技术创新点在于其原生3D物体感知能力。与传统的端到端模型不同，N3D-VLM能够直接在3D空间中定位物体，并在此基础上进行推理。这种设计使得模型具有更好的可解释性和更强的泛化能力。此外，论文提出的数据构建流程也为3D视觉语言模型的训练提供了重要的支持。

关键设计：论文的关键设计包括：1) 使用深度估计将2D标注提升到3D空间，生成大规模的3D训练数据。2) 设计了专门的3D物体感知模块，用于在3D空间中定位物体。3) 引入了显式的3D空间推理模块，用于进行复杂的空间推理任务。4) 构建了针对3D中思维链（CoT）推理的空间问答数据集，促进了3D物体定位和3D空间推理的联合训练。具体参数设置、损失函数和网络结构等细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

N3D-VLM在3D grounding任务上取得了SOTA性能，并且在3D空间推理任务上始终优于现有方法。论文提出的数据构建流程生成的数据集比现有的最大单图像3D检测数据集大六倍以上，为模型的训练提供了充足的数据支持。实验结果表明，N3D-VLM具有良好的泛化能力和可解释性。

🎯 应用场景

N3D-VLM具有广泛的应用前景，例如在机器人导航、自动驾驶、虚拟现实和增强现实等领域。该模型可以帮助机器人更好地理解周围环境，从而实现更智能的导航和交互。在自动驾驶领域，N3D-VLM可以提高车辆对复杂场景的理解能力，从而提高驾驶安全性。在虚拟现实和增强现实领域，N3D-VLM可以提供更逼真的3D体验，并支持更丰富的交互方式。

📄 摘要（原文）

While current multimodal models can answer questions based on 2D images, they lack intrinsic 3D object perception, limiting their ability to comprehend spatial relationships and depth cues in 3D scenes. In this work, we propose N3D-VLM, a novel unified framework that seamlessly integrates native 3D object perception with 3D-aware visual reasoning, enabling both precise 3D grounding and interpretable spatial understanding. Unlike conventional end-to-end models that directly predict answers from RGB/RGB-D inputs, our approach equips the model with native 3D object perception capabilities, enabling it to directly localize objects in 3D space based on textual descriptions. Building upon accurate 3D object localization, the model further performs explicit reasoning in 3D, achieving more interpretable and structured spatial understanding. To support robust training for these capabilities, we develop a scalable data construction pipeline that leverages depth estimation to lift large-scale 2D annotations into 3D space, significantly increasing the diversity and coverage for 3D object grounding data, yielding over six times larger than the largest existing single-image 3D detection dataset. Moreover, the pipeline generates spatial question-answering datasets that target chain-of-thought (CoT) reasoning in 3D, facilitating joint training for both 3D object localization and 3D spatial reasoning. Experimental results demonstrate that our unified framework not only achieves state-of-the-art performance on 3D grounding tasks, but also consistently surpasses existing methods in 3D spatial reasoning in vision-language model.