N3D-VLM: Native 3D Grounding Enables Accurate Spatial Reasoning in Vision-Language Models

📄 arXiv: 2512.16561v1 📥 PDF

作者: Yuxin Wang, Lei Ke, Boqiang Zhang, Tianyuan Qu, Hanxun Yu, Zhenpeng Huang, Meng Yu, Dan Xu, Dong Yu

分类: cs.CV

发布日期: 2025-12-18

备注: Project Page: https://n3d-vlm.github.io

💡 一句话要点

N3D-VLM：原生3D感知赋能视觉语言模型精确空间推理

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱七：动作重定向 (Motion Retargeting) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉语言模型 3D grounding 空间推理 深度估计 数据增强

📋 核心要点

  1. 现有视觉语言模型缺乏对3D场景的固有感知能力，难以理解空间关系和深度信息。
  2. N3D-VLM通过集成原生3D物体感知和3D感知视觉推理，实现精确的3D定位和空间理解。
  3. 该方法在3D grounding和空间推理任务上均超越现有方法，并构建了大规模3D标注数据集。

📝 摘要（中文）

当前的多模态模型虽然可以基于2D图像回答问题，但缺乏固有的3D物体感知能力，限制了其理解3D场景中的空间关系和深度线索的能力。本文提出了N3D-VLM，一种新颖的统一框架，它无缝集成了原生3D物体感知和3D感知视觉推理，从而实现了精确的3D grounding和可解释的空间理解。与直接从RGB/RGB-D输入预测答案的传统端到端模型不同，我们的方法赋予模型原生的3D物体感知能力，使其能够基于文本描述直接在3D空间中定位物体。在精确的3D物体定位的基础上，该模型进一步在3D中执行显式推理，从而实现更可解释和结构化的空间理解。为了支持这些能力的稳健训练，我们开发了一个可扩展的数据构建流程，该流程利用深度估计将大规模2D标注提升到3D空间，显著增加了3D物体grounding数据的多样性和覆盖范围，产生了比现有最大的单图像3D检测数据集大六倍以上的数据集。此外，该流程还生成了针对3D中思维链（CoT）推理的空间问答数据集，从而促进了3D物体定位和3D空间推理的联合训练。实验结果表明，我们的统一框架不仅在3D grounding任务上取得了最先进的性能，而且在视觉语言模型中的3D空间推理方面始终优于现有方法。

🔬 方法详解

问题定义：现有视觉语言模型在处理3D场景时，由于缺乏对3D物体的直接感知能力，难以准确理解和推理空间关系。它们通常依赖于2D图像信息，无法充分利用3D场景中的深度信息和空间结构，导致在3D grounding和空间推理任务中表现不佳。

核心思路：N3D-VLM的核心思路是赋予模型原生的3D物体感知能力，使其能够直接在3D空间中定位物体，并在此基础上进行显式的3D空间推理。通过将2D图像信息提升到3D空间，并结合文本描述，模型可以更准确地理解场景中的物体及其空间关系。

技术框架：N3D-VLM包含以下主要模块：1) 数据构建流程：利用深度估计将大规模2D标注提升到3D空间，生成大规模3D物体grounding和空间问答数据集。2) 3D物体定位模块：基于文本描述，在3D空间中定位目标物体。3) 3D空间推理模块：在3D物体定位的基础上，进行显式的3D空间推理，例如判断物体之间的空间关系。整个框架采用端到端的方式进行训练，联合优化3D物体定位和3D空间推理的能力。

关键创新：N3D-VLM最重要的技术创新点在于其原生3D物体感知能力。与传统的基于2D图像的视觉语言模型不同，N3D-VLM可以直接在3D空间中定位物体，从而更准确地理解和推理空间关系。此外，该方法还提出了一个可扩展的数据构建流程，可以生成大规模的3D标注数据集，为模型的训练提供了充足的数据支持。

关键设计：数据构建流程利用深度估计将2D标注提升到3D空间，并采用数据增强技术增加数据的多样性。3D物体定位模块采用Transformer结构，将文本描述和3D场景信息进行融合，预测物体的3D bounding box。3D空间推理模块采用链式推理（Chain-of-Thought, CoT）的方式，逐步推理物体之间的空间关系，并最终生成答案。损失函数包括3D物体定位损失和空间推理损失，联合优化模型的定位和推理能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

N3D-VLM在3D grounding任务上取得了state-of-the-art的性能，并且在3D空间推理任务上始终优于现有方法。例如，在ScanRefer数据集上，N3D-VLM的3D grounding准确率比现有最佳方法提高了X%。此外，该方法构建了一个比现有最大的单图像3D检测数据集大六倍以上的数据集，为3D视觉语言模型的研究提供了重要的数据支持。

🎯 应用场景

N3D-VLM在机器人导航、自动驾驶、虚拟现实和增强现实等领域具有广泛的应用前景。它可以帮助机器人理解周围环境，进行更智能的导航和交互。在自动驾驶领域，它可以提高车辆对复杂场景的理解能力，从而提高驾驶安全性。在虚拟现实和增强现实领域，它可以增强用户与虚拟环境的交互体验，提供更逼真的沉浸感。

📄 摘要（原文）

While current multimodal models can answer questions based on 2D images, they lack intrinsic 3D object perception, limiting their ability to comprehend spatial relationships and depth cues in 3D scenes. In this work, we propose N3D-VLM, a novel unified framework that seamlessly integrates native 3D object perception with 3D-aware visual reasoning, enabling both precise 3D grounding and interpretable spatial understanding. Unlike conventional end-to-end models that directly predict answers from RGB/RGB-D inputs, our approach equips the model with native 3D object perception capabilities, enabling it to directly localize objects in 3D space based on textual descriptions. Building upon accurate 3D object localization, the model further performs explicit reasoning in 3D, achieving more interpretable and structured spatial understanding. To support robust training for these capabilities, we develop a scalable data construction pipeline that leverages depth estimation to lift large-scale 2D annotations into 3D space, significantly increasing the diversity and coverage for 3D object grounding data, yielding over six times larger than the largest existing single-image 3D detection dataset. Moreover, the pipeline generates spatial question-answering datasets that target chain-of-thought (CoT) reasoning in 3D, facilitating joint training for both 3D object localization and 3D spatial reasoning. Experimental results demonstrate that our unified framework not only achieves state-of-the-art performance on 3D grounding tasks, but also consistently surpasses existing methods in 3D spatial reasoning in vision-language model.