NuGrounding: A Multi-View 3D Visual Grounding Framework in Autonomous Driving

📄 arXiv: 2503.22436v2 📥 PDF

作者: Fuhao Li, Huan Jin, Bin Gao, Liaoyuan Fan, Lihui Jiang, Long Zeng

分类: cs.CV

发布日期: 2025-03-28 (更新: 2025-05-26)

💡 一句话要点

NuGrounding：面向自动驾驶的多视角3D视觉定位框架，解决指令粗粒度问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉定位 多视角学习 自动驾驶 多模态融合 自然语言理解

📋 核心要点

  1. 现有3D视觉定位数据集和方法面临指令粗粒度问题，难以充分利用3D几何信息进行精确推理。
  2. 论文提出NuGrounding数据集和一种新颖框架，结合多模态LLM的理解能力和专业检测模型的定位能力。
  3. 实验结果表明，该方法在精度和召回率上显著优于现有方法，分别提升了50.8%和54.7%。

📝 摘要（中文）

多视角3D视觉定位对于自动驾驶车辆理解自然语言并在复杂环境中定位目标对象至关重要。然而，现有的数据集和方法存在语言指令粗粒度以及3D几何推理与语言理解融合不足的问题。为此，我们推出了NuGrounding，这是首个用于自动驾驶中多视角3D视觉定位的大规模基准。我们提出了一种定位层级结构（HoG）方法来构建NuGrounding，以生成分层多级指令，确保全面覆盖人类指令模式。为了应对这个具有挑战性的数据集，我们提出了一种新颖的范例，将多模态LLM（MLLM）的指令理解能力与专业检测模型的精确定位能力无缝结合。我们的方法引入了两个解耦的任务令牌和一个上下文查询来聚合3D几何信息和语义指令，然后使用融合解码器来细化空间-语义特征融合以实现精确定位。大量实验表明，我们的方法明显优于从代表性3D场景理解方法改编而来的基线，并在精度上达到0.59，召回率上达到0.64，分别提高了50.8%和54.7%。

🔬 方法详解

问题定义：现有的多视角3D视觉定位方法在自动驾驶场景中，由于数据集的限制，通常面临着语言指令过于粗粒度的问题，无法充分利用3D场景的几何信息进行精确定位。此外，现有方法在融合语言理解和3D几何推理方面存在不足，导致定位精度不高。

核心思路：论文的核心思路是将多模态大型语言模型（MLLM）强大的指令理解能力与专门的3D目标检测模型的精确定位能力相结合。通过解耦任务，分别处理语言理解和空间定位，然后进行融合，从而实现更精确的3D视觉定位。这种设计旨在克服现有方法在语言理解和几何推理融合方面的不足。

技术框架：整体框架包含以下几个主要模块：1) 多模态大型语言模型（MLLM）：负责理解输入的自然语言指令，提取语义信息。2) 3D目标检测模型：负责从多视角图像中提取3D几何信息。3) 解耦任务令牌：引入两个解耦的任务令牌，分别用于处理语言理解和空间定位。4) 上下文查询：用于聚合3D几何信息和语义指令。5) 融合解码器：负责细化空间-语义特征的融合，最终实现精确定位。

关键创新：论文的关键创新在于提出了一种新颖的范例，将多模态LLM的指令理解能力与专业检测模型的精确定位能力无缝结合。通过解耦任务令牌和上下文查询，有效地聚合了3D几何信息和语义指令，并利用融合解码器细化特征融合，从而显著提高了定位精度。与现有方法相比，该方法更有效地利用了语言信息和几何信息，实现了更精确的定位。

关键设计：论文中使用了两个解耦的任务令牌，分别用于语言理解和空间定位。上下文查询的设计旨在聚合来自不同模态的信息，并为后续的特征融合提供更丰富的上下文信息。融合解码器的具体结构和参数设置（例如，注意力机制的类型和层数）以及损失函数的设计（例如，是否使用 focal loss 或 GIoU loss）等技术细节，论文中可能有所描述，但具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在NuGrounding数据集上取得了显著的性能提升。在精度（Precision）上达到了0.59，在召回率（Recall）上达到了0.64，相比于现有基线方法，分别提升了50.8%和54.7%。这些数据表明，该方法在多视角3D视觉定位任务中具有显著优势。

🎯 应用场景

该研究成果可应用于自动驾驶车辆，使其能够更好地理解人类指令，并在复杂环境中精确定位目标物体，例如根据语音指令寻找特定车辆或行人。此外，该技术还可应用于机器人导航、智能监控等领域，提升机器人在复杂环境中的感知和交互能力。未来，该技术有望推动人机交互和智能系统的发展。

📄 摘要（原文）

Multi-view 3D visual grounding is critical for autonomous driving vehicles to interpret natural languages and localize target objects in complex environments. However, existing datasets and methods suffer from coarse-grained language instructions, and inadequate integration of 3D geometric reasoning with linguistic comprehension. To this end, we introduce NuGrounding, the first large-scale benchmark for multi-view 3D visual grounding in autonomous driving. We present a Hierarchy of Grounding (HoG) method to construct NuGrounding to generate hierarchical multi-level instructions, ensuring comprehensive coverage of human instruction patterns. To tackle this challenging dataset, we propose a novel paradigm that seamlessly combines instruction comprehension abilities of multi-modal LLMs (MLLMs) with precise localization abilities of specialist detection models. Our approach introduces two decoupled task tokens and a context query to aggregate 3D geometric information and semantic instructions, followed by a fusion decoder to refine spatial-semantic feature fusion for precise localization. Extensive experiments demonstrate that our method significantly outperforms the baselines adapted from representative 3D scene understanding methods by a significant margin and achieves 0.59 in precision and 0.64 in recall, with improvements of 50.8% and 54.7%.