Reasoning3D -- Grounding and Reasoning in 3D: Fine-Grained Zero-Shot Open-Vocabulary 3D Reasoning Part Segmentation via Large Vision-Language Models

📄 arXiv: 2405.19326v1 📥 PDF

作者: Tianrun Chen, Chunan Yu, Jing Li, Jianqi Zhang, Lanyun Zhu, Deyi Ji, Yong Zhang, Ying Zang, Zejian Li, Lingyun Sun

分类: cs.CV, cs.GR, cs.HC

发布日期: 2024-05-29

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出 Reasoning3D，通过大型视觉-语言模型实现细粒度零样本开放词汇3D推理分割。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D分割 零样本学习 大型语言模型 视觉-语言模型 部件分割

📋 核心要点

  1. 现有3D分割方法通常依赖于特定类别或需要大量标注数据，限制了其泛化性和应用范围。
  2. Reasoning3D利用预训练的2D分割网络和大型语言模型，实现零样本的3D部件分割，无需额外训练。
  3. 实验表明，该方法能够根据文本查询定位和分割3D对象的部件，并生成相应的自然语言解释。

📝 摘要（中文）

本文提出了一项新任务：零样本3D推理分割，用于对象部件的搜索和定位。这是一种新的3D分割范式，超越了以往特定类别3D语义分割、3D实例分割和开放词汇3D分割的局限性。我们设计了一个简单的基线方法 Reasoning3D，它能够理解和执行复杂指令，对3D网格的特定部件进行（细粒度）分割，并具有上下文感知能力和交互式分割的推理答案。具体来说，Reasoning3D利用一个现成的、由大型语言模型（LLM）驱动的预训练2D分割网络，以零样本方式解释用户输入查询。以往的研究表明，广泛的预训练赋予了基础模型先验世界知识，使其能够理解复杂指令，我们可以利用这种能力，以有限的3D数据集“分割任何东西”（高效利用资源）。实验表明，我们的方法具有通用性，能够根据隐式文本查询有效地定位和突出显示3D对象（在3D网格中）的部件，包括铰接式3D对象和真实世界扫描数据。我们的方法还可以生成与这些3D模型及其分解相对应的自然语言解释。此外，我们的免训练方法允许快速部署，并可作为未来在机器人、对象操作、部件组装、自动驾驶应用、增强现实和虚拟现实（AR/VR）以及医疗应用等各个领域进行部件级3D（语义）对象理解研究的可行通用基线。

🔬 方法详解

问题定义：现有3D语义分割、实例分割和开放词汇3D分割方法存在类别特定或需要大量标注数据的局限性，难以处理细粒度的部件分割任务，尤其是在零样本场景下。这些方法无法有效利用大型语言模型所蕴含的丰富知识，限制了其泛化能力和应用范围。

核心思路：Reasoning3D的核心思路是利用预训练的2D分割网络和大型语言模型（LLM）的强大能力，将文本查询转化为3D部件分割任务。通过LLM理解用户输入的复杂指令，并将其映射到2D分割网络的输出，从而实现零样本的3D部件分割。这种方法避免了对3D数据进行大量标注的需求，并能够处理细粒度的部件分割任务。

技术框架：Reasoning3D的整体框架包括以下几个主要模块：1) 用户输入文本查询；2) LLM解析文本查询，提取关键信息；3) 2D分割网络根据LLM的输出，对3D网格进行分割；4) 将2D分割结果映射回3D空间，得到3D部件分割结果；5) 可选地，利用LLM生成对3D模型及其分解的自然语言解释。

关键创新：Reasoning3D最重要的技术创新点在于利用预训练的2D分割网络和大型语言模型，实现了零样本的3D部件分割。与现有方法相比，Reasoning3D无需对3D数据进行大量标注，并且能够处理细粒度的部件分割任务。此外，Reasoning3D还能够生成对3D模型及其分解的自然语言解释，增强了其可解释性。

关键设计：Reasoning3D的关键设计包括：1) 选择合适的预训练2D分割网络和大型语言模型；2) 设计有效的文本查询解析方法，将用户输入转化为2D分割网络的输入；3) 设计合理的2D分割结果到3D空间的映射方法；4) 设计自然语言解释生成方法，利用LLM生成对3D模型及其分解的解释。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Reasoning3D能够根据文本查询有效地定位和分割3D对象的部件，包括铰接式3D对象和真实世界扫描数据。该方法在零样本场景下表现出良好的泛化能力，并且能够生成对3D模型及其分解的自然语言解释。由于论文是方法论论文，没有给出具体的性能数据和对比基线，但强调了其通用性和有效性。

🎯 应用场景

Reasoning3D具有广泛的应用前景，包括机器人、对象操作、部件组装、自动驾驶、增强现实/虚拟现实（AR/VR）和医疗应用等领域。例如，在机器人领域，Reasoning3D可以帮助机器人理解人类指令，进行精确的对象操作和部件组装。在AR/VR领域，Reasoning3D可以用于创建更逼真的3D模型和交互体验。在医疗领域，Reasoning3D可以用于辅助医生进行手术规划和诊断。

📄 摘要（原文）

In this paper, we introduce a new task: Zero-Shot 3D Reasoning Segmentation for parts searching and localization for objects, which is a new paradigm to 3D segmentation that transcends limitations for previous category-specific 3D semantic segmentation, 3D instance segmentation, and open-vocabulary 3D segmentation. We design a simple baseline method, Reasoning3D, with the capability to understand and execute complex commands for (fine-grained) segmenting specific parts for 3D meshes with contextual awareness and reasoned answers for interactive segmentation. Specifically, Reasoning3D leverages an off-the-shelf pre-trained 2D segmentation network, powered by Large Language Models (LLMs), to interpret user input queries in a zero-shot manner. Previous research have shown that extensive pre-training endows foundation models with prior world knowledge, enabling them to comprehend complex commands, a capability we can harness to "segment anything" in 3D with limited 3D datasets (source efficient). Experimentation reveals that our approach is generalizable and can effectively localize and highlight parts of 3D objects (in 3D mesh) based on implicit textual queries, including these articulated 3d objects and real-world scanned data. Our method can also generate natural language explanations corresponding to these 3D models and the decomposition. Moreover, our training-free approach allows rapid deployment and serves as a viable universal baseline for future research of part-level 3d (semantic) object understanding in various fields including robotics, object manipulation, part assembly, autonomous driving applications, augment reality and virtual reality (AR/VR), and medical applications. The code, the model weight, the deployment guide, and the evaluation protocol are: http://tianrun-chen.github.io/Reason3D/