XMask3D: Cross-modal Mask Reasoning for Open Vocabulary 3D Semantic Segmentation

📄 arXiv: 2411.13243v1 📥 PDF

作者: Ziyi Wang, Yanbo Wang, Xumin Yu, Jie Zhou, Jiwen Lu

分类: cs.CV, cs.AI

发布日期: 2024-11-20

备注: Accepted to NeurIPS 2024

🔗 代码/项目: GITHUB

💡 一句话要点

提出XMask3D，通过跨模态掩码推理实现开放词汇3D语义分割。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D语义分割 开放词汇 跨模态推理 掩码生成 扩散模型

📋 核心要点

  1. 现有开放词汇3D语义分割方法难以精确对齐不同模态特征，导致分割边界模糊，限制了分割精度。
  2. XMask3D通过跨模态掩码推理，在掩码级别对齐3D特征与2D-文本嵌入，实现更精细的语义分割。
  3. 该方法利用预训练扩散模型生成具有3D几何感知的2D掩码，并融合2D和3D掩码特征，提升分割性能。

📝 摘要（中文）

现有的开放词汇3D语义分割方法主要集中于建立一个统一的特征空间，涵盖3D、2D和文本模态。然而，诸如全局特征对齐或视觉-语言模型蒸馏等传统技术往往只能实现近似的对应关系，尤其是在描绘精细的分割边界时表现不佳。为了解决这个问题，我们提出了一个更精确的掩码级别对齐方法，通过跨模态掩码推理框架XMask3D，将3D特征与2D-文本嵌入空间对齐。我们的方法基于预训练扩散模型的去噪UNet开发了一个掩码生成器，利用其对密集像素表示的精确文本控制能力，增强了生成掩码的开放世界适应性。我们进一步将3D全局特征作为隐式条件集成到预训练的2D去噪UNet中，从而生成具有额外3D几何感知能力的分割掩码。随后，生成的2D掩码被用于将掩码级别的3D表示与视觉-语言特征空间对齐，从而增强了3D几何嵌入的开放词汇能力。最后，我们融合了互补的2D和3D掩码特征，在多个3D开放词汇语义分割基准测试中取得了有竞争力的性能。代码可在https://github.com/wangzy22/XMask3D获取。

🔬 方法详解

问题定义：开放词汇3D语义分割旨在识别3D场景中物体的语义类别，而无需预先定义所有类别。现有方法主要依赖于全局特征对齐或视觉-语言模型蒸馏，但这些方法无法精确捕捉细粒度的分割边界，导致分割精度受限。尤其是在处理复杂场景和未知类别时，性能下降明显。

核心思路：XMask3D的核心思路是通过跨模态掩码推理，在掩码级别建立3D特征和2D-文本嵌入之间的精确对应关系。具体来说，利用2D图像的语义信息指导3D点云的分割，同时利用3D几何信息增强2D掩码的生成，从而实现更准确的语义分割。这种掩码级别的对齐能够更好地捕捉局部细节和细粒度特征，从而提高分割精度。

技术框架：XMask3D的整体框架包含以下几个主要模块：1) 基于预训练扩散模型的掩码生成器，用于生成具有文本控制的2D掩码；2) 3D全局特征编码器，用于提取3D场景的全局几何信息；3) 跨模态掩码对齐模块，用于将2D掩码和3D特征对齐到视觉-语言特征空间；4) 掩码特征融合模块，用于融合2D和3D掩码特征，生成最终的分割结果。

关键创新：XMask3D的关键创新在于提出了跨模态掩码推理框架，实现了掩码级别的3D特征和2D-文本嵌入对齐。与现有方法相比，XMask3D能够更精确地捕捉细粒度的分割边界，从而提高分割精度。此外，利用预训练扩散模型生成具有3D几何感知的2D掩码，进一步增强了模型的开放词汇能力。

关键设计：掩码生成器基于预训练的去噪UNet，通过文本提示控制掩码的生成。3D全局特征通过注意力机制融入到UNet中，作为隐式条件引导掩码生成。损失函数包括分割损失和跨模态对齐损失，用于优化模型参数。具体的网络结构和参数设置在论文中有详细描述，但具体数值未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

XMask3D在多个3D开放词汇语义分割基准测试中取得了有竞争力的性能。具体的数据提升幅度未知，但论文强调了其在精细分割边界方面的优势。实验结果表明，该方法能够有效地利用跨模态信息，提高分割精度和泛化能力。

🎯 应用场景

XMask3D在机器人导航、自动驾驶、场景理解等领域具有广泛的应用前景。它可以帮助机器人理解周围环境，识别各种物体，从而实现更智能的交互和决策。此外，该方法还可以应用于3D场景重建、虚拟现实等领域，提升用户体验和应用效果。

📄 摘要（原文）

Existing methodologies in open vocabulary 3D semantic segmentation primarily concentrate on establishing a unified feature space encompassing 3D, 2D, and textual modalities. Nevertheless, traditional techniques such as global feature alignment or vision-language model distillation tend to impose only approximate correspondence, struggling notably with delineating fine-grained segmentation boundaries. To address this gap, we propose a more meticulous mask-level alignment between 3D features and the 2D-text embedding space through a cross-modal mask reasoning framework, XMask3D. In our approach, we developed a mask generator based on the denoising UNet from a pre-trained diffusion model, leveraging its capability for precise textual control over dense pixel representations and enhancing the open-world adaptability of the generated masks. We further integrate 3D global features as implicit conditions into the pre-trained 2D denoising UNet, enabling the generation of segmentation masks with additional 3D geometry awareness. Subsequently, the generated 2D masks are employed to align mask-level 3D representations with the vision-language feature space, thereby augmenting the open vocabulary capability of 3D geometry embeddings. Finally, we fuse complementary 2D and 3D mask features, resulting in competitive performance across multiple benchmarks for 3D open vocabulary semantic segmentation. Code is available at https://github.com/wangzy22/XMask3D.