3DCoMPaT$^{++}$: An improved Large-scale 3D Vision Dataset for Compositional Recognition

📄 arXiv: 2310.18511v3 📥 PDF

作者: Habib Slim, Xiang Li, Yuchen Li, Mahmoud Ahmed, Mohamed Ayman, Ujjwal Upadhyay, Ahmed Abdelreheem, Arpit Prajapati, Suhail Pothigara, Peter Wonka, Mohamed Elhoseiny

分类: cs.CV, cs.AI

发布日期: 2023-10-27 (更新: 2025-04-28)

备注: https://3dcompat-dataset.org/v2/

💡 一句话要点

提出3DCoMPaT++以解决大规模3D视觉数据集的构建问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D视觉 数据集构建 组合识别 多模态数据 深度学习

📋 核心要点

  1. 现有的3D视觉数据集在规模和标注精度上存在不足，难以支持复杂的组合识别任务。
  2. 论文提出了3DCoMPaT++数据集，包含160百万渲染视图，支持部件实例级别的精细标注，且引入了新的GCR任务。
  3. 在CVPR2023的数据挑战中，采用修改的PointNet++模型取得了优异的表现，展示了GCR任务的潜力和挑战。

📝 摘要（中文）

在本研究中，我们提出了3DCoMPaT++，这是一个多模态的2D/3D数据集，包含超过1亿个渲染视图，涵盖超过1000万个经过精心标注的风格化3D形状，标注精度达到部件实例级别。该数据集包括41个形状类别、275个细粒度部件类别和293个细粒度材料类别，能够组合应用于3D物体的部件上。我们引入了一项新任务，称为“基础CoMPaT识别（GCR）”，以共同识别和定位3D物体部件上的材料组合。此外，我们报告了在CVPR2023上组织的数据挑战的结果，展示了获胜方法利用修改后的PointNet++模型进行6D输入训练，并探索了GCR增强的替代技术。我们希望我们的工作能促进未来在组合3D视觉领域的研究。

🔬 方法详解

问题定义：本研究旨在解决现有3D视觉数据集在规模、标注精度及任务多样性方面的不足，特别是在组合识别任务中的应用挑战。

核心思路：我们通过构建一个包含160百万渲染视图的多模态数据集3DCoMPaT++，并引入基础CoMPaT识别（GCR）任务，来提升3D物体部件的材料组合识别能力。

技术框架：数据集的构建包括从一百万个风格化形状中渲染出四个均匀分布的视图和四个随机视图，形成160百万个渲染结果。数据集涵盖41个形状类别和多个细粒度标注。

关键创新：3DCoMPaT++的主要创新在于其大规模的多模态数据集构建和部件实例级别的精细标注，特别是引入了GCR任务，推动了组合材料识别的研究。

关键设计：在数据集构建中，采用了细粒度的部件和材料类别标注，使用了修改后的PointNet++模型进行GCR任务的训练，探索了不同的技术以增强识别效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在CVPR2023的数据挑战中，使用修改后的PointNet++模型进行GCR任务训练，取得了显著的性能提升，具体表现为识别准确率的提高，展示了该数据集在实际应用中的有效性和潜力。

🎯 应用场景

该研究的潜在应用场景包括机器人视觉、增强现实、虚拟现实以及工业设计等领域。通过提供一个高质量的3D视觉数据集，研究者可以更好地训练和评估3D物体识别和理解算法，从而推动相关技术的进步和应用。

📄 摘要（原文）

In this work, we present 3DCoMPaT$^{++}$, a multimodal 2D/3D dataset with 160 million rendered views of more than 10 million stylized 3D shapes carefully annotated at the part-instance level, alongside matching RGB point clouds, 3D textured meshes, depth maps, and segmentation masks. 3DCoMPaT$^{++}$ covers 41 shape categories, 275 fine-grained part categories, and 293 fine-grained material classes that can be compositionally applied to parts of 3D objects. We render a subset of one million stylized shapes from four equally spaced views as well as four randomized views, leading to a total of 160 million renderings. Parts are segmented at the instance level, with coarse-grained and fine-grained semantic levels. We introduce a new task, called Grounded CoMPaT Recognition (GCR), to collectively recognize and ground compositions of materials on parts of 3D objects. Additionally, we report the outcomes of a data challenge organized at CVPR2023, showcasing the winning method's utilization of a modified PointNet$^{++}$ model trained on 6D inputs, and exploring alternative techniques for GCR enhancement. We hope our work will help ease future research on compositional 3D Vision.