ImageNet3D: Towards General-Purpose Object-Level 3D Understanding

📄 arXiv: 2406.09613v1 📥 PDF

作者: Wufei Ma, Guanning Zeng, Guofeng Zhang, Qihao Liu, Letian Zhang, Adam Kortylewski, Yaoyao Liu, Alan Yuille

分类: cs.CV

发布日期: 2024-06-13

💡 一句话要点

提出ImageNet3D，用于通用物体级3D理解的大规模数据集。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D理解 数据集 物体识别 姿态估计 深度学习 计算机视觉 图像标注

📋 核心要点

  1. 现有3D物体数据集类别数量有限或标注质量不高，导致模型泛化能力差，难以处理未见过的物体类别。
  2. ImageNet3D通过在ImageNet的200个类别上增加2D边界框、3D姿态、3D位置等标注，构建大规模3D理解数据集。
  3. 该数据集可用于分析视觉基础模型的3D感知能力，并促进通用2D/3D信息推断模型以及3D推理模型的开发。

📝 摘要（中文）

本文提出了ImageNet3D，一个用于通用物体级3D理解的大规模数据集。具备通用物体级3D理解的视觉模型应能推断自然图像中任意刚性物体的2D信息（如类别名称和边界框）和3D信息（如3D位置和3D视角）。这是一个具有挑战性的任务，因为它涉及从2D信号推断3D信息，最重要的是，推广到来自未见类别的刚性物体。现有的具有物体级3D注释的数据集通常受到类别数量或注释质量的限制，导致模型在特定类别或领域成为专家，而无法泛化。ImageNet3D通过2D边界框、3D姿态、3D位置注释以及与3D信息交错的图像描述，增强了ImageNet数据集中的200个类别。借助ImageNet3D中的新注释，我们可以（i）分析视觉基础模型的物体级3D感知能力，（ii）研究和开发通用模型，用于推断自然图像中任意刚性物体的2D和3D信息，以及（iii）将统一的3D模型与大型语言模型集成，以进行与3D相关的推理。除了标准分类和姿态估计之外，我们还考虑了两个新任务：物体级3D感知探测和开放词汇姿态估计。在ImageNet3D上的实验结果证明了我们的数据集在构建具有更强通用物体级3D理解的视觉模型方面的潜力。

🔬 方法详解

问题定义：现有物体级3D理解数据集的类别数量和标注质量存在局限性，导致模型难以泛化到未见过的物体类别，阻碍了通用3D理解模型的发展。论文旨在构建一个大规模、高质量的3D数据集，以促进通用物体级3D理解模型的研究。

核心思路：论文的核心思路是通过在现有的ImageNet数据集上增加3D相关的标注，从而利用ImageNet已有的丰富图像资源和类别信息，同时引入3D信息，构建一个大规模的、包含2D和3D信息的综合数据集。这样可以促进模型学习2D和3D之间的关系，并提高模型的泛化能力。

技术框架：ImageNet3D的构建主要包括以下几个阶段：1) 选择ImageNet中的200个类别；2) 对这些类别的图像进行2D边界框标注；3) 为每个物体估计3D姿态和3D位置；4) 生成包含3D信息的图像描述。该数据集可以用于多种任务，包括物体分类、姿态估计、3D感知探测和开放词汇姿态估计。

关键创新：ImageNet3D的关键创新在于它是一个大规模的、同时包含2D和3D信息的物体级数据集。与现有数据集相比，ImageNet3D具有更大的规模和更丰富的标注信息，可以更好地支持通用物体级3D理解模型的研究。此外，论文还提出了两个新的任务：物体级3D感知探测和开放词汇姿态估计，为3D理解模型的研究提供了新的方向。

关键设计：论文在构建ImageNet3D时，采用了人工标注和自动估计相结合的方法。对于2D边界框，采用了人工标注的方式，以保证标注的准确性。对于3D姿态和3D位置，采用了基于深度学习的方法进行自动估计，并对估计结果进行了人工校正，以提高标注的质量。此外，论文还设计了一种新的图像描述生成方法，将3D信息融入到图像描述中，从而为模型提供更丰富的上下文信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文在ImageNet3D上进行了实验，验证了该数据集在构建通用物体级3D理解模型方面的潜力。实验结果表明，在该数据集上训练的模型在物体分类、姿态估计等任务上取得了良好的性能。此外，论文还提出了两个新的任务：物体级3D感知探测和开放词汇姿态估计，并验证了ImageNet3D在这两个任务上的有效性。

🎯 应用场景

ImageNet3D数据集可广泛应用于机器人导航、自动驾驶、增强现实等领域。例如，机器人可以利用该数据集训练模型，从而更好地理解周围环境中的物体，并进行导航和交互。自动驾驶系统可以利用该数据集提高对车辆、行人等物体的3D感知能力，从而提高驾驶安全性。增强现实应用可以利用该数据集将虚拟物体与真实场景进行更自然的融合。

📄 摘要（原文）

A vision model with general-purpose object-level 3D understanding should be capable of inferring both 2D (e.g., class name and bounding box) and 3D information (e.g., 3D location and 3D viewpoint) for arbitrary rigid objects in natural images. This is a challenging task, as it involves inferring 3D information from 2D signals and most importantly, generalizing to rigid objects from unseen categories. However, existing datasets with object-level 3D annotations are often limited by the number of categories or the quality of annotations. Models developed on these datasets become specialists for certain categories or domains, and fail to generalize. In this work, we present ImageNet3D, a large dataset for general-purpose object-level 3D understanding. ImageNet3D augments 200 categories from the ImageNet dataset with 2D bounding box, 3D pose, 3D location annotations, and image captions interleaved with 3D information. With the new annotations available in ImageNet3D, we could (i) analyze the object-level 3D awareness of visual foundation models, and (ii) study and develop general-purpose models that infer both 2D and 3D information for arbitrary rigid objects in natural images, and (iii) integrate unified 3D models with large language models for 3D-related reasoning.. We consider two new tasks, probing of object-level 3D awareness and open vocabulary pose estimation, besides standard classification and pose estimation. Experimental results on ImageNet3D demonstrate the potential of our dataset in building vision models with stronger general-purpose object-level 3D understanding.