Uni3D: Exploring Unified 3D Representation at Scale

📄 arXiv: 2310.06773v1 📥 PDF

作者: Junsheng Zhou, Jinsheng Wang, Baorui Ma, Yu-Shen Liu, Tiejun Huang, Xinlong Wang

分类: cs.CV, cs.CL

发布日期: 2023-10-10

备注: Code and Demo: https://github.com/baaivision/Uni3D

💡 一句话要点

提出Uni3D以解决3D对象和场景统一表示的挑战

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D表示 多模态学习 视觉模型 点云对齐 基础模型

📋 核心要点

  1. 现有方法在3D对象和场景的可扩展表示方面探索不足，限制了其在多模态学习中的应用。
  2. Uni3D通过使用2D初始化的ViT模型，端到端地对齐3D点云特征与图像-文本特征，提供了一种新的3D表示方法。
  3. Uni3D在多个3D任务上表现出色，设定了新的性能基准，展示了其在3D绘画和检索等应用中的潜力。

📝 摘要（中文）

近年来，图像和文本的可扩展表示得到了广泛研究，推动了视觉和语言学习的革命。然而，3D对象和场景的可扩展表示仍然相对未被探索。本文提出了Uni3D，一个3D基础模型，旨在探索统一的3D表示。Uni3D使用经过2D初始化的ViT进行端到端的预训练，以对齐3D点云特征与图像-文本对齐特征。通过简单的架构和预文本任务，Uni3D能够利用丰富的2D预训练模型作为初始化，并将图像-文本对齐模型作为目标，从而释放2D模型的巨大潜力，并将扩展策略应用于3D领域。Uni3D的参数规模高达十亿，并在零-shot分类、少-shot分类、开放世界理解和部件分割等多项3D任务上创下新纪录。

🔬 方法详解

问题定义：本文旨在解决3D对象和场景的统一表示问题，现有方法在这一领域的可扩展性和有效性不足，限制了其应用范围。

核心思路：Uni3D的核心思路是利用经过2D初始化的ViT模型，通过端到端的预训练，将3D点云特征与图像-文本特征对齐，从而实现3D表示的可扩展性。

技术框架：Uni3D的整体架构包括一个2D初始化的ViT模型，经过预训练后与3D特征进行对齐。该模型通过简单的架构和预文本任务，充分利用了2D预训练模型的优势。

关键创新：Uni3D的主要创新在于将2D模型的强大能力扩展到3D领域，突破了传统3D表示方法的局限性，实现了更高效的表示学习。

关键设计：Uni3D在参数设置上扩展至十亿级别，采用特定的损失函数以优化3D特征与图像-文本特征的对齐，确保模型在多种3D任务上的高效表现。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

Uni3D在多个3D任务上设定了新的性能基准，包括零-shot分类和少-shot分类，展示了其在开放世界理解和部件分割等任务中的优越性。具体而言，Uni3D在这些任务上的表现显著优于现有基线，提升幅度达到XX%。

🎯 应用场景

Uni3D的研究成果在多个领域具有潜在应用价值，包括3D绘画、物体检索、虚拟现实和增强现实等。其高效的3D表示能力将推动多模态学习的发展，并为相关技术的实际应用提供新的思路和方法。

📄 摘要（原文）

Scaling up representations for images or text has been extensively investigated in the past few years and has led to revolutions in learning vision and language. However, scalable representation for 3D objects and scenes is relatively unexplored. In this work, we present Uni3D, a 3D foundation model to explore the unified 3D representation at scale. Uni3D uses a 2D initialized ViT end-to-end pretrained to align the 3D point cloud features with the image-text aligned features. Via the simple architecture and pretext task, Uni3D can leverage abundant 2D pretrained models as initialization and image-text aligned models as the target, unlocking the great potential of 2D models and scaling-up strategies to the 3D world. We efficiently scale up Uni3D to one billion parameters, and set new records on a broad range of 3D tasks, such as zero-shot classification, few-shot classification, open-world understanding and part segmentation. We show that the strong Uni3D representation also enables applications such as 3D painting and retrieval in the wild. We believe that Uni3D provides a new direction for exploring both scaling up and efficiency of the representation in 3D domain.