Self-supervised Learning of Hybrid Part-aware 3D Representations of 2D Gaussians and Superquadrics

📄 arXiv: 2408.10789v4 📥 PDF

作者: Zhirui Gao, Renjiao Yi, Yuhang Huang, Wei Chen, Chenyang Zhu, Kai Xu

分类: cs.CV

发布日期: 2024-08-20 (更新: 2025-07-19)

备注: Accepted by ICCV 2025. Code: https://github.com/zhirui-gao/PartGS

💡 一句话要点

PartGS：提出一种自监督混合表示学习框架，用于三维场景的部件级解析与重建。

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 三维重建 部件感知 自监督学习 混合表示 超二次曲面 2D高斯 场景理解

📋 核心要点

  1. 现有三维重建方法通常使用点云、网格等低级表示，缺乏结构化信息，难以进行部件级操作。
  2. PartGS通过结合2D高斯和超二次曲面，将场景分解为可解释的部件，实现部件感知的自监督重建。
  3. 实验表明，PartGS在DTU、ShapeNet等数据集上优于现有方法，能够有效提升三维场景的解析和重建质量。

📝 摘要（中文）

本文提出了一种名为PartGS的自监督部件感知重建框架，该框架集成了2D高斯和超二次曲面，利用多视角图像输入来解析物体和场景，从而实现可解释的三维结构分解。该方法通过在混合表示中耦合它们的参数来联合优化超二次曲面网格和高斯。一方面，超二次曲面能够表示各种形状基元，从而实现灵活且有意义的分解。另一方面，2D高斯捕获了详细的纹理和几何细节，确保了高保真度的外观和几何重建。该方法以自监督方式运行，在DTU、ShapeNet和真实世界数据集上的大量实验表明，与最先进的方法相比，我们的方法表现出卓越的性能。

🔬 方法详解

问题定义：现有三维重建方法，如点云、网格、NeRFs和3D高斯，虽然能够建模三维物体和场景，但缺乏高级的结构化信息，难以进行部件级别的操作和理解。人类感知通常将三维环境分解为有意义的结构部件，而不是低级的点或体素。因此，如何实现部件感知的、可解释的三维重建是一个重要的挑战。

核心思路：PartGS的核心思路是将2D高斯和超二次曲面结合起来，形成一种混合表示，从而实现部件感知的场景分解和重建。超二次曲面用于表示物体的基本形状和结构，而2D高斯用于捕捉物体的细节纹理和几何信息。通过联合优化这两种表示，可以实现高保真度的三维重建，同时获得物体的结构化部件信息。

技术框架：PartGS的整体框架包括以下几个主要模块：1) 多视角图像输入；2) 2D高斯初始化；3) 超二次曲面初始化；4) 混合表示的联合优化，包括超二次曲面参数和2D高斯参数的优化；5) 部件分割和重建结果输出。该框架以自监督的方式进行训练，不需要人工标注的部件信息。

关键创新：PartGS的关键创新在于提出了一种混合表示，将超二次曲面和2D高斯结合起来，从而实现了部件感知的、高保真度的三维重建。与传统的基于点云或网格的方法相比，PartGS能够提供更丰富的结构化信息，便于进行部件级别的操作和理解。此外，PartGS采用自监督的学习方式，避免了人工标注的成本。

关键设计：在PartGS中，超二次曲面的参数包括形状参数、位置参数和方向参数。2D高斯的参数包括均值、方差和颜色。联合优化过程通过最小化重建损失和正则化损失来实现。重建损失用于衡量重建结果与输入图像之间的差异，正则化损失用于约束超二次曲面的形状和位置，以及2D高斯的分布。具体的损失函数包括光度一致性损失、深度一致性损失和正则化损失。网络结构方面，使用了卷积神经网络来提取图像特征，并使用全连接网络来预测超二次曲面和2D高斯的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PartGS在DTU数据集上实现了显著的性能提升，重建质量优于现有方法。在ShapeNet数据集上，PartGS能够有效地分解物体为多个部件，并重建出高质量的三维模型。在真实世界数据集上，PartGS也表现出良好的泛化能力，能够处理复杂的场景和物体。

🎯 应用场景

PartGS在机器人导航、场景理解、虚拟现实、增强现实等领域具有广泛的应用前景。例如，机器人可以利用PartGS来理解周围环境，识别物体及其部件，从而进行更智能的导航和操作。在虚拟现实和增强现实中，PartGS可以用于创建更逼真、更可交互的三维场景。

📄 摘要（原文）

Low-level 3D representations, such as point clouds, meshes, NeRFs and 3D Gaussians, are commonly used for modeling 3D objects and scenes. However, cognitive studies indicate that human perception operates at higher levels and interprets 3D environments by decomposing them into meaningful structural parts, rather than low-level elements like points or voxels. Structured geometric decomposition enhances scene interpretability and facilitates downstream tasks requiring component-level manipulation. In this work, we introduce PartGS, a self-supervised part-aware reconstruction framework that integrates 2D Gaussians and superquadrics to parse objects and scenes into an interpretable decomposition, leveraging multi-view image inputs to uncover 3D structural information. Our method jointly optimizes superquadric meshes and Gaussians by coupling their parameters within a hybrid representation. On one hand, superquadrics enable the representation of a wide range of shape primitives, facilitating flexible and meaningful decompositions. On the other hand, 2D Gaussians capture detailed texture and geometric details, ensuring high-fidelity appearance and geometry reconstruction. Operating in a self-supervised manner, our approach demonstrates superior performance compared to state-of-the-art methods across extensive experiments on the DTU, ShapeNet, and real-world datasets.