CoFie: Learning Compact Neural Surface Representations with Coordinate Fields

📄 arXiv: 2406.03417v1 📥 PDF

作者: Hanwen Jiang, Haitao Yang, Georgios Pavlakos, Qixing Huang

分类: cs.CV, cs.GR

发布日期: 2024-06-05

备注: Project page: https://hwjiang1510.github.io/CoFie/

💡 一句话要点

CoFie：利用坐标场学习紧凑的神经表面表示，显著降低形状误差。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 神经表面表示 隐式表示 坐标场 局部几何 三维重建 形状表示 MLP

📋 核心要点

  1. 现有基于MLP的隐式表面表示方法在捕捉复杂局部几何细节时面临挑战，需要大量的参数。
  2. CoFie通过引入坐标场，将局部形状转换到对齐的坐标系中，从而降低局部形状的复杂度，提升表示效率。
  3. 实验表明，CoFie在参数量相同的情况下，显著降低了形状误差，并在参数量更少的情况下，实现了与现有方法相当的性能。

📝 摘要（中文）

本文提出了一种新颖的局部几何感知神经表面表示方法CoFie。CoFie的灵感来源于对局部SDFs二次近似的理论分析。我们发现，在由局部形状的法线和切线方向定义的对齐坐标系中，局部形状具有高度的压缩性。因此，我们引入了坐标场，它是所有局部形状的坐标系的组合。坐标场是可优化的，用于将局部形状从世界坐标系转换到对齐的形状坐标系。这大大降低了局部形状的复杂性，并有利于基于MLP的隐式表示的学习。此外，我们在MLP中引入了二次层，以增强关于局部形状几何的表达能力。CoFie是一种可泛化的表面表示。它在一个精心策划的3D形状集上进行训练，并在测试期间处理新的形状实例。当使用与先前工作相同数量的参数时，CoFie在训练和未见过的形状类别的新实例上，分别将形状误差降低了48%和56%。此外，当仅使用少70%的参数时，CoFie表现出与先前工作相当的性能。

🔬 方法详解

问题定义：论文旨在解决三维形状的隐式神经表示问题，特别是如何更有效地表示具有复杂局部几何细节的形状。现有方法，如直接使用MLP学习SDF，需要大量的参数才能捕捉到精细的几何信息，泛化能力受限。

核心思路：论文的核心思想是利用局部坐标系对齐来简化局部形状的表示。通过将局部形状转换到由其法线和切线定义的局部坐标系中，可以显著降低局部形状的复杂度，从而可以使用更小的网络来表示。

技术框架：CoFie包含两个主要组成部分：坐标场和MLP。坐标场负责将世界坐标系中的点转换到局部形状的对齐坐标系中。MLP则在对齐的坐标系中学习SDF值。整个流程包括：输入三维点坐标，通过坐标场将其转换到局部坐标系，然后将转换后的坐标输入到MLP中，输出SDF值。

关键创新：关键创新在于坐标场的引入和使用。坐标场能够学习每个局部形状的局部坐标系，并将点转换到该坐标系中。这种局部坐标系对齐的思想能够显著降低局部形状的复杂度，从而可以使用更小的网络来表示。此外，在MLP中引入二次层，增强了对局部形状几何的表达能力。

关键设计：坐标场由一个小的MLP实现，输入是三维点坐标，输出是局部坐标系的变换矩阵。损失函数包括SDF损失、Eikonal损失和坐标场正则化项。MLP的网络结构包括线性层和二次层，二次层用于增强对局部形状几何的表达能力。具体的参数设置（如MLP的层数、每层的神经元数量等）在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

CoFie在形状重建任务上取得了显著的性能提升。在与现有方法使用相同参数量的情况下，CoFie在训练集和未见数据集上分别将形状误差降低了48%和56%。更重要的是，CoFie仅使用少70%的参数，就能达到与现有方法相当的性能，表明其具有更高的参数效率。

🎯 应用场景

CoFie在三维重建、形状生成、计算机辅助设计等领域具有广泛的应用前景。它可以用于创建更紧凑、更精确的三维形状表示，从而提高相关任务的性能。此外，CoFie的可泛化性使其能够应用于各种不同的形状类别，具有很高的实用价值。

📄 摘要（原文）

This paper introduces CoFie, a novel local geometry-aware neural surface representation. CoFie is motivated by the theoretical analysis of local SDFs with quadratic approximation. We find that local shapes are highly compressive in an aligned coordinate frame defined by the normal and tangent directions of local shapes. Accordingly, we introduce Coordinate Field, which is a composition of coordinate frames of all local shapes. The Coordinate Field is optimizable and is used to transform the local shapes from the world coordinate frame to the aligned shape coordinate frame. It largely reduces the complexity of local shapes and benefits the learning of MLP-based implicit representations. Moreover, we introduce quadratic layers into the MLP to enhance expressiveness concerning local shape geometry. CoFie is a generalizable surface representation. It is trained on a curated set of 3D shapes and works on novel shape instances during testing. When using the same amount of parameters with prior works, CoFie reduces the shape error by 48% and 56% on novel instances of both training and unseen shape categories. Moreover, CoFie demonstrates comparable performance to prior works when using only 70% fewer parameters.