Fast Learning of Signed Distance Functions from Noisy Point Clouds via Noise to Noise Mapping

📄 arXiv: 2407.14225v1 📥 PDF

作者: Junsheng Zhou, Baorui Ma, Yu-Shen Liu, Zhizhong Han

分类: cs.CV

发布日期: 2024-07-04

备注: Accepted by TPAMI 2024. Project page: https://mabaorui.github.io/Noise2NoiseMapping/. arXiv admin note: substantial text overlap with arXiv:2306.01405

💡 一句话要点

提出基于噪声映射的快速SDF学习方法，解决从噪声点云重建问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: 有符号距离函数 点云处理 三维重建 噪声映射 深度学习 多视角重建 点云去噪

📋 核心要点

  1. 现有方法难以从噪声点云中学习SDF，主要原因是缺乏真实标签、点法线或干净点云。
  2. 论文提出噪声到噪声映射方法，无需干净数据或标签，直接从噪声观测中学习高精度SDF。
  3. 实验结果表明，该方法在表面重建、点云去噪和上采样任务中优于现有技术，训练速度也大幅提升。

📝 摘要（中文）

本文提出了一种通过噪声到噪声映射学习有符号距离函数(SDFs)的方法，用于解决从噪声点云中学习SDFs的难题。该方法无需干净点云或真实标签监督，即可从单个或多个噪声观测中推断出高精度的SDF。核心在于噪声到噪声的映射，通过新颖的损失函数实现点云的统计推理，并在不规则、无序且无对应关系的噪声观测中保持几何一致性。为加速训练，采用CUDA实现的多分辨率哈希编码，训练时间缩短十倍，一分钟内即可收敛。此外，提出了一种新方案，通过将SDF估计作为先验来改进多视角重建。在常用基准测试上的评估表明，该方法在点云或多视角图像的表面重建、点云去噪和上采样方面优于现有技术。

🔬 方法详解

问题定义：论文旨在解决从噪声点云中学习有符号距离函数(SDF)的问题。现有方法在处理噪声点云时，通常需要干净的点云数据或真实的SDF值作为监督信息，这在实际应用中很难获得。因此，如何仅从噪声数据中学习到准确的SDF是一个挑战。现有方法对噪声敏感，重建质量差，且计算效率较低。

核心思路：论文的核心思路是利用“噪声到噪声”的映射。即，将一个噪声点云作为输入，学习如何将其映射到另一个噪声点云所对应的SDF。这种方法避免了对干净数据的依赖，因为网络学习的是噪声数据之间的内在关系，而不是拟合干净数据。通过这种方式，网络可以学习到对噪声具有鲁棒性的SDF表示。

技术框架：整体框架包含以下几个主要步骤：1) 输入一个或多个噪声点云观测；2) 使用一个神经网络（例如MLP）来预测每个空间点的SDF值；3) 使用一个新颖的损失函数来训练网络，该损失函数鼓励网络学习到的SDF在不同的噪声观测之间保持一致性，并符合几何约束；4) 使用CUDA加速的多分辨率哈希编码来加速训练过程。该框架可以用于单物体或场景的SDF重建。

关键创新：最重要的技术创新点在于“噪声到噪声”的映射思想和相应的损失函数设计。与传统的监督学习方法不同，该方法不需要干净数据，而是直接从噪声数据中学习。此外，该损失函数的设计考虑了点云的统计特性和几何一致性，使得网络能够学习到对噪声具有鲁棒性的SDF表示。多分辨率哈希编码的使用显著提升了训练速度。

关键设计：论文使用MLP作为SDF预测器，输入是空间坐标，输出是SDF值。损失函数包含两部分：一部分是鼓励不同噪声观测之间SDF值的一致性，另一部分是鼓励SDF的梯度与点云的法线方向对齐。多分辨率哈希编码用于加速空间查询，减少了训练时间。具体参数设置未知，需要查阅原文。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在表面重建、点云去噪和上采样任务中均优于现有技术。例如，在表面重建任务中，该方法在常用数据集上的重建精度显著高于其他方法。此外，通过使用CUDA加速的多分辨率哈希编码，训练时间缩短了十倍，可以在一分钟内完成收敛。

🎯 应用场景

该研究成果可广泛应用于三维重建、点云处理、机器人导航、虚拟现实等领域。例如，在机器人导航中，可以利用该方法从传感器获取的噪声点云数据中快速重建环境地图。在虚拟现实中，可以用于生成高质量的三维模型。该方法在医学影像处理、工业检测等领域也具有潜在的应用价值。

📄 摘要（原文）

Learning signed distance functions (SDFs) from point clouds is an important task in 3D computer vision. However, without ground truth signed distances, point normals or clean point clouds, current methods still struggle from learning SDFs from noisy point clouds. To overcome this challenge, we propose to learn SDFs via a noise to noise mapping, which does not require any clean point cloud or ground truth supervision. Our novelty lies in the noise to noise mapping which can infer a highly accurate SDF of a single object or scene from its multiple or even single noisy observations. We achieve this by a novel loss which enables statistical reasoning on point clouds and maintains geometric consistency although point clouds are irregular, unordered and have no point correspondence among noisy observations. To accelerate training, we use multi-resolution hash encodings implemented in CUDA in our framework, which reduces our training time by a factor of ten, achieving convergence within one minute. We further introduce a novel schema to improve multi-view reconstruction by estimating SDFs as a prior. Our evaluations under widely-used benchmarks demonstrate our superiority over the state-of-the-art methods in surface reconstruction from point clouds or multi-view images, point cloud denoising and upsampling.