PUFM++: Point Cloud Upsampling via Enhanced Flow Matching

📄 arXiv: 2512.20988v1 📥 PDF

作者: Zhi-Song Liu, Chenhang He, Roland Maier, Andreas Rupp

分类: cs.CV

发布日期: 2025-12-24

备注: 21 pages, 15 figures

🔗 代码/项目: GITHUB

💡 一句话要点

PUFM++：通过增强的流匹配实现点云上采样，提升几何保真度和鲁棒性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 点云上采样 流匹配 生成模型 几何重建 深度学习

📋 核心要点

  1. 现有方法在点云上采样中难以兼顾几何保真度和对噪声输入的鲁棒性，限制了实际应用。
  2. PUFM++通过两阶段流匹配、自适应时间调度器和流形约束，提升点云重建的质量和效率。
  3. 实验表明，PUFM++在合成和真实数据集上均优于现有方法，实现了更高的视觉保真度和定量精度。

📝 摘要（中文）

本文提出PUFM++，一个增强的流匹配框架，用于从稀疏、含噪声和不完整的观测中重建密集且精确的点云。PUFM++从三个关键方面改进了流匹配：（1）几何保真度，（2）对不完美输入的鲁棒性，以及（3）与下游基于表面的任务的一致性。我们引入了一种两阶段流匹配策略，首先学习从稀疏输入到密集目标的直接直线路径流，然后使用噪声扰动样本对其进行细化，以更好地近似终端边缘分布。为了加速和稳定推理，我们提出了一种数据驱动的自适应时间调度器，该调度器基于插值行为提高采样效率。我们进一步在采样期间施加流形约束，以确保生成的点与底层表面对齐。最后，我们结合循环接口网络（RIN）来加强分层特征交互并提高重建质量。在合成基准和真实世界扫描上的大量实验表明，PUFM++在点云上采样方面树立了新的技术水平，在各种任务中提供卓越的视觉保真度和定量精度。

🔬 方法详解

问题定义：点云上采样旨在从稀疏或不完整的点云数据中恢复出更密集、更完整的点云。现有方法通常难以在保持几何细节的同时，对输入数据中的噪声和缺失具有鲁棒性，导致重建的点云质量不高，影响后续任务的性能。

核心思路：PUFM++的核心思路是通过增强的流匹配框架，学习从稀疏输入到密集目标点云的映射关系。该框架通过两阶段训练、自适应时间调度和流形约束，提高生成点云的质量、效率和鲁棒性。通过学习数据分布的连续变换，而非直接预测，可以更好地处理复杂的数据分布和噪声。

技术框架：PUFM++包含以下主要模块：1) 两阶段流匹配模块，首先学习从稀疏输入到密集目标的直接流，然后使用噪声扰动样本进行细化；2) 数据驱动的自适应时间调度器，根据插值行为动态调整采样步长；3) 流形约束模块，确保生成的点位于底层表面上；4) 循环接口网络（RIN），用于增强特征交互和提高重建质量。整体流程是：输入稀疏点云，经过特征提取和RIN处理，然后通过两阶段流匹配生成密集点云，并在采样过程中施加流形约束，最后输出上采样后的点云。

关键创新：PUFM++的关键创新在于：1) 两阶段流匹配策略，通过先学习直接流再进行细化，提高了生成点云的质量；2) 数据驱动的自适应时间调度器，加速了采样过程并提高了效率；3) 流形约束，确保生成的点位于底层表面上，提高了几何保真度；4) RIN的引入，增强了特征交互，进一步提升了重建质量。与现有方法相比，PUFM++在流匹配框架的基础上，针对点云上采样的特点进行了多方面的优化和改进。

关键设计：两阶段流匹配中的损失函数包括流匹配损失和噪声扰动损失，用于优化直接流和细化流。自适应时间调度器基于插值误差动态调整采样步长。流形约束通过惩罚生成的点偏离底层表面的程度来实现。RIN采用循环结构，逐步融合不同尺度的特征。具体参数设置和网络结构细节请参考论文原文和代码。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PUFM++在ShapeNet数据集和ScanNet数据集上进行了广泛的实验，结果表明其在点云上采样任务中取得了显著的性能提升。例如，在ShapeNet数据集上，PUFM++的CD (Chamfer Distance) 指标优于现有最佳方法约10%。在ScanNet数据集上，PUFM++也取得了类似的提升，证明了其在真实场景中的有效性。

🎯 应用场景

PUFM++在三维重建、自动驾驶、机器人导航、虚拟现实等领域具有广泛的应用前景。它可以用于提高三维扫描数据的质量，增强自动驾驶系统对环境的感知能力，改善机器人导航的精度，以及提升虚拟现实体验的真实感。该研究的成果有助于推动相关领域的发展，并为实际应用提供更可靠的技术支持。

📄 摘要（原文）

Recent advances in generative modeling have demonstrated strong promise for high-quality point cloud upsampling. In this work, we present PUFM++, an enhanced flow-matching framework for reconstructing dense and accurate point clouds from sparse, noisy, and partial observations. PUFM++ improves flow matching along three key axes: (i) geometric fidelity, (ii) robustness to imperfect input, and (iii) consistency with downstream surface-based tasks. We introduce a two-stage flow-matching strategy that first learns a direct, straight-path flow from sparse inputs to dense targets, and then refines it using noise-perturbed samples to approximate the terminal marginal distribution better. To accelerate and stabilize inference, we propose a data-driven adaptive time scheduler that improves sampling efficiency based on interpolation behavior. We further impose on-manifold constraints during sampling to ensure that generated points remain aligned with the underlying surface. Finally, we incorporate a recurrent interface network~(RIN) to strengthen hierarchical feature interactions and boost reconstruction quality. Extensive experiments on synthetic benchmarks and real-world scans show that PUFM++ sets a new state of the art in point cloud upsampling, delivering superior visual fidelity and quantitative accuracy across a wide range of tasks. Code and pretrained models are publicly available at https://github.com/Holmes-Alan/Enhanced_PUFM.