ControlFlow3D: Distilling Multi-View Knowledge into Latent Flow Matching for Point Cloud Upsampling

📄 arXiv: 2610.21190v1 📥 PDF

作者: Yuang Liu, Zhi Zuo, Zhengkai Zhao, Lirui Zhang, Pan Gao, Hao Feng, Zhengzhe Liu

分类: cs.CV

发布日期: 2026-10-15

备注: Accepted at NeurIPS 2026

💡 一句话要点

提出ControlFlow3D以解决点云上采样问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 点云上采样 多视角图像 知识蒸馏 条件流匹配 几何解码器 ShapeNetPU 无监督学习

📋 核心要点

  1. 点云上采样面临稀疏观测和几何模糊性的问题，现有方法未能充分利用多视角图像的视觉信息。
  2. ControlFlow3D框架通过蒸馏预训练模型知识到轻量级生成网络，实现条件流匹配，提升点云上采样性能。
  3. 在多个基准测试中，ControlFlow3D展示了优异的性能，且ShapeNetPU数据集的构建为研究提供了更大规模的多模态数据支持。

📝 摘要（中文）

点云上采样对3D应用至关重要，但由于稀疏和欠约束的观测，仍然面临挑战。多视角图像能够解决几何模糊性，但现有的多模态方法未能充分利用视觉线索。我们提出了ControlFlow3D框架，在训练过程中将预训练基础模型的知识蒸馏到轻量级生成网络中，使得在测试时无需多视角图像即可实现强大的性能。具体而言，我们的方法在由冻结的3D编码器定义的结构化潜在空间中执行条件流匹配。多视角图像标记和3D潜在标记通过无监督软KMeans共同聚类为共享原型，生成的原型通过速度控制引导流轨迹，并通过一致性损失对齐，逐步将图像知识转移到基础网络中。最后，基于Mamba的几何解码器将潜在特征映射到线性复杂度的稠密坐标。我们还构建了ShapeNetPU，这是一个包含35K对象的多模态基准，规模是之前数据集的31倍。大量实验表明我们的方法有效且具有强大的泛化能力。

🔬 方法详解

问题定义：本论文旨在解决点云上采样中的稀疏观测和几何模糊性问题。现有方法在利用多视角图像时，未能充分挖掘视觉线索，导致性能受限。

核心思路：ControlFlow3D通过将预训练基础模型的知识蒸馏到轻量级生成网络中，进行条件流匹配，从而在测试时无需多视角图像也能实现高效的点云上采样。

技术框架：该框架包括多个主要模块：首先，利用冻结的3D编码器定义结构化潜在空间；其次，通过无监督软KMeans将多视角图像标记和3D潜在标记聚类为共享原型；最后，基于Mamba的几何解码器将潜在特征映射到稠密坐标。

关键创新：最重要的创新在于通过一致性损失将图像知识逐步转移到基础网络中，使得流轨迹能够通过速度控制进行引导。这一方法与现有的多模态方法在知识蒸馏和流匹配的结合上有本质区别。

关键设计：在设计中，采用了无监督软KMeans进行原型聚类，并通过一致性损失来确保图像知识的有效转移。此外，Mamba解码器的线性复杂度设计使得整个过程高效可行。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在多个基准测试中，ControlFlow3D展现出显著的性能提升，相较于现有方法，点云上采样的精度提高了XX%，且在ShapeNetPU数据集上表现出强大的泛化能力，验证了其有效性和实用性。

🎯 应用场景

该研究的潜在应用领域包括3D重建、虚拟现实、增强现实等场景，能够为这些领域提供更高质量的点云数据，提升用户体验和应用效果。未来，该方法可能推动更多基于点云的技术进步，促进3D视觉技术的发展。

📄 摘要（原文）

Point cloud upsampling is essential for 3D applications but remains challenging due to sparse, under-constrained observations. Multi-view images can resolve geometric ambiguity, but existing multi-modal methods do not fully exploit visual cues. We propose ControlFlow3D, a framework that distills knowledge from pretrained foundation models into a lightweight generation network during training, enabling strong performance without multi-view images available at test time. Specifically, our method performs conditional flow matching in a structured latent space defined by a frozen 3D encoder. Multi-view image tokens and 3D latent tokens are jointly clustered into shared prototypes via unsupervised soft KMeans; the resulting prototypes guide the flow trajectory through velocity control and are aligned by a consistency loss that progressively transfers image knowledge into the base network. A Mamba-based geometry decoder then maps latent features to dense coordinates with linear complexity. We also construct ShapeNetPU, a 35K-object multi-modal benchmark that is 31 times larger than prior datasets. Extensive experiments across multiple benchmarks demonstrate the effectiveness of our method and its strong generalization capability.