TokenFlow: Latent Token Rectified Flow Matching for 3D Point Cloud Generation

📄 arXiv: 2610.27418v1 📥 PDF

作者: Linhao Wang, Dongjin Huang

分类: cs.CV

发布日期: 2026-10-20

💡 一句话要点

提出TokenFlow以解决3D点云生成中的结构保持问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D点云生成 潜在标记 流匹配 跨注意力机制 深度学习

📋 核心要点

  1. 现有的潜在生成模型通常将整个形状编码为单个向量，难以保留部分级结构，限制了3D点云生成的能力。
  2. 论文提出了TokenFlow框架，通过将形状表示为一组潜在标记，并结合校正流和条件流来增强结构保持能力。
  3. 在ShapeNet和ModelNet数据集上，TokenFlow在多个指标上超越了现有基线，展示了其在3D点云生成中的有效性。

📝 摘要（中文）

3D点云生成需要捕捉部分级布局和表面细节，同时保持排列等变性。现有的潜在生成模型通常将整个形状编码为单个向量，限制了其保留部分级结构的能力。我们提出了TokenFlow，一个层次化的流匹配框架，将每个形状表示为一组潜在标记，并将这些标记上的校正流与点上的条件流耦合。通过跨注意力以$O(NM)$的成本聚合全局上下文，TokenFlow在ShapeNet上在飞机、汽车和椅子类别中实现了最佳的MMD和覆盖率，同时在ModelNet上其学习的潜在集合在ModelNet10上达到了最佳的线性评估准确率。这些结果表明，以$O(NM)$的成本将形状表示为一组潜在标记，为3D点云生成提供了有效的表示。

🔬 方法详解

问题定义：本论文旨在解决3D点云生成中现有方法无法有效保留部分级结构的问题。现有的潜在生成模型通常将整个形状压缩为单一向量，导致细节丢失和结构不完整。

核心思路：TokenFlow框架的核心思想是将每个形状表示为一组潜在标记，通过校正流和条件流的结合，增强对形状结构的捕捉能力。这种设计允许模型在保持排列等变性的同时，捕捉到更丰富的局部和全局信息。

技术框架：TokenFlow的整体架构包括两个主要模块：一是潜在标记的生成与表示，二是通过跨注意力机制进行的流匹配。潜在标记通过学习得到，流匹配则在标记和点之间进行，以实现高效的信息聚合。

关键创新：最重要的创新在于引入了潜在标记的概念，使得模型能够在$O(NM)$的计算成本下有效聚合全局上下文信息。这一方法与传统的单一向量表示形成了本质区别，显著提升了生成质量。

关键设计：在模型设计中，采用了跨注意力机制来实现标记之间的交互，确保了信息的有效传递。此外，模型的损失函数设计考虑了生成点云的多样性和准确性，以优化生成效果。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在ShapeNet数据集上，TokenFlow在飞机、汽车和椅子类别中实现了最佳的MMD和覆盖率，且在ModelNet10上达到了最佳的线性评估准确率。这些结果表明，TokenFlow在3D点云生成任务中具有显著的性能提升。

🎯 应用场景

该研究的潜在应用领域包括自动驾驶、虚拟现实和3D建模等。通过提高3D点云生成的质量，TokenFlow能够为这些领域提供更精确的环境建模和物体识别能力，推动相关技术的发展与应用。

📄 摘要（原文）

3D point clouds generation requires capturing both part-level layout and surface detail while preserving permutation equivariance. Existing latent generative models often encode an entire shape into a single vector, which limits their ability to retain part-level structure. We propose TokenFlow, a hierarchical flow matching framework that represents each shape as a set of latent tokens and couples a rectified flow over these tokens with a conditional flow over points. A bottleneck of $M \ll N$ learnable tokens aggregates global context through cross-attention at $O(NM)$ cost. On ShapeNet, TokenFlow achieves the best MMD and coverage across airplane, car, and chair, while obtaining 1-NNA comparable to the strongest baselines. On ModelNet, its learned latent set reaches the best reported linear-evaluation accuracy on ModelNet10. These results show that representing a shape as a set of latent tokens, aggregated at $O(NM)$ cost, provides an effective representation for 3D point cloud generation.