TaoFlowForge: Progressive Native Mesh Generation via Cascaded Flow Matching
作者: Xianze Fang, Qiyuan Feng, Dongfang Sun, Yan Zhang, Xiuchao Wu, Jingnan Gao, Jiangjing Lyu, Chengfei Lyu, Gang Yu
分类: cs.CV
发布日期: 2026-09-29
💡 一句话要点
提出TaoFlowForge以解决轻量化和可编辑的3D网格生成问题
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 3D网格生成 拓扑优化 艺术内容生成 机器学习 计算机视觉
📋 核心要点
- 现有的3D网格生成方法难以同时满足轻量化、可编辑性和拓扑整洁性，限制了其在实际应用中的有效性。
- TaoFlowForge通过将网格生成过程分为顶点生成和连接预测两个阶段，采用粗到细的生成策略，提升了生成质量和效率。
- 在实验中，TaoFlowForge在多个数据集上表现优异，超越了现有的自回归生成方法，展示了其在网格生成领域的领先地位。
📝 摘要（中文）
3D内容生成技术在设计、3D打印和游戏产业中取得了显著进展，但生成轻量、可编辑且拓扑干净的艺术内容仍然困难。为此，本文提出了TaoFlowForge，一个艺术网格基础模型，能够生成生产就绪的网格。该模型将网格生成过程分解为顶点生成和连接预测两个阶段，并通过多种有效的损失函数来提升性能。在连接预测阶段，提出了一种简单有效的方法来估计顶点之间的连接亲和力，并预测每个顶点的法线，以确保面片的正确方向。此外，构建了一个大规模数据集，结合手工制作的3D资产与公共高质量拓扑数据集，经过精心设计的数据筛选管道保留高质量拓扑数据用于模型训练。实验结果表明，在图像条件生成下，TaoFlowForge超越了自回归方法，并在开源网格拓扑生成器中实现了最先进的结果。
🔬 方法详解
问题定义：本文旨在解决现有3D网格生成方法在轻量化、可编辑性和拓扑整洁性方面的不足，尤其是在生成艺术内容时的挑战。
核心思路：TaoFlowForge的核心思路是将网格生成过程分为两个阶段：顶点生成和连接预测，采用粗到细的生成策略，以提高生成的质量和效率。
技术框架：整体架构包括两个主要模块：第一阶段为顶点生成，采用多种损失函数进行优化；第二阶段为连接预测，估计顶点之间的连接亲和力，并预测每个顶点的法线。
关键创新：最重要的技术创新在于提出了一种有效的连接亲和力估计方法，并结合法线预测，确保生成面片的正确方向，这在现有方法中较少涉及。
关键设计：在模型设计中，采用了多种损失函数来优化顶点生成过程，并通过精心设计的数据筛选管道，确保训练数据的高质量，从而提升模型的整体性能。
🖼️ 关键图片
📊 实验亮点
在实验中，TaoFlowForge在图像条件生成下表现优异，超越了自回归生成方法，达到了最先进的性能水平。具体而言，该模型在多个公共数据集上实现了显著的提升，展示了其在开源网格拓扑生成器中的领先地位。
🎯 应用场景
TaoFlowForge在3D内容生成领域具有广泛的应用潜力，特别是在游戏开发、动画制作和3D打印等行业。其生成的轻量化和可编辑网格可以大大提高设计师的工作效率，并为艺术创作提供更多可能性。未来，该技术有望推动更多创新的3D应用和服务的发展。
📄 摘要（原文）
3D content generation technology has significantly advanced the work of designers, as well as the 3D printing and gaming industries. However, it remains difficult to produce lightweight, editable, and topologically clean artistic content that is directly production-ready. To achieve this, we present TaoFlowForge, an artistic mesh foundation model that generates production-ready meshes. Specifically, TaoFlowForge decomposes the mesh generation process into vertices generation and their connectivity prediction, i.e., edges. We formulate vertices generation as a two-stage coarse-to-fine process and incorporate several effective loss functions to further enhance its performance. In the connectivity prediction stage, we propose a simple yet effective method for estimating the connectivity affinity between vertices and additionally predict per-vertex normals, which determines the correct orientation of faces. Besides, we construct a large-scale dataset combining hand-crafted 3D assets with public high-quality topology datasets. Based on this, a carefully designed data curation pipeline is employed to filter the raw dataset, retaining only high-quality topology data for model training. Our model is trained on the combined dataset and tested on both out-of-distribution hand-crafted set of 3D assets and public datasets. Under image-conditioned generation, TaoFlowForge outperforms autoregressive methods and achieves state-of-the-art results among open-source mesh topology generators. We will release all the code and weights together with a portion of our test dataset.