MeshCarve: Artisan Mesh Generation with Flow Matching in Compact Latent Spaces

📄 arXiv: 2610.09723v1 📥 PDF

作者: Xiyu Wang, Ruocheng Wu, Yufei Wang, Zhihao Li, Lanqing Guo, Bihan Wen

分类: cs.CV

发布日期: 2026-10-07

备注: 18 pages, 6 figures, 9 tables

💡 一句话要点

提出MeshCarve以解决艺术网格生成中的效率与质量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 艺术网格生成 变分自编码器 流匹配 紧凑潜在空间 计算机图形学 虚拟现实 生成模型

📋 核心要点

  1. 现有艺术网格生成方法在推理速度和重建质量上存在明显不足，尤其是在几何和拓扑联合编码时。
  2. MeshCarve通过在紧凑潜在空间中分别生成顶点和边连接，采用分层稀疏变换器来缩短标记序列，提升生成效率。
  3. 实验结果表明，MeshCarve在Objaverse数据集上表现优于现有的自回归和流匹配方法，且在生成质量上保持优势。

📝 摘要（中文）

现有的艺术网格生成方法通常采用自回归方式预测面片标记，导致推理速度较慢。虽然最近的方法通过变分自编码器（VAE）流匹配连续潜在空间，但在几何和拓扑联合编码时重建质量显著下降。本文提出MeshCarve，一种在紧凑潜在空间中生成网格的方法，分别生成顶点位置和边连接，避免了联合紧凑潜在空间的困难。通过引入分层稀疏变换器骨干网络，MeshCarve显著缩短了标记序列，并在Objaverse上优于现有的自回归和流匹配方法。

🔬 方法详解

问题定义：本文旨在解决现有艺术网格生成方法在推理速度和重建质量上的不足，尤其是几何与拓扑联合编码时的质量下降问题。

核心思路：MeshCarve的核心思路是通过在紧凑潜在空间中分别生成顶点位置和边连接，避免了联合编码的复杂性，从而提高生成效率和质量。

技术框架：整体架构包括两个主要模块：VertexVAE和EdgeVAE，分别用于顶点占用编码和连接性编码，此外还引入了锚生成器和流匹配机制，以优化生成过程。

关键创新：MeshCarve的创新在于其在紧凑潜在空间中进行每个生成阶段的操作，标记序列显著缩短，成为首个在此条件下实现艺术网格生成的方法。

关键设计：VertexVAE直接编码顶点占用，EdgeVAE采用顶点链接编码将任意连接性转化为固定长度的连续嵌入，确保复杂艺术拓扑的准确恢复。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在Objaverse数据集上的实验结果显示，MeshCarve在生成质量和效率上均优于现有的自回归和流匹配方法，标记序列长度仅为最压缩自回归和流匹配方法的一小部分，展示了显著的性能提升。

🎯 应用场景

MeshCarve的研究成果在计算机图形学、虚拟现实和游戏开发等领域具有广泛的应用潜力。通过提高艺术网格生成的效率和质量，该方法能够加速设计流程，提升用户体验，并推动相关技术的进一步发展。

📄 摘要（原文）

Prior artisan mesh generation works largely predict face tokens autoregressively, which makes inference slow. Recent methods instead flow match continuous latents built by Variational AutoEncoders (VAEs), but reconstruction quality drops significantly when geometry and topology are jointly encoded, and further when the latent space is compressed. We present MeshCarve, a flow matching method that generates entirely in compact latent spaces, generating vertex positions and edge connections separately and sidestepping the difficulty of a joint compact latent. To shorten the token sequence, we propose a hierarchical sparse transformer backbone, instantiated as VertexVAE and EdgeVAE. Instead of encoding fields over the surface voxels, both VAEs anchor on discrete vertices in their latent spaces, which drastically reduces the token sequence length, and our spatial-aware compression shortens it further without costing reconstruction. VertexVAE directly encodes vertex occupancy. For connectivity, we propose vertex-link encoding, which turns arbitrary connectivity between vertices into fixed-length continuous per-vertex embeddings and recovers complex artistic topology faithfully. MeshCarve combines these VAEs with an anchor generator and flow matches on the shortened token sequences. It shows advantages over state-of-the-art autoregressive and flow matching methods on Objaverse and generalizes to Toys4K. To the best of our knowledge, it is among the first artisan mesh generation methods whose every generative stage runs in a spatially compressed latent, with a token sequence only a fraction of the most compressed previous autoregressive and flow matching works.