OptimusMesh: Compact Autoregressive Mesh Generation from Point Clouds via Sparse Latent Pivots

📄 arXiv: 2610.01148v2 📥 PDF

作者: Mazhar Iqbal, Xuanmeng Sha, Naoya Chiba, Yuki Uranishi, Tomohiro Mashita

分类: cs.CV

发布日期: 2026-10-01 (更新: 2026-10-02)

💡 一句话要点

提出OptimusMesh以解决点云生成紧凑三角网格问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D网格生成 点云处理 自回归模型 稀疏表示 计算机视觉

📋 核心要点

  1. 现有方法在从点云生成网格时面临稀疏性和无序性的问题，导致生成的网格质量不高。
  2. OptimusMesh通过稀疏潜在枢轴条件，将输入点压缩为少量枢轴，从而实现高效的网格生成。
  3. 实验结果显示，OptimusMesh在面数上减少了25.7%至94.1%，同时保持了几何保真度，表现优异。

📝 摘要（中文）

直接从点云生成紧凑且几何上真实的3D网格仍然是一个基本挑战。点云是无序且稀疏的，而网格则表现出不规则结构和变化的拓扑。因此，许多现有方法依赖于隐式表示，随后进行表面提取或重建。尽管有效，这些流程可能会产生密集或过于平滑的网格，通常需要计算上昂贵的后处理和简化。我们提出了OptimusMesh，一个通过稀疏潜在枢轴条件直接从点云生成紧凑三角网格的框架。我们的关键思想是将2048个有向输入点压缩为仅16个稀疏潜在枢轴，将几何条件集减少了128倍。实验表明，OptimusMesh在保持竞争几何保真度和分布质量的同时，生成的输出在比较的自回归方法中最为紧凑，面数减少了25.7%至94.1%。

🔬 方法详解

问题定义：论文旨在解决从稀疏且无序的点云直接生成紧凑三角网格的挑战。现有方法通常依赖隐式表示，导致生成的网格过于密集或平滑，且需要昂贵的后处理。

核心思路：OptimusMesh的核心思路是通过稀疏潜在枢轴将2048个输入点压缩为16个枢轴，从而显著减少几何条件集的规模，提升生成效率。

技术框架：该框架采用两阶段自回归结构，首先生成网格顶点，然后基于生成的顶点和相同的枢轴预测三角面。

关键创新：OptimusMesh的创新在于使用极少的条件令牌（仅16个），相比于其他方法使用的257个令牌，显著缩短了条件序列，提升了生成效率。

关键设计：在设计中，采用了稀疏潜在枢轴的压缩策略，确保了生成的网格在面数和几何质量上的平衡，同时优化了网络结构以适应自回归生成过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OptimusMesh在生成的网格面数上减少了25.7%至94.1%，同时保持了与其他自回归方法相当的几何保真度和分布质量，展示了其在紧凑性和效率上的显著优势。

🎯 应用场景

该研究在3D建模、虚拟现实、游戏开发等领域具有广泛的应用潜力。通过高效生成紧凑网格，能够提升3D内容的渲染效率和存储性能，推动相关技术的发展和应用。未来，OptimusMesh可能在实时3D重建和增强现实等场景中发挥重要作用。

📄 摘要（原文）

Generating compact and geometrically faithful 3D meshes directly from point clouds remains a fundamental challenge. Point clouds are unordered and sparse, whereas meshes exhibit irregular structure and varying topology. As a result, many existing approaches rely on implicit representations followed by surface extraction or reconstruction. Although effective, these pipelines can produce dense or over-smoothed meshes, often requiring computationally expensive post-processing and simplification. We present OptimusMesh, a framework for direct compact triangle mesh generation from point clouds using sparse latent pivot conditioning. Our key idea is to compress $2{,}048$ oriented input points into only $16$ sparse latent pivots, reducing the geometric conditioning set by $128\times$. These pivots provide a compact structural representation shared across a two-stage autoregressive framework that first generates mesh vertices and then predicts triangular faces conditioned on the generated vertices and the same pivots. Compared with the evaluated recent point-cloud-conditioned autoregressive methods, which use $257$ decoder-conditioning tokens, OptimusMesh uses only $16$, yielding a $16.1\times$ shorter conditioning sequence. Experiments show that OptimusMesh produces the most compact outputs among the compared recent autoregressive methods, using $25.7\%$--$94.1\%$ fewer faces while maintaining competitive geometric fidelity and distributional quality.