OptimusMesh: Compact Autoregressive Mesh Generation from Point Clouds via Sparse Latent Pivots

📄 arXiv: 2610.01148v1 📥 PDF

作者: Mazhar Iqbal, Naoya Chiba, Xuanmeng Sha, Tomohiro Mashita, Yuki Uranishi

分类: cs.CV

发布日期: 2026-10-01

💡 一句话要点

提出OptimusMesh以解决点云生成紧凑三角网格的问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 点云处理 三维重建 自回归模型 几何保真度 稀疏表示

📋 核心要点

  1. 现有方法在从稀疏无序的点云生成几何真实的3D网格时面临挑战，常常导致过于密集或平滑的输出。
  2. OptimusMesh通过稀疏潜在枢轴条件，将2048个输入点压缩为16个枢轴，显著减少了几何条件集的规模。
  3. 实验结果显示，OptimusMesh在面数上减少了25.7%至94.1%，同时保持了良好的几何保真度和分布质量。

📝 摘要（中文）

直接从点云生成紧凑且几何上真实的3D网格仍然是一个基本挑战。点云是无序且稀疏的，而网格则表现出不规则结构和变化的拓扑。因此，许多现有方法依赖于隐式表示，随后进行表面提取或重建。尽管有效，这些流程可能产生密集或过于平滑的网格，通常需要计算上昂贵的后处理和简化。我们提出了OptimusMesh，一个通过稀疏潜在枢轴条件直接生成紧凑三角网格的框架。我们的关键思想是将2048个定向输入点压缩为仅16个稀疏潜在枢轴，将几何条件集减少128倍。与评估的最近点云条件自回归方法相比，OptimusMesh仅使用16个条件令牌，生成的条件序列短了16.1倍。实验表明，OptimusMesh在保持竞争几何保真度和分布质量的同时，产生了最紧凑的输出，面数减少了25.7%至94.1%。

🔬 方法详解

问题定义：本论文旨在解决从稀疏无序的点云生成紧凑且几何真实的3D网格的问题。现有方法通常依赖隐式表示，导致生成的网格密集或过于平滑，且需要昂贵的后处理。

核心思路：论文的核心思路是通过稀疏潜在枢轴条件，将大量输入点压缩为少量枢轴，从而减少几何条件集的规模。这种设计旨在提高生成效率并保持几何质量。

技术框架：OptimusMesh的整体架构分为两个阶段：第一阶段生成网格顶点，第二阶段根据生成的顶点和相同的枢轴预测三角面。该框架利用自回归模型进行条件生成。

关键创新：最重要的技术创新点在于将2048个输入点压缩为仅16个稀疏潜在枢轴，这一设计使得条件序列显著缩短，提升了生成效率。

关键设计：在模型设计中，使用了自回归结构，优化了条件令牌的数量，确保了生成的网格在面数和几何保真度之间的平衡。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OptimusMesh在生成的网格面数上减少了25.7%至94.1%，同时保持了与最新自回归方法相当的几何保真度和分布质量。这一显著的性能提升展示了其在紧凑网格生成中的优势。

🎯 应用场景

该研究的潜在应用领域包括计算机图形学、虚拟现实、增强现实以及机器人导航等。通过高效生成紧凑的3D网格，OptimusMesh可以在资源受限的环境中实现高质量的三维重建，具有重要的实际价值和未来影响。

📄 摘要（原文）

Generating compact and geometrically faithful 3D meshes directly from point clouds remains a fundamental challenge. Point clouds are unordered and sparse, whereas meshes exhibit irregular structure and varying topology. As a result, many existing approaches rely on implicit representations followed by surface extraction or reconstruction. Although effective, these pipelines can produce dense or over-smoothed meshes, often requiring computationally expensive post-processing and simplification. We present OptimusMesh, a framework for direct compact triangle mesh generation from point clouds using sparse latent pivot conditioning. Our key idea is to compress $2{,}048$ oriented input points into only $16$ sparse latent pivots, reducing the geometric conditioning set by $128\times$. These pivots provide a compact structural representation shared across a two-stage autoregressive framework that first generates mesh vertices and then predicts triangular faces conditioned on the generated vertices and the same pivots. Compared with the evaluated recent point-cloud-conditioned autoregressive methods, which use $257$ decoder-conditioning tokens, OptimusMesh uses only $16$, yielding a $16.1\times$ shorter conditioning sequence. Experiments show that OptimusMesh produces the most compact outputs among the compared recent autoregressive methods, using $25.7\%$--$94.1\%$ fewer faces while maintaining competitive geometric fidelity and distributional quality.