DeepMesh: Auto-Regressive Artist-mesh Creation with Reinforcement Learning

📄 arXiv: 2503.15265v1 📥 PDF

作者: Ruowen Zhao, Junliang Ye, Zhengyi Wang, Guangce Liu, Yiwen Chen, Yikai Wang, Jun Zhu

分类: cs.CV

发布日期: 2025-03-19

备注: Project page: https://zhaorw02.github.io/DeepMesh/

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

DeepMesh：提出基于强化学习的自回归艺术家风格网格生成方法

🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱二：RL算法与架构 (RL & Architecture)

关键词: 3D网格生成 自回归模型 强化学习 直接偏好优化 DPO 点云 图像 艺术家风格

📋 核心要点

  1. 现有自回归网格生成方法受限于面数，且容易出现网格不完整的问题，难以满足高质量3D应用的需求。
  2. DeepMesh通过新颖的token化算法和数据处理改进预训练策略，并引入强化学习，使用DPO与人类偏好对齐，优化网格生成。
  3. 实验结果表明，DeepMesh在点云和图像条件下，能够生成具有复杂细节和精确拓扑的网格，性能优于现有方法。

📝 摘要（中文）

三角网格在3D应用中对于高效操作和渲染至关重要。自回归方法通过预测离散顶点token生成结构化网格，但常受限于面数和网格完整性。为解决这些挑战，我们提出了DeepMesh框架，通过两项关键创新优化网格生成：(1)高效的预训练策略，包含一种新颖的token化算法，以及数据管理和处理的改进；(2)将强化学习(RL)引入3D网格生成，通过直接偏好优化(DPO)实现与人类偏好对齐。我们设计了一种结合人类评估和3D指标的评分标准，为DPO收集偏好对，确保视觉吸引力和几何精度。在点云和图像的条件下，DeepMesh生成具有复杂细节和精确拓扑的网格，在精度和质量上优于最先进的方法。

🔬 方法详解

问题定义：论文旨在解决3D网格生成中，现有自回归方法生成的网格面数有限、完整性不足的问题。这些问题导致生成的网格细节不足，难以满足高质量3D应用的需求。现有方法难以兼顾视觉质量和几何精度，与人类的审美偏好存在差距。

核心思路：DeepMesh的核心思路是结合自回归生成模型和强化学习，利用自回归模型生成初始网格结构，然后通过强化学习，使用直接偏好优化（DPO）算法，根据人类的偏好反馈来优化网格的视觉质量和几何精度。通过这种方式，DeepMesh能够生成既具有复杂细节又符合人类审美偏好的高质量网格。

技术框架：DeepMesh的整体框架包含以下几个主要模块：1) 数据预处理模块：对输入数据（点云或图像）进行处理，并使用新颖的token化算法将网格转换为离散的token序列。2) 自回归生成模型：使用Transformer架构的自回归模型，根据输入的点云或图像，预测网格的token序列，生成初始网格结构。3) 强化学习优化模块：使用DPO算法，根据人类的偏好反馈，优化自回归生成模型的参数，使其生成的网格更符合人类的审美偏好。4) 评分标准：设计一种结合人类评估和3D指标的评分标准，为DPO算法提供偏好对数据。

关键创新：DeepMesh的关键创新点在于：1) 提出了一种新颖的token化算法，能够更有效地将网格转换为离散的token序列。2) 将强化学习引入3D网格生成，使用DPO算法与人类偏好对齐，从而生成更符合人类审美偏好的网格。3) 设计了一种结合人类评估和3D指标的评分标准，能够更准确地评估网格的质量。与现有方法的本质区别在于，DeepMesh能够直接根据人类的偏好来优化网格生成，而现有方法通常只关注几何精度或视觉质量。

关键设计：在token化算法方面，论文可能设计了一种新的量化策略，以更好地保留网格的几何信息。在DPO算法方面，论文可能使用了特定的奖励函数和策略网络结构，以更好地学习人类的偏好。在评分标准方面，论文可能设计了一种加权平均的策略，将人类评估和3D指标结合起来，以更全面地评估网格的质量。具体的参数设置、损失函数和网络结构等技术细节需要在论文中进一步查找。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DeepMesh在多个数据集上进行了实验，结果表明，DeepMesh在精度和质量上均优于现有方法。具体而言，DeepMesh生成的网格具有更复杂的细节和更精确的拓扑结构。通过与state-of-the-art方法对比，DeepMesh在各项指标上均取得了显著提升，证明了其有效性和优越性。

🎯 应用场景

DeepMesh具有广泛的应用前景，例如：3D游戏开发、虚拟现实、增强现实、电影特效、工业设计、建筑设计等领域。它可以用于快速生成高质量的3D模型，提高3D内容创作的效率和质量。未来，DeepMesh可以进一步扩展到其他3D生成任务，例如：3D场景生成、3D动画生成等。

📄 摘要（原文）

Triangle meshes play a crucial role in 3D applications for efficient manipulation and rendering. While auto-regressive methods generate structured meshes by predicting discrete vertex tokens, they are often constrained by limited face counts and mesh incompleteness. To address these challenges, we propose DeepMesh, a framework that optimizes mesh generation through two key innovations: (1) an efficient pre-training strategy incorporating a novel tokenization algorithm, along with improvements in data curation and processing, and (2) the introduction of Reinforcement Learning (RL) into 3D mesh generation to achieve human preference alignment via Direct Preference Optimization (DPO). We design a scoring standard that combines human evaluation with 3D metrics to collect preference pairs for DPO, ensuring both visual appeal and geometric accuracy. Conditioned on point clouds and images, DeepMesh generates meshes with intricate details and precise topology, outperforming state-of-the-art methods in both precision and quality. Project page: https://zhaorw02.github.io/DeepMesh/