LTM3D: Bridging Token Spaces for Conditional 3D Generation with Auto-Regressive Diffusion Framework

📄 arXiv: 2505.24245v1 📥 PDF

作者: Xin Kang, Zihan Zheng, Lei Chu, Yue Gao, Jiahao Li, Hao Pan, Xuejin Chen, Yan Lu

分类: cs.CV, cs.AI

发布日期: 2025-05-30

💡 一句话要点

LTM3D：基于自回归扩散框架的条件3D生成，桥接Token空间

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D生成 扩散模型 自回归模型 Token空间 条件生成

📋 核心要点

  1. 现有3D生成方法难以兼顾扩散模型对连续潜在空间的建模能力和自回归模型对Token间依赖关系的捕捉能力。
  2. LTM3D通过条件分布建模主干网络和前缀学习，实现了扩散模型和自回归模型的有效结合，提升了生成效果。
  3. 实验结果表明，LTM3D在图像和文本条件3D形状生成任务中，在提示保真度和结构准确性方面均优于现有方法。

📝 摘要（中文）

LTM3D是一个用于条件3D形状生成的潜在Token空间建模框架，它整合了扩散模型和自回归（AR）模型的优势。虽然基于扩散的方法能够有效地建模连续潜在空间，并且AR模型擅长捕捉Token间的依赖关系，但将这两种范式结合用于3D形状生成仍然是一个挑战。为了解决这个问题，LTM3D采用了一个条件分布建模主干网络，利用掩码自编码器和扩散模型来增强Token依赖学习。此外，我们引入了前缀学习，在生成过程中将条件Token与形状潜在Token对齐，从而提高跨模态的灵活性。我们进一步提出了一个具有重建引导采样的潜在Token重建模块，以减少生成形状的不确定性并增强结构保真度。我们的方法在Token空间中运行，支持多种3D表示，包括有符号距离场、点云、网格和3D高斯溅射。在图像和文本条件形状生成任务上的大量实验表明，LTM3D在提示保真度和结构准确性方面优于现有方法，同时为多模态、多表示3D生成提供了一个通用框架。

🔬 方法详解

问题定义：现有条件3D形状生成方法难以同时利用扩散模型在连续潜在空间建模的优势和自回归模型捕捉token间依赖关系的优势。如何在token空间中有效地结合这两种模型，并支持多模态输入和多种3D表示，是一个亟待解决的问题。现有方法在生成形状的结构保真度和提示一致性方面存在不足。

核心思路：LTM3D的核心思路是构建一个桥接token空间的自回归扩散框架，通过条件分布建模主干网络学习token之间的依赖关系，并利用前缀学习对齐条件token和形状潜在token。此外，引入潜在token重建模块，通过重建引导采样减少生成过程中的不确定性，从而提高生成形状的结构保真度。

技术框架：LTM3D的整体框架包括以下几个主要模块：1) 条件分布建模主干网络：利用掩码自编码器和扩散模型学习token之间的依赖关系。2) 前缀学习：将条件token与形状潜在token对齐，提高跨模态的灵活性。3) 潜在token重建模块：通过重建引导采样减少生成过程中的不确定性。整个流程是，首先将条件信息（如图像或文本）编码为条件token，然后利用前缀学习将条件token与形状潜在token对齐，最后通过自回归扩散模型生成3D形状。

关键创新：LTM3D的关键创新在于：1) 提出了一个桥接token空间的自回归扩散框架，有效地结合了扩散模型和自回归模型的优势。2) 引入了前缀学习，实现了条件token与形状潜在token的对齐，提高了跨模态的灵活性。3) 提出了潜在token重建模块，通过重建引导采样减少生成过程中的不确定性，提高了生成形状的结构保真度。与现有方法相比，LTM3D能够更好地捕捉token之间的依赖关系，并生成更准确、更逼真的3D形状。

关键设计：在条件分布建模主干网络中，使用了掩码自编码器和扩散模型。掩码自编码器用于学习token的表示，扩散模型用于建模token之间的依赖关系。在前缀学习中，使用了可学习的参数来对齐条件token和形状潜在token。在潜在token重建模块中，使用了重建损失来指导采样过程。具体的损失函数包括重建损失、扩散损失等。网络结构方面，使用了Transformer架构来建模token之间的关系。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LTM3D在图像和文本条件3D形状生成任务上进行了广泛的实验。实验结果表明，LTM3D在提示保真度和结构准确性方面均优于现有方法。例如，在ShapeNet数据集上，LTM3D在FID指标上相比现有方法提升了显著的幅度。同时，LTM3D支持多种3D表示，包括有符号距离场、点云、网格和3D高斯溅射，展示了其通用性和灵活性。

🎯 应用场景

LTM3D具有广泛的应用前景，包括：1) 3D内容创作：可以根据文本或图像自动生成3D模型，提高创作效率。2) 虚拟现实/增强现实：可以生成逼真的3D场景和物体，增强用户体验。3) 游戏开发：可以自动生成游戏中的3D资源，降低开发成本。未来，LTM3D有望成为3D内容生成的重要工具。

📄 摘要（原文）

We present LTM3D, a Latent Token space Modeling framework for conditional 3D shape generation that integrates the strengths of diffusion and auto-regressive (AR) models. While diffusion-based methods effectively model continuous latent spaces and AR models excel at capturing inter-token dependencies, combining these paradigms for 3D shape generation remains a challenge. To address this, LTM3D features a Conditional Distribution Modeling backbone, leveraging a masked autoencoder and a diffusion model to enhance token dependency learning. Additionally, we introduce Prefix Learning, which aligns condition tokens with shape latent tokens during generation, improving flexibility across modalities. We further propose a Latent Token Reconstruction module with Reconstruction-Guided Sampling to reduce uncertainty and enhance structural fidelity in generated shapes. Our approach operates in token space, enabling support for multiple 3D representations, including signed distance fields, point clouds, meshes, and 3D Gaussian Splatting. Extensive experiments on image- and text-conditioned shape generation tasks demonstrate that LTM3D outperforms existing methods in prompt fidelity and structural accuracy while offering a generalizable framework for multi-modal, multi-representation 3D generation.