Dreamer XL: Towards High-Resolution Text-to-3D Generation via Trajectory Score Matching

📄 arXiv: 2405.11252v1 📥 PDF

作者: Xingyu Miao, Haoran Duan, Varun Ojha, Jun Song, Tejal Shah, Yang Long, Rajiv Ranjan

分类: cs.CV

发布日期: 2024-05-18

🔗 代码/项目: GITHUB

💡 一句话要点

提出轨迹分数匹配(TSM)方法，解决文本到3D生成中伪真值不一致问题，并提升高分辨率生成效果。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 文本到3D生成 扩散模型 分数匹配 DDIM反演 高斯溅射 梯度裁剪 伪真值不一致

📋 核心要点

  1. 现有基于DDIM反演的区间分数匹配(ISM)方法在文本到3D生成中存在累积误差导致的伪真值不一致问题。
  2. 提出轨迹分数匹配(TSM)方法，通过从同一起始点生成两条路径进行计算，减少累积误差，提升生成路径的稳定性和一致性。
  3. 采用Stable Diffusion XL进行指导，并提出逐像素梯度裁剪方法，解决了高斯溅射过程中由不稳定梯度引起的异常复制和分裂问题，显著提升了视觉质量和性能。

📝 摘要（中文）

本文提出了一种新的轨迹分数匹配(TSM)方法，旨在解决在使用去噪扩散隐式模型(DDIM)反演过程时，区间分数匹配(ISM)中累积误差导致的伪真值不一致问题。与ISM采用DDIM的反演过程在单条路径上计算不同，我们的TSM方法利用DDIM的反演过程从同一起始点生成两条路径进行计算。由于两条路径都从同一起始点开始，TSM可以减少累积误差，从而缓解伪真值不一致的问题。TSM增强了模型在蒸馏过程中生成路径的稳定性和一致性。实验证明了这一点，并进一步表明ISM是TSM的一个特例。此外，为了优化当前高分辨率文本到3D生成的多阶段优化过程，我们采用Stable Diffusion XL进行指导。针对使用Stable Diffusion XL时3D高斯溅射过程中由不稳定梯度引起的异常复制和分裂问题，我们提出了一种逐像素梯度裁剪方法。大量实验表明，我们的模型在视觉质量和性能方面显著优于最先进的模型。

🔬 方法详解

问题定义：论文旨在解决文本到3D生成任务中，使用Denoising Diffusion Implicit Models (DDIM)反演过程进行Interval Score Matching (ISM)时，由于累积误差导致的伪真值不一致问题。现有方法如ISM在单条路径上进行计算，误差会随着反演过程的进行而累积，导致生成的3D模型质量下降。

核心思路：论文的核心思路是提出Trajectory Score Matching (TSM)方法，该方法不再依赖于单条反演路径，而是从同一起始点生成两条路径进行计算。通过两条路径的相互约束，可以有效地减少累积误差，从而缓解伪真值不一致的问题。这种设计基于这样的假设：两条从相同起点出发的路径，即使存在噪声，其差异也应该小于单条路径累积的误差。

技术框架：整体框架包含以下几个主要阶段：1) 使用DDIM反演过程从文本提示生成初始的噪声图像。2) 从该噪声图像出发，使用DDIM生成两条不同的路径。3) 在这两条路径上进行分数匹配，计算损失函数。4) 使用Stable Diffusion XL作为指导，优化3D高斯溅射模型。5) 针对高斯溅射过程中的梯度问题，采用逐像素梯度裁剪方法。

关键创新：最重要的技术创新点在于TSM方法，它通过引入两条路径进行分数匹配，有效地减少了累积误差，从而提高了生成3D模型的质量和一致性。与ISM相比，TSM利用了多条路径的信息，能够更准确地估计真值。此外，逐像素梯度裁剪方法也是一个重要的创新，它解决了在使用Stable Diffusion XL指导时，高斯溅射过程中出现的梯度不稳定问题。

关键设计：TSM的关键设计在于两条路径的生成方式和损失函数的定义。两条路径通过在DDIM反演过程中引入不同的随机噪声来生成。损失函数的设计目标是使两条路径上的分数尽可能接近，从而减少累积误差。此外，逐像素梯度裁剪方法通过对每个像素的梯度进行限制，防止梯度爆炸或消失，从而保证了训练的稳定性。具体参数设置和网络结构细节在论文中未详细说明，属于未知信息。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，提出的TSM方法在视觉质量和性能方面显著优于现有最先进的模型。具体性能数据和对比基线在摘要中未给出，属于未知信息。但论文强调，TSM能够有效缓解伪真值不一致问题，并提升高分辨率文本到3D生成的质量。

🎯 应用场景

该研究成果可广泛应用于虚拟现实、增强现实、游戏开发、工业设计等领域。通过文本描述快速生成高质量的3D模型，可以极大地提高内容创作效率，降低生产成本。未来，该技术有望应用于个性化定制、智能制造等更广泛的领域，推动相关产业的创新发展。

📄 摘要（原文）

In this work, we propose a novel Trajectory Score Matching (TSM) method that aims to solve the pseudo ground truth inconsistency problem caused by the accumulated error in Interval Score Matching (ISM) when using the Denoising Diffusion Implicit Models (DDIM) inversion process. Unlike ISM which adopts the inversion process of DDIM to calculate on a single path, our TSM method leverages the inversion process of DDIM to generate two paths from the same starting point for calculation. Since both paths start from the same starting point, TSM can reduce the accumulated error compared to ISM, thus alleviating the problem of pseudo ground truth inconsistency. TSM enhances the stability and consistency of the model's generated paths during the distillation process. We demonstrate this experimentally and further show that ISM is a special case of TSM. Furthermore, to optimize the current multi-stage optimization process from high-resolution text to 3D generation, we adopt Stable Diffusion XL for guidance. In response to the issues of abnormal replication and splitting caused by unstable gradients during the 3D Gaussian splatting process when using Stable Diffusion XL, we propose a pixel-by-pixel gradient clipping method. Extensive experiments show that our model significantly surpasses the state-of-the-art models in terms of visual quality and performance. Code: \url{https://github.com/xingy038/Dreamer-XL}.