GaussianDreamer: Fast Generation from Text to 3D Gaussians by Bridging 2D and 3D Diffusion Models

📄 arXiv: 2310.08529v3 📥 PDF

作者: Taoran Yi, Jiemin Fang, Junjie Wang, Guanjun Wu, Lingxi Xie, Xiaopeng Zhang, Wenyu Liu, Qi Tian, Xinggang Wang

分类: cs.CV, cs.GR

发布日期: 2023-10-12 (更新: 2024-05-13)

备注: CVPR 2024, Project page: https://taoranyi.com/gaussiandreamer/

💡 一句话要点

提出GaussianDreamer以解决3D资产生成的速度与质量问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D生成 扩散模型 高斯点云 计算机视觉 实时渲染

📋 核心要点

  1. 现有的3D扩散模型在生成质量和泛化能力上受到训练数据稀缺的限制，2D扩散模型则难以保证3D一致性。
  2. 本文提出的GaussianDreamer框架通过结合2D和3D扩散模型的优势，利用高效的3D高斯点云表示来实现快速生成。
  3. 实验结果表明，GaussianDreamer在一块GPU上可在15分钟内生成高质量3D实例，速度显著提升，且支持实时渲染。

📝 摘要（中文）

近年来，从文本提示生成3D资产的研究取得了显著进展。2D和3D扩散模型均能生成较好的3D对象，但各自存在局限性。3D扩散模型在3D一致性上表现良好，但由于训练3D数据昂贵且难以获取，其质量和泛化能力受限；而2D扩散模型则在生成质量和泛化能力上表现强劲，但难以保证3D一致性。本文通过最近的高效3D高斯点云表示，提出了一种名为GaussianDreamer的快速3D对象生成框架，结合了两种扩散模型的优势。该方法在一块GPU上可在15分钟内生成高质量的3D实例或3D头像，显著快于以往方法，并且生成的实例可实时渲染。

🔬 方法详解

问题定义：本文旨在解决从文本生成高质量3D资产的速度与一致性问题。现有的3D扩散模型由于训练数据稀缺，导致生成质量和泛化能力受限，而2D扩散模型则在3D一致性上存在不足。

核心思路：GaussianDreamer框架通过结合2D和3D扩散模型的优点，利用高效的3D高斯点云表示，提供了一个快速且高质量的3D对象生成方案。3D扩散模型为初始化提供先验，而2D扩散模型则丰富几何和外观信息。

技术框架：GaussianDreamer的整体架构包括两个主要模块：3D扩散模型用于生成初始的3D高斯点，2D扩散模型则对这些点进行几何和颜色的增强。框架还引入了噪声点生长和颜色扰动的操作，以提升生成质量。

关键创新：GaussianDreamer的主要创新在于通过高效的3D高斯点云表示，成功地将2D和3D扩散模型的优势结合，显著提高了生成速度和质量。这一方法在生成3D对象时，能够在保持3D一致性的同时，利用2D模型的强大生成能力。

关键设计：在设计中，GaussianDreamer采用了特定的参数设置和损失函数，以确保生成的3D实例在几何和外观上都能达到高质量标准。网络结构方面，结合了2D和3D模型的特征提取能力，以实现更好的生成效果。

📊 实验亮点

实验结果显示，GaussianDreamer在一块GPU上可在15分钟内生成高质量的3D实例，速度比以往方法快得多。生成的3D实例不仅质量高，而且可以直接进行实时渲染，极大地提升了用户体验和应用效率。

🎯 应用场景

GaussianDreamer在游戏开发、虚拟现实和增强现实等领域具有广泛的应用潜力。其快速生成高质量3D资产的能力，可以大幅度提升内容创作的效率，降低开发成本。此外，该技术还可用于在线教育、医疗可视化等多个领域，推动相关行业的发展。

📄 摘要（原文）

In recent times, the generation of 3D assets from text prompts has shown impressive results. Both 2D and 3D diffusion models can help generate decent 3D objects based on prompts. 3D diffusion models have good 3D consistency, but their quality and generalization are limited as trainable 3D data is expensive and hard to obtain. 2D diffusion models enjoy strong abilities of generalization and fine generation, but 3D consistency is hard to guarantee. This paper attempts to bridge the power from the two types of diffusion models via the recent explicit and efficient 3D Gaussian splatting representation. A fast 3D object generation framework, named as GaussianDreamer, is proposed, where the 3D diffusion model provides priors for initialization and the 2D diffusion model enriches the geometry and appearance. Operations of noisy point growing and color perturbation are introduced to enhance the initialized Gaussians. Our GaussianDreamer can generate a high-quality 3D instance or 3D avatar within 15 minutes on one GPU, much faster than previous methods, while the generated instances can be directly rendered in real time. Demos and code are available at https://taoranyi.com/gaussiandreamer/.