Hybrid Fourier Score Distillation for Efficient One Image to 3D Object Generation

📄 arXiv: 2405.20669v2 📥 PDF

作者: Shuzhou Yang, Yu Wang, Haijie Li, Jiarui Meng, Yanmin Wu, Xiandong Meng, Jian Zhang

分类: cs.CV

发布日期: 2024-05-31 (更新: 2024-10-08)

💡 一句话要点

提出混合傅里叶分数蒸馏(hy-FSD)方法，高效实现单图到3D物体生成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 单图到3D生成 扩散模型 傅里叶变换 分数蒸馏 3D高斯模型

📋 核心要点

  1. 单图到3D生成面临欠约束问题，现有方法难以兼顾几何一致性和视觉细节。
  2. 提出混合傅里叶分数蒸馏(hy-FSD)方法，在空间域和频域分别利用3D和2D先验。
  3. 实验表明，Fourier123方法能在一分钟内生成高质量3D物体，并具有快速收敛和视觉友好的特点。

📝 摘要（中文）

单图到3D生成对于创建可控的3D资产至关重要。鉴于其欠约束的特性，本文尝试利用新视角扩散模型中的3D几何先验和图像生成模型中的2D外观先验来指导优化过程。我们注意到这两个扩散模型的生成先验存在差异，导致它们产生不同的外观输出。具体来说，图像生成模型倾向于提供更详细的视觉效果，而新视角模型在不同视角下产生一致但过度平滑的结果。直接组合它们会导致由于外观冲突而产生次优效果。因此，我们提出了一种2D-3D混合傅里叶分数蒸馏目标函数，hy-FSD。它在空间域中使用3D先验优化3D高斯模型，以确保几何一致性，同时通过傅里叶变换在频域中利用2D先验以获得更好的视觉质量。hy-FSD可以集成到现有的3D生成方法中，并产生显着的性能提升。借助这项技术，我们进一步开发了一种图像到3D生成流程，可以在一分钟内创建高质量的3D对象，命名为Fourier123。大量的实验表明，Fourier123在高效生成、快速收敛速度和视觉友好的生成结果方面表现出色。

🔬 方法详解

问题定义：论文旨在解决单张图像到高质量3D物体生成的问题。现有的方法通常难以在几何一致性和视觉细节之间取得平衡。直接结合不同扩散模型的先验知识会导致外观冲突，从而影响生成质量。

核心思路：论文的核心思路是利用2D和3D扩散模型各自的优势，通过混合傅里叶分数蒸馏(hy-FSD)的方式，在空间域利用3D先验保证几何一致性，在频域利用2D先验提升视觉质量。这种方法旨在克服直接组合不同扩散模型先验导致的冲突。

技术框架：Fourier123的整体框架包含以下几个主要步骤：首先，利用图像生成模型和新视角扩散模型分别提供2D外观先验和3D几何先验。然后，通过hy-FSD目标函数，在空间域优化3D高斯模型，并利用傅里叶变换在频域中优化视觉细节。最后，生成高质量的3D物体。

关键创新：最重要的技术创新点在于提出的2D-3D混合傅里叶分数蒸馏(hy-FSD)目标函数。与现有方法不同，hy-FSD不是直接组合不同扩散模型的输出，而是在频域中利用2D先验，从而避免了外观冲突，并提升了视觉质量。

关键设计：hy-FSD的关键设计包括：1) 使用3D高斯模型作为3D表示；2) 在空间域使用3D先验优化3D高斯模型的位置和形状；3) 对图像进行傅里叶变换，在频域中利用2D先验优化高频细节；4) 设计合适的损失函数，平衡几何一致性和视觉质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Fourier123方法能够在1分钟内生成高质量的3D物体，并且具有快速的收敛速度。与现有方法相比，Fourier123在视觉质量和几何一致性方面都取得了显著的提升。具体性能数据和对比基线在论文中有详细展示。

🎯 应用场景

该研究成果可广泛应用于游戏开发、虚拟现实、增强现实、电商展示等领域，能够快速生成高质量的3D模型，降低3D内容创作的成本和门槛。未来，该技术有望进一步扩展到更复杂的场景和物体，并与其他AI技术结合，实现更智能化的3D内容生成。

📄 摘要（原文）

Single image-to-3D generation is pivotal for crafting controllable 3D assets. Given its under-constrained nature, we attempt to leverage 3D geometric priors from a novel view diffusion model and 2D appearance priors from an image generation model to guide the optimization process. We note that there is a disparity between the generation priors of these two diffusion models, leading to their different appearance outputs. Specifically, image generation models tend to deliver more detailed visuals, whereas novel view models produce consistent yet over-smooth results across different views. Directly combining them leads to suboptimal effects due to their appearance conflicts. Hence, we propose a 2D-3D hybrid Fourier Score Distillation objective function, hy-FSD. It optimizes 3D Gaussians using 3D priors in spatial domain to ensure geometric consistency, while exploiting 2D priors in the frequency domain through Fourier transform for better visual quality. hy-FSD can be integrated into existing 3D generation methods and produce significant performance gains. With this technique, we further develop an image-to-3D generation pipeline to create high-quality 3D objects within one minute, named Fourier123. Extensive experiments demonstrate that Fourier123 excels in efficient generation with rapid convergence speed and visually-friendly generation results.