ModeDreamer: Mode Guiding Score Distillation for Text-to-3D Generation using Reference Image Prompts

📄 arXiv: 2411.18135v2 📥 PDF

作者: Uy Dieu Tran, Minh Luu, Phong Ha Nguyen, Khoi Nguyen, Binh-Son Hua

分类: cs.CV

发布日期: 2024-11-27 (更新: 2025-03-03)

备注: Project page: https://modedreamer.github.io/

💡 一句话要点

ModeDreamer：利用参考图像提示引导的文本到3D生成模式蒸馏

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 文本到3D生成 分数蒸馏采样 图像提示 模式引导 IP-Adapter

📋 核心要点

  1. 现有基于SDS的文本到3D生成方法存在过平滑和低质量输出的问题，源于优化过程中的模式振荡。
  2. 提出ISD损失，利用参考图像引导优化过程，选择特定模式，稳定优化并提升生成质量。
  3. 实验表明，ISD损失能生成视觉连贯、高质量的3D模型，并加速优化过程，在T3Bench上表现优异。

📝 摘要（中文）

现有的基于分数蒸馏采样（SDS）的方法在文本到3D生成方面取得了显著进展。然而，基于SDS方法生成的3D模型往往表现出过度平滑和低质量的输出。这些问题源于当前方法的模式寻求行为，其中用于更新模型的分数在多个模式之间振荡，导致不稳定的优化和降低的输出质量。为了解决这个问题，我们引入了一种新的图像提示分数蒸馏损失，名为ISD，它使用参考图像来引导文本到3D优化到特定模式。我们的ISD损失可以通过使用IP-Adapter来实现，IP-Adapter是一个轻量级适配器，用于将图像提示能力集成到文本到图像扩散模型中，作为模式选择模块。当不被参考图像提示时，此适配器的一个变体可以用作有效的控制变量，以减少分数估计中的方差，从而提高输出质量和优化稳定性。我们的实验表明，与先前的文本到3D方法相比，ISD损失始终如一地实现视觉连贯、高质量的输出，并提高优化速度，这通过在T3Bench基准测试套件上的定性和定量评估得到证明。

🔬 方法详解

问题定义：现有基于SDS的文本到3D生成方法，由于优化过程中分数在多个模式间振荡，导致生成的3D模型过度平滑、质量不高，优化过程不稳定。核心痛点在于缺乏有效的模式引导机制，使得模型难以收敛到期望的输出模式。

核心思路：通过引入参考图像作为提示，引导文本到3D的优化过程，使其朝着特定的模式收敛。核心思想是利用图像提示来约束生成过程，避免模型在多个模式间跳跃，从而提高生成质量和优化稳定性。

技术框架：整体框架基于现有的SDS方法，主要改进在于引入了ISD损失。该损失函数利用IP-Adapter将参考图像信息融入到文本到图像的扩散模型中，从而实现对3D生成过程的模式引导。IP-Adapter既可以作为模式选择模块，也可以作为控制变量来减少分数估计的方差。

关键创新：关键创新在于提出了ISD损失，它将图像提示信息融入到SDS框架中，实现了对3D生成过程的模式引导。与现有方法相比，ISD损失能够更有效地约束优化过程，避免模式振荡，从而提高生成质量和优化稳定性。同时，利用IP-Adapter作为控制变量来减少分数估计方差也是一个创新点。

关键设计：ISD损失的关键设计在于如何有效地利用参考图像信息。论文采用了IP-Adapter，这是一个轻量级的适配器，可以方便地将图像提示能力集成到现有的文本到图像扩散模型中。IP-Adapter的训练方式和具体网络结构（例如，注意力机制的调整）是影响最终效果的关键因素。此外，如何平衡图像提示的强度和文本提示的强度，也是一个需要仔细调整的参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ISD损失在T3Bench基准测试套件上取得了显著的性能提升。与现有方法相比，ISD损失能够生成视觉连贯、高质量的3D模型，并显著提高优化速度。定性和定量评估均表明，ISD损失在生成质量和优化效率方面均优于现有方法。

🎯 应用场景

该研究成果可应用于游戏开发、虚拟现实、产品设计等领域，用户可以通过文本描述和参考图像快速生成高质量的3D模型。该方法有望降低3D建模的门槛，提高3D内容创作的效率，并为相关行业带来创新。

📄 摘要（原文）

Existing Score Distillation Sampling (SDS)-based methods have driven significant progress in text-to-3D generation. However, 3D models produced by SDS-based methods tend to exhibit over-smoothing and low-quality outputs. These issues arise from the mode-seeking behavior of current methods, where the scores used to update the model oscillate between multiple modes, resulting in unstable optimization and diminished output quality. To address this problem, we introduce a novel image prompt score distillation loss named ISD, which employs a reference image to direct text-to-3D optimization toward a specific mode. Our ISD loss can be implemented by using IP-Adapter, a lightweight adapter for integrating image prompt capability to a text-to-image diffusion model, as a mode-selection module. A variant of this adapter, when not being prompted by a reference image, can serve as an efficient control variate to reduce variance in score estimates, thereby enhancing both output quality and optimization stability. Our experiments demonstrate that the ISD loss consistently achieves visually coherent, high-quality outputs and improves optimization speed compared to prior text-to-3D methods, as demonstrated through both qualitative and quantitative evaluations on the T3Bench benchmark suite.