SegmentDreamer: Towards High-fidelity Text-to-3D Synthesis with Segmented Consistency Trajectory Distillation

📄 arXiv: 2507.05256v2 📥 PDF

作者: Jiahao Zhu, Zixuan Chen, Guangcong Wang, Xiaohua Xie, Yi Zhou

分类: cs.CV

发布日期: 2025-07-07 (更新: 2025-08-03)

备注: Accepted by ICCV 2025, project page: https://zjhjojo.github.io/segmentdreamer/

💡 一句话要点

SegmentDreamer：通过分段一致性轨迹蒸馏实现高保真文本到3D合成

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 文本到3D生成 一致性蒸馏 分段轨迹 3D高斯溅射 概率流ODE

📋 核心要点

  1. 现有基于一致性蒸馏(CD)的文本到3D生成方法，由于自一致性和交叉一致性之间的不平衡，导致条件引导不当，生成结果欠佳。
  2. SegmentDreamer通过分段一致性轨迹蒸馏(SCTD)显式定义自一致性和交叉一致性之间的关系，缓解不平衡问题，提升生成质量。
  3. 实验表明，SegmentDreamer在视觉质量上超越了现有技术，能够生成高保真度的3D资产，并采用3D高斯溅射进行渲染。

📝 摘要（中文）

本文提出SegmentDreamer框架，旨在充分发挥一致性模型在高质量文本到3D生成中的潜力。该框架通过提出的分段一致性轨迹蒸馏(SCTD)重新构建了Score Distillation Sampling (SDS)，通过显式定义自一致性和交叉一致性之间的关系，有效缓解了两者之间的不平衡问题。SCTD将概率流常微分方程(PF-ODE)轨迹划分为多个子轨迹，并确保每个分段内的一致性，理论上可以提供更严格的蒸馏误差上界。此外，还提出了一种蒸馏pipeline，以实现更快速和稳定的生成。实验结果表明，SegmentDreamer在视觉质量上优于现有方法，能够通过3D高斯溅射(3DGS)创建高保真3D资产。

🔬 方法详解

问题定义：现有基于Score Distillation Sampling (SDS)的方法在文本到3D生成中取得了进展，但直接将Consistency Distillation (CD)应用于score distillation时，由于自一致性和交叉一致性之间的不平衡，导致不适当的条件引导，从而限制了生成质量。现有方法难以平衡不同一致性约束，导致生成结果不理想。

核心思路：SegmentDreamer的核心思路是通过重新定义SDS，提出分段一致性轨迹蒸馏(SCTD)，显式地建模自一致性和交叉一致性之间的关系，从而缓解不平衡问题。此外，将PF-ODE轨迹分割成多个子轨迹，并在每个子轨迹内强制一致性，可以更精确地进行蒸馏。

技术框架：SegmentDreamer的整体框架包括以下几个主要步骤：首先，使用文本提示生成初始的3D表示（例如，使用NeRF或3DGS）。然后，通过SCTD对3D表示进行优化，SCTD将PF-ODE轨迹分割成多个段，并在每个段内执行一致性蒸馏。最后，使用优化后的3D表示生成最终的3D资产。该框架包含一个蒸馏pipeline，用于加速和稳定生成过程。

关键创新：SegmentDreamer的关键创新在于SCTD，它通过显式地建模自一致性和交叉一致性之间的关系，解决了现有方法中一致性不平衡的问题。此外，将PF-ODE轨迹分割成多个段，并在每个段内执行一致性蒸馏，可以提供更严格的蒸馏误差上界。这种分段蒸馏策略是与现有方法的本质区别。

关键设计：SCTD的关键设计包括：1) 将PF-ODE轨迹划分为多个子轨迹，子轨迹的数量是一个重要的超参数，需要根据具体任务进行调整。2) 在每个子轨迹内，使用一致性模型进行蒸馏，目标是最小化子轨迹内的不一致性。3) 使用特定的损失函数来衡量自一致性和交叉一致性之间的差异，并优化3D表示以平衡这两种一致性。4) 蒸馏pipeline的设计旨在加速和稳定生成过程，具体细节未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，SegmentDreamer在视觉质量上显著优于现有最先进的方法。通过3D高斯溅射(3DGS)进行渲染，生成的3D资产具有更高的保真度和更丰富的细节。具体的性能数据和提升幅度在论文中进行了详细的量化分析，但此处未知。

🎯 应用场景

SegmentDreamer在游戏开发、电影制作、虚拟现实/增强现实(VR/AR)等领域具有广泛的应用前景。它可以根据文本描述快速生成高质量的3D模型，降低3D内容创作的门槛，提高创作效率。未来，该技术有望应用于个性化定制、产品设计等领域，实现更智能、更高效的3D内容生成。

📄 摘要（原文）

Recent advancements in text-to-3D generation improve the visual quality of Score Distillation Sampling (SDS) and its variants by directly connecting Consistency Distillation (CD) to score distillation. However, due to the imbalance between self-consistency and cross-consistency, these CD-based methods inherently suffer from improper conditional guidance, leading to sub-optimal generation results. To address this issue, we present SegmentDreamer, a novel framework designed to fully unleash the potential of consistency models for high-fidelity text-to-3D generation. Specifically, we reformulate SDS through the proposed Segmented Consistency Trajectory Distillation (SCTD), effectively mitigating the imbalance issues by explicitly defining the relationship between self- and cross-consistency. Moreover, SCTD partitions the Probability Flow Ordinary Differential Equation (PF-ODE) trajectory into multiple sub-trajectories and ensures consistency within each segment, which can theoretically provide a significantly tighter upper bound on distillation error. Additionally, we propose a distillation pipeline for a more swift and stable generation. Extensive experiments demonstrate that our SegmentDreamer outperforms state-of-the-art methods in visual quality, enabling high-fidelity 3D asset creation through 3D Gaussian Splatting (3DGS).