Deep Geometric Moments Promote Shape Consistency in Text-to-3D Generation

📄 arXiv: 2408.05938v2 📥 PDF

作者: Utkarsh Nath, Rajeev Goel, Eun Som Jeon, Changhoon Kim, Kyle Min, Yezhou Yang, Yingzhen Yang, Pavan Turaga

分类: cs.CV

发布日期: 2024-08-12 (更新: 2025-01-21)

备注: This paper has been accepted to WACV 2025

💡 一句话要点

MT3D：利用深度几何矩提升文本到3D生成中的形状一致性

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱七：动作重定向 (Motion Retargeting)

关键词: 文本到3D生成 几何一致性 深度图 深度几何矩 视角偏差 3D建模 扩散模型

📋 核心要点

  1. 现有文本到3D生成方法受限于视角偏差，导致生成结果出现几何不一致性问题，如Janus问题。
  2. MT3D利用高质量3D模型的深度图作为控制信号，并引入深度几何矩，显式地注入几何理解。
  3. MT3D通过结合3D资产的几何细节，生成多样且几何一致的3D对象，提升了生成质量和可用性。

📝 摘要（中文）

为了解决3D资产数据稀缺的问题，诸如Score Distillation Sampling (SDS)等2D-lifting技术已广泛应用于文本到3D生成流程中。然而，这些技术中使用的扩散模型容易受到视角偏差的影响，从而导致几何不一致性，例如Janus问题。为了解决这个问题，我们引入了MT3D，一种文本到3D生成模型，它利用高保真3D对象来克服视角偏差，并将几何理解显式地注入到生成流程中。首先，我们采用从高质量3D模型导出的深度图作为控制信号，以保证生成的2D图像保留基本的形状和结构，从而减少固有的视角偏差。其次，我们利用深度几何矩来显式地确保3D表示中的几何一致性。通过结合来自3D资产的几何细节，MT3D能够创建多样且几何一致的对象，从而提高3D表示的质量和可用性。

🔬 方法详解

问题定义：文本到3D生成旨在从文本描述中创建3D模型。现有的基于2D-lifting的方法，如SDS，依赖于2D扩散模型，这些模型容易受到视角偏差的影响，导致生成的3D模型在不同视角下不一致，出现如Janus问题（一个物体出现多个头或面）等几何错误。这些错误降低了生成模型的实用性。

核心思路：MT3D的核心思路是利用高质量的3D模型来引导生成过程，从而克服视角偏差并显式地注入几何理解。具体来说，它使用3D模型的深度图作为控制信号，确保生成的2D图像保留基本的形状和结构。此外，它还利用深度几何矩来显式地约束3D表示的几何一致性。

技术框架：MT3D的整体框架包含以下几个主要步骤：1) 从文本提示生成初始的3D模型（可以使用现有的文本到3D模型）。2) 从高质量的3D模型中提取深度图。3) 使用深度图作为控制信号，引导2D扩散模型生成多视角的图像。4) 利用深度几何矩来约束3D表示的几何一致性。5) 将多视角的图像和几何约束结合起来，优化3D模型。

关键创新：MT3D的关键创新在于：1) 使用深度图作为控制信号，显式地注入几何信息，减少视角偏差。2) 引入深度几何矩，显式地约束3D表示的几何一致性。与现有方法相比，MT3D不是隐式地学习几何信息，而是直接利用3D模型的几何属性来引导生成过程，从而提高了生成结果的几何一致性。

关键设计：深度图的提取方式：从高质量3D模型渲染不同视角的深度图。深度几何矩的计算方式：使用深度图计算几何矩，例如中心矩、归一化矩等。损失函数的设计：损失函数包含两部分：一部分是图像重建损失，用于确保生成的图像与文本提示一致；另一部分是几何一致性损失，用于确保3D模型的几何矩与目标几何矩一致。具体的网络结构和参数设置未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了MT3D在提高3D模型几何一致性方面的有效性。具体性能数据未知，但摘要中提到MT3D能够创建多样且几何一致的对象，从而提高3D表示的质量和可用性。项目页面提供了更多实验结果和可视化展示。

🎯 应用场景

MT3D在游戏开发、虚拟现实、增强现实、数字内容创作等领域具有广泛的应用前景。它可以用于快速生成高质量、几何一致的3D模型，从而降低3D内容创作的成本和时间。此外，MT3D还可以用于创建个性化的3D模型，例如根据用户的文本描述生成定制化的虚拟形象或游戏角色。

📄 摘要（原文）

To address the data scarcity associated with 3D assets, 2D-lifting techniques such as Score Distillation Sampling (SDS) have become a widely adopted practice in text-to-3D generation pipelines. However, the diffusion models used in these techniques are prone to viewpoint bias and thus lead to geometric inconsistencies such as the Janus problem. To counter this, we introduce MT3D, a text-to-3D generative model that leverages a high-fidelity 3D object to overcome viewpoint bias and explicitly infuse geometric understanding into the generation pipeline. Firstly, we employ depth maps derived from a high-quality 3D model as control signals to guarantee that the generated 2D images preserve the fundamental shape and structure, thereby reducing the inherent viewpoint bias. Next, we utilize deep geometric moments to ensure geometric consistency in the 3D representation explicitly. By incorporating geometric details from a 3D asset, MT3D enables the creation of diverse and geometrically consistent objects, thereby improving the quality and usability of our 3D representations. Project page and code: https://moment-3d.github.io/