A General Framework to Boost 3D GS Initialization for Text-to-3D Generation by Lexical Richness
作者: Lutao Jiang, Hangyu Li, Lin Wang
分类: cs.CV
发布日期: 2024-08-02
期刊: ACM MM 2024
💡 一句话要点
提出一种通用框架，通过词汇丰富度提升文本到3D生成中3D高斯初始化的质量。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 文本到3D生成 3D高斯溅射 初始化方法 体素化表示 全局信息感知 高斯文本融合 词汇丰富度 深度学习
📋 核心要点
- 现有文本到3D生成方法在初始化阶段存在缺陷，生成的3D形状过度依赖初始形状，且难以处理复杂文本。
- 论文提出将3D高斯聚合到体素中，并通过全局信息感知和高斯-文本融合模块，实现空间和语义信息的有效交互。
- 实验表明，该框架能显著提升3D高斯初始化的质量，并能与现有训练框架结合，生成语义一致的3D模型。
📝 摘要（中文）
本文提出了一种新颖的通用框架，旨在通过词汇丰富度来提升文本到3D生成中3D高斯溅射(GS)的初始化效果。现有的基于GS的方法通常包含初始化和渲染优化两个阶段。然而，现有的初始化方法，如直接应用随机球体初始化或3D扩散模型(如Point-E)，存在两个关键问题：1) 训练后的最终形状仍然与初始形状相似；2) 只能从简单的文本生成形状，而不能处理词汇更丰富的文本。为了解决这些问题，本文的核心思想是将3D高斯聚合到空间均匀的体素中，以表示复杂的形状，同时实现3D高斯之间的空间交互以及高斯与文本之间的语义交互。具体来说，首先构建体素化表示，其中每个体素都包含一个3D高斯，其位置、尺度和旋转固定，而透明度作为决定位置占用率的唯一因素。然后，设计一个初始化网络，主要由全局信息感知(GIP)块和高斯-文本融合(GTF)块组成。这种设计使每个3D高斯能够吸收来自其他区域的空间信息和来自文本的语义信息。大量实验表明，该框架在高质量3D GS初始化方面优于现有方法，例如Shap-E，并且可以无缝地插入到最先进的训练框架中，例如LucidDreamer，以实现语义一致的文本到3D生成。
🔬 方法详解
问题定义：现有基于3D高斯溅射(GS)的文本到3D生成方法，在初始化阶段存在两个主要问题。一是最终生成的3D形状很大程度上受初始形状的影响，难以摆脱初始化的局限性。二是现有方法难以处理词汇丰富的复杂文本，只能从简单的文本描述生成3D模型。这些问题限制了生成3D模型的质量和多样性。
核心思路：论文的核心思路是将3D高斯聚合到空间均匀的体素中，从而能够表示更复杂的形状。通过体素化，可以更好地控制3D高斯的空间分布，并促进它们之间的空间交互。此外，通过引入高斯-文本融合机制，使得每个3D高斯能够感知文本的语义信息，从而生成与文本描述更一致的3D模型。
技术框架：该框架主要包含以下几个步骤：1) 构建体素化表示：将3D空间划分为均匀的体素，每个体素包含一个3D高斯，其位置、尺度和旋转固定，透明度作为可学习的参数。2) 设计初始化网络：该网络包含全局信息感知(GIP)块和高斯-文本融合(GTF)块。GIP块用于捕捉3D高斯之间的空间关系，GTF块用于融合文本的语义信息。3) 训练初始化网络：使用文本描述作为输入，训练初始化网络，使其能够预测每个体素中3D高斯的透明度。4) 将初始化后的3D高斯溅射作为后续渲染优化的起点。
关键创新：该论文的关键创新在于提出了一个通用的框架，通过词汇丰富度来提升文本到3D生成中3D高斯初始化的质量。与现有方法相比，该框架能够更好地处理复杂文本，并生成更高质量的3D模型。此外，该框架具有良好的通用性，可以无缝地插入到现有的训练框架中。
关键设计：GIP块采用自注意力机制，允许每个3D高斯感知其他区域的空间信息。GTF块使用交叉注意力机制，将文本的语义信息融合到3D高斯中。损失函数包括重建损失和正则化损失，用于保证生成3D模型的质量和稀疏性。体素的大小和数量是重要的参数，需要根据具体的应用场景进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该框架在处理词汇丰富的文本时，能够显著提升3D高斯初始化的质量，并生成更符合文本描述的3D模型。与Shap-E等现有方法相比，该框架在生成质量和语义一致性方面均有显著提升。此外，该框架可以无缝地插入到LucidDreamer等最先进的训练框架中，进一步提升生成效果。
🎯 应用场景
该研究成果可广泛应用于游戏开发、虚拟现实、增强现实、工业设计等领域。通过该框架，用户可以利用更丰富的文本描述快速生成高质量的3D模型，从而降低3D内容创作的门槛，并加速相关产业的发展。未来，该技术有望进一步扩展到其他模态的3D内容生成，例如图像到3D、音频到3D等。
📄 摘要（原文）
Text-to-3D content creation has recently received much attention, especially with the prevalence of 3D Gaussians Splatting. In general, GS-based methods comprise two key stages: initialization and rendering optimization. To achieve initialization, existing works directly apply random sphere initialization or 3D diffusion models, e.g., Point-E, to derive the initial shapes. However, such strategies suffer from two critical yet challenging problems: 1) the final shapes are still similar to the initial ones even after training; 2) shapes can be produced only from simple texts, e.g., "a dog", not for lexically richer texts, e.g., "a dog is sitting on the top of the airplane". To address these problems, this paper proposes a novel general framework to boost the 3D GS Initialization for text-to-3D generation upon the lexical richness. Our key idea is to aggregate 3D Gaussians into spatially uniform voxels to represent complex shapes while enabling the spatial interaction among the 3D Gaussians and semantic interaction between Gaussians and texts. Specifically, we first construct a voxelized representation, where each voxel holds a 3D Gaussian with its position, scale, and rotation fixed while setting opacity as the sole factor to determine a position's occupancy. We then design an initialization network mainly consisting of two novel components: 1) Global Information Perception (GIP) block and 2) Gaussians-Text Fusion (GTF) block. Such a design enables each 3D Gaussian to assimilate the spatial information from other areas and semantic information from texts. Extensive experiments show the superiority of our framework of high-quality 3D GS initialization against the existing methods, e.g., Shap-E, by taking lexically simple, medium, and hard texts. Also, our framework can be seamlessly plugged into SoTA training frameworks, e.g., LucidDreamer, for semantically consistent text-to-3D generation.