TexGaussian: Generating High-quality PBR Material via Octree-based 3D Gaussian Splatting

📄 arXiv: 2411.19654v2 📥 PDF

作者: Bojun Xiong, Jialun Liu, Jiakui Hu, Chenming Wu, Jinbo Wu, Xing Liu, Chen Zhao, Errui Ding, Zhouhui Lian

分类: cs.CV, cs.GR

发布日期: 2024-11-29 (更新: 2025-03-23)

备注: CVPR 2025. Project Page: https://3d-aigc.github.io/TexGaussian

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

TexGaussian：利用基于八叉树的3D高斯溅射生成高质量PBR材质

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: PBR材质生成 3D高斯溅射 八叉树 回归模型 多视角渲染 3D内容创作 材质参数估计

📋 核心要点

  1. 现有方法依赖预训练的2D扩散模型进行多视角图像合成，导致生成的纹理与输入3D网格之间存在严重的不一致性。
  2. TexGaussian的核心思想是利用八叉树结构的3D高斯溅射，直接回归生成PBR材质，避免了扩散模型的迭代过程。
  3. 实验结果表明，TexGaussian在生成高质量PBR材质方面优于现有方法，并且在速度和几何一致性方面有显著提升。

📝 摘要（中文）

本文提出了一种名为TexGaussian的新方法，用于快速生成PBR材质。该方法利用基于八叉树的3D高斯溅射，将每个3D高斯放置在由输入3D网格构建的八叉树的最精细叶节点上，从而渲染多视角的图像，不仅用于反照率贴图，还用于粗糙度和金属度贴图。此外，该模型以回归的方式进行训练，而不是扩散去噪，能够在单个前馈过程中为3D网格生成PBR材质。在公开基准上的大量实验表明，无论是在无条件还是文本条件场景下，该方法合成的PBR材质在视觉上更令人愉悦，并且比以前的方法运行得更快，与给定的几何体表现出更好的一致性。

🔬 方法详解

问题定义：现有方法，特别是基于2D扩散模型的方法，在为3D网格生成PBR材质时，存在生成纹理与3D网格几何形状不一致的问题。此外，扩散模型需要迭代去噪过程，效率较低。因此，需要一种能够快速、高质量地生成与3D网格几何形状一致的PBR材质的方法。

核心思路：TexGaussian的核心思路是利用3D高斯溅射直接从3D网格生成PBR材质。通过将3D高斯放置在由输入3D网格构建的八叉树的叶节点上，可以更好地捕捉3D几何信息，从而生成与几何形状更一致的纹理。同时，采用回归的方式训练模型，避免了扩散模型的迭代过程，提高了生成速度。

技术框架：TexGaussian的整体框架包括以下几个主要步骤：1) 构建输入3D网格的八叉树；2) 在八叉树的叶节点上放置3D高斯；3) 使用3D高斯溅射渲染多视角的图像，包括反照率、粗糙度和金属度贴图；4) 使用回归模型训练高斯参数，直接预测PBR材质。

关键创新：TexGaussian的关键创新在于：1) 使用八叉树结构的3D高斯溅射来表示3D网格，从而更好地捕捉几何信息；2) 采用回归的方式训练模型，直接预测PBR材质，避免了扩散模型的迭代过程，提高了生成速度；3) 将3D高斯放置在八叉树的叶节点上，实现了对3D几何形状的精细建模。

关键设计：TexGaussian的关键设计包括：1) 八叉树的深度决定了高斯分布的精细程度；2) 使用多视角渲染来生成训练数据，保证了视角一致性；3) 损失函数包括渲染损失和正则化损失，用于优化高斯参数和保证材质的平滑性；4) 网络结构采用MLP，用于将高斯参数映射到PBR材质参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

TexGaussian在公开数据集上进行了广泛的实验，结果表明，该方法在生成PBR材质的质量和速度方面均优于现有方法。具体来说，TexGaussian生成的材质在视觉上更令人愉悦，与3D网格的几何形状更一致，并且生成速度比基于扩散模型的方法快几个数量级。该方法在无条件和文本条件场景下均表现出良好的性能。

🎯 应用场景

TexGaussian在游戏开发、电影制作、工业设计等领域具有广泛的应用前景。它可以自动生成高质量的PBR材质，大大简化了3D内容创作流程，降低了美术制作成本。未来，该技术可以进一步扩展到生成更复杂的材质效果，例如法线贴图、AO贴图等，从而实现更逼真的渲染效果。

📄 摘要（原文）

Physically Based Rendering (PBR) materials play a crucial role in modern graphics, enabling photorealistic rendering across diverse environment maps. Developing an effective and efficient algorithm that is capable of automatically generating high-quality PBR materials rather than RGB texture for 3D meshes can significantly streamline the 3D content creation. Most existing methods leverage pre-trained 2D diffusion models for multi-view image synthesis, which often leads to severe inconsistency between the generated textures and input 3D meshes. This paper presents TexGaussian, a novel method that uses octant-aligned 3D Gaussian Splatting for rapid PBR material generation. Specifically, we place each 3D Gaussian on the finest leaf node of the octree built from the input 3D mesh to render the multi-view images not only for the albedo map but also for roughness and metallic. Moreover, our model is trained in a regression manner instead of diffusion denoising, capable of generating the PBR material for a 3D mesh in a single feed-forward process. Extensive experiments on publicly available benchmarks demonstrate that our method synthesizes more visually pleasing PBR materials and runs faster than previous methods in both unconditional and text-conditional scenarios, exhibiting better consistency with the given geometry. Our code and trained models are available at https://3d-aigc.github.io/TexGaussian.