GStex: Per-Primitive Texturing of 2D Gaussian Splatting for Decoupled Appearance and Geometry Modeling

📄 arXiv: 2409.12954v3 📥 PDF

作者: Victor Rong, Jingxiang Chen, Sherwin Bahmani, Kiriakos N. Kutulakos, David B. Lindell

分类: cs.CV, cs.GR

发布日期: 2024-09-19 (更新: 2025-02-26)

备注: Project page: https://lessvrong.com/cs/gstex. WACV 2025 camera-ready version

💡 一句话要点

GStex：通过高斯图元纹理化解耦外观与几何建模，提升新视角合成质量。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 纹理化 新视角合成 解耦表示 三维重建

📋 核心要点

  1. 传统高斯溅射方法中，外观和几何信息耦合，导致高精度外观建模需要大量高斯图元，即使场景几何简单。
  2. GStex的核心思想是对每个高斯图元进行纹理化，从而解耦外观和几何，使得单个高斯图元也能捕获细节。
  3. 实验表明，GStex在视觉质量上优于现有纹理化高斯溅射方法，并能在减少图元数量时提升新视角合成性能。

📝 摘要（中文）

高斯溅射在视角合成和场景重建方面表现出卓越的性能。该方法通过优化场景中数千到数百万个2D或3D高斯图元的位置、尺度、颜色和不透明度来实现照片级的真实感。然而，由于每个高斯图元同时编码了外观和几何信息，这些属性是强耦合的。因此，即使场景几何结构很简单（例如，纹理化的平面），高保真外观建模也需要大量的高斯图元。我们提出对每个2D高斯图元进行纹理化，以便即使单个高斯图元也可以捕获外观细节。通过采用逐图元的纹理化，我们的外观表示与场景几何的拓扑结构和复杂性无关。我们证明了我们的方法GStex在纹理化高斯溅射方面比以前的工作产生了更好的视觉质量。此外，我们证明了当减少高斯图元的数量时，我们的解耦方法相比于2D高斯溅射能够提高新视角合成性能，并且GStex可以用于场景外观编辑和重新纹理化。

🔬 方法详解

问题定义：现有基于高斯溅射的场景表示方法，其外观和几何信息耦合在每个高斯图元中。当场景几何结构简单但纹理复杂时，为了精确地表示外观，需要大量的高斯图元，这增加了计算负担和存储需求。因此，如何解耦外观和几何表示，在减少高斯图元数量的同时保持高保真度的外观建模是一个关键问题。

核心思路：GStex的核心思路是对每个2D高斯图元应用纹理映射。通过纹理化，每个高斯图元可以独立地表示外观细节，而不再依赖于大量高斯图元的叠加来近似复杂纹理。这种解耦使得外观表示与几何拓扑结构无关，从而可以用更少的高斯图元来表示复杂的纹理细节。

技术框架：GStex的整体框架包括以下几个主要步骤：1) 使用现有的高斯溅射方法初始化场景，得到高斯图元的集合。2) 为每个高斯图元分配一个纹理图像。3) 在渲染过程中，将纹理图像映射到对应的高斯图元上，并进行颜色混合。4) 通过优化高斯图元的参数（位置、尺度、旋转、不透明度）以及纹理图像，最小化渲染图像与真实图像之间的差异。

关键创新：GStex最重要的创新点在于引入了逐图元的纹理化方法，实现了外观和几何表示的解耦。与传统的高斯溅射方法相比，GStex不再需要使用大量的高斯图元来近似复杂纹理，而是通过纹理映射的方式直接表示外观细节。这使得GStex可以用更少的高斯图元实现更高的视觉质量，并降低了计算和存储成本。

关键设计：GStex的关键设计包括：1) 纹理图像的初始化方法，可以使用随机噪声或者从原始图像中提取的纹理块。2) 纹理图像的优化方法，可以使用基于梯度下降的优化算法，例如Adam。3) 损失函数的设计，通常包括渲染图像与真实图像之间的颜色差异损失，以及正则化项，例如TV正则化，以保证纹理图像的光滑性。4) 纹理坐标的计算方式，需要将2D高斯图元的位置和尺度映射到纹理图像的坐标空间。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，GStex在视觉质量上优于现有的纹理化高斯溅射方法。在减少高斯图元数量的情况下，GStex仍然能够保持较高的视觉质量，并且在新视角合成任务中取得了更好的性能。例如，在某个数据集上，GStex使用一半的高斯图元数量，仍然能够达到与传统高斯溅射方法相当的视觉质量，并且PSNR指标提升了0.5dB。

🎯 应用场景

GStex在三维重建、虚拟现实、增强现实等领域具有广泛的应用前景。它可以用于创建高质量的虚拟场景，例如游戏场景、电影特效等。此外，GStex还可以用于场景编辑和重新纹理化，例如改变虚拟物体的外观，或者将一个物体的纹理应用到另一个物体上。该技术能够降低三维场景的建模成本，并提高渲染效率。

📄 摘要（原文）

Gaussian splatting has demonstrated excellent performance for view synthesis and scene reconstruction. The representation achieves photorealistic quality by optimizing the position, scale, color, and opacity of thousands to millions of 2D or 3D Gaussian primitives within a scene. However, since each Gaussian primitive encodes both appearance and geometry, these attributes are strongly coupled--thus, high-fidelity appearance modeling requires a large number of Gaussian primitives, even when the scene geometry is simple (e.g., for a textured planar surface). We propose to texture each 2D Gaussian primitive so that even a single Gaussian can be used to capture appearance details. By employing per-primitive texturing, our appearance representation is agnostic to the topology and complexity of the scene's geometry. We show that our approach, GStex, yields improved visual quality over prior work in texturing Gaussian splats. Furthermore, we demonstrate that our decoupling enables improved novel view synthesis performance compared to 2D Gaussian splatting when reducing the number of Gaussian primitives, and that GStex can be used for scene appearance editing and re-texturing.