Gaussian Splatting with Discretized SDF for Relightable Assets

📄 arXiv: 2507.15629v1 📥 PDF

作者: Zuo-Liang Zhu, Jian Yang, Beibei Wang

分类: cs.GR, cs.CV

发布日期: 2025-07-21

🔗 代码/项目: GITHUB

💡 一句话要点

提出基于离散SDF的高斯溅射方法，用于可重光照的3D资产重建。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 逆渲染 有符号距离场 离散化SDF 重光照 novel view synthesis 几何约束

📋 核心要点

  1. 现有基于高斯基元的逆渲染方法难以施加几何约束，导致分解质量受限。
  2. 论文提出离散化SDF，将其编码到高斯基元中，通过SDF到不透明度的转换实现高效渲染。
  3. 实验表明，该方法在重光照质量上优于现有方法，且无需额外内存和复杂优化。

📝 摘要（中文）

3D高斯溅射(3DGS)在 novel view synthesis (NVS) 任务中展现了其精细的表达能力和高效的渲染速度。然而，将其应用于逆渲染仍然面临一些挑战，因为高斯基元的离散性质使其难以应用几何约束。最近的研究引入了有符号距离场(SDF)作为额外的连续表示来正则化高斯基元定义的几何形状。这提高了分解质量，但代价是增加了内存使用并使训练复杂化。与这些工作不同，我们引入了一种离散化的SDF，通过使用采样值将其编码到每个高斯中，以离散的方式表示连续的SDF。这种方法允许我们通过SDF到不透明度的转换将SDF与高斯不透明度联系起来，从而能够通过溅射渲染SDF，并避免光线步进的计算成本。关键挑战是正则化离散样本以使其与底层SDF一致，因为离散表示很难应用基于梯度的约束（例如Eikonal损失）。为此，我们将高斯投影到SDF的零水平集上，并强制与来自溅射的表面对齐，即基于投影的一致性损失。由于离散化的SDF，我们的方法实现了更高的重光照质量，同时不需要超出GS的额外内存，并避免了复杂的手动设计的优化。实验表明，我们的方法优于现有的基于高斯的逆渲染方法。

🔬 方法详解

问题定义：现有基于3D高斯溅射的逆渲染方法，由于高斯基元的离散性，难以有效施加几何约束，导致重建的几何形状不准确，影响重光照效果。同时，一些方法引入额外的连续SDF表示，虽然提高了分解质量，但增加了内存占用和训练复杂度。

核心思路：论文的核心思路是使用离散化的SDF来表示连续的SDF，并将这些离散的SDF值编码到每个高斯基元中。通过这种方式，可以将SDF与高斯的不透明度联系起来，从而可以通过高斯溅射直接渲染SDF，避免了传统光线步进的计算开销。同时，通过设计特定的损失函数，保证离散SDF样本与底层连续SDF的一致性。

技术框架：该方法主要包含以下几个阶段：1) 初始化3D高斯基元；2) 对每个高斯基元编码离散化的SDF值；3) 通过SDF到不透明度的转换，将SDF信息融入到高斯渲染过程中；4) 设计基于投影的一致性损失，保证离散SDF样本与底层连续SDF的一致性；5) 优化高斯基元参数和离散SDF值，最终得到可重光照的3D资产。

关键创新：该方法最重要的创新点在于提出了离散化的SDF表示，并将其与3D高斯溅射相结合。与现有方法相比，该方法无需额外的连续SDF表示，从而节省了内存空间，并简化了训练过程。同时，通过设计特定的损失函数，保证了离散SDF样本的有效性，实现了高质量的重光照效果。

关键设计：关键设计包括：1) SDF到不透明度的转换函数，用于将离散SDF值转换为高斯基元的不透明度；2) 基于投影的一致性损失，该损失将高斯基元投影到SDF的零水平集上，并强制其与溅射得到的表面对齐，从而保证离散SDF样本与底层连续SDF的一致性。具体的参数设置和网络结构等细节在论文中进行了详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在重光照质量上优于现有的基于高斯的逆渲染方法。具体而言，该方法能够更准确地重建场景的几何形状和材质属性，从而实现更逼真的光照效果。此外，该方法无需额外的内存占用，并简化了训练过程，具有较高的实用价值。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发等领域，用于创建高质量、可重光照的3D资产。例如，可以用于重建真实场景，并允许用户在不同光照条件下进行交互和体验。此外，该方法还可以用于生成具有逼真光照效果的虚拟角色和物体。

📄 摘要（原文）

3D Gaussian splatting (3DGS) has shown its detailed expressive ability and highly efficient rendering speed in the novel view synthesis (NVS) task. The application to inverse rendering still faces several challenges, as the discrete nature of Gaussian primitives makes it difficult to apply geometry constraints. Recent works introduce the signed distance field (SDF) as an extra continuous representation to regularize the geometry defined by Gaussian primitives. It improves the decomposition quality, at the cost of increasing memory usage and complicating training. Unlike these works, we introduce a discretized SDF to represent the continuous SDF in a discrete manner by encoding it within each Gaussian using a sampled value. This approach allows us to link the SDF with the Gaussian opacity through an SDF-to-opacity transformation, enabling rendering the SDF via splatting and avoiding the computational cost of ray marching.The key challenge is to regularize the discrete samples to be consistent with the underlying SDF, as the discrete representation can hardly apply the gradient-based constraints (\eg Eikonal loss). For this, we project Gaussians onto the zero-level set of SDF and enforce alignment with the surface from splatting, namely a projection-based consistency loss. Thanks to the discretized SDF, our method achieves higher relighting quality, while requiring no extra memory beyond GS and avoiding complex manually designed optimization. The experiments reveal that our method outperforms existing Gaussian-based inverse rendering methods. Our code is available at https://github.com/NK-CS-ZZL/DiscretizedSDF.