3DSS: 3D Surface Splatting for Inverse Rendering

📄 arXiv: 2605.05876v1 📥 PDF

作者: Mae Younes, Adnane Boukhayma

分类: cs.GR, cs.CV

发布日期: 2026-05-07

💡 一句话要点

提出3DSS：一种用于逆渲染的可微3D表面溅射渲染器，优化形状、材质和光照。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 逆渲染 3D表面溅射 可微渲染 BRDF材质 光照估计

📋 核心要点

  1. 现有逆渲染方法难以兼顾高质量重建和高效渲染，尤其是在处理复杂几何和材质时。
  2. 3DSS通过可微表面溅射渲染，直接从重建核出发解决表面分离问题，实现抗锯齿和高质量梯度。
  3. 实验表明，3DSS在几何重建、新视角合成和重照明方面优于现有方法，并可直接用于网格重建。

📝 摘要（中文）

本文提出3D表面溅射（3DSS），这是第一个用于基于物理的逆渲染的可微表面溅射渲染器，它利用多视角图像进行渲染。核心思想是，表面溅射中的表面分离问题可以直接用重建核本身来表达。在此基础上，我们推导出一个基于覆盖率的合成模型，其每层的不透明度直接来自累积的椭圆加权平均重建权重，从而在稀疏覆盖的边缘产生抗锯齿轮廓和信息丰富的可见性梯度。结合在协同优化的HDR环境光照和密度感知自适应细化下的前向微面片着色，3DSS联合恢复形状、空间变化的BRDF材质和光照。由于优化的表示是一组定向表面样本，因此它可以通过定向点云方法进行表面重建，从而自然地桥接到基于网格的工作流程。我们在几何重建、新视角合成和新光照重照明方面，针对基于网格、隐式和高斯溅射的基线评估了3DSS。

🔬 方法详解

问题定义：现有的逆渲染方法在从多视角图像中恢复高质量的3D形状、材质和光照时面临挑战。特别是，如何有效地处理遮挡、阴影和复杂的BRDF材质是关键问题。传统的基于网格的方法可能难以处理复杂的拓扑结构，而隐式表示方法可能缺乏几何细节。高斯溅射方法虽然渲染速度快，但在逆渲染任务中可能难以优化材质和光照。

核心思路：3DSS的核心思路是利用可微的表面溅射渲染，将表面分离问题直接用重建核来表达。通过这种方式，可以实现抗锯齿的轮廓和信息丰富的可见性梯度，从而提高逆渲染的质量。此外，通过密度感知的自适应细化，可以有效地处理稀疏覆盖的区域，并优化形状、材质和光照。

技术框架：3DSS的整体框架包括以下几个主要阶段：1）初始化：使用一组定向表面样本来表示场景的几何形状。2）渲染：使用可微的表面溅射渲染器，将表面样本投影到图像平面上，并计算每个像素的颜色。3）优化：通过最小化渲染图像与输入图像之间的差异，来优化表面样本的位置、法线、BRDF材质和光照。4）细化：根据表面样本的密度，自适应地细化表面样本，以提高几何细节。

关键创新：3DSS的关键创新在于其可微的表面溅射渲染器，该渲染器可以直接从重建核出发解决表面分离问题。与传统的表面溅射渲染器不同，3DSS使用基于覆盖率的合成模型，其每层的不透明度直接来自累积的椭圆加权平均重建权重。这使得3DSS能够生成抗锯齿的轮廓和信息丰富的可见性梯度，从而提高逆渲染的质量。

关键设计：3DSS的关键设计包括：1）使用椭圆加权平均（EWA）重建核来计算每个表面样本的贡献。2）使用基于覆盖率的合成模型来计算每个像素的颜色。3）使用密度感知的自适应细化策略来提高几何细节。4）使用HDR环境光照模型来模拟复杂的光照效果。损失函数包括渲染损失、正则化损失等，用于约束形状、材质和光照的优化。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，3DSS在几何重建、新视角合成和新光照重照明方面均优于现有的基于网格、隐式和高斯溅射的基线方法。例如，在几何重建方面，3DSS能够恢复更精细的几何细节，并减少噪声。在新视角合成方面，3DSS能够生成更逼真的图像，并减少伪影。在新光照重照明方面，3DSS能够准确地模拟复杂的光照效果。

🎯 应用场景

3DSS具有广泛的应用前景，包括虚拟现实、增强现实、游戏开发、电影制作等领域。它可以用于从多视角图像中重建高质量的3D模型，并实现逼真的渲染效果。此外，3DSS还可以用于编辑和修改现有的3D模型，并为它们添加新的材质和光照效果。未来的研究方向包括提高3DSS的渲染速度和优化效率，以及将其应用于更复杂的场景和数据集。

📄 摘要（原文）

We present 3D Surface Splatting (3DSS), the first differentiable surface splatting renderer for physically-based inverse rendering from multi-view images. Our central insight is that the surface separation problem at the heart of surface splatting admits a direct formulation in terms of the reconstruction kernels themselves. From this foundation we derive a coverage-based compositing model whose per-layer opacity arises directly from the accumulated Elliptical Weighted Average reconstruction weight, yielding anti-aliased silhouettes and informative visibility gradients at sparsely covered edges. Combined with forward microfacet shading under co-optimized HDR environment lighting and density-aware adaptive refinement, 3DSS jointly recovers shape, spatially-varying BRDF materials, and illumination. Because the optimized representation is a set of oriented surface samples, it bridges natively to mesh-based workflows via surface reconstruction from oriented point cloud methods. We evaluate 3DSS against mesh-based, implicit, and Gaussian-splatting baselines across geometry reconstruction, novel-view synthesis, and novel-illumination relighting.