3DSS: 3D Surface Splatting for Inverse Rendering
作者: Mae Younes, Adnane Boukhayma
分类: cs.GR, cs.CV
发布日期: 2026-05-07 (更新: 2026-05-08)
💡 一句话要点
提出3DSS：首个基于可微表面Splatting的物理逆向渲染框架，实现几何、材质与光照的联合重建。
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 逆向渲染 可微渲染 表面Splatting 物理材质重建 多视角几何 三维重建
📋 核心要点
- 现有逆向渲染方法在处理复杂几何与物理材质解耦时，往往面临渲染质量与几何表示转换之间的权衡难题。
- 提出基于重构核的覆盖率合成模型，通过EWA权重导出透明度，实现高质量的抗锯齿渲染与梯度传播。
- 实验证明该方法在几何重建精度、新视角合成及重光照任务上均超越了现有的网格、隐式及高斯Splatting基线。
📝 摘要（中文）
本文提出了3D Surface Splatting (3DSS)，这是首个用于多视角图像物理逆向渲染的可微表面Splatting渲染器。其核心洞察在于，表面Splatting中的表面分离问题可以通过重构核本身进行直接建模。基于此，作者推导了一种基于覆盖率的合成模型，其中各层的透明度直接由累积的椭圆加权平均（EWA）重构权重导出，从而在稀疏覆盖的边缘产生抗锯齿轮廓和信息丰富的可见性梯度。结合协同优化的HDR环境光照下的前向微表面着色以及密度感知的自适应细化，3DSS能够联合恢复几何形状、空间变化的BRDF材质及光照。由于其优化表示为一组定向表面样本，该方法可通过定向点云表面重构技术无缝衔接至基于网格的工作流。实验表明，3DSS在几何重建、新视角合成及重光照任务中均优于现有的网格、隐式及高斯Splatting基线方法。
🔬 方法详解
问题定义：现有逆向渲染方法难以在保持物理真实性的同时，高效地从多视角图像中解耦几何、空间变化材质（BRDF）与环境光照，且传统方法在处理边缘抗锯齿和梯度传播时存在局限。
核心思路：将表面分离问题转化为重构核的直接建模，利用椭圆加权平均（EWA）重构权重作为透明度度量，构建一种可微的表面Splatting渲染框架，从而实现几何与光照的联合优化。
技术框架：系统包含三个主要阶段：基于定向表面样本的场景表示、基于覆盖率的物理渲染管线（集成微表面着色与HDR光照），以及密度感知的自适应细化模块。通过可微渲染实现从图像到场景参数的闭环优化。
关键创新：引入了基于覆盖率的合成模型，使得透明度计算与EWA重构权重直接挂钩，解决了稀疏边缘的可见性梯度问题；同时，该方法天然支持向网格表示的转换，弥合了点云与网格工作流的鸿沟。
关键设计：采用微表面着色模型进行物理渲染，结合HDR环境光照协同优化；引入密度感知细化策略，根据渲染误差动态调整表面样本分布，确保在复杂几何区域的重建精度。
🖼️ 关键图片
📊 实验亮点
3DSS在多项基准测试中表现出色。相比于传统隐式表示（如NeRF）和高斯Splatting，该方法在几何重建的准确性上提升显著，且在处理复杂材质的重光照任务中展现出更强的物理一致性。实验数据表明，其生成的抗锯齿轮廓在稀疏视角下仍能保持高质量的梯度信息，有效解决了传统Splatting在边缘处的伪影问题。
🎯 应用场景
该技术在数字孪生、影视特效、虚拟现实及工业检测领域具有重要价值。通过从多视角图像中精确提取几何、材质与光照信息，可直接应用于高保真资产重建、虚拟场景重光照以及基于物理的渲染工作流，显著提升三维内容生成的自动化水平与真实感。
📄 摘要（原文）
We present 3D Surface Splatting (3DSS), the first differentiable surface splatting renderer for physically-based inverse rendering from multi-view images. Our central insight is that the surface separation problem at the heart of surface splatting admits a direct formulation in terms of the reconstruction kernels themselves. From this foundation we derive a coverage-based compositing model whose per-layer opacity arises directly from the accumulated Elliptical Weighted Average reconstruction weight, yielding anti-aliased silhouettes and informative visibility gradients at sparsely covered edges. Combined with forward microfacet shading under co-optimized HDR environment lighting and density-aware adaptive refinement, 3DSS jointly recovers shape, spatially-varying BRDF materials, and illumination. Because the optimized representation is a set of oriented surface samples, it bridges natively to mesh-based workflows via surface reconstruction from oriented point cloud methods. We evaluate 3DSS against mesh-based, implicit, and Gaussian-splatting baselines across geometry reconstruction, novel-view synthesis, and novel-illumination relighting.