PS-GS: Gaussian Splatting for Multi-View Photometric Stereo

📄 arXiv: 2507.18231v1 📥 PDF

作者: Yixiao Chen, Bin Liang, Hanzhi Guo, Yongqing Cheng, Jiayi Zhao, Dongdong Weng

分类: cs.GR, cs.CV

发布日期: 2025-07-24

💡 一句话要点

提出PS-GS，结合高斯溅射与多视角光度立体，实现高效逆渲染。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 高斯溅射 多视角光度立体 逆渲染 三维重建 光照估计

📋 核心要点

  1. 传统逆渲染方法依赖于固定的环境光照，精度受限；多视角光度立体（MVPS）虽能提升精度，但与逆渲染结合效率低。
  2. PS-GS方法通过高斯溅射初始化几何，并结合光照计算MLP进行逆渲染，同时利用光度立体法线进行正则化，缓解不适定性。
  3. 实验表明，PS-GS在合成和真实数据集上，相比现有技术，在重建精度和计算效率上均有显著提升。

📝 摘要（中文）

本文提出了一种用于多视角光度立体的基于高斯溅射的方法（PS-GS），旨在高效地联合估计由不同方向光照（多光照）照射物体的几何形状、材质和光照。该方法首先重建一个标准的2D高斯溅射模型作为初始几何形状。基于此初始化模型，通过包含光照计算多层感知机的完整渲染方程进行延迟逆渲染。在整个优化过程中，使用由未校准光度立体估计的法线来正则化渲染的法线贴图。此外，还提出了用于单方向光照的2D高斯光线追踪，以细化入射光照。多视角和多光照图像的使用以及正则化缓解了逆渲染的不适定问题。优化后，重建的对象可用于新视角合成、重新光照以及材质和形状编辑。在合成和真实数据集上的实验表明，该方法在重建精度和计算效率方面优于现有方法。

🔬 方法详解

问题定义：现有的逆渲染方法通常依赖于固定的环境光照，这限制了其重建精度。多视角光度立体（MVPS）能够提供更准确的3D重建，但将其与高效的逆渲染结合仍然是一个挑战。因此，需要一种能够有效利用多视角和多光照信息，同时保持计算效率的方法来解决这一问题。

核心思路：PS-GS的核心思路是将高斯溅射（Gaussian Splatting）作为几何表示，并结合多视角光度立体技术，通过逆渲染来联合优化物体的几何形状、材质和光照。利用高斯溅射的可微渲染特性，以及光度立体提供的法线信息，可以有效地约束逆渲染过程，从而提高重建精度和效率。

技术框架：PS-GS的整体流程如下：1) 使用标准2D高斯溅射模型初始化几何形状。2) 基于初始化模型，通过包含光照计算多层感知机（MLP）的完整渲染方程进行延迟逆渲染。3) 在优化过程中，使用未校准光度立体估计的法线来正则化渲染的法线贴图。4) 提出2D高斯光线追踪，用于单方向光照，以细化入射光照。整个框架利用多视角和多光照图像，缓解了逆渲染的不适定性。

关键创新：PS-GS的关键创新在于将高斯溅射与多视角光度立体相结合，实现了一种高效且精确的逆渲染方法。与传统的基于体素或网格的方法相比，高斯溅射具有可微渲染和高效优化的优点。此外，利用光度立体法线进行正则化，可以有效地约束逆渲染过程，提高重建质量。

关键设计：PS-GS的关键设计包括：1) 使用多层感知机（MLP）来建模光照，从而能够处理复杂的光照效果。2) 使用光度立体法线作为正则化项，以约束渲染的法线贴图，提高重建精度。3) 提出2D高斯光线追踪，用于细化入射光照，进一步提高光照估计的准确性。损失函数的设计也至关重要，需要平衡重建误差、法线正则化项和光照一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在合成和真实数据集上的实验结果表明，PS-GS方法在重建精度和计算效率方面均优于现有方法。具体而言，PS-GS在重建精度上取得了显著提升，同时保持了较高的计算效率，使得该方法能够处理更大规模的场景和更复杂的材质。

🎯 应用场景

PS-GS技术可应用于三维重建、虚拟现实、增强现实、游戏开发等领域。例如，可以用于创建高质量的3D模型，实现逼真的新视角合成和重新光照效果，以及进行材质和形状编辑。该技术在文物数字化、工业检测、机器人视觉等领域也具有潜在的应用价值。

📄 摘要（原文）

Integrating inverse rendering with multi-view photometric stereo (MVPS) yields more accurate 3D reconstructions than the inverse rendering approaches that rely on fixed environment illumination. However, efficient inverse rendering with MVPS remains challenging. To fill this gap, we introduce the Gaussian Splatting for Multi-view Photometric Stereo (PS-GS), which efficiently and jointly estimates the geometry, materials, and lighting of the object that is illuminated by diverse directional lights (multi-light). Our method first reconstructs a standard 2D Gaussian splatting model as the initial geometry. Based on the initialization model, it then proceeds with the deferred inverse rendering by the full rendering equation containing a lighting-computing multi-layer perceptron. During the whole optimization, we regularize the rendered normal maps by the uncalibrated photometric stereo estimated normals. We also propose the 2D Gaussian ray-tracing for single directional light to refine the incident lighting. The regularizations and the use of multi-view and multi-light images mitigate the ill-posed problem of inverse rendering. After optimization, the reconstructed object can be used for novel-view synthesis, relighting, and material and shape editing. Experiments on both synthetic and real datasets demonstrate that our method outperforms prior works in terms of reconstruction accuracy and computational efficiency.