GLOW: Global Illumination-Aware Inverse Rendering of Indoor Scenes Captured with Dynamic Co-Located Light & Camera

📄 arXiv: 2511.22857v1 📥 PDF

作者: Jiaye Wu, Saeed Hadadan, Geng Lin, Peihan Tu, Matthias Zwicker, David Jacobs, Roni Sengupta

分类: cs.CV

发布日期: 2025-11-28

💡 一句话要点

GLOW：全局光照感知的动态共位光相机室内场景逆渲染

🎯 匹配领域: 支柱三：空间感知 (Perception & SLAM)

关键词: 逆渲染 全局光照 神经隐式表面 神经辐射缓存 动态光照 共位光相机 反射率估计

📋 核心要点

  1. 室内场景逆渲染面临反射率与光照模糊性难题，传统方法难以有效处理复杂光照环境下的全局光照效果。
  2. GLOW框架结合神经隐式表面和神经辐射缓存，近似全局光照，并优化几何与反射率，从而解决上述问题。
  3. 实验结果表明，GLOW在材料反射率估计方面显著优于现有方法，尤其是在共位光相机设置下。

📝 摘要（中文）

室内场景的逆渲染极具挑战性，原因在于反射率和光照之间的模糊性，以及物体间相互反射的加剧。虽然基于自然光照的方法难以解决这种模糊性，但共位光相机设置能够更好地解耦，因为光照可以通过运动结构恢复轻松校准。然而，这种设置引入了额外的复杂性，如强烈的相互反射、动态阴影、近场光照和移动的镜面高光，现有方法无法处理这些问题。我们提出了GLOW，一个全局光照感知的逆渲染框架，旨在解决这些挑战。GLOW集成了神经隐式表面表示和神经辐射缓存来近似全局光照，通过精心设计的正则化和初始化联合优化几何和反射率。然后，我们引入了一个动态辐射缓存，以适应近场运动产生的剧烈光照不连续性，以及一个表面角度加权辐射损失，以抑制手电筒捕获中常见的镜面伪影。实验表明，GLOW在自然光照和共位光照下的材料反射率估计方面，显著优于现有方法。

🔬 方法详解

问题定义：论文旨在解决室内场景逆渲染中，由于全局光照、动态光照（如手电筒）以及共位光相机设置带来的复杂性，导致反射率和光照难以准确估计的问题。现有方法无法有效处理这些因素，导致渲染结果不真实，材质估计不准确。

核心思路：论文的核心思路是利用神经隐式表面表示来建模场景几何，并结合神经辐射缓存来近似全局光照。通过联合优化几何、反射率和光照，并引入动态辐射缓存和表面角度加权辐射损失，来解决动态光照和镜面反射带来的问题。这种方法能够更好地解耦光照和反射率，从而实现更准确的逆渲染。

技术框架：GLOW框架包含以下主要模块：1) 神经隐式表面表示：使用神经网络表示场景几何。2) 神经辐射缓存：使用神经网络近似全局光照。3) 动态辐射缓存：用于处理动态光照变化。4) 表面角度加权辐射损失：用于抑制镜面反射伪影。整个流程包括：输入共位光相机捕获的图像，初始化几何和反射率，然后通过联合优化神经隐式表面、神经辐射缓存和动态辐射缓存，最终得到高质量的几何、反射率和光照估计。

关键创新：论文的关键创新在于：1) 提出了动态辐射缓存，能够适应近场运动产生的剧烈光照不连续性。2) 引入了表面角度加权辐射损失，有效抑制了手电筒捕获中常见的镜面伪影。3) 将神经隐式表面表示和神经辐射缓存相结合，实现了全局光照感知的逆渲染。

关键设计：论文的关键设计包括：1) 使用MLP（多层感知机）来表示神经隐式表面和神经辐射缓存。2) 设计了特定的损失函数，包括辐射损失、几何损失和正则化项，以保证优化过程的稳定性和准确性。3) 动态辐射缓存的设计考虑了光照变化的局部性和时间一致性，通过维护一个局部辐射缓存并随光照变化进行更新，从而实现高效的动态光照建模。

📊 实验亮点

实验结果表明，GLOW在材料反射率估计方面显著优于现有方法。在合成数据集和真实数据集上，GLOW都取得了更高的PSNR和更低的RMSE。尤其是在共位光相机设置下，GLOW能够有效抑制镜面反射伪影，获得更准确的材质估计结果，相比于其他方法有显著提升。

🎯 应用场景

该研究成果可应用于虚拟现实、增强现实、游戏开发、室内设计等领域。通过准确估计室内场景的几何、反射率和光照，可以实现更逼真的虚拟场景渲染，提升用户体验。此外，该技术还可用于材质识别、光照设计等应用，具有重要的实际价值和广阔的应用前景。

📄 摘要（原文）

Inverse rendering of indoor scenes remains challenging due to the ambiguity between reflectance and lighting, exacerbated by inter-reflections among multiple objects. While natural illumination-based methods struggle to resolve this ambiguity, co-located light-camera setups offer better disentanglement as lighting can be easily calibrated via Structure-from-Motion. However, such setups introduce additional complexities like strong inter-reflections, dynamic shadows, near-field lighting, and moving specular highlights, which existing approaches fail to handle. We present GLOW, a Global Illumination-aware Inverse Rendering framework designed to address these challenges. GLOW integrates a neural implicit surface representation with a neural radiance cache to approximate global illumination, jointly optimizing geometry and reflectance through carefully designed regularization and initialization. We then introduce a dynamic radiance cache that adapts to sharp lighting discontinuities from near-field motion, and a surface-angle-weighted radiometric loss to suppress specular artifacts common in flashlight captures. Experiments show that GLOW substantially outperforms prior methods in material reflectance estimation under both natural and co-located illumination.