MetaGS: A Meta-Learned Gaussian-Phong Model for Out-of-Distribution 3D Scene Relighting

📄 arXiv: 2405.20791v2 📥 PDF

作者: Yumeng He, Yunbo Wang, Xiaokang Yang

分类: cs.CV, cs.LG

发布日期: 2024-05-31 (更新: 2025-05-27)

期刊: Advances in Neural Information Processing Systems (NeurIPS 2025)

💡 一句话要点

MetaGS：用于域外3D场景重光照的元学习高斯-Phong模型

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D场景重光照 元学习 高斯溅射 Blinn-Phong模型 域外泛化

📋 核心要点

  1. 现有重光照方法在训练和测试光照分布不一致时性能显著下降，难以处理域外(OOD)场景。
  2. MetaGS通过元学习训练高斯溅射，学习可泛化的几何结构和外观属性，提升模型对不同光照的适应性。
  3. MetaGS将Blinn-Phong反射模型的物理先验嵌入高斯溅射，增强着色分量解耦，实现更精确的3D重建。

📝 摘要（中文）

域外(OOD)3D重光照需要在与观测图像显著不同的、未见过的光照条件下进行新视角合成。现有的重光照方法通常假设训练和测试之间光照分布一致，因此在OOD场景下性能下降。我们提出了MetaGS，从两个角度解决这个问题。首先，我们提出了一种元学习方法来训练3D高斯溅射，显式地促进了在不同光照条件下学习可泛化的几何结构和外观属性，即使使用有偏差的训练数据也是如此。其次，我们将Blinn-Phong反射模型中的基本物理先验嵌入到高斯溅射中，增强了着色分量的解耦，从而实现更精确的3D场景重建。在合成和真实世界数据集上的结果表明，MetaGS在具有挑战性的OOD重光照任务中是有效的，支持高效的点光源重光照，并且能够很好地泛化到未见过的环境光照贴图。

🔬 方法详解

问题定义：论文旨在解决域外(OOD)场景下的3D场景重光照问题。现有方法依赖于训练和测试数据具有相似的光照分布，当光照条件发生显著变化时，性能会急剧下降。这些方法难以泛化到未见过的光照环境，限制了其在实际应用中的价值。

核心思路：论文的核心思路是利用元学习来训练3D高斯溅射，使其能够学习到在不同光照条件下都具有泛化能力的几何结构和外观属性。此外，通过将Blinn-Phong反射模型的物理先验嵌入到高斯溅射中，可以更好地解耦着色分量，从而提高3D场景重建的精度和重光照的质量。

技术框架：MetaGS的整体框架包含两个主要组成部分：元学习训练的高斯溅射和基于Blinn-Phong反射模型的物理先验嵌入。首先，使用元学习策略训练高斯溅射，使其能够适应不同的光照条件。然后，将Blinn-Phong反射模型的漫反射和镜面反射分量整合到高斯溅射的渲染过程中，从而实现更真实的重光照效果。

关键创新：该论文的关键创新在于将元学习和物理先验相结合，用于解决OOD 3D场景重光照问题。与现有方法相比，MetaGS能够更好地泛化到未见过的光照环境，并且能够更精确地重建3D场景。元学习使得模型能够从少量样本中快速适应新的光照条件，而物理先验则提供了更强的约束，从而提高了重建的质量。

关键设计：在元学习方面，论文设计了一种特定的元学习策略，用于训练高斯溅射。具体来说，使用了基于梯度下降的元学习算法，使得模型能够学习到在不同光照条件下都具有良好性能的初始化参数。在物理先验方面，论文将Blinn-Phong反射模型的漫反射和镜面反射分量整合到高斯溅射的渲染过程中，并对相应的参数进行了优化。损失函数的设计也至关重要，论文使用了包括重建损失、光度一致性损失等多种损失函数，以保证重建的质量和重光照的真实性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MetaGS在合成和真实数据集上都取得了显著的性能提升。在OOD重光照任务中，MetaGS能够生成更真实、更准确的重光照结果。实验结果表明，MetaGS在定量指标和视觉效果上都优于现有的方法。具体来说，MetaGS在PSNR、SSIM等指标上取得了显著的提升，并且能够更好地泛化到未见过的光照环境。

🎯 应用场景

MetaGS在虚拟现实、增强现实、游戏开发等领域具有广泛的应用前景。它可以用于在不同光照条件下渲染3D场景，从而提高用户体验。例如，在虚拟现实游戏中，MetaGS可以用于模拟真实的光照效果，使得游戏场景更加逼真。此外，MetaGS还可以用于3D场景编辑和重建，例如，可以用于将照片转换为3D模型，并对其进行重光照。

📄 摘要（原文）

Out-of-distribution (OOD) 3D relighting requires novel view synthesis under unseen lighting conditions that differ significantly from the observed images. Existing relighting methods, which assume consistent light source distributions between training and testing, often degrade in OOD scenarios. We introduce MetaGS to tackle this challenge from two perspectives. First, we propose a meta-learning approach to train 3D Gaussian splatting, which explicitly promotes learning generalizable Gaussian geometries and appearance attributes across diverse lighting conditions, even with biased training data. Second, we embed fundamental physical priors from the Blinn-Phong reflection model into Gaussian splatting, which enhances the decoupling of shading components and leads to more accurate 3D scene reconstruction. Results on both synthetic and real-world datasets demonstrate the effectiveness of MetaGS in challenging OOD relighting tasks, supporting efficient point-light relighting and generalizing well to unseen environment lighting maps.