LumiMotion: Improving Gaussian Relighting with Scene Dynamics
作者: Joanna Kaleta, Piotr Wójcik, Kacper Marzol, Tomasz Trzciński, Kacper Kania, Marek Kowalski
分类: cs.CV
发布日期: 2026-04-13
备注: CVPR2026
🔗 代码/项目: PROJECT_PAGE
💡 一句话要点
LumiMotion：利用场景动态信息改进高斯光照重构
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 逆渲染 高斯溅射 动态场景 光照重构 反照率估计
📋 核心要点
- 现有基于高斯溅射的逆渲染方法在处理真实场景时，难以准确分离光照效果和材质属性，尤其是在复杂光照条件下。
- LumiMotion利用场景中的动态元素作为监督信号，通过运动揭示同一表面在不同光照下的表现，从而解耦材质和光照。
- 实验表明，LumiMotion在反照率估计和场景光照重构方面显著优于现有方法，LPIPS分别提升23%和15%。
📝 摘要（中文）
在3D重建中，逆渲染问题，即恢复场景的光照和材质属性，至关重要。现有的基于高斯溅射的方法主要针对静态场景，并且通常假设简化或适度的光照，以避免将阴影与表面外观混淆。这限制了它们准确地将光照效果与材质属性分离的能力，尤其是在真实世界的条件下。我们通过利用动态元素（场景中经历运动的区域）作为逆渲染的监督信号来解决这一限制。运动揭示了相同表面在不同光照条件下的表现，为分离材质和光照提供了更强的线索。我们的实验结果支持了这一论点，结果表明，相对于次优基线，我们在反照率估计方面将LPIPS提高了23%，在场景光照重构方面提高了15%。为此，我们推出了LumiMotion，这是第一个基于高斯的逆渲染方法，它利用动态信息并在任意动态场景中运行。我们的方法学习了一种动态2D高斯溅射表示，该表示采用了一组新颖的约束，这些约束鼓励场景的动态区域变形，同时保持静态区域稳定。正如我们所展示的，这种分离对于正确优化反照率至关重要。最后，我们发布了一个新的合成基准，包含五个场景，每个场景在四种光照条件下，都有静态和动态变体，首次实现了在动态环境和具有挑战性的光照条件下对逆渲染方法进行系统评估。项目主页链接：https://joaxkal.github.io/LumiMotion/
🔬 方法详解
问题定义：现有基于高斯溅射的逆渲染方法主要针对静态场景，并且在处理真实场景时，由于光照和材质的耦合，难以准确分离光照效果和材质属性。特别是在复杂光照条件下，阴影等光照效果容易与表面外观混淆，导致反照率估计和光照重构的精度下降。
核心思路：LumiMotion的核心思路是利用场景中的动态信息作为监督信号。动态区域的运动会使得同一表面在不同光照条件下被观察到，从而为解耦材质和光照提供了更强的线索。通过分析动态区域的光照变化，可以更准确地估计材质属性，并实现更精确的光照重构。
技术框架：LumiMotion采用动态2D高斯溅射表示，整体框架包含以下几个主要步骤：1) 使用高斯溅射表示场景；2) 引入新颖的约束，鼓励动态区域变形，同时保持静态区域稳定；3) 利用动态区域的光照变化信息，优化反照率估计和光照重构。该框架的关键在于动态区域的识别和约束，以及如何利用这些信息来改进逆渲染过程。
关键创新：LumiMotion最重要的技术创新点在于它首次将动态信息引入到基于高斯溅射的逆渲染方法中。与现有方法主要依赖静态场景信息不同，LumiMotion利用动态区域的光照变化作为额外的监督信号，从而更有效地解耦材质和光照。这种方法使得在复杂光照和动态场景下进行精确的逆渲染成为可能。
关键设计：LumiMotion的关键设计包括：1) 一种动态2D高斯溅射表示，能够捕捉场景中的动态变化；2) 一组新颖的约束，用于鼓励动态区域变形，同时保持静态区域稳定。这些约束可能包括正则化项，用于限制静态区域的形变，以及鼓励动态区域形变的项，例如基于光流的约束。此外，损失函数的设计也至关重要，需要平衡反照率估计的准确性和光照重构的真实性。
🖼️ 关键图片
📊 实验亮点
LumiMotion在合成数据集上进行了实验，结果表明，相对于次优基线，LumiMotion在反照率估计方面将LPIPS提高了23%，在场景光照重构方面提高了15%。这些结果表明，LumiMotion能够有效地利用动态信息来改进逆渲染的性能，并在复杂光照和动态场景下实现更精确的反照率估计和光照重构。
🎯 应用场景
LumiMotion在3D重建、虚拟现实、增强现实等领域具有广泛的应用前景。它可以用于创建更逼真的虚拟场景，提高虚拟角色的真实感，以及实现更精确的光照效果。此外，LumiMotion还可以应用于机器人视觉领域，帮助机器人更好地理解和感知周围环境，从而实现更智能的导航和交互。
📄 摘要（原文）
In 3D reconstruction, the problem of inverse rendering, namely recovering the illumination of the scene and the material properties, is fundamental. Existing Gaussian Splatting-based methods primarily target static scenes and often assume simplified or moderate lighting to avoid entangling shadows with surface appearance. This limits their ability to accurately separate lighting effects from material properties, particularly in real-world conditions. We address this limitation by leveraging dynamic elements - regions of the scene that undergo motion - as a supervisory signal for inverse rendering. Motion reveals the same surfaces under varying lighting conditions, providing stronger cues for disentangling material and illumination. This thesis is supported by our experimental results which show we improve LPIPS by 23% for albedo estimation and by 15% for scene relighting relative to next-best baseline. To this end, we introduce LumiMotion, the first Gaussian-based approach that leverages dynamics for inverse rendering and operates in arbitrary dynamic scenes. Our method learns a dynamic 2D Gaussian Splatting representation that employs a set of novel constraints which encourage the dynamic regions of the scene to deform, while keeping static regions stable. As we demonstrate, this separation is crucial for correct optimization of the albedo. Finally, we release a new synthetic benchmark comprising five scenes under four lighting conditions, each in both static and dynamic variants, for the first time enabling systematic evaluation of inverse rendering methods in dynamic environments and challenging lighting. Link to project page: https://joaxkal.github.io/LumiMotion/