Flash-Splat: 3D Reflection Removal with Flash Cues and Gaussian Splats

📄 arXiv: 2410.02764v1 📥 PDF

作者: Mingyang Xie, Haoming Cai, Sachin Shah, Yiran Xu, Brandon Y. Feng, Jia-Bin Huang, Christopher A. Metzler

分类: cs.CV, cs.LG, eess.IV

发布日期: 2024-10-03

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

Flash-Splat：利用闪光线索和高斯溅射进行3D反射去除

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D重建 反射分离 高斯溅射 逆渲染 闪光/非闪光图像

📋 核心要点

  1. 现有3D反射分离方法通常依赖复杂的硬件设置或配对的闪光/非闪光图像，限制了其应用范围和易用性。
  2. Flash-Splat利用3D高斯溅射的新视角合成能力，通过非配对的闪光/非闪光图像进行反射分离，简化了数据采集过程。
  3. 实验结果表明，Flash-Splat在3D反射和透射场景重建方面显著优于现有方法，尤其是在没有照明控制的情况下。

📝 摘要（中文）

我们提出了一种简单而有效的透射光和反射光分离方法。我们的核心思想是，现代逆渲染方法（例如，3D高斯溅射）提供的强大的新视角合成能力，允许使用非配对测量来执行闪光/非闪光反射分离——这种放松极大地简化了图像采集，优于传统的配对闪光/非闪光反射分离方法。通过广泛的真实世界实验，我们证明了我们的方法Flash-Splat能够准确地在3D中重建透射和反射场景。我们的方法大大优于现有的不利用照明控制的3D反射分离方法。我们的项目网页位于https://flash-splat.github.io/。

🔬 方法详解

问题定义：论文旨在解决从包含反射的图像中分离透射光和反射光的问题，并重建3D场景。现有方法，特别是3D反射分离方法，通常需要配对的闪光/非闪光图像或者复杂的硬件设置，这限制了它们在实际场景中的应用，增加了数据采集的难度和成本。因此，如何利用更简单的数据采集方式实现高质量的3D反射分离是本研究要解决的核心问题。

核心思路：Flash-Splat的核心思路是利用3D高斯溅射（3D Gaussian Splatting）强大的新视角合成能力，从非配对的闪光/非闪光图像中学习并分离透射和反射成分。通过优化3D高斯溅射的参数，使得渲染出的图像能够分别对应透射和反射场景，从而实现反射分离。这种方法避免了对配对图像的依赖，简化了数据采集过程。

技术框架：Flash-Splat的整体框架包括以下几个主要步骤：1) 使用闪光和非闪光图像作为输入；2) 初始化3D高斯溅射模型；3) 通过优化高斯溅射的参数，包括位置、颜色、不透明度等，来拟合闪光和非闪光图像；4) 使用损失函数来约束透射和反射成分的分离，例如，鼓励反射成分在高光区域更强，透射成分在阴影区域更强；5) 通过渲染优化后的高斯溅射模型，得到分离后的透射和反射场景的3D重建结果。

关键创新：Flash-Splat最重要的技术创新点在于利用3D高斯溅射的新视角合成能力，实现了基于非配对闪光/非闪光图像的3D反射分离。与现有方法相比，Flash-Splat不需要精确的配对图像，大大简化了数据采集过程，降低了对硬件的要求。此外，Flash-Splat通过优化高斯溅射的参数，能够同时重建透射和反射场景的3D结构。

关键设计：Flash-Splat的关键设计包括：1) 使用3D高斯溅射作为场景表示，能够高效地进行渲染和优化；2) 设计合适的损失函数，例如光度损失、深度损失等，来约束高斯溅射的参数，使得渲染出的图像能够准确地拟合输入图像；3) 引入闪光线索，例如通过分析图像的亮度变化，来区分透射和反射成分；4) 使用非配对的闪光/非闪光图像作为输入，简化数据采集过程。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Flash-Splat在真实世界的复杂场景中能够准确地分离透射和反射成分，并重建高质量的3D场景。与现有的不利用照明控制的3D反射分离方法相比，Flash-Splat在重建质量和视觉效果上都有显著的提升。项目网页提供了详细的实验结果和可视化展示，证明了Flash-Splat的有效性和优越性。

🎯 应用场景

Flash-Splat在计算机视觉、机器人技术和增强现实等领域具有广泛的应用前景。例如，可以用于改进机器人导航，使其能够更好地理解和避开反射表面；在增强现实应用中，可以用于去除现实场景中的反射，提高虚拟对象的融合效果；在图像编辑和修复中，可以用于去除图像中的反射，恢复原始场景。

📄 摘要（原文）

We introduce a simple yet effective approach for separating transmitted and reflected light. Our key insight is that the powerful novel view synthesis capabilities provided by modern inverse rendering methods (e.g.,~3D Gaussian splatting) allow one to perform flash/no-flash reflection separation using unpaired measurements -- this relaxation dramatically simplifies image acquisition over conventional paired flash/no-flash reflection separation methods. Through extensive real-world experiments, we demonstrate our method, Flash-Splat, accurately reconstructs both transmitted and reflected scenes in 3D. Our method outperforms existing 3D reflection separation methods, which do not leverage illumination control, by a large margin. Our project webpage is at https://flash-splat.github.io/.