DOF-GS:Adjustable Depth-of-Field 3D Gaussian Splatting for Post-Capture Refocusing, Defocus Rendering and Blur Removal

📄 arXiv: 2405.17351v3 📥 PDF

作者: Yujie Wang, Praneeth Chakravarthula, Baoquan Chen

分类: cs.CV

发布日期: 2024-05-27 (更新: 2025-06-07)

备注: Project page: https://dof-gs.github.io/

💡 一句话要点

提出DOF-GS，通过可调景深3D高斯溅射实现拍摄后重聚焦、散焦渲染和去模糊

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 3D高斯溅射 景深 重聚焦 散焦渲染 有限孔径相机模型

📋 核心要点

  1. 现有的3D高斯溅射方法受限于针孔相机模型，缺乏对散焦效果的有效建模，无法模拟真实相机的景深效果。
  2. DOF-GS采用有限孔径相机模型和显式可微的散焦渲染，允许在拍摄后调整光圈和焦距，从而控制景深效果。
  3. 实验结果表明，DOF-GS能够从具有散焦模糊的多视角图像中重建清晰的3D场景，并实现高质量的重聚焦和散焦渲染。

📝 摘要（中文）

本文提出DOF-GS，一种基于3D高斯溅射(3DGS)的新框架，它采用有限孔径相机模型和显式的、可微的散焦渲染，使其能够作为拍摄后的控制工具。通过使用具有适度散焦模糊的多视角图像进行训练，DOF-GS学习固有的相机特性并重建底层场景的清晰细节，特别地，通过按需孔径和焦距控制，实现可变的景深效果的渲染，支持拍摄后优化。此外，我们的框架在优化过程中提取模糊圈线索，以识别输入视图中的焦点区域，从而增强重建的3D场景细节。实验结果表明，DOF-GS支持从具有未校准散焦模糊的多视角图像中进行拍摄后重聚焦、可调节散焦和高质量的全聚焦渲染。

🔬 方法详解

问题定义：现有的3D高斯溅射方法通常基于针孔相机模型，无法模拟真实相机中的景深效果，导致无法进行拍摄后的重聚焦和散焦渲染。此外，当输入图像存在散焦模糊时，重建的3D场景细节会受到影响。

核心思路：DOF-GS的核心思路是引入有限孔径相机模型，并显式地建模散焦渲染过程。通过学习相机参数和场景几何，DOF-GS能够根据用户指定的光圈和焦距，渲染出具有不同景深效果的图像。同时，利用模糊圈线索来识别焦点区域，从而提高重建的3D场景细节。

技术框架：DOF-GS的整体框架包括以下几个主要步骤：1) 使用多视角图像进行训练，这些图像可能包含散焦模糊。2) 在训练过程中，DOF-GS学习3D高斯分布的参数，以及相机的内在参数和外在参数。3) 通过有限孔径相机模型和可微的散焦渲染，DOF-GS能够根据用户指定的光圈和焦距，渲染出具有不同景深效果的图像。4) 利用模糊圈线索来识别焦点区域，并优化3D高斯分布的参数，从而提高重建的3D场景细节。

关键创新：DOF-GS的关键创新在于：1) 引入了有限孔径相机模型，从而能够模拟真实相机的景深效果。2) 提出了显式的、可微的散焦渲染方法，允许在拍摄后调整光圈和焦距，从而控制景深效果。3) 利用模糊圈线索来识别焦点区域，从而提高重建的3D场景细节。与现有方法相比，DOF-GS能够更好地处理具有散焦模糊的图像，并实现高质量的重聚焦和散焦渲染。

关键设计：DOF-GS的关键设计包括：1) 使用3D高斯分布来表示场景几何。2) 使用有限孔径相机模型来模拟真实相机的景深效果。3) 使用可微的散焦渲染方法来计算每个像素的颜色值。4) 使用模糊圈线索来识别焦点区域，并优化3D高斯分布的参数。损失函数包括重建损失、正则化损失等。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DOF-GS能够从具有未校准散焦模糊的多视角图像中重建清晰的3D场景，并实现高质量的重聚焦、可调节散焦和全聚焦渲染。与现有的3D高斯溅射方法相比，DOF-GS在处理具有散焦模糊的图像时表现出更好的性能，能够生成更逼真的景深效果。

🎯 应用场景

DOF-GS在虚拟现实、增强现实、电影制作等领域具有广泛的应用前景。它可以用于创建具有逼真景深效果的虚拟场景，实现拍摄后的重聚焦和散焦渲染，以及去除图像中的散焦模糊。此外，DOF-GS还可以用于3D场景重建和新视角合成。

📄 摘要（原文）

3D Gaussian Splatting (3DGS) techniques have recently enabled high-quality 3D scene reconstruction and real-time novel view synthesis. These approaches, however, are limited by the pinhole camera model and lack effective modeling of defocus effects. Departing from this, we introduce DOF-GS--a new 3DGS-based framework with a finite-aperture camera model and explicit, differentiable defocus rendering, enabling it to function as a post-capture control tool. By training with multi-view images with moderate defocus blur, DOF-GS learns inherent camera characteristics and reconstructs sharp details of the underlying scene, particularly, enabling rendering of varying DOF effects through on-demand aperture and focal distance control, post-capture and optimization. Additionally, our framework extracts circle-of-confusion cues during optimization to identify in-focus regions in input views, enhancing the reconstructed 3D scene details. Experimental results demonstrate that DOF-GS supports post-capture refocusing, adjustable defocus and high-quality all-in-focus rendering, from multi-view images with uncalibrated defocus blur.