GS-Blur: A 3D Scene-Based Dataset for Realistic Image Deblurring

📄 arXiv: 2410.23658v1 📥 PDF

作者: Dongwoo Lee, Joonkyu Park, Kyoung Mu Lee

分类: cs.CV

发布日期: 2024-10-31

备注: Accepted at NeurIPS 2024 Datasets & Benchmarks Track

💡 一句话要点

提出GS-Blur：基于3D高斯溅射的真实图像去模糊数据集

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 图像去模糊 3D高斯溅射 合成数据集 运动模糊 相机轨迹

📋 核心要点

  1. 现有去模糊数据集在模糊类型多样性或数据规模上存在局限，难以反映真实世界的模糊场景。
  2. 利用3D高斯溅射技术，从多视角图像重建3D场景，并通过随机相机轨迹渲染模糊图像，生成多样且真实的模糊。
  3. GS-Blur数据集在去模糊任务上表现出良好的泛化能力，相较于现有数据集，显著提升了去模糊性能。

📝 摘要（中文）

为了训练去模糊网络，配对的模糊和清晰图像数据集至关重要。现有数据集通过聚合连续清晰帧或使用复杂的相机系统捕获真实模糊来合成模糊图像。然而，这些方法在模糊类型（模糊轨迹）方面提供的多样性有限，或者需要大量的人力来重建大规模数据集，无法完全反映真实世界的模糊场景。为了解决这个问题，我们提出GS-Blur，这是一个使用新方法合成的真实模糊图像数据集。为此，我们首先使用3D高斯溅射（3DGS）从多视图图像重建3D场景，然后通过沿随机生成的运动轨迹移动相机视图来渲染模糊图像。通过在重建GS-Blur时采用各种相机轨迹，我们的数据集包含真实且多样化的模糊类型，提供了一个可很好地推广到真实世界模糊的大规模数据集。通过将GS-Blur与各种去模糊方法结合使用，我们证明了它与以前的合成或真实模糊数据集相比，能够有效地推广，从而在去模糊性能方面显示出显着改进。

🔬 方法详解

问题定义：现有的图像去模糊数据集，无论是合成的还是真实的，都存在局限性。合成数据集通常使用简单的运动模型，无法捕捉真实世界中复杂的模糊轨迹。真实数据集的构建则需要昂贵的设备和大量的人工标注，难以扩展到大规模。因此，如何构建一个既具有真实感，又具有多样性，同时易于生成的大规模模糊图像数据集，是本文要解决的核心问题。

核心思路：本文的核心思路是利用3D高斯溅射（3DGS）技术，从多视角图像重建3D场景，然后通过模拟相机在3D空间中的运动轨迹来渲染模糊图像。3DGS能够高效地表示和渲染复杂的3D场景，而随机生成的相机运动轨迹则可以产生各种各样的模糊类型。这种方法既避免了对真实数据的依赖，又保证了模糊的真实性和多样性。

技术框架：GS-Blur数据集的生成流程主要包括以下几个步骤：1) 使用多视角图像重建3D场景，采用3D高斯溅射技术进行场景表示；2) 随机生成相机运动轨迹，这些轨迹可以是直线、曲线、螺旋线等，模拟了相机在真实世界中的各种运动方式；3) 根据相机运动轨迹，渲染模糊图像，通过积分相机在不同时刻的图像来模拟运动模糊的效果；4) 将渲染的模糊图像与对应的清晰图像配对，构成最终的GS-Blur数据集。

关键创新：本文最重要的技术创新点在于将3D高斯溅射技术应用于模糊图像数据集的生成。与传统的基于2D图像合成模糊的方法相比，基于3D场景的方法能够更好地模拟真实世界中的光照、遮挡和运动模糊效果。此外，通过随机生成相机运动轨迹，可以有效地增加模糊类型的多样性，从而提高去模糊模型的泛化能力。

关键设计：在3DGS重建过程中，使用了COLMAP进行稀疏重建，然后使用3DGS进行优化。相机运动轨迹的生成采用了多种策略，包括随机采样关键点，然后使用样条曲线进行插值。模糊图像的渲染采用了基于积分的方法，即对相机在不同时刻的图像进行加权平均，权重取决于相机的速度和曝光时间。数据集的规模也经过精心设计，以保证去模糊模型能够充分学习到各种模糊类型。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，使用GS-Blur数据集训练的去模糊模型在真实模糊图像上表现出显著的性能提升。与使用传统合成数据集训练的模型相比，GS-Blur训练的模型在PSNR和SSIM等指标上均有明显改善。此外，实验还验证了GS-Blur数据集在不同去模糊算法上的有效性，表明该数据集具有良好的通用性。

🎯 应用场景

GS-Blur数据集可广泛应用于图像去模糊算法的训练和评估。该数据集的真实性和多样性使其能够有效地提高去模糊模型在真实场景中的泛化能力。此外，该数据集还可以用于研究不同模糊类型的去模糊算法，以及评估去模糊算法的鲁棒性。未来，该数据集可以扩展到其他图像恢复任务，如图像超分辨率和图像去噪。

📄 摘要（原文）

To train a deblurring network, an appropriate dataset with paired blurry and sharp images is essential. Existing datasets collect blurry images either synthetically by aggregating consecutive sharp frames or using sophisticated camera systems to capture real blur. However, these methods offer limited diversity in blur types (blur trajectories) or require extensive human effort to reconstruct large-scale datasets, failing to fully reflect real-world blur scenarios. To address this, we propose GS-Blur, a dataset of synthesized realistic blurry images created using a novel approach. To this end, we first reconstruct 3D scenes from multi-view images using 3D Gaussian Splatting (3DGS), then render blurry images by moving the camera view along the randomly generated motion trajectories. By adopting various camera trajectories in reconstructing our GS-Blur, our dataset contains realistic and diverse types of blur, offering a large-scale dataset that generalizes well to real-world blur. Using GS-Blur with various deblurring methods, we demonstrate its ability to generalize effectively compared to previous synthetic or real blur datasets, showing significant improvements in deblurring performance.