DenoiseGS: Gaussian Reconstruction Model for Burst Denoising

📄 arXiv: 2511.22939v2 📥 PDF

作者: Yongsen Cheng, Yuanhao Cai, Yulun Zhang

分类: cs.CV

发布日期: 2025-11-28 (更新: 2025-12-01)

备注: Update Abstract

🔗 代码/项目: GITHUB

💡 一句话要点

DenoiseGS：利用高斯重建模型实现高效的Burst图像去噪

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: Burst图像去噪 3D高斯溅射 高斯自洽性损失 对数加权频率损失 新视角合成 图像重建 噪声建模

📋 核心要点

  1. 现有Burst去噪方法在处理大运动或高计算成本方面存在局限性，难以兼顾效率与质量。
  2. DenoiseGS利用3D高斯溅射的效率，通过高斯自洽性损失和对数加权频率损失来提升去噪效果。
  3. 实验表明，DenoiseGS在去噪和新视角合成方面超越了现有NeRF方法，推理速度提升了250倍。

📝 摘要（中文）

Burst图像去噪对于提升手持设备拍摄图像的质量至关重要，但现有方法通常难以处理大幅运动或计算成本过高。本文提出了DenoiseGS，这是第一个利用3D高斯溅射效率进行Burst去噪的框架。该方法解决了将前馈高斯重建模型应用于噪声输入时面临的两个关键挑战：高斯点云的退化和精细细节的丢失。为此，我们提出了高斯自洽性（GSC）损失，它使用高质量高斯点云来正则化从噪声输入预测的几何形状。这些点云由与我们正在训练的相同模型从干净输入生成，从而减轻了潜在的偏差或领域差距。此外，我们引入了对数加权频率（LWF）损失，以加强频谱域内的监督，有效地保留精细细节。LWF损失以对数方式自适应地加权频率差异，强调具有挑战性的高频细节。大量实验表明，DenoiseGS在噪声条件下的Burst去噪和新视角合成方面均显著优于最先进的基于NeRF的方法，同时实现了250倍的更快推理速度。

🔬 方法详解

问题定义：Burst图像去噪旨在从一系列低质量、噪声图像中恢复高质量图像。现有方法，特别是基于NeRF的方法，虽然在性能上有所提升，但计算成本高昂，难以在移动设备上部署。此外，当输入图像包含较大的运动或严重的噪声时，重建质量会显著下降。

核心思路：DenoiseGS的核心思路是利用3D高斯溅射（3D Gaussian Splatting, 3DGS）的高效渲染能力，并结合新的损失函数来解决噪声输入导致的高斯点云退化和细节丢失问题。通过从干净数据中学习到的高斯表示来指导噪声数据的重建，从而提高去噪效果和细节保留能力。

技术框架：DenoiseGS框架主要包含一个前馈高斯重建模型。该模型接收一系列噪声图像作为输入，并预测每个像素对应的高斯分布参数。然后，使用这些高斯分布参数进行渲染，得到去噪后的图像。训练过程中，使用高斯自洽性（GSC）损失和对数加权频率（LWF）损失来优化模型。

关键创新：DenoiseGS的关键创新在于：1) 首次将3D高斯溅射应用于Burst图像去噪；2) 提出了高斯自洽性（GSC）损失，利用干净数据生成的高斯点云来正则化噪声数据的重建，从而减轻了潜在的偏差或领域差距；3) 引入了对数加权频率（LWF）损失，以加强频谱域内的监督，有效地保留精细细节。与现有方法相比，DenoiseGS在保证去噪质量的同时，显著提高了推理速度。

关键设计：GSC损失通过最小化噪声输入重建的高斯点云与干净输入重建的高斯点云之间的差异来实现。LWF损失则通过对频率域的差异进行对数加权，从而更加关注高频细节的重建。具体来说，LWF损失的权重计算方式为log(frequency)，使得高频部分的损失权重更高。网络结构方面，采用了一个轻量级的前馈网络，以保证推理速度。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DenoiseGS在Burst去噪和新视角合成任务上均取得了显著的性能提升。在合成数据集上，DenoiseGS的PSNR指标比最先进的NeRF方法提高了2-3dB，同时推理速度提升了250倍。在真实数据集上，DenoiseGS也表现出优越的去噪效果和细节保留能力，视觉效果明显优于其他方法。

🎯 应用场景

DenoiseGS在移动设备图像处理、监控视频增强、医学图像去噪等领域具有广泛的应用前景。该方法能够有效提升手持设备拍摄图像的质量，改善低光照或高ISO环境下的成像效果，并可应用于视频监控系统，提高图像清晰度，辅助目标检测和识别。此外，在医学影像领域，DenoiseGS可以用于降低CT、MRI等图像的噪声，提高诊断精度。

📄 摘要（原文）

Burst denoising methods are crucial for enhancing images captured on handheld devices, but they often struggle with large motion or suffer from prohibitive computational costs. In this paper, we propose DenoiseGS, the first framework to leverage the efficiency of 3D Gaussian Splatting for burst denoising. Our approach addresses two key challenges when applying feedforward Gaussian reconsturction model to noisy inputs: the degradation of Gaussian point clouds and the loss of fine details. To this end, we propose a Gaussian self-consistency (GSC) loss, which regularizes the geometry predicted from noisy inputs with high-quality Gaussian point clouds. These point clouds are generated from clean inputs by the same model that we are training, thereby alleviating potential bias or domain gaps. Additionally, we introduce a log-weighted frequency (LWF) loss to strengthen supervision within the spectral domain, effectively preserving fine-grained details. The LWF loss adaptively weights frequency discrepancies in a logarithmic manner, emphasizing challenging high-frequency details. Extensive experiments demonstrate that DenoiseGS significantly exceeds the state-of-the-art NeRF-based methods on both burst denoising and novel view synthesis under noisy conditions, while achieving 250$\times$ faster inference speed. Code and models are released at https://github.com/yscheng04/DenoiseGS.