JADE-GS: Joint Alternating Deblurring Guided by Events in 3D Gaussian Splatting
作者: Haoyu Fu, Jiafeng Huang, Yuchen Wang, Shengjie Zhao
分类: cs.CV
发布日期: 2026-07-16
💡 一句话要点
提出JADE-GS以解决快速移动相机导致的模糊问题
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 图像去模糊 事件相机 三维重建 深度学习 计算机视觉 实时渲染
📋 核心要点
- 现有方法在快速移动相机的情况下无法有效恢复清晰图像，导致模糊和细节丢失。
- JADE-GS通过融合物理基础和学习网络的互补先验，采用双向循环结构来提升恢复效果。
- 在合成和真实数据集上，JADE-GS在感知质量上表现优异，领先于多个基准测试，且训练效率高。
📝 摘要（中文）
当相机在曝光期间快速移动时，模糊会破坏恢复清晰场景所需的内部运动信号，而事件相机能够以微秒级的分辨率捕捉到这一信号。将其转化为可靠的三维监督面临两个障碍：首先，物理基础的事件集成先验保留边缘但会累积漂移，而学习网络恢复纹理但会扭曲边界。其次，现有管道仅单向运行，导致原始事件噪声或固定的二维伪标签偏差未能得到校正。JADE-GS通过像素自适应路由门融合互补先验，并将生成的二维恢复器与三维高斯点云学生在双向循环中耦合，利用分离的多视图一致性渲染和基于物理的重模糊约束来规范恢复器，将固定预处理器转变为几何感知预测器。在合成和真实基准测试中，JADE-GS达到了最佳的感知质量，在两个基准上领先于LPIPS和CLIP-IQA，同时在单个消费级GPU上以约5GB的内存训练约一小时，保持实时渲染。
🔬 方法详解
问题定义：本论文旨在解决快速移动相机在曝光期间导致的模糊问题，现有方法在恢复清晰图像时面临物理基础与学习网络的先验不足，导致细节丢失和边界扭曲。
核心思路：JADE-GS的核心思路是通过像素自适应路由门融合互补的恢复先验，并在双向循环中耦合二维恢复器与三维高斯点云学生，以提高恢复的准确性和一致性。
技术框架：该方法的整体架构包括一个像素自适应路由门、一个二维恢复器和一个三维高斯点云学生，形成一个双向循环的反馈机制，利用多视图一致性渲染和物理重模糊约束来优化恢复过程。
关键创新：JADE-GS的创新在于其双向循环结构和像素自适应路由门的设计，使得二维恢复器能够有效地利用三维几何信息，从而克服了现有方法的单向限制。
关键设计：在关键设计方面，JADE-GS采用了特定的损失函数来平衡边缘保留与纹理恢复，并对网络结构进行了优化，以适应实时渲染的需求，同时确保在有限的内存下进行高效训练。
🖼️ 关键图片
📊 实验亮点
JADE-GS在合成和真实数据集上表现出色，领先于LPIPS和CLIP-IQA等多个基准测试，且在PSNR和SSIM等指标上具有竞争力。该方法在单个消费级GPU上训练约一小时，内存占用约5GB，显示出良好的训练效率和实时渲染能力。
🎯 应用场景
该研究的潜在应用领域包括计算机视觉、机器人导航、增强现实和虚拟现实等。通过提高快速运动场景下的图像恢复质量，JADE-GS可以为实时图像处理和三维重建提供更为可靠的技术支持，具有重要的实际价值和未来影响。
📄 摘要（原文）
When a camera moves fast during exposure, blur destroys the intra-exposure motion a 3D model needs to recover the sharp scene, while event cameras capture exactly this signal at microsecond resolution. Turning them into reliable 3D supervision faces two obstacles. First, the two restoration priors fail in opposite ways: physics-based event-integration priors preserve edges but accumulate drift; learned networks recover texture but distort boundaries. Second, existing pipelines run in one direction only, so raw event noise or the biases of fixed 2D pseudo-labels pass uncorrected into the geometry. JADE-GS addresses both: a pixel-adaptive routing gate fuses the complementary priors, and the resulting 2D restorer is coupled to a 3D Gaussian Splatting student in a bidirectional loop, where detached, multi-view-consistent renders and a physics-based reblurring constraint regularize the restorer, turning a fixed preprocessor into a geometry-aware predictor. Across synthetic and real benchmarks, JADE-GS attains the best perceptual quality, leading LPIPS and CLIP-IQA on both benchmarks with competitive PSNR and SSIM, and trainsin about one hour under 5 GB on a single consumer GPU while preserving real-time rendering.