RainDancer: RGB-Event Video Deraining with Rain-Oriented Spiking Dynamics
作者: Kui Jiang, Runzhe Li, Zhaocheng Yu, Guanglu Sun, Junjun Jiang, Xianming Liu
分类: cs.CV
发布日期: 2026-07-15
🔗 代码/项目: GITHUB
💡 一句话要点
提出RainDancer以解决动态雨天视频去雨问题
🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)
关键词: 视频去雨 多模态融合 事件相机 脉冲神经网络 计算机视觉 深度学习
📋 核心要点
- 现有的RGB视频去雨方法在动态雨天场景中存在模糊性，难以有效分离雨水与背景。
- RainDancer通过在交互前分解雨和背景成分，利用RGB和事件相机的互补特性进行视频去雨。
- 实验结果表明，RainDancer在合成和真实数据集上均表现出优越的定量性能和视觉质量，增强了下游感知的鲁棒性。
📝 摘要（中文）
视频去雨旨在从雨天视频中恢复清晰的视觉内容，以便在恶劣天气下进行可靠的感知。现有方法主要依赖RGB序列和时间冗余，但在动态雨天场景中，RGB单一恢复仍然模糊，因为雨条纹、纹理、边界、运动和遮挡可能共享相似的视觉模式。事件相机提供了高时间分辨率的运动敏感线索，但事件流也包含传感器噪声和背景触发响应，因此直接的RGB-事件融合可能引入跨模态干扰。为了解决这个问题，我们提出了RainDancer，一个基于分解前交互范式的渐进式RGB-事件视频去雨框架。核心思想是在跨模态交互之前分离每种模态中的雨和背景成分。
🔬 方法详解
问题定义：论文旨在解决动态雨天视频去雨问题，现有方法在处理雨条纹与背景时存在模糊性，导致恢复效果不佳。
核心思路：RainDancer的核心思路是先在每种模态中分离雨和背景成分，然后再进行跨模态交互，以减少干扰并提高去雨效果。
技术框架：该框架包括两个主要分支：RGB分支和事件分支。在RGB分支中，帧特征逐步分解为雨和背景表示；在事件分支中，使用雨导向脉冲神经网络模块捕捉与雨运动相关的稀疏和突发事件动态。
关键创新：最重要的创新在于分解前交互的范式，通过先分离成分再融合，避免了直接RGB-事件融合带来的干扰，提升了去雨效果。
关键设计：在设计中引入了事件域监督，以正则化稀疏事件重建、结构一致性和梯度方向，确保了结构的保留和雨水的抑制。
🖼️ 关键图片
📊 实验亮点
实验结果显示，RainDancer在合成和真实RGB-事件视频去雨数据集上均取得了显著的性能提升，定量指标超越了现有基线方法，视觉质量也得到了明显改善，增强了下游任务的鲁棒性。
🎯 应用场景
该研究在自动驾驶、监控视频分析和增强现实等领域具有广泛的应用潜力。通过提高雨天条件下的视觉感知能力，RainDancer能够显著提升相关系统的可靠性和安全性，具有重要的实际价值和未来影响。
📄 摘要（原文）
Video deraining aims to recover clean visual content from rainy videos for reliable perception under adverse weather. Existing methods mainly rely on RGB sequences and temporal redundancy, but RGB-only restoration remains ambiguous in dynamic rainy scenes, where rain streaks, textures, boundaries, motion, and occlusions may share similar visual patterns. Event cameras provide complementary motion-sensitive cues with high temporal resolution, but event streams also contain sensor noise and background-triggered responses, so direct RGB-Event fusion may introduce cross-modal interference. To address this issue, we propose RainDancer, a progressive RGB-Event video deraining framework based on a decompose-before-interact paradigm. The core idea is to separate rain and background components within each modality before cross-modal interaction. In the RGB branch, frame features are progressively decomposed into rain and background representations. In the event branch, a rain-oriented spiking neural network module captures sparse and bursty event dynamics associated with rain motion. Component-level fusion is then performed between semantically aligned representations for structure preservation and rain suppression. We further introduce event-domain supervision to regularize sparse event reconstruction, structural consistency, and gradient orientation. Experiments on synthetic and real RGB-Event video deraining datasets demonstrate superior quantitative performance, visual quality, and downstream perception robustness. Code is available at https://github.com/AE86-plus/RainDancer.