FluidRain: Incompressible Rain Flow as an Attention Bias for Loop-in-Loop Video Deraining

📄 arXiv: 2609.29006v1 📥 PDF

作者: Pu Wang, Yongcong Wang, Wenhao Li, Xiang Chen, Guangwei Gao, Jinshan Pan, Siyuan Yao, Shujun Fu, Zhuoran Zheng

分类: cs.CV

发布日期: 2026-09-24

备注: 11 pages, 6 figures, 3 tables

💡 一句话要点

提出FluidRain以解决视频去雨中的运动估计不可靠问题

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)

关键词: 视频去雨 无散度流 注意力机制 时空聚合 计算机视觉

📋 核心要点

  1. 现有的视频去雨方法在密集雨条件下，显式对齐依赖于准确的运动估计，往往不可靠。
  2. FluidRain通过无散度雨流模型来引导注意力机制，避免了显式对齐的需求，同时保持了雨流结构的时间一致性。
  3. 实验结果显示，FluidRain在多个基准测试中表现优异，且参数量远低于其他大型恢复模型，具有较高的效率。

📝 摘要（中文）

现有的视频去雨方法通常依赖于显式对齐或隐式时空聚合。然而，显式对齐在密集雨中可能不可靠，而隐式聚合缺乏对雨的方向性和时间一致性的明确指导。为了解决这些问题，本文提出了FluidRain，一个轻量级的视频去雨模型，利用无散度的雨流来引导跨尺度和邻近帧的Loop-in-Loop注意力。FluidRain首先为每帧估计雨流场，并将其投影到无散度子空间，进而沿雨条引导窗口注意力，使得邻近帧可以在没有显式对齐的情况下聚合。实验表明，FluidRain在多个基准测试中表现出色，且参数量仅为0.80M，具有较高的竞争力。

🔬 方法详解

问题定义：本文旨在解决现有视频去雨方法在密集雨情况下运动估计不可靠的问题。现有方法在显式对齐和隐式聚合之间存在显著的性能差距。

核心思路：FluidRain通过将雨运动建模为无散度的图像空间流，利用这一流来组织多尺度和时间聚合，从而实现高效的去雨效果。

技术框架：FluidRain的整体架构包括雨流场估计、流的投影到无散度子空间，以及基于雨条的窗口注意力引导。模型通过Loop-in-Loop机制重用相同的注意力操作，增强了时间一致性。

关键创新：FluidRain的主要创新在于使用无散度雨流来引导注意力机制，这一设计使得邻近帧可以在没有显式对齐的情况下有效聚合，显著提高了去雨效果。

关键设计：模型参数设置为0.80M，采用了基于物理的无参考指标来评估真实雨水去除效果，避免了对干净目标的需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在四个基准测试中，FluidRain的去雨效果与更大参数模型相当，且参数量仅为0.80M，显示出其在效率和效果上的优越性。此外，通过RainSyn-Gust的引入，验证了模型在不同雨流变化下的可靠性。

🎯 应用场景

FluidRain的研究成果具有广泛的应用潜力，特别是在视频监控、交通监测和影视制作等领域。其高效的去雨能力能够显著提升视频质量，改善后续的计算机视觉任务，如目标检测和跟踪。未来，该技术还可以扩展到其他天气条件下的视频处理。

📄 摘要（原文）

Existing video deraining methods typically exploit neighboring frames through either explicit alignment or implicit spatiotemporal aggregation. Explicit alignment relies on accurate motion estimation, which can become unreliable under dense rain, while implicit aggregation avoids alignment but lacks explicit guidance on the directional and temporally coherent structure of rain. This leaves a gap between reliable temporal aggregation and explicit modeling of rain motion. To address these limitations, we propose FluidRain, a lightweight video derainer that uses divergence-free rain flow to guide Loop-in-Loop attention across scales and neighboring frames. Motivated by fluid mechanics, we model rain motion as a divergence-free image-space flow and use it to organize multi-scale and temporal aggregation. Specifically, FluidRain first estimates a rain-flow field for each frame and projects it onto the divergence-free subspace. The resulting flow steers window attention along rain streaks, enabling neighboring frames to be aggregated without explicit alignment. Since rain-flow structure is preserved across scales and nearby frames, Loop-in-Loop reuses the same attention operator across both dimensions, resulting in a three-frame model with only 0.80M parameters. Experiments on four benchmarks show that FluidRain remains competitive with substantially larger restoration models. We further examine how temporal evidence scales with different input views. To evaluate whether the model remains reliable when rain motion changes across frames, we introduce RainSyn-Gust, which injects controlled changes in rain-streak direction into existing benchmarks. We also develop a physics-based no-reference metric that evaluates real-rain removal without requiring clean targets.