S3VD: Semantic-Guidance Spatio-Temporal Scanning for Video Deraining

📄 arXiv: 2609.21322v1 📥 PDF

作者: Kui Jiang, Yiang Chen, Yan Luo, Zhaocheng Yu, Junjun Jiang, Xianming Liu

分类: cs.CV

发布日期: 2026-09-18

💡 一句话要点

提出S3VD框架以解决视频降雨问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频降雨 状态空间模型 时空相关性 多尺度融合 深度学习 计算机视觉 特征表示 语义指导

📋 核心要点

  1. 现有方法在处理雨天视频时，难以保持2D空间语义的完整性和3D时空相关性的建模能力。
  2. 本文提出的S3VD框架通过多尺度语义融合和时空扫描机制，增强了特征表示的准确性和鲁棒性。
  3. 实验结果显示，S3VD在视频降雨任务中实现了最先进的性能，PSNR平均提高了0.84 dB。

📝 摘要（中文）

重雨严重影响户外视频的质量，导致高频细节丢失和运动模糊，影响视觉任务的可靠性。尽管状态空间模型（SSMs）如Mamba在视觉任务中表现出色，但在处理雨天视频时仍面临2D空间语义完整性和3D时空相关性建模的挑战。为此，本文提出了S3VD框架，包含多尺度语义融合模块（MSSF）和时空扫描融合模块（STSF），通过引入DINOv2的时间语义先验和解耦门控Mamba（DG-Mamba）层，显著提升了视频降雨的效果。实验结果表明，S3VD在视频降雨基准测试中表现优越，相较于Mamba基线平均提高了0.84 dB的PSNR。

🔬 方法详解

问题定义：本文旨在解决重雨对视频质量的影响，现有方法在处理雨天视频时难以保持高频细节和时空相关性，导致视觉任务的可靠性下降。

核心思路：S3VD框架通过引入多尺度语义融合模块和时空扫描融合模块，利用DINOv2的时间语义先验和解耦门控机制，提升特征表示的准确性和鲁棒性，从而有效应对雨天视频的降雨问题。

技术框架：S3VD框架主要包括两个模块：多尺度语义融合（MSSF）模块和时空扫描融合（STSF）模块。MSSF模块负责整合时间语义先验以增强特征表示，而STSF模块则通过解耦门控Mamba层优化时空相关性建模。

关键创新：最重要的创新在于引入了解耦门控Mamba（DG-Mamba）层，该层通过两个独立的门控机制，适应性地控制输入片段的前后上下文信息，从而优化了帧内和帧间的相关性建模。

关键设计：在MSSF模块中，采用DINOv2的时间语义先验来指导特征表示，解决了Mamba的1D扁平化操作带来的局部语义上下文丢失问题；在STSF模块中，设计了DG-Mamba层，通过独立的门控机制来增强时空信息的整合能力。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

S3VD在视频降雨基准测试中表现优越，相较于Mamba基线，平均PSNR提高了0.84 dB，显示出其在处理雨天视频时的显著优势，验证了其有效性和创新性。

🎯 应用场景

该研究的潜在应用领域包括视频监控、自动驾驶、无人机航拍等需要高质量视频的场景。通过提升雨天视频的清晰度和可用性，S3VD框架能够为相关领域的视觉任务提供更可靠的支持，具有重要的实际价值和未来影响。

📄 摘要（原文）

Heavy rainfall severely degrades outdoor videos by corrupting high-frequency details and introducing motion blur, critically undermining the reliability of visual tasks. Recently, State Space Models (SSMs), particularly Mamba, have emerged as efficient alternatives for vision tasks with their linear complexity and ability to model long-range dependencies. However, when confronted with the poor visual representations in rainy videos, Mamba still faces difficulties in preserving the integrity of 2D spatial semantics and modeling 3D spatio-temporal correlations. To break these limitations, we introduce S3VD, a Semantic-Guidance Spatio-Temporal Scanning framework for video deraining, featuring two key innovations: Multi-Scale Semantic Fusion (MSSF) Module and Spatio-Temporal Scanning Fusion (STSF) Module. The former integrates temporal semantic priors from DINOv2 to guide precise feature representation and counteract the loss of local semantic context inherent to Mamba's 1D flatten operation, enhancing robustness against extreme degradation. The latter introduces a spatio-temporal scanning mechanism and devises a Decoupled-Gating Mamba (DG-Mamba) layer, which employs two independent gates to adaptively control preceding and subsequent contextual information within the input clip, optimizing intra-frame and inter-frame correlation modeling. Experiments on video deraining benchmarks demonstrate the superiority of S3VD, achieving state-of-the-art performance with an average 0.84 dB PSNR improvement over Mamba-based baselines.