DiffST: Spatiotemporal-Aware Diffusion for Real-World Space-Time Video Super-Resolution

📄 arXiv: 2605.13182v1 📥 PDF

作者: Zheng Chen, Ruofan Yang, Jin Han, Dehua Song, Zichen Zou, Chunming He, Yong Guo, Yulun Zhang

分类: cs.CV

发布日期: 2026-05-13

备注: Code is available at: https://github.com/zhengchen1999/DiffST

🔗 代码/项目: GITHUB

💡 一句话要点

DiffST：面向真实世界时空视频超分辨率的时空感知扩散模型

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 时空视频超分辨率 扩散模型 单步采样 跨帧上下文聚合 视频表示引导 视频修复 视频增强

📋 核心要点

  1. 现有基于扩散的STVSR方法推理效率低，且未能充分利用时空信息，限制了实际部署。
  2. DiffST通过单步采样和直接处理整个视频来提高效率，并引入CFCA和VRG模块增强时空信息利用。
  3. 实验表明，DiffST在真实世界STVSR任务上取得了领先结果，推理速度比现有方法快约17倍。

📝 摘要（中文）

基于扩散的模型在视频超分辨率（VSR）和视频帧插值（VFI）方面表现出强大的性能。然而，它们在耦合的时空视频超分辨率（STVSR）设置中的作用仍然有限。现有的基于扩散的STVSR方法存在两个问题：（1）推理效率低；（2）时空信息利用不足。这些限制阻碍了部署。为了解决这些问题，我们引入了DiffST，这是一个高效的时空感知视频扩散框架，用于真实世界的STVSR。为了提高效率，我们采用预训练的扩散模型进行单步采样，并直接处理整个视频，而不是对单个帧进行操作。此外，为了增强时空信息的利用，我们引入了跨帧上下文聚合（CFCA）和视频表示引导（VRG）。CFCA模块聚合多个关键帧的信息以生成中间帧。VRG模块提取视频级全局特征以指导扩散过程。大量实验表明，DiffST在真实世界的STVSR任务上获得了领先的结果。它还保持了很高的推理效率，运行速度比以前基于扩散的STVSR方法快约17倍。

🔬 方法详解

问题定义：论文旨在解决真实世界时空视频超分辨率（STVSR）问题。现有基于扩散的STVSR方法存在推理效率低和时空信息利用不足的痛点，难以实际部署。

核心思路：DiffST的核心思路是设计一个高效且能充分利用时空信息的扩散模型。通过单步采样加速推理，并利用跨帧上下文聚合和视频表示引导来增强时空信息的利用。

技术框架：DiffST框架包含以下主要模块：(1)预训练扩散模型：采用预训练的扩散模型作为基础。(2)单步采样：对预训练模型进行调整，实现单步采样，加速推理。(3)跨帧上下文聚合（CFCA）：聚合多个关键帧的信息，生成中间帧。(4)视频表示引导（VRG）：提取视频级别的全局特征，引导扩散过程。整体流程是，输入低分辨率视频，通过CFCA和VRG提取时空特征，然后利用单步采样的扩散模型生成高分辨率视频。

关键创新：DiffST的关键创新在于：(1)单步采样：显著提高了推理效率，克服了传统扩散模型推理速度慢的缺点。(2)跨帧上下文聚合（CFCA）：有效利用了视频帧之间的时序关系，提升了超分辨率效果。(3)视频表示引导（VRG）：引入了视频级别的全局信息，使模型能够更好地理解视频内容，从而生成更逼真的超分辨率结果。与现有方法的本质区别在于，DiffST在保证性能的同时，显著提高了推理效率，使其更适用于实际应用。

关键设计：CFCA模块的具体实现细节（例如，如何选择关键帧，如何进行特征融合）以及VRG模块的全局特征提取方法（例如，使用哪种网络结构，如何进行训练）在论文中应该有详细描述。损失函数的设计也至关重要，可能包括重建损失、感知损失等。单步采样扩散模型的具体实现方式，例如如何调整噪声 schedule，也是关键设计细节。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DiffST在真实世界的STVSR任务上取得了领先的结果，并且推理速度比以前基于扩散的STVSR方法快约17倍。这表明DiffST在性能和效率之间取得了很好的平衡，使其更适用于实际应用。具体的性能指标（如PSNR、SSIM等）以及与其他基线方法的对比结果需要在论文中查找。

🎯 应用场景

DiffST在视频监控、视频修复、老电影修复、视频会议、以及各种需要高质量视频的应用场景中具有广泛的应用前景。该研究成果能够提升视频观看体验，提高视频分析的准确性，并为相关产业带来实际价值。未来，该技术有望应用于移动设备和嵌入式系统，实现随时随地的高质量视频超分辨率。

📄 摘要（原文）

Diffusion-based models have shown strong performance in video super-resolution (VSR) and video frame interpolation (VFI). However, their role in the coupled space-time video super-resolution (STVSR) setting remains limited. Existing diffusion-based STVSR approaches suffer from two issues: (1) low inference efficiency and (2) insufficient utilization of spatiotemporal information. These limitations impede deployment. To address these issues, we introduce DiffST, an efficient spatiotemporal-aware video diffusion framework for real-world STVSR. To improve efficiency, we adapt a pre-trained diffusion model for one-step sampling and process the entire video directly rather than operating on individual frames. Furthermore, to enhance spatiotemporal information utilization, we introduce cross-frame context aggregation (CFCA) and video representation guidance (VRG). The CFCA module aggregates information across multiple keyframes to produce intermediate frames. The VRG module extracts video-level global features to guide the diffusion process. Extensive experiments show that DiffST obtains leading results on real-world STVSR tasks. It also maintains high inference efficiency, running about 17$\times$ faster than previous diffusion-based STVSR methods. Code is available at: https://github.com/zhengchen1999/DiffST.