UniFlowRestore: A General Video Restoration Framework via Flow Matching and Prompt Guidance

📄 arXiv: 2504.09069v1 📥 PDF

作者: Shuning Sun, Yu Zhang, Chen Wu, Dianjie Lu, Dianjie Lu, Guijuan Zhan, Yang Weng, Zhuoran Zheng

分类: cs.CV

发布日期: 2025-04-12

💡 一句话要点

提出UniFlowRestore，通过流匹配和提示引导实现通用视频修复框架

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 视频修复 通用框架 流匹配 提示引导 物理信息 哈密顿系统 ODE求解器

📋 核心要点

  1. 现有视频修复方法泛化性差，计算成本高，难以应对真实场景中复杂多样的退化。
  2. UniFlowRestore将视频修复建模为在提示引导下的时间连续演化过程，利用哈密顿系统进行优化。
  3. 实验结果表明，UniFlowRestore在多个视频修复任务上达到了最先进的性能，并具有良好的泛化性和效率。

📝 摘要（中文）

视频成像常受模糊、噪声和压缩伪影等复杂退化的影响。传统的修复方法遵循“单任务单模型”范式，导致泛化能力差和计算成本高，限制了其在具有多样退化类型的实际场景中的适用性。我们提出了UniFlowRestore，一个通用的视频修复框架，该框架将修复建模为在提示引导和物理信息向量场下的时间连续演化。一个具有物理感知能力的骨干网络PhysicsUNet将退化先验编码为势能，而PromptGenerator产生任务相关的提示作为动量。这些组件定义了一个哈密顿系统，其向量场集成了惯性动力学、衰减的物理梯度和基于提示的引导。该系统通过固定步长的ODE求解器进行优化，以实现跨任务的高效和统一的修复。实验表明，UniFlowRestore提供了最先进的性能，具有强大的泛化能力和效率。定量结果表明，UniFlowRestore实现了最先进的性能，在视频去噪任务上获得了最高的PSNR（33.89 dB）和SSIM（0.97），同时在所有评估任务中保持了最高或第二好的分数。

🔬 方法详解

问题定义：现有视频修复方法通常针对特定类型的退化设计，缺乏通用性，难以处理真实场景中多种退化并存的情况。此外，这些方法通常采用“单任务单模型”的范式，导致模型数量庞大，计算成本高昂。

核心思路：UniFlowRestore的核心思路是将视频修复过程建模为一个时间连续的演化过程，通过控制演化过程中的向量场来实现对不同退化的修复。该方法利用物理信息和任务相关的提示来引导演化过程，从而实现对多种退化的统一处理。

技术框架：UniFlowRestore框架主要包含三个模块：PhysicsUNet、PromptGenerator和ODE Solver。PhysicsUNet是一个具有物理感知能力的骨干网络，用于编码退化先验信息。PromptGenerator用于生成任务相关的提示信息。ODE Solver用于求解由PhysicsUNet和PromptGenerator定义的哈密顿系统的运动方程，从而实现视频修复。

关键创新：UniFlowRestore的关键创新在于将视频修复问题转化为一个连续的动力学系统，并利用物理信息和任务相关的提示来引导修复过程。这种方法能够有效地利用退化先验信息，并实现对多种退化的统一处理。此外，该方法还采用了固定步长的ODE求解器，从而提高了计算效率。

关键设计：PhysicsUNet的设计考虑了物理退化过程，例如模糊和噪声。PromptGenerator的设计允许用户通过文本或图像等方式指定修复目标。哈密顿系统的设计集成了惯性动力学、衰减的物理梯度和基于提示的引导，从而保证了修复过程的稳定性和有效性。损失函数的设计旨在最小化修复后的视频与原始视频之间的差异，并鼓励修复后的视频具有更高的感知质量。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

UniFlowRestore在视频去噪任务上取得了显著的成果，PSNR达到了33.89 dB，SSIM达到了0.97，超越了现有的最先进方法。此外，该方法在其他视频修复任务上也取得了优异的性能，在所有评估任务中保持了最高或第二好的分数，证明了其强大的泛化能力和效率。

🎯 应用场景

UniFlowRestore具有广泛的应用前景，可用于监控视频修复、老旧电影修复、医学影像增强等领域。该方法能够有效地去除视频中的各种退化，提高视频的清晰度和质量，从而提升用户体验和应用价值。未来，该方法还可以应用于视频编辑、视频分析等领域，为相关应用提供更强大的技术支持。

📄 摘要（原文）

Video imaging is often affected by complex degradations such as blur, noise, and compression artifacts. Traditional restoration methods follow a "single-task single-model" paradigm, resulting in poor generalization and high computational cost, limiting their applicability in real-world scenarios with diverse degradation types. We propose UniFlowRestore, a general video restoration framework that models restoration as a time-continuous evolution under a prompt-guided and physics-informed vector field. A physics-aware backbone PhysicsUNet encodes degradation priors as potential energy, while PromptGenerator produces task-relevant prompts as momentum. These components define a Hamiltonian system whose vector field integrates inertial dynamics, decaying physical gradients, and prompt-based guidance. The system is optimized via a fixed-step ODE solver to achieve efficient and unified restoration across tasks. Experiments show that UniFlowRestore delivers stateof-the-art performance with strong generalization and efficiency. Quantitative results demonstrate that UniFlowRestore achieves state-of-the-art performance, attaining the highest PSNR (33.89 dB) and SSIM (0.97) on the video denoising task, while maintaining top or second-best scores across all evaluated tasks.