DPFlow: Adaptive Optical Flow Estimation with a Dual-Pyramid Framework

📄 arXiv: 2503.14880v2 📥 PDF

作者: Henrique Morimitsu, Xiaobin Zhu, Roberto M. Cesar, Xiangyang Ji, Xu-Cheng Yin

分类: cs.CV

发布日期: 2025-03-19 (更新: 2025-09-29)

备注: Accepted at CVPR 2025. The code and dataset are available at https://github.com/hmorimitsu/ptlflow/tree/main/ptlflow/models/dpflow. 24 pages, 17 figures

期刊: 2025 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Nashville, TN, USA, 2025, pp. 17810-17820

DOI: 10.1109/CVPR52734.2025.01659

💡 一句话要点

提出DPFlow双金字塔自适应光流估计框架，解决高分辨率视频光流估计难题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光流估计 高分辨率视频 双金字塔 自适应计算 视频处理 深度学习 Kubric-NK

📋 核心要点

  1. 现有光流方法难以处理高分辨率视频，通常采用降采样或分块处理，导致细节和全局信息丢失。
  2. DPFlow采用双金字塔结构，自适应处理不同分辨率的特征，提升模型在高分辨率视频上的泛化能力。
  3. 论文提出了Kubric-NK高分辨率光流基准，并验证了DPFlow在多个数据集上优于现有方法。

📝 摘要（中文）

光流估计对于视频处理任务至关重要，例如视频修复和动作识别。随着视频质量的不断提高，当前的标准已达到8K分辨率。然而，光流方法通常是为低分辨率设计的，并且由于其固定的架构而无法推广到大型输入。它们采用降采样或输入平铺来减小输入大小，从而导致细节和全局信息的丢失。此外，还缺乏光流基准来判断现有方法在高分辨率样本上的实际性能。先前的工作仅在手工挑选的样本上进行了定性的高分辨率评估。本文通过两种方式填补了光流估计中的这一空白。我们提出了DPFlow，一种自适应光流架构，能够在仅使用低分辨率样本进行训练的同时，推广到高达8K分辨率的输入。我们还引入了Kubric-NK，这是一个新的基准，用于评估输入分辨率范围从1K到8K的光流方法。我们的高分辨率评估突破了现有方法的界限，并揭示了关于其泛化能力的新见解。大量的实验结果表明，DPFlow在MPI-Sintel、KITTI 2015、Spring和其他高分辨率基准上取得了最先进的结果。

🔬 方法详解

问题定义：现有光流估计方法在处理高分辨率视频时面临挑战。直接应用会导致计算量巨大，而常用的降采样或分块策略会损失细节信息和全局上下文，影响估计精度。此外，缺乏专门针对高分辨率视频的光流估计基准，难以有效评估和比较不同算法的性能。

核心思路：DPFlow的核心思路是构建一个自适应的双金字塔框架，分别处理图像特征和光流信息。通过金字塔结构，模型可以有效地提取多尺度特征，从而更好地处理高分辨率输入。自适应性体现在模型能够根据输入分辨率动态调整计算资源，避免过度计算或信息损失。

技术框架：DPFlow框架主要包含以下几个模块：1) 特征金字塔提取：对输入图像构建多层金字塔，提取不同尺度的特征表示。2) 光流金字塔估计：在金字塔的每一层估计光流，并逐层 refinement。3) 自适应计算：根据输入分辨率动态调整每一层金字塔的计算资源。4) 损失函数：采用多尺度损失函数，优化光流估计的精度。

关键创新：DPFlow的关键创新在于其双金字塔结构和自适应计算策略。双金字塔结构能够有效地提取多尺度特征，从而更好地处理高分辨率输入。自适应计算策略能够根据输入分辨率动态调整计算资源，避免过度计算或信息损失。这种设计使得DPFlow能够在低分辨率数据上训练，并有效地泛化到高分辨率视频。

关键设计：DPFlow采用了多层卷积神经网络来提取特征，并使用基于RAFT的光流估计模块。损失函数包括光流估计误差和一致性约束。自适应计算策略通过动态调整每一层金字塔的迭代次数来实现。具体参数设置和网络结构细节在论文中有详细描述。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DPFlow在MPI-Sintel、KITTI 2015和Spring等多个数据集上取得了state-of-the-art的结果。特别是在高分辨率的Kubric-NK基准上，DPFlow显著优于其他现有方法，验证了其在高分辨率视频光流估计方面的优势。实验结果表明，DPFlow能够有效地处理高分辨率输入，并保持较高的估计精度。

🎯 应用场景

DPFlow在高分辨率视频处理领域具有广泛的应用前景，例如高清视频修复、8K视频动作识别、自动驾驶中的场景理解、以及虚拟现实和增强现实等领域。该研究成果有助于提升相关应用的用户体验和智能化水平，推动视频处理技术的发展。

📄 摘要（原文）

Optical flow estimation is essential for video processing tasks, such as restoration and action recognition. The quality of videos is constantly increasing, with current standards reaching 8K resolution. However, optical flow methods are usually designed for low resolution and do not generalize to large inputs due to their rigid architectures. They adopt downscaling or input tiling to reduce the input size, causing a loss of details and global information. There is also a lack of optical flow benchmarks to judge the actual performance of existing methods on high-resolution samples. Previous works only conducted qualitative high-resolution evaluations on hand-picked samples. This paper fills this gap in optical flow estimation in two ways. We propose DPFlow, an adaptive optical flow architecture capable of generalizing up to 8K resolution inputs while trained with only low-resolution samples. We also introduce Kubric-NK, a new benchmark for evaluating optical flow methods with input resolutions ranging from 1K to 8K. Our high-resolution evaluation pushes the boundaries of existing methods and reveals new insights about their generalization capabilities. Extensive experimental results show that DPFlow achieves state-of-the-art results on the MPI-Sintel, KITTI 2015, Spring, and other high-resolution benchmarks.