MemFlow: Optical Flow Estimation and Prediction with Memory

📄 arXiv: 2404.04808v1 📥 PDF

作者: Qiaole Dong, Yanwei Fu

分类: cs.CV

发布日期: 2024-04-07

备注: CVPR 2024

🔗 代码/项目: PROJECT_PAGE

💡 一句话要点

提出MemFlow以解决光流估计与预测中的实时性问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光流估计 实时处理 记忆模块 视频分析 深度学习

📋 核心要点

  1. 现有光流估计方法多依赖于两帧输入，无法充分利用视频序列的时间一致性，且多帧方法计算开销大，难以实现实时性。
  2. MemFlow通过引入记忆模块，实现历史运动信息的实时聚合，同时采用分辨率自适应重缩放，提升了光流估计的效率与准确性。
  3. 在Sintel和KITTI-15数据集上，MemFlow以更少的参数和更快的推理速度超越了现有方法，且在1080p Spring数据集上表现优异。

📝 摘要（中文）

光流估计是计算机视觉中的经典任务，传统方法仅使用两帧作为输入，限制了对视频序列中时间一致性的充分利用。近期一些方法虽然考虑了多帧输入以建模长距离信息，但通常会导致较高的计算开销，难以实现实时估计。为此，本文提出了MemFlow，一种基于记忆的实时光流估计与预测方法。该方法通过记忆读出和更新模块实时聚合历史运动信息，并结合分辨率自适应重缩放以适应不同视频分辨率。此外，MemFlow还能够基于过去的观察无缝扩展到未来光流的预测。实验结果表明，MemFlow在Sintel和KITTI-15数据集上以更少的参数和更快的推理速度超越了VideoFlow，并在1080p Spring数据集上也表现出色。

🔬 方法详解

问题定义：光流估计任务面临的主要挑战是传统方法仅依赖于两帧输入，无法充分利用时间信息，导致实时性不足。多帧方法虽然能改善这一点，但通常计算开销较大，难以应用于安全关键场景。

核心思路：MemFlow的核心思想是通过记忆模块实时聚合历史运动信息，从而在光流估计中引入时间一致性，同时保持较低的计算复杂度。该方法还结合了分辨率自适应重缩放，以适应不同的视频输入。

技术框架：MemFlow的整体架构包括记忆读出和更新模块，用于处理历史运动信息，此外还包含分辨率自适应重缩放模块，以确保在不同分辨率下的有效性。

关键创新：MemFlow的主要创新在于其记忆模块的设计，使得历史运动信息的聚合成为可能，从而在实时性和准确性之间取得平衡。这一设计与传统方法的静态帧输入形成了鲜明对比。

关键设计：在参数设置上，MemFlow优化了网络结构以减少参数量，同时采用了适应性损失函数，以提高模型在不同数据集上的泛化能力。

📊 实验亮点

MemFlow在Sintel和KITTI-15数据集上表现优异，超越了VideoFlow，且参数量更少，推理速度更快。在1080p Spring数据集上，MemFlow同样取得了领先的性能，展示了其在高分辨率视频处理中的优势。

🎯 应用场景

MemFlow在实时光流估计和预测中具有广泛的应用潜力，尤其适用于自动驾驶、视频监控和增强现实等安全关键领域。其高效的计算性能和准确性使其能够在动态环境中实时处理视频流，提升系统的智能化水平。

📄 摘要（原文）

Optical flow is a classical task that is important to the vision community. Classical optical flow estimation uses two frames as input, whilst some recent methods consider multiple frames to explicitly model long-range information. The former ones limit their ability to fully leverage temporal coherence along the video sequence; and the latter ones incur heavy computational overhead, typically not possible for real-time flow estimation. Some multi-frame-based approaches even necessitate unseen future frames for current estimation, compromising real-time applicability in safety-critical scenarios. To this end, we present MemFlow, a real-time method for optical flow estimation and prediction with memory. Our method enables memory read-out and update modules for aggregating historical motion information in real-time. Furthermore, we integrate resolution-adaptive re-scaling to accommodate diverse video resolutions. Besides, our approach seamlessly extends to the future prediction of optical flow based on past observations. Leveraging effective historical motion aggregation, our method outperforms VideoFlow with fewer parameters and faster inference speed on Sintel and KITTI-15 datasets in terms of generalization performance. At the time of submission, MemFlow also leads in performance on the 1080p Spring dataset. Codes and models will be available at: https://dqiaole.github.io/MemFlow/.