Hybrid Cost Volume for Memory-Efficient Optical Flow

📄 arXiv: 2409.04243v1 📥 PDF

作者: Yang Zhao, Gangwei Xu, Gang Wu

分类: cs.CV

发布日期: 2024-09-06

备注: 10 pages, 6 figures

🔗 代码/项目: GITHUB

💡 一句话要点

提出混合代价体HCVFlow，解决高分辨率图像光流计算中内存消耗过大的问题。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光流估计 代价体 内存效率 高分辨率图像 深度学习

📋 核心要点

  1. 现有光流方法在高分辨率图像中面临内存消耗过大的挑战，因为密集代价体的构建复杂度随分辨率呈四次方增长。
  2. 论文提出混合代价体（HCV）策略，通过Top-k选择和局部信息补充，在保证精度的前提下显著降低内存占用。
  3. 实验表明，HCVFlow在Sintel、KITTI和4K图像上表现出优异的内存效率和精度，优于其他内存高效方法。

📝 摘要（中文）

当前先进的光流方法大多基于密集的all-pairs代价体。然而，随着图像分辨率的增加，构建这些代价体的计算和空间复杂度以四次方速率增长，使得这些方法在高分辨率图像上不切实际。本文提出了一种新颖的混合代价体（HCV），用于内存高效的光流计算。为了构建HCV，我们首先提出了一种Top-k策略，将4D代价体分离为两个全局3D代价体。这些代价体显著减少了内存使用，同时保留了大量的匹配信息。我们进一步引入了一个具有局部搜索空间的局部4D代价体，以补充HCV的局部信息。基于HCV，我们设计了一个内存高效的光流网络，名为HCVFlow。与基于all-pairs代价体的循环光流方法相比，我们的HCVFlow显著降低了内存消耗，同时保证了高精度。我们在Sintel和KITTI数据集以及真实世界的4K（2160*3840）分辨率图像上验证了我们方法的有效性和效率。大量的实验表明，我们的HCVFlow具有非常低的内存使用率，并且在精度方面优于其他内存高效的方法。代码已在https://github.com/gangweiX/HCVFlow上公开。

🔬 方法详解

问题定义：论文旨在解决高分辨率图像光流估计中，传统稠密代价体方法内存消耗过大的问题。现有方法构建的代价体维度过高，导致计算和存储成本巨大，难以应用于实际场景。

核心思路：论文的核心思路是构建一个混合代价体（HCV），它结合了全局和局部信息，并在保证精度的前提下，显著降低内存占用。通过Top-k策略筛选重要的匹配信息，并利用局部代价体补充细节，从而实现内存效率和精度之间的平衡。

技术框架：HCVFlow的整体框架包括以下几个主要步骤：1) 特征提取：使用卷积神经网络提取输入图像的特征。2) 全局代价体构建：使用Top-k策略从4D代价体中选择Top-k个匹配项，构建两个3D全局代价体。3) 局部代价体构建：在局部搜索空间内构建4D局部代价体，补充局部信息。4) 代价体融合：将全局和局部代价体融合。5) 光流估计：使用光流估计网络从融合后的代价体中预测光流。

关键创新：论文的关键创新在于混合代价体（HCV）的设计。与传统的稠密代价体相比，HCV通过Top-k选择和局部信息补充，在显著降低内存占用的同时，保留了关键的匹配信息。这种混合策略使得HCVFlow能够在高分辨率图像上实现高效的光流估计。

关键设计：Top-k策略用于从4D代价体中选择最相关的匹配项，从而构建3D全局代价体。局部代价体的搜索范围是一个关键参数，需要根据具体应用场景进行调整。损失函数通常包括光流平滑项和数据项，以保证光流的准确性和平滑性。网络结构可以采用类似于PWC-Net或RAFT的网络结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HCVFlow在Sintel和KITTI数据集上取得了优异的性能，并在4K分辨率图像上进行了验证。实验结果表明，HCVFlow在内存消耗方面显著优于其他光流方法，同时保持了较高的精度。例如，在4K图像上，HCVFlow的内存占用比传统方法降低了数倍，并且在精度上优于其他内存高效的光流算法。

🎯 应用场景

该研究成果可应用于自动驾驶、视频监控、机器人导航等领域。在高分辨率图像或视频中进行光流估计是这些应用的关键环节。HCVFlow的内存效率优势使其能够在资源受限的设备上部署，例如嵌入式系统和移动设备。未来，该方法可以进一步扩展到三维场景的光流估计，例如LiDAR点云数据的处理。

📄 摘要（原文）

Current state-of-the-art flow methods are mostly based on dense all-pairs cost volumes. However, as image resolution increases, the computational and spatial complexity of constructing these cost volumes grows at a quartic rate, making these methods impractical for high-resolution images. In this paper, we propose a novel Hybrid Cost Volume for memory-efficient optical flow, named HCV. To construct HCV, we first propose a Top-k strategy to separate the 4D cost volume into two global 3D cost volumes. These volumes significantly reduce memory usage while retaining a substantial amount of matching information. We further introduce a local 4D cost volume with a local search space to supplement the local information for HCV. Based on HCV, we design a memory-efficient optical flow network, named HCVFlow. Compared to the recurrent flow methods based the all-pairs cost volumes, our HCVFlow significantly reduces memory consumption while ensuring high accuracy. We validate the effectiveness and efficiency of our method on the Sintel and KITTI datasets and real-world 4K (2160*3840) resolution images. Extensive experiments show that our HCVFlow has very low memory usage and outperforms other memory-efficient methods in terms of accuracy. The code is publicly available at https://github.com/gangweiX/HCVFlow.