Benchmarking the Robustness of Optical Flow Estimation to Corruptions

📄 arXiv: 2411.14865v1 📥 PDF

作者: Zhonghua Yi, Hao Shi, Qi Jiang, Yao Gao, Ze Wang, Yufan Zhang, Kailun Yang, Kaiwei Wang

分类: eess.IV, cs.CV, cs.RO

发布日期: 2024-11-22

备注: The benchmarks and source code will be released at https://github.com/ZhonghuaYi/optical_flow_robustness_benchmark

🔗 代码/项目: GITHUB

💡 一句话要点

提出光流鲁棒性评测基准，评估模型在常见图像及时序扰动下的性能。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 光流估计 鲁棒性 扰动 基准测试 自动驾驶

📋 核心要点

  1. 现有光流模型缺乏对常见图像和时序扰动的鲁棒性评估，限制了其在真实复杂环境中的应用。
  2. 构建包含图像和时序扰动的光流鲁棒性评测基准，并提出相应的鲁棒性评估指标。
  3. 实验评估了多种光流模型在所提基准上的性能，揭示了模型鲁棒性与性能之间的关系，并为模型设计提供指导。

📝 摘要（中文）

光流估计广泛应用于自动驾驶和视频编辑等领域。尽管现有模型在各种基准测试中表现出最先进的性能，但对这些方法的鲁棒性研究却很少。虽然有一些研究关注光流模型对抗对抗性攻击的鲁棒性，但缺乏研究调查其对常见扰动的鲁棒性。考虑到光流独特的时序特性，除了17种经典的单图像扰动（其中使用了先进的PSF模糊模拟方法）之外，我们还引入了7种专门为评估光流模型鲁棒性而设计的时序扰动。随后，我们建立了KITTI-FC和GoPro-FC两个鲁棒性基准，作为第一个用于光流估计的扰动鲁棒性基准，具有域外（OOD）和域内（ID）设置，以方便进行全面研究。进一步引入了鲁棒性指标，即扰动鲁棒性误差（CRE）、扰动鲁棒性误差率（CREr）和相对扰动鲁棒性误差（RCRE），以量化光流估计的鲁棒性。评估了来自15种光流方法的29个模型变体，产生了10个有趣的观察结果，例如1）模型的绝对鲁棒性在很大程度上取决于估计性能；2）削弱局部信息的扰动比降低视觉效果的扰动更严重。我们还为光流模型的设计和应用提出了建议。我们预计我们的基准将作为推进鲁棒光流估计研究的基础资源。基准和源代码将在https://github.com/ZhonghuaYi/optical_flow_robustness_benchmark上发布。

🔬 方法详解

问题定义：现有光流模型在理想条件下表现良好，但在实际应用中，由于图像质量下降（如噪声、模糊）和时序信息不一致（如快速运动、遮挡），性能会显著下降。缺乏系统性的方法来评估和比较不同光流模型在这些扰动下的鲁棒性，阻碍了模型在真实场景中的部署。现有研究主要集中在对抗攻击，而忽略了常见的图像和时序扰动。

核心思路：论文的核心思路是构建一个包含多种常见图像和时序扰动的光流数据集，并提出相应的评估指标，从而全面评估光流模型在不同扰动下的鲁棒性。通过对现有模型的评估，可以发现模型的弱点，并为未来的模型设计提供指导。这种方法旨在弥合理想环境和真实环境之间的差距，提高光流模型在实际应用中的可靠性。

技术框架：该研究的技术框架主要包含以下几个部分：1）构建包含图像扰动和时序扰动的数据集，图像扰动包括高斯噪声、模糊等，时序扰动包括帧率变化、运动模糊等；2）提出鲁棒性评估指标，如扰动鲁棒性误差（CRE）、扰动鲁棒性误差率（CREr）和相对扰动鲁棒性误差（RCRE），用于量化模型在不同扰动下的性能；3）选择多个代表性的光流模型，并在构建的数据集上进行评估，分析模型的鲁棒性表现；4）根据实验结果，总结模型的优点和缺点，并为未来的模型设计提供建议。

关键创新：该研究的关键创新在于：1）首次系统性地研究了光流模型在常见图像和时序扰动下的鲁棒性；2）构建了包含多种扰动的光流数据集，为鲁棒性评估提供了基础；3）提出了鲁棒性评估指标，能够有效量化模型在不同扰动下的性能；4）通过对现有模型的评估，揭示了模型鲁棒性与性能之间的关系，并为模型设计提供了指导。

关键设计：在数据集构建方面，论文精心设计了7种时序扰动，以模拟真实场景中可能出现的各种情况。在评估指标方面，CRE直接衡量扰动引起的误差，CREr衡量扰动误差占总误差的比例，RCRE则衡量相对于无扰动情况下的误差增加比例。这些指标能够全面反映模型在不同扰动下的鲁棒性表现。在模型选择方面，论文选择了15种光流方法的29个模型变体，涵盖了不同的网络结构和训练策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，模型的绝对鲁棒性与估计性能密切相关，即性能越好的模型通常鲁棒性也越高。同时，削弱局部信息的扰动（如模糊）比降低视觉效果的扰动（如对比度变化）对光流估计的影响更大。该研究还发现，某些模型在特定类型的扰动下表现出较好的鲁棒性，但整体鲁棒性仍然有待提高。

🎯 应用场景

该研究成果可直接应用于自动驾驶、机器人导航、视频监控等领域，提升光流算法在复杂环境下的可靠性。通过该基准，研究人员可以更有效地评估和改进光流模型的鲁棒性，从而推动相关技术在实际场景中的应用，例如在恶劣天气或光照条件下实现更精确的运动估计。

📄 摘要（原文）

Optical flow estimation is extensively used in autonomous driving and video editing. While existing models demonstrate state-of-the-art performance across various benchmarks, the robustness of these methods has been infrequently investigated. Despite some research focusing on the robustness of optical flow models against adversarial attacks, there has been a lack of studies investigating their robustness to common corruptions. Taking into account the unique temporal characteristics of optical flow, we introduce 7 temporal corruptions specifically designed for benchmarking the robustness of optical flow models, in addition to 17 classical single-image corruptions, in which advanced PSF Blur simulation method is performed. Two robustness benchmarks, KITTI-FC and GoPro-FC, are subsequently established as the first corruption robustness benchmark for optical flow estimation, with Out-Of-Domain (OOD) and In-Domain (ID) settings to facilitate comprehensive studies. Robustness metrics, Corruption Robustness Error (CRE), Corruption Robustness Error ratio (CREr), and Relative Corruption Robustness Error (RCRE) are further introduced to quantify the optical flow estimation robustness. 29 model variants from 15 optical flow methods are evaluated, yielding 10 intriguing observations, such as 1) the absolute robustness of the model is heavily dependent on the estimation performance; 2) the corruptions that diminish local information are more serious than that reduce visual effects. We also give suggestions for the design and application of optical flow models. We anticipate that our benchmark will serve as a foundational resource for advancing research in robust optical flow estimation. The benchmarks and source code will be released at https://github.com/ZhonghuaYi/optical_flow_robustness_benchmark.