RobustSpring: Benchmarking Robustness to Image Corruptions for Optical Flow, Scene Flow and Stereo
作者: Jenny Schmalfuss, Victor Oei, Lukas Mehl, Madlen Bartsch, Shashank Agnihotri, Margret Keuper, Andrés Bruhn
分类: cs.CV, cs.LG
发布日期: 2025-05-14
💡 一句话要点
RobustSpring：提出图像退化鲁棒性光流、场景流和立体视觉评测基准
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 图像退化 鲁棒性评估 光流 场景流 立体视觉 数据集 评测基准
📋 核心要点
- 现有光流、场景流和立体视觉评测基准主要关注模型精度，缺乏对图像退化（如噪声、雨天）鲁棒性的评估。
- RobustSpring通过系统性地引入20种图像退化，构建了一个大规模的、具有挑战性的退化图像数据集。
- 实验表明，高精度模型不一定具有高鲁棒性，且模型对不同类型退化的鲁棒性差异显著。
📝 摘要（中文）
本文提出了RobustSpring，一个综合性的数据集和评测基准，用于评估光流、场景流和立体视觉模型对图像退化的鲁棒性。现有标准评测通常侧重于模型精度，而忽略了对噪声或雨天等图像退化的鲁棒性。RobustSpring将20种不同的图像退化（包括噪声、模糊、颜色变化、质量下降和天气失真）以时间、立体和深度一致的方式应用于高分辨率的Spring数据集，从而创建了一个包含20,000张退化图像的集合，反映了具有挑战性的条件。RobustSpring通过一种新的退化鲁棒性指标，实现了模型鲁棒性的比较。与Spring基准的集成，实现了对精度和鲁棒性的双轴评估。通过对一系列初始模型的评测，发现高精度模型不一定具有高鲁棒性，并且鲁棒性因退化类型而异。RobustSpring是一个新的计算机视觉基准，它将鲁棒性作为首要考虑因素，以促进兼具精度和鲁棒性的模型发展。该基准将在https://spring-benchmark.org上提供。
🔬 方法详解
问题定义：现有光流、场景流和立体视觉算法的评测主要集中在精度方面，缺乏对真实世界图像退化（如噪声、模糊、天气影响等）的鲁棒性评估。这导致模型在实际应用中性能下降，难以应对复杂环境。现有方法无法系统性地评估模型在各种退化条件下的性能表现。
核心思路：RobustSpring的核心思路是构建一个包含多种图像退化类型的数据集，并设计相应的评估指标，从而全面评估模型在不同退化条件下的鲁棒性。通过对模型在退化数据集上的性能进行评估，可以发现模型的弱点，并指导模型的设计和训练，提高其在真实世界场景中的适应能力。
技术框架：RobustSpring基于Spring数据集，通过应用20种不同的图像退化来生成新的数据集。这些退化包括噪声、模糊、颜色变化、质量下降和天气失真等。这些退化以时间、立体和深度一致的方式应用于图像，保证了数据集的真实性和一致性。RobustSpring提供了一个评估框架，可以计算模型在不同退化条件下的性能指标，并生成鲁棒性评估报告。
关键创新：RobustSpring的关键创新在于：1) 系统性地引入多种图像退化类型，覆盖了真实世界中常见的图像质量问题；2) 以时间、立体和深度一致的方式应用退化，保证了数据集的真实性和一致性；3) 提出了新的鲁棒性评估指标，可以全面评估模型在不同退化条件下的性能表现。与现有方法相比，RobustSpring更加关注模型的鲁棒性，可以更好地评估模型在真实世界场景中的适应能力。
关键设计：RobustSpring选择了20种具有代表性的图像退化类型，并根据实际情况调整了退化的参数设置。例如，对于噪声退化，选择了不同的噪声类型和噪声强度；对于模糊退化，选择了不同的模糊核大小和模糊程度。为了保证数据集的一致性，RobustSpring在应用退化时，考虑了时间、立体和深度信息，确保退化效果在不同视角和时间点上保持一致。RobustSpring使用平均误差作为性能指标，并计算模型在不同退化条件下的平均误差，从而评估模型的鲁棒性。
🖼️ 关键图片
📊 实验亮点
RobustSpring对一系列光流、场景流和立体视觉模型进行了基准测试，结果表明，高精度模型不一定具有高鲁棒性，且模型对不同类型退化的鲁棒性差异显著。例如，某些模型在噪声退化下表现良好，但在模糊退化下性能下降明显。这些结果为模型设计和训练提供了重要的参考依据。
🎯 应用场景
RobustSpring的研究成果可广泛应用于自动驾驶、机器人导航、增强现实等领域。通过提高模型对图像退化的鲁棒性，可以增强系统在复杂环境下的可靠性和安全性。该基准的发布将促进相关领域的研究进展，推动开发更具鲁棒性的计算机视觉算法，提升实际应用效果。
📄 摘要（原文）
Standard benchmarks for optical flow, scene flow, and stereo vision algorithms generally focus on model accuracy rather than robustness to image corruptions like noise or rain. Hence, the resilience of models to such real-world perturbations is largely unquantified. To address this, we present RobustSpring, a comprehensive dataset and benchmark for evaluating robustness to image corruptions for optical flow, scene flow, and stereo models. RobustSpring applies 20 different image corruptions, including noise, blur, color changes, quality degradations, and weather distortions, in a time-, stereo-, and depth-consistent manner to the high-resolution Spring dataset, creating a suite of 20,000 corrupted images that reflect challenging conditions. RobustSpring enables comparisons of model robustness via a new corruption robustness metric. Integration with the Spring benchmark enables public two-axis evaluations of both accuracy and robustness. We benchmark a curated selection of initial models, observing that accurate models are not necessarily robust and that robustness varies widely by corruption type. RobustSpring is a new computer vision benchmark that treats robustness as a first-class citizen to foster models that combine accuracy with resilience. It will be available at https://spring-benchmark.org.