AnoVox: A Benchmark for Multimodal Anomaly Detection in Autonomous Driving

📄 arXiv: 2405.07865v4 📥 PDF

作者: Daniel Bogdoll, Iramm Hamdard, Lukas Namgyu Rößler, Felix Geisler, Muhammed Bayram, Felix Wang, Jan Imhof, Miguel de Campos, Anushervon Tabarov, Yitian Yang, Hanno Gottschalk, J. Marius Zöllner

分类: cs.CV, cs.RO

发布日期: 2024-05-13 (更新: 2024-09-26)

备注: Daniel Bogdoll, Iramm Hamdard, and Lukas Namgyu Rößler contributed equally. Accepted for publication at ECCV 2024 W-CODA workshop

DOI: 10.1007/978-3-031-91767-7_15

💡 一句话要点

AnoVox：用于自动驾驶多模态异常检测的大规模基准数据集

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 自动驾驶 异常检测 多模态数据 基准数据集 体素表示

📋 核心要点

  1. 现有自动驾驶异常检测基准主要依赖相机数据，缺乏多模态信息，难以全面评估算法在复杂环境下的性能。
  2. AnoVox通过提供大规模多模态传感器数据和体素级标注，构建更全面的异常检测基准，促进算法的公平比较。
  3. AnoVox不仅包含内容异常，还引入了时间异常，更贴近实际驾驶场景，为算法的鲁棒性评估提供更有效的手段。

📝 摘要（中文）

自动驾驶汽车的规模化应用高度依赖于其处理异常情况的能力，例如道路上出现的罕见物体。为了应对这些情况，首先需要检测到异常。近年来，自动驾驶异常检测取得了显著进展，但现有的基准数据集设计不良，过度关注相机数据。本文提出了AnoVox，迄今为止最大的自动驾驶异常检测基准。AnoVox包含大规模多模态传感器数据和空间体素（VOXel）真值，允许独立于所用传感器比较各种方法。我们提出了常态的正式定义，并提供了符合定义的训练数据集。AnoVox是第一个包含内容和时间异常的基准。

🔬 方法详解

问题定义：自动驾驶系统需要在复杂环境中检测罕见或未知的异常情况，例如道路上的异常物体或行为。现有异常检测基准数据集通常侧重于相机数据，忽略了激光雷达、毫米波雷达等其他重要传感器信息，并且缺乏对时间异常的考虑，难以全面评估算法的性能。

核心思路：AnoVox的核心思路是构建一个大规模、多模态的异常检测基准数据集，包含来自多种传感器的同步数据，并提供空间体素级别的真值标注。通过提供更丰富的数据和更精确的标注，AnoVox旨在促进自动驾驶异常检测算法的开发和评估。

技术框架：AnoVox数据集包含来自多个传感器的数据，例如相机、激光雷达和毫米波雷达。这些数据被同步并转换为空间体素表示，从而实现传感器无关的异常检测。数据集还包含详细的真值标注，指示每个体素是否包含异常。此外，AnoVox还定义了常态的概念，并提供了一个符合定义的训练数据集。

关键创新：AnoVox的关键创新在于其大规模、多模态和空间体素表示。与现有基准数据集相比，AnoVox提供了更丰富的数据和更精确的标注，从而能够更全面地评估自动驾驶异常检测算法的性能。此外，AnoVox是第一个包含内容和时间异常的基准，更贴近实际驾驶场景。

关键设计：AnoVox数据集的构建过程中，作者们仔细考虑了数据的多样性和代表性，以确保数据集能够覆盖各种常见的异常情况。数据集的标注过程也经过了严格的质量控制，以确保标注的准确性和一致性。此外，作者们还提供了一套评估指标，用于衡量不同算法在AnoVox数据集上的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

AnoVox是迄今为止最大的自动驾驶异常检测基准数据集，包含大规模多模态传感器数据和空间体素真值。该数据集首次同时包含内容和时间异常，为算法的鲁棒性评估提供了更有效的手段。AnoVox的发布将促进自动驾驶异常检测领域的研究进展，并为开发更安全可靠的自动驾驶系统奠定基础。

🎯 应用场景

AnoVox数据集可用于训练和评估自动驾驶系统的异常检测算法，提高自动驾驶汽车在复杂环境中的安全性和可靠性。该数据集还可以促进多模态融合、传感器校准和三维场景理解等相关领域的研究。未来，基于AnoVox的研究有望推动自动驾驶技术的进一步发展，加速自动驾驶汽车的商业化落地。

📄 摘要（原文）

The scale-up of autonomous vehicles depends heavily on their ability to deal with anomalies, such as rare objects on the road. In order to handle such situations, it is necessary to detect anomalies in the first place. Anomaly detection for autonomous driving has made great progress in the past years but suffers from poorly designed benchmarks with a strong focus on camera data. In this work, we propose AnoVox, the largest benchmark for ANOmaly detection in autonomous driving to date. AnoVox incorporates large-scale multimodal sensor data and spatial VOXel ground truth, allowing for the comparison of methods independent of their used sensor. We propose a formal definition of normality and provide a compliant training dataset. AnoVox is the first benchmark to contain both content and temporal anomalies.