SB-BEVFusion: Enhancing the Robustness against Sensor Malfunction and Corruptions

📄 arXiv: 2605.11799v1 📥 PDF

作者: Markus Essl, Marta Moscati, Mubashir Noman, Muhammad Zaigham Zaheer, Usman Naseem, Shah Nawaz, Markus Schedl

分类: cs.CV

发布日期: 2026-05-12

备注: Accepted at ICIP 2026

💡 一句话要点

SB-BEVFusion：增强多模态融合在传感器故障和数据损坏下的鲁棒性

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 传感器故障 数据损坏 鲁棒性 BEVFusion

📋 核心要点

  1. 现有基于BEV的多模态融合方法在传感器数据缺失或损坏时性能显著下降，鲁棒性不足。
  2. 提出一个与框架无关的融合模块，专门处理相机和激光雷达数据缺失或损坏的情况，提升系统鲁棒性。
  3. 在BEVFusion框架上验证，在MultiCorrupt数据集上，该模块在各种传感器退化场景中表现出色。

📝 摘要（中文）

多模态传感器融合在自动驾驶车辆的3D目标检测中表现出优于单模态方法的显著性能提升。现有方法通常将来自独立传感器（如相机和激光雷达）的多模态数据转换为统一的鸟瞰图（BEV）表示以进行融合。虽然在理想条件下有效，但当相机或激光雷达数据缺失、损坏或存在噪声时，这种策略的性能会显著下降。为了解决这一问题，我们开发了一个与框架无关的相机和激光雷达数据融合模块，该模块允许处理两种模态之一缺失或损坏的情况。为了证明我们模块的有效性，我们将其实例化到BEVFusion中，这是一个用于组合相机和激光雷达数据以进行3D目标检测的成熟框架。通过在MultiCorrupt数据集上的定量实验，我们证明了我们的模块在模态缺失和损坏的情况下实现了良好的性能提升，在各种传感器退化场景中显著优于现有的统一表示方法，并在由于极端天气条件和传感器故障导致的模态损坏场景中达到了最先进的性能。

🔬 方法详解

问题定义：现有基于BEV的多模态融合方法，如BEVFusion，在理想情况下表现良好，但当相机或激光雷达数据出现缺失、损坏或噪声时，性能会急剧下降。这种对传感器数据质量的依赖性限制了其在实际自动驾驶场景中的应用，因为极端天气、传感器故障等情况难以避免。因此，需要一种更鲁棒的多模态融合方法，能够在恶劣条件下保持良好的性能。

核心思路：论文的核心思路是设计一个能够自适应地处理不同模态数据质量的融合模块。该模块能够识别并补偿缺失或损坏的模态，从而减轻对单一模态的依赖，提高整体系统的鲁棒性。这种设计允许系统在即使部分传感器失效的情况下也能维持可接受的性能水平。

技术框架：该方法采用一个框架无关的融合模块，可以集成到现有的BEV融合框架中，例如BEVFusion。具体流程包括：首先，对来自相机和激光雷达的数据进行预处理，然后将它们转换为BEV表示。接下来，融合模块会评估每个模态的数据质量，并根据质量调整融合权重。最后，融合后的BEV特征被用于3D目标检测任务。

关键创新：该论文的关键创新在于其提出的融合模块能够显式地处理传感器数据质量问题。与传统的直接融合方法不同，该模块能够识别并补偿缺失或损坏的模态，从而提高系统的鲁棒性。这种自适应融合策略是该方法优于现有方法的关键。

关键设计：具体的融合模块设计细节未知，摘要中没有明确说明。但是，可以推测可能包含以下设计：1) 数据质量评估机制：用于评估相机和激光雷达数据的质量，例如通过检测噪声水平、缺失区域等。2) 自适应权重调整：根据数据质量调整不同模态的融合权重，例如，当某个模态的数据质量较差时，降低其权重。3) 损失函数设计：可能设计了特殊的损失函数，以鼓励模型学习对噪声和缺失数据具有鲁棒性的特征表示。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

该论文在MultiCorrupt数据集上进行了实验，证明了所提出的融合模块在模态缺失和损坏的情况下实现了显著的性能提升，优于现有的统一表示方法。尤其是在极端天气条件和传感器故障导致的模态损坏场景中，该方法达到了最先进的性能，验证了其在恶劣条件下的鲁棒性。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人等领域，尤其是在需要高可靠性和鲁棒性的场景中，例如极端天气条件下的自动驾驶、恶劣环境下的机器人导航等。通过提高系统对传感器故障和数据损坏的抵抗能力，可以显著提升系统的安全性和可靠性，具有重要的实际应用价值和潜在的商业前景。

📄 摘要（原文）

Multimodal sensor fusion has demonstrated remarkable performance improvements over unimodal approaches in 3D object detection for autonomous vehicles. Typically, existing methods transform multimodal data from independent sensors, such as camera and LiDAR, into a unified bird's-eye view (BEV) representation for fusion. Although effective in ideal conditions, this strategy suffers from substantial performance deterioration when camera or LiDAR data are missing, corrupted, or noisy. To address this vulnerability, we develop a framework-agnostic fusion module for camera and LiDAR data that allows for handling cases when one of the two modalities is missing or corrupted. To demonstrate the effectiveness of our module, we instantiate it in BEVFusion [1], a well-established framework to combine camera and LiDAR data for 3D object detection. By means of quantitative experiments on the MultiCorrupt dataset, we demonstrate that our module achieves favorable performance improvements under scenarios of missing and corrupted modalities, substantially outperforming existing unified representation approaches across a wide range of sensor deterioration scenarios and reaching state-of-the-art performance in scenarios of corrupted modality due to extreme weather conditions and sensor failure.