Robust Multimodal 3D Object Detection via Modality-Agnostic Decoding and Proximity-based Modality Ensemble

📄 arXiv: 2407.19156v2 📥 PDF

作者: Juhan Cha, Minseok Joo, Jihwan Park, Sanghyeok Lee, Injae Kim, Hyunwoo J. Kim

分类: cs.CV

发布日期: 2024-07-27 (更新: 2024-08-19)

🔗 代码/项目: GITHUB

💡 一句话要点

MEFormer：通过模态无关解码和邻近度模态集成，实现鲁棒的多模态3D目标检测

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态3D目标检测 模态无关解码 邻近度模态集成 鲁棒性 自动驾驶

📋 核心要点

  1. 现有3D目标检测方法过度依赖LiDAR数据，导致相机数据利用不足，且在LiDAR缺失时性能大幅下降。
  2. MEFormer通过模态无关解码（MOAD）提取各模态的几何和语义特征，并使用邻近度模态集成（PME）自适应融合。
  3. MEFormer在nuScenes验证集上取得了73.9% NDS和71.5% mAP的SOTA性能，并提高了在恶劣条件下的鲁棒性。

📝 摘要（中文）

本文提出了一种名为MEFormer的多模态3D目标检测方法，旨在解决现有方法过度依赖激光雷达（LiDAR）的问题，并提高在传感器噪声环境下的鲁棒性。现有方法通常将相机数据视为辅助信息，导致相机数据利用不足，且在LiDAR数据缺失时性能显著下降。MEFormer通过模态无关解码（MOAD）从每个可用模态中提取几何和语义特征，使用共享的Transformer解码器，从而在单模态和多模态场景下均能获得提升。此外，提出的基于邻近度的模态集成（PME）模块能够自适应地利用每个模态的优势，同时减轻噪声传感器带来的影响。实验结果表明，MEFormer在nuScenes验证集上取得了73.9% NDS和71.5% mAP的state-of-the-art性能。大量的分析验证了MEFormer在传感器故障或环境变化等挑战性条件下的鲁棒性。

🔬 方法详解

问题定义：现有多模态3D目标检测方法过度依赖LiDAR传感器，将相机数据作为辅助信息，导致相机数据利用率低，并且在LiDAR数据不可用时性能急剧下降。此外，现有的融合方法忽略了环境变化引起的传感器噪声对检测性能的负面影响。

核心思路：MEFormer的核心思路是平等地利用来自所有可用模态的关键信息，同时在融合过程中防止被损坏的信号影响。通过模态无关解码器提取每个模态的特征，并使用基于邻近度的模态集成模块自适应地融合这些特征。这样设计的目的是减少对特定模态的依赖，并提高在各种环境条件下的鲁棒性。

技术框架：MEFormer的整体架构包含以下几个主要模块：1) 多模态特征提取：使用不同的编码器提取来自相机和LiDAR数据的特征。2) 模态无关解码（MOAD）：使用共享的Transformer解码器解码来自不同模态的特征，提取几何和语义信息。3) 基于邻近度的模态集成（PME）：根据传感器之间的邻近度关系，自适应地融合不同模态的特征。4) 3D目标检测头：使用融合后的特征进行3D目标检测。

关键创新：MEFormer的关键创新在于两个方面：1) 模态无关解码（MOAD）：使用共享的解码器处理来自不同模态的特征，减少了对特定模态的偏见。2) 基于邻近度的模态集成（PME）：根据传感器之间的邻近度关系，自适应地融合不同模态的特征，提高了在噪声环境下的鲁棒性。与现有方法的本质区别在于，MEFormer更加平等地对待不同的模态，并更加关注在恶劣条件下的鲁棒性。

关键设计：MOAD使用共享的Transformer解码器，其结构和参数设置对所有模态都是相同的。PME模块使用注意力机制来学习不同模态之间的权重，权重的大小取决于传感器之间的邻近度关系。损失函数包括目标检测损失和模态一致性损失，用于提高检测精度和模态之间的一致性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MEFormer在nuScenes验证集上取得了73.9% NDS和71.5% mAP的state-of-the-art性能，显著优于现有的多模态3D目标检测方法。实验结果表明，MEFormer在传感器故障或环境变化等挑战性条件下具有更强的鲁棒性，能够有效应对LiDAR数据缺失或相机数据受损的情况。

🎯 应用场景

MEFormer在自动驾驶、机器人导航、智能交通等领域具有广泛的应用前景。通过提高在恶劣条件下的3D目标检测鲁棒性，可以提升自动驾驶系统的安全性，减少事故发生的概率。此外，该方法还可以应用于安防监控、工业自动化等领域，提高系统的智能化水平。

📄 摘要（原文）

Recent advancements in 3D object detection have benefited from multi-modal information from the multi-view cameras and LiDAR sensors. However, the inherent disparities between the modalities pose substantial challenges. We observe that existing multi-modal 3D object detection methods heavily rely on the LiDAR sensor, treating the camera as an auxiliary modality for augmenting semantic details. This often leads to not only underutilization of camera data but also significant performance degradation in scenarios where LiDAR data is unavailable. Additionally, existing fusion methods overlook the detrimental impact of sensor noise induced by environmental changes, on detection performance. In this paper, we propose MEFormer to address the LiDAR over-reliance problem by harnessing critical information for 3D object detection from every available modality while concurrently safeguarding against corrupted signals during the fusion process. Specifically, we introduce Modality Agnostic Decoding (MOAD) that extracts geometric and semantic features with a shared transformer decoder regardless of input modalities and provides promising improvement with a single modality as well as multi-modality. Additionally, our Proximity-based Modality Ensemble (PME) module adaptively utilizes the strengths of each modality depending on the environment while mitigating the effects of a noisy sensor. Our MEFormer achieves state-of-the-art performance of 73.9% NDS and 71.5% mAP in the nuScenes validation set. Extensive analyses validate that our MEFormer improves robustness against challenging conditions such as sensor malfunctions or environmental changes. The source code is available at https://github.com/hanchaa/MEFormer