ContrastAlign: Toward Robust BEV Feature Alignment via Contrastive Learning for Multi-Modal 3D Object Detection

📄 arXiv: 2405.16873v3 📥 PDF

作者: Ziying Song, Hongyu Pan, Feiyang Jia, Yongchang Zhang, Lin Liu, Lei Yang, Shaoqing Xu, Peiliang Wu, Caiyan Jia, Zheng Zhang, Yadan Luo

分类: cs.CV

发布日期: 2024-05-27 (更新: 2025-08-19)

备注: 12 pages, 3 figures

💡 一句话要点

ContrastAlign：利用对比学习实现鲁棒的BEV特征对齐，提升多模态3D目标检测性能

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多模态融合 3D目标检测 BEV特征 对比学习 特征对齐 传感器校准 自动驾驶

📋 核心要点

  1. 现有3D目标检测方法在融合激光雷达和相机数据时，易受传感器校准误差影响，导致BEV特征不对齐，降低检测精度。
  2. ContrastAlign通过对比学习，学习跨模态一致的实例特征表示，并利用图匹配实现特征对齐，增强融合的鲁棒性。
  3. 实验表明，ContrastAlign在nuScenes和Argoverse2数据集上均超越现有方法，尤其在存在噪声的情况下提升显著。

📝 摘要（中文）

在3D目标检测领域，融合来自激光雷达和相机传感器的异构特征到统一的鸟瞰图（BEV）表示是一种广泛采用的范式。然而，现有方法常常受到不精确的传感器校准的影响，导致激光雷达-相机BEV融合中的特征不对齐。此外，这种不准确性会导致相机分支的深度估计误差，加剧激光雷达和相机BEV特征之间的不对齐。本文提出了一种新颖的ContrastAlign方法，该方法利用对比学习来增强异构模态的对齐，从而提高融合过程的鲁棒性。具体而言，我们的方法包括三个关键组成部分：（1）L-Instance模块，用于提取激光雷达BEV特征中的激光雷达实例特征；（2）C-Instance模块，通过相机BEV特征上的感兴趣区域（RoI）池化来预测相机实例特征；（3）InstanceFusion模块，采用对比学习来生成跨异构模态的一致实例特征。随后，我们使用图匹配来计算相邻相机实例特征之间的相似度以及相似实例特征，以完成实例特征的对齐。我们的方法实现了SOTA性能，在nuScenes val集上达到了71.5%的mAP，超过了GraphBEV 1.4%。重要的是，我们的方法在存在空间和时间不对齐噪声的条件下优于BEVFusion，在nuScenes数据集上将mAP提高了1.4%和11.1%。值得注意的是，在Argoverse2数据集上，ContrastAlign的mAP比GraphBEV高出1.0%，表明距离越远，特征不对齐越严重，效果越好。

🔬 方法详解

问题定义：多模态3D目标检测中，由于激光雷达和相机传感器之间存在校准误差，导致提取的BEV特征在空间上不对齐。这种不对齐会严重影响融合效果，降低目标检测的精度和鲁棒性。现有方法难以有效解决这种由传感器误差引起的特征不对齐问题。

核心思路：ContrastAlign的核心思路是利用对比学习，学习激光雷达和相机模态中对应实例之间的一致性特征表示。通过拉近同一实例在不同模态下的特征距离，并推远不同实例的特征距离，从而实现跨模态的特征对齐。这种方法能够有效应对传感器校准误差带来的影响，提高融合的鲁棒性。

技术框架：ContrastAlign主要包含三个模块：L-Instance模块、C-Instance模块和InstanceFusion模块。L-Instance模块负责从激光雷达BEV特征中提取激光雷达实例特征。C-Instance模块通过RoI池化从相机BEV特征中预测相机实例特征。InstanceFusion模块利用对比学习，生成跨异构模态的一致实例特征。最后，使用图匹配算法计算相邻相机实例特征之间的相似度，完成实例特征的对齐。

关键创新：ContrastAlign的关键创新在于引入了对比学习来解决多模态特征对齐问题。与传统的直接融合方法不同，ContrastAlign通过学习跨模态的一致性特征表示，显式地对齐不同模态的特征。这种方法能够有效应对传感器校准误差带来的影响，提高融合的鲁棒性。此外，使用图匹配算法进行实例特征对齐也提升了对齐的精度。

关键设计：InstanceFusion模块使用InfoNCE损失函数进行对比学习，旨在拉近同一实例在不同模态下的特征距离，并推远不同实例的特征距离。图匹配算法使用匈牙利算法来寻找最佳匹配，并使用相似度作为匹配的权重。L-Instance和C-Instance模块的网络结构细节未在论文中详细描述，属于实现细节，但RoI Pooling是C-Instance的关键。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

ContrastAlign在nuScenes验证集上取得了71.5%的mAP，超越了GraphBEV 1.4%。在存在空间和时间不对齐噪声的情况下，ContrastAlign在nuScenes数据集上将mAP提高了1.4%和11.1%，显示了其强大的鲁棒性。在Argoverse2数据集上，ContrastAlign的mAP比GraphBEV高出1.0%，表明其在远距离目标检测中更具优势。

🎯 应用场景

ContrastAlign可应用于自动驾驶、机器人导航、智能交通等领域，提升多传感器融合的3D目标检测性能。尤其在传感器标定精度不高或存在动态标定误差的场景下，该方法能显著提高系统的感知能力和安全性。未来可进一步扩展到更多模态的融合，例如毫米波雷达、红外相机等。

📄 摘要（原文）

In the field of 3D object detection tasks, fusing heterogeneous features from LiDAR and camera sensors into a unified Bird's Eye View (BEV) representation is a widely adopted paradigm. However, existing methods often suffer from imprecise sensor calibration, leading to feature misalignment in LiDAR-camera BEV fusion. Moreover, such inaccuracies cause errors in depth estimation for the camera branch, aggravating misalignment between LiDAR and camera BEV features. In this work, we propose a novel ContrastAlign approach that utilizes contrastive learning to enhance the alignment of heterogeneous modalities, thereby improving the robustness of the fusion process. Specifically, our approach comprises three key components: (1) the L-Instance module, which extracts LiDAR instance features within the LiDAR BEV features; (2) the C-Instance module, which predicts camera instance features through Region of Interest (RoI) pooling on the camera BEV features; (3) the InstanceFusion module, which employs contrastive learning to generate consistent instance features across heFterogeneous modalities. Subsequently, we use graph matching to calculate the similarity between the neighboring camera instance features and the similarity instance features to complete the alignment of instance features. Our method achieves SOTA performance, with an mAP of 71.5%, surpassing GraphBEV by 1.4% on the nuScenes val set. Importantly, our method excels BEVFusion under conditions with spatial & temporal misalignment noise, improving mAP by 1.4% and 11.1% on nuScenes dataset. Notably, on the Argoverse2 dataset, ContrastAlign outperforms GraphBEV by 1.0% in mAP, indicating that the farther the distance, the more severe the feature misalignment and the more effective.