Multistream Network for LiDAR and Camera-based 3D Object Detection in Outdoor Scenes

📄 arXiv: 2507.19304v1 📥 PDF

作者: Muhammad Ibrahim, Naveed Akhtar, Haitian Wang, Saeed Anwar, Ajmal Mian

分类: cs.CV, cs.AI

发布日期: 2025-07-25

备注: This paper has been accepted by IEEE/RSJ IROS 2025 for oral presentation on 19 Oct. 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出MuStD网络，融合LiDAR和RGB数据，提升室外场景3D目标检测精度。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D目标检测 LiDAR RGB图像 多模态融合 深度学习 自动驾驶 KITTI数据集

📋 核心要点

  1. 现有方法难以有效融合LiDAR和RGB数据，导致室外3D目标检测精度受限，尤其是在复杂场景下。
  2. MuStD网络通过三流结构，分别提取LiDAR的pillar特征、鸟瞰图特征，以及融合RGB和LiDAR的3D多模态特征。
  3. 在KITTI数据集上的实验表明，MuStD网络在精度和效率方面均表现出色，达到了新的state-of-the-art水平。

📝 摘要（中文）

本文提出了一种用于室外3D目标检测的多流检测(MuStD)网络，旨在有效融合LiDAR和RGB数据，解决现有方法在精确目标检测方面的不足。该网络采用三流结构：LiDAR-PillarNet流从LiDAR输入中提取稀疏2D pillar特征；LiDAR-Height Compression流计算鸟瞰图特征；3D多模态流则利用UV映射和极坐标索引融合RGB和LiDAR特征。最终，包含全面空间、纹理和几何信息的特征被融合，并输入到检测头进行3D目标检测。在KITTI目标检测基准上的大量实验表明，该方法在不同类别中取得了新的state-of-the-art或极具竞争力的结果，同时保持了较高的效率。

🔬 方法详解

问题定义：论文旨在解决室外场景下，如何有效融合LiDAR点云和RGB图像信息，以提升3D目标检测的精度和鲁棒性的问题。现有方法在多模态特征融合方面存在不足，无法充分利用两种模态的互补信息，导致检测性能受限。

核心思路：论文的核心思路是设计一个多流网络，分别处理LiDAR和RGB数据，并采用特定的融合策略，以提取任务相关的特征，并充分利用两种模态的互补信息。通过多流结构，网络可以更好地捕捉不同模态的特征，并通过融合机制将这些特征结合起来，从而提高检测精度。

技术框架：MuStD网络采用三流结构：1) LiDAR-PillarNet流：使用PillarNet从LiDAR点云中提取2D pillar特征。2) LiDAR-Height Compression流：通过高度压缩将LiDAR点云转换为鸟瞰图(BEV)特征。3) 3D多模态流：利用UV映射和极坐标索引，将RGB图像信息投影到3D点云上，并融合RGB和LiDAR特征。最后，将三个流的特征进行融合，并输入到检测头进行3D目标检测。

关键创新：论文的关键创新在于3D多模态流的设计，它通过UV映射和极坐标索引，实现了RGB图像信息与LiDAR点云的有效融合。这种融合方式能够充分利用RGB图像的纹理信息和LiDAR点云的几何信息，从而提高检测精度。此外，多流结构的设计也使得网络能够更好地捕捉不同模态的特征。

关键设计：在3D多模态流中，UV映射用于将RGB图像像素映射到3D点云上，极坐标索引用于将3D点云转换为极坐标表示，从而方便特征融合。损失函数方面，论文采用标准的3D目标检测损失函数，例如Smooth L1 loss和Focal loss。网络结构方面，论文采用了ResNet等常用的卷积神经网络作为特征提取器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MuStD网络在KITTI目标检测基准上取得了显著的性能提升，在某些类别中达到了新的state-of-the-art水平。与现有方法相比，MuStD网络在精度和效率方面均表现出色，证明了其有效性和实用性。具体性能数据请参考论文原文。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、智能交通等领域。通过提高室外场景下3D目标检测的精度和鲁棒性，可以增强自动驾驶系统的环境感知能力，提升行驶安全性。此外，该方法还可以应用于机器人导航，帮助机器人在复杂环境中进行定位和避障。

📄 摘要（原文）

Fusion of LiDAR and RGB data has the potential to enhance outdoor 3D object detection accuracy. To address real-world challenges in outdoor 3D object detection, fusion of LiDAR and RGB input has started gaining traction. However, effective integration of these modalities for precise object detection task still remains a largely open problem. To address that, we propose a MultiStream Detection (MuStD) network, that meticulously extracts task-relevant information from both data modalities. The network follows a three-stream structure. Its LiDAR-PillarNet stream extracts sparse 2D pillar features from the LiDAR input while the LiDAR-Height Compression stream computes Bird's-Eye View features. An additional 3D Multimodal stream combines RGB and LiDAR features using UV mapping and polar coordinate indexing. Eventually, the features containing comprehensive spatial, textural and geometric information are carefully fused and fed to a detection head for 3D object detection. Our extensive evaluation on the challenging KITTI Object Detection Benchmark using public testing server at https://www.cvlibs.net/datasets/kitti/eval_object_detail.php?&result=d162ec699d6992040e34314d19ab7f5c217075e0 establishes the efficacy of our method by achieving new state-of-the-art or highly competitive results in different categories while remaining among the most efficient methods. Our code will be released through MuStD GitHub repository at https://github.com/IbrahimUWA/MuStD.git