MambaST: A Plug-and-Play Cross-Spectral Spatial-Temporal Fuser for Efficient Pedestrian Detection

📄 arXiv: 2408.01037v1 📥 PDF

作者: Xiangbo Gao, Asiegbu Miracle Kanu-Asiegbu, Xiaoxiao Du

分类: cs.CV

发布日期: 2024-08-02

备注: ITSC 2024 Accepted

🔗 代码/项目: GITHUB

💡 一句话要点

提出MambaST，一种即插即用的跨光谱时空融合框架，用于高效行人检测

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 行人检测 跨光谱融合 状态空间模型 Mamba 时空建模 自动驾驶 多模态学习

📋 核心要点

  1. 现有RGB相机在低光照条件下行人检测精度不足，跨光谱融合是提升鲁棒性的关键，但现有方法效率不高。
  2. 利用Mamba状态空间模型，设计多头分层分块和聚合（MHHPA）结构，高效提取RGB和热成像中的时空信息。
  3. 实验表明，MHHPA是Transformer的有效替代方案，在跨光谱行人检测和小尺度行人检测上均表现出色。

📝 摘要（中文）

本文提出了一种名为MambaST的即插即用跨光谱时空融合管道，用于高效的行人检测。在自动驾驶应用中，行人检测面临诸多挑战。首先，在黑暗或低光照条件下，仅使用RGB相机难以进行准确检测。因此，需要开发跨光谱系统，整合来自多种传感器模态（如热成像和可见光相机）的互补信息，以提高检测的鲁棒性。其次，行人检测模型对延迟非常敏感。参数更少、高效且易于扩展的检测模型对于自动驾驶等实时应用至关重要。第三，行人视频数据提供了行人运动的时空相关性。结合时间和空间信息有利于增强行人检测。本文利用了状态空间模型（Mamba）的最新进展，并提出了一种新颖的多头分层分块和聚合（MHHPA）结构，以从RGB和热成像中提取细粒度和粗粒度信息。实验结果表明，所提出的MHHPA是Transformer模型在跨光谱行人检测中一种有效且高效的替代方案。我们的模型在小尺度行人检测方面也取得了优异的性能。

🔬 方法详解

问题定义：论文旨在解决自动驾驶场景下，低光照条件或复杂背景下行人检测精度低、效率不高的问题。现有方法通常依赖RGB图像，在光照不足时性能显著下降。跨光谱融合（如RGB和热成像）可以提供互补信息，但传统的融合方法，如基于Transformer的模型，计算复杂度高，难以满足实时性要求。

核心思路：论文的核心思路是利用Mamba状态空间模型的高效序列建模能力，替代Transformer中的自注意力机制，从而降低计算复杂度，提高检测效率。同时，设计一种新的多头分层分块和聚合（MHHPA）结构，以有效提取跨光谱图像中的时空特征。

技术框架：MambaST的整体框架是一个即插即用的跨光谱时空融合管道。它首先对RGB和热成像图像进行预处理，然后通过MHHPA模块提取特征。MHHPA模块包含多个Mamba块，用于建模时序依赖关系。最后，将提取的特征送入检测头进行行人检测。

关键创新：论文最重要的技术创新点在于提出了MHHPA结构，该结构利用Mamba块替代Transformer中的自注意力机制，显著降低了计算复杂度，同时保持了良好的性能。此外，MHHPA采用多头和分层结构，可以提取不同尺度和不同模态的特征，从而提高检测的鲁棒性。

关键设计：MHHPA模块的关键设计包括：1) 多头结构：使用多个Mamba块并行处理输入，每个头关注不同的特征子空间。2) 分层结构：采用多层Mamba块，逐层提取更高级别的特征。3) 分块和聚合：将输入图像分成多个patch，分别进行处理，然后将结果聚合起来。具体的参数设置（如Mamba块的层数、头的数量、patch的大小等）需要根据具体数据集进行调整。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，MambaST在跨光谱行人检测数据集上取得了显著的性能提升。与基于Transformer的模型相比，MambaST在保持甚至略微提升检测精度的同时，显著降低了计算复杂度。此外，MambaST在小尺度行人检测方面也表现出色，表明其具有良好的泛化能力。

🎯 应用场景

该研究成果可应用于自动驾驶、智能监控、机器人等领域。在自动驾驶中，可以提高车辆在各种光照条件下的行人检测能力，从而提升驾驶安全性。在智能监控中，可以实现全天候的行人监控，提高安全防范水平。在机器人领域，可以帮助机器人更好地感知周围环境，实现更智能的交互。

📄 摘要（原文）

This paper proposes MambaST, a plug-and-play cross-spectral spatial-temporal fusion pipeline for efficient pedestrian detection. Several challenges exist for pedestrian detection in autonomous driving applications. First, it is difficult to perform accurate detection using RGB cameras under dark or low-light conditions. Cross-spectral systems must be developed to integrate complementary information from multiple sensor modalities, such as thermal and visible cameras, to improve the robustness of the detections. Second, pedestrian detection models are latency-sensitive. Efficient and easy-to-scale detection models with fewer parameters are highly desirable for real-time applications such as autonomous driving. Third, pedestrian video data provides spatial-temporal correlations of pedestrian movement. It is beneficial to incorporate temporal as well as spatial information to enhance pedestrian detection. This work leverages recent advances in the state space model (Mamba) and proposes a novel Multi-head Hierarchical Patching and Aggregation (MHHPA) structure to extract both fine-grained and coarse-grained information from both RGB and thermal imagery. Experimental results show that the proposed MHHPA is an effective and efficient alternative to a Transformer model for cross-spectral pedestrian detection. Our proposed model also achieves superior performance on small-scale pedestrian detection. The code is available at https://github.com/XiangboGaoBarry/MambaST}{https://github.com/XiangboGaoBarry/MambaST.