PedDet: Adaptive Spectral Optimization for Multimodal Pedestrian Detection

📄 arXiv: 2502.14063v2 📥 PDF

作者: Rui Zhao, Zeyu Zhang, Yi Xu, Yi Yao, Yan Huang, Wenxin Zhang, Zirui Song, Xiuying Chen, Yang Zhao

分类: cs.CV

发布日期: 2025-02-19 (更新: 2025-02-21)

🔗 代码/项目: GITHUB

💡 一句话要点

提出PedDet以解决多模态行人检测中的信息融合不足问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 行人检测 光谱优化 鲁棒性 智能交通 深度学习

📋 核心要点

  1. 现有行人检测方法在可见光与红外光谱信息融合上存在不足，尤其在复杂场景中表现不佳。
  2. PedDet通过引入多尺度光谱特征感知模块和照明鲁棒性特征解耦模块，增强了多模态特征的融合与稳定性。
  3. 在LLVIP和MSDS数据集上的实验结果显示，PedDet的mAP提升了6.6%，在低光条件下的检测准确性显著提高。

📝 摘要（中文）

行人检测在智能交通系统中取得了显著进展，但仍面临两个关键挑战：（1）可见光和红外光谱之间的互补信息融合不足，尤其在复杂场景中；（2）对光照变化的敏感性，如低光或过曝条件，导致性能下降。为了解决这些问题，我们提出了PedDet，一个针对多光谱行人检测的自适应光谱优化互补框架。PedDet引入了多尺度光谱特征感知模块（MSFPM），以自适应融合可见光和红外特征，增强特征提取的鲁棒性和灵活性。此外，照明鲁棒性特征解耦模块（IRFDM）通过解耦行人与背景特征，提高了在不同光照条件下的检测稳定性。实验结果表明，PedDet在LLVIP和MSDS数据集上实现了最先进的性能，mAP提升了6.6%，即使在低光条件下也表现出优越的检测准确性，为道路安全做出了重要贡献。

🔬 方法详解

问题定义：本论文旨在解决多模态行人检测中可见光与红外光谱信息融合不足及对光照变化敏感的问题。现有方法在复杂场景下的表现往往不理想，导致检测准确性下降。

核心思路：PedDet的核心思路是通过自适应光谱优化框架，增强可见光与红外特征的融合，提升特征提取的鲁棒性和灵活性。通过解耦行人与背景特征，增强模型在不同光照条件下的稳定性。

技术框架：PedDet的整体架构包括两个主要模块：多尺度光谱特征感知模块（MSFPM）和照明鲁棒性特征解耦模块（IRFDM）。MSFPM负责自适应融合不同光谱的特征，而IRFDM则专注于提高在变化光照条件下的检测稳定性。

关键创新：PedDet的主要创新在于引入了MSFPM和IRFDM模块，前者通过多尺度特征融合提升了信息互补性，后者通过特征解耦提高了模型的鲁棒性。这些创新使得PedDet在复杂环境下的行人检测性能显著提升。

关键设计：在设计中，PedDet采用了对比对齐策略以增强模态间特征的区分度，同时在损失函数的设置上进行了优化，以适应多模态特征的学习需求。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

PedDet在LLVIP和MSDS数据集上的实验结果显示，mAP提升了6.6%，在低光条件下的检测准确性显著提高，标志着其在行人检测领域的领先地位。与现有方法相比，PedDet在复杂场景下表现出更高的稳定性和鲁棒性。

🎯 应用场景

PedDet的研究成果在智能交通系统中具有广泛的应用潜力，尤其是在行人检测、监控和自动驾驶等领域。通过提高行人检测的准确性和鲁棒性，该技术能够显著提升道路安全性，减少交通事故的发生。此外，PedDet的设计理念也可为其他多模态融合任务提供借鉴。

📄 摘要（原文）

Pedestrian detection in intelligent transportation systems has made significant progress but faces two critical challenges: (1) insufficient fusion of complementary information between visible and infrared spectra, particularly in complex scenarios, and (2) sensitivity to illumination changes, such as low-light or overexposed conditions, leading to degraded performance. To address these issues, we propose PedDet, an adaptive spectral optimization complementarity framework specifically enhanced and optimized for multispectral pedestrian detection. PedDet introduces the Multi-scale Spectral Feature Perception Module (MSFPM) to adaptively fuse visible and infrared features, enhancing robustness and flexibility in feature extraction. Additionally, the Illumination Robustness Feature Decoupling Module (IRFDM) improves detection stability under varying lighting by decoupling pedestrian and background features. We further design a contrastive alignment to enhance intermodal feature discrimination. Experiments on LLVIP and MSDS datasets demonstrate that PedDet achieves state-of-the-art performance, improving the mAP by 6.6% with superior detection accuracy even in low-light conditions, marking a significant step forward for road safety. Code will be available at https://github.com/AIGeeksGroup/PedDet.