Multi-Modal Camera-Based Detection of Vulnerable Road Users

📄 arXiv: 2509.06333v1 📥 PDF

作者: Penelope Brown, Julie Stephany Berrio Perez, Mao Shan, Stewart Worrall

分类: cs.CV, cs.RO

发布日期: 2025-09-08

💡 一句话要点

提出一种多模态相机融合的弱势道路使用者检测框架，提升恶劣环境下的检测性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态融合 目标检测 弱势道路使用者 热红外成像 YOLOv8

📋 核心要点

  1. 现有方法在弱光、恶劣天气等复杂环境下，对行人、骑行者等弱势道路使用者（VRU）的检测精度不足，存在较大安全隐患。
  2. 该论文提出一种多模态检测框架，融合RGB图像和热红外图像，并结合YOLOv8模型，提升对VRU的检测能力。
  3. 实验结果表明，该方法在提高VRU检测精度和召回率方面有显著效果，尤其是在热红外图像的辅助下，对稀有VRU的检测能力得到增强。

📝 摘要（中文）

弱势道路使用者（VRU），如行人、骑自行车者和摩托车驾驶员，占全球交通死亡人数的一半以上，但在光线不足、恶劣天气和不平衡的数据集中，对他们的检测仍然具有挑战性。本文提出了一种多模态检测框架，该框架集成了RGB和热红外成像与微调的YOLOv8模型。训练利用了KITTI、BDD100K和Teledyne FLIR数据集，通过类别重加权和轻量级数据增强来提高少数类别的性能和鲁棒性。实验表明，640像素分辨率和部分骨干网络冻结优化了精度和效率，而类别加权损失提高了稀有VRU的召回率。结果表明，热红外模型实现了最高的精度，而RGB到热红外的增强提高了召回率，证明了多模态检测在提高交叉路口VRU安全性方面的潜力。

🔬 方法详解

问题定义：论文旨在解决在复杂交通场景下，尤其是光照条件差、天气恶劣等情况下，对弱势道路使用者（VRU）如行人、骑自行车者和摩托车驾驶员进行准确检测的问题。现有方法在这些挑战性场景下的检测性能往往不佳，导致安全隐患。

核心思路：论文的核心思路是利用多模态信息融合，结合RGB图像和热红外图像的优势。RGB图像提供丰富的颜色和纹理信息，而热红外图像对温度敏感，可以在光照不足或遮挡情况下提供额外的目标信息。通过融合这两种模态的信息，可以提高VRU检测的鲁棒性和准确性。

技术框架：该框架基于YOLOv8目标检测器，并进行微调以适应VRU检测任务。整体流程包括：1) 数据预处理，包括RGB和热红外图像的配准和同步；2) 特征提取，分别使用YOLOv8对RGB和热红外图像进行特征提取；3) 特征融合，将RGB和热红外特征进行融合，可以使用简单的拼接或更复杂的注意力机制；4) 目标检测，使用融合后的特征进行VRU的检测和定位。

关键创新：该论文的关键创新在于多模态信息的有效融合，特别是RGB到热红外的增强。通过将RGB图像的特征信息迁移到热红外图像上，可以提高热红外图像的特征表达能力，从而提升VRU的检测性能。此外，论文还采用了类别重加权和轻量级数据增强等技术，以提高少数类别的性能和鲁棒性。

关键设计：在参数设置方面，论文实验了不同的输入分辨率，发现640像素分辨率在精度和效率之间取得了较好的平衡。在网络结构方面，论文采用了部分骨干网络冻结的策略，以减少训练时间和计算资源消耗。在损失函数方面，论文使用了类别加权损失，以平衡不同类别之间的样本数量差异，提高稀有VRU的召回率。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，热红外模型实现了最高的精度，而RGB到热红外的增强显著提高了召回率。通过类别重加权和轻量级数据增强，该方法在KITTI、BDD100K和Teledyne FLIR数据集上取得了良好的性能，尤其是在提高稀有VRU的召回率方面表现突出。640像素分辨率和部分骨干网络冻结的策略在优化精度和效率方面也取得了成功。

🎯 应用场景

该研究成果可应用于智能交通系统、自动驾驶车辆、高级驾驶辅助系统（ADAS）等领域，提高道路安全性，减少交通事故，尤其是在城市复杂交通环境中，对行人、骑行者等弱势道路使用者的保护具有重要意义。未来可进一步扩展到其他类型的传感器融合，例如激光雷达和毫米波雷达，以实现更全面的环境感知。

📄 摘要（原文）

Vulnerable road users (VRUs) such as pedestrians, cyclists, and motorcyclists represent more than half of global traffic deaths, yet their detection remains challenging in poor lighting, adverse weather, and unbalanced data sets. This paper presents a multimodal detection framework that integrates RGB and thermal infrared imaging with a fine-tuned YOLOv8 model. Training leveraged KITTI, BDD100K, and Teledyne FLIR datasets, with class re-weighting and light augmentations to improve minority-class performance and robustness, experiments show that 640-pixel resolution and partial backbone freezing optimise accuracy and efficiency, while class-weighted losses enhance recall for rare VRUs. Results highlight that thermal models achieve the highest precision, and RGB-to-thermal augmentation boosts recall, demonstrating the potential of multimodal detection to improve VRU safety at intersections.