TriSAR-3D and PaintFusion: A Novel Trimodal LiDAR-RGB-Thermal Dataset and Method for 3D Person Detection in Search and Rescue

📄 arXiv: 2610.22509v1 📥 PDF

作者: Markus Kramer, Jan Wachenfeld, Oskar von Stryk

分类: cs.CV, cs.RO

发布日期: 2026-10-15

🔗 代码/项目: GITHUB

💡 一句话要点

提出TriSAR-3D与PaintFusion以解决救援场景中的3D人检测问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 3D人检测 多模态融合 救援机器人 LiDAR RGB相机 热成像 数据集 实时检测

📋 核心要点

  1. 现有的多模态3D检测方法主要针对汽车场景，无法有效处理救援环境中复杂的人体姿态和遮挡情况。
  2. 本文提出TriSAR-3D数据集和PaintFusion方法，通过融合LiDAR、RGB和热成像数据，提升3D人检测的准确性和速度。
  3. 实验结果显示，PaintFusion在AP@50上达到65.4，显著优于LiDAR单一方法和其他多模态基线，同时每帧延迟为51.6毫秒，速度更快。

📝 摘要（中文）

可靠的3D人检测对于救援机器人至关重要，以帮助第一响应者获得情境意识。然而，大多数多模态3D检测研究主要集中在汽车场景，行人通常以直立、靠近道路的姿态出现。因此，现有方法在救援环境中的适用性尚不明确。为此，本文引入了TriSAR-3D，一个使用高分辨率128通道LiDAR、RGB相机和热成像相机记录的多模态人检测数据集，涵盖了不同姿态和环境。我们还提出了一种新的三模态3D检测管道PaintFusion，通过简单的多层感知机融合PointPainting基础证据。实验表明，该方法在数据集上达到了65.4 AP@50，超越了多种基线，并且在速度上显著优于其他融合方法。

🔬 方法详解

问题定义：本文旨在解决在复杂救援环境中进行3D人检测的挑战，现有方法在处理躺卧、部分遮挡及非结构化环境中的人时表现不佳。

核心思路：通过引入TriSAR-3D数据集，涵盖多种姿态和环境，结合PaintFusion方法，利用多模态数据融合提升检测性能。

技术框架：整体框架包括数据采集、数据预处理、特征提取和融合模块。PaintFusion使用简单的多层感知机（MLP）进行特征融合，提升检测精度。

关键创新：最重要的创新在于提出了TriSAR-3D数据集和PaintFusion方法，前者提供了丰富的多模态数据，后者通过高效的特征融合实现了更高的检测性能。

关键设计：在PaintFusion中，使用了PointPainting技术进行特征提取，设计了适应性损失函数以优化不同模态的融合效果，确保了检测的准确性和实时性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PaintFusion方法在AP@50上达到了65.4，超越了LiDAR单一方法（53.4）、RGB+LiDAR（60.5）和其他多模态基线（Tri-BEVFusion，60.7）。此外，PaintFusion的每帧延迟为51.6毫秒，显著快于BEVFusion的101毫秒，展现了优越的实时性能。

🎯 应用场景

该研究在救援机器人、灾难响应和公共安全等领域具有广泛的应用潜力。通过提高3D人检测的准确性和速度，能够为第一响应者提供更好的情境意识，提升救援效率和安全性。未来，该方法还可扩展到其他复杂环境下的人体检测任务。

📄 摘要（原文）

Reliable 3D person detection is important for rescue robotics to give first responders situational awareness. Yet most multimodal 3D detection research targets automotive scenarios in which pedestrians mostly appear in a narrow range of upright, near-road poses. It is therefore unclear how much of the reported performance transfers to rescue settings, as a person may be lying, partially occluded, or in unstructured indoor and outdoor environments. To investigate this gap, we introduce TriSAR-3D, a multimodal person detection dataset recorded with a high-resolution 128-channel LiDAR, an RGB camera, and a thermal camera. It captures varied poses in indoor as well as outdoor locations at different times of day to study their influence on 3D object detector performance. Furthermore, we propose a novel trimodal 3D detection pipeline, PaintFusion, that fuses PointPainting-based evidence using a simple MLP. We show that the derived method reaches 65.4 AP@50 and thereby outperforms strong LiDAR-only (CenterPoint, 53.4), RGB+LiDAR (BEVFusion, 60.5), and adapted trimodal (Tri-BEVFusion, 60.7) baselines on the dataset. At the same time, it is substantially faster than other fusion-based methods such as BEVFusion, with a per-frame latency of 51.6 ms compared to 101 ms. Additionally, we test how the performance of different 3D object detectors generalizes to unseen pose categories. Removing lying instances from training data collapses the lying-pose AP@50 to near zero across all evaluated detectors. The results indicate that dataset diversity exerts a large effect on 3D object detection performance. The dataset and code are available at https://github.com/MarkusKramer1/3D-Trimodal-People-Detection.