Multi-Modal Sensor Fusion and Object Tracking for Autonomous Racing
作者: Phillip Karle, Felix Fent, Sebastian Huch, Florian Sauerbeck, Markus Lienkamp
分类: cs.RO
发布日期: 2023-10-12
期刊: IEEE Transactions on Intelligent Vehicles, vol. 8, no. 7, pp. 3871-3883, July 2023
🔗 代码/项目: GITHUB
💡 一句话要点
提出多模态传感器融合与目标跟踪方法以解决自主赛车中的检测问题
🎯 匹配领域: 支柱一：机器人控制 (Robot Control) 支柱七：动作重定向 (Motion Retargeting) 支柱八：物理动画 (Physics-based Animation)
关键词: 多模态融合 目标跟踪 扩展卡尔曼滤波器 自主驾驶 传感器融合 高速度场景 鲁棒性 实时性
📋 核心要点
- 现有方法在复杂高速场景下的物体检测与跟踪能力不足，难以满足自主赛车的需求。
- 提出基于扩展卡尔曼滤波器的多模态传感器融合与跟踪方法，能够有效整合不同传感器的数据。
- 在高速真实场景中验证了该方法的鲁棒性，位置跟踪残差低于0.1米，显示出显著的性能提升。
📝 摘要（中文）
可靠的周围物体检测与跟踪对于自主车辆的全面运动预测与规划至关重要。由于单一传感器的局限性，需要融合多种传感器模态以提升整体检测能力。此外，稳健的运动跟踪对于减少传感器噪声影响和提高状态估计精度也至关重要。本文提出了一种模块化的多模态传感器融合与跟踪方法，基于扩展卡尔曼滤波器（EKF），能够一致地融合异构检测输入以跟踪周围物体。新颖的延迟补偿方法减少了感知软件延迟的影响，并输出更新的物体列表。该方法在2021年印第安纳自主挑战赛和2022年CES自主挑战赛中首次验证了其在高速真实场景下的鲁棒性和计算效率，且不需要任何标记数据，位置跟踪残差低于0.1米。
🔬 方法详解
问题定义：本文旨在解决自主赛车中物体检测与跟踪的可靠性问题，现有方法在高速复杂场景下的表现不佳，难以满足实时性和准确性的要求。
核心思路：通过融合多种传感器模态，利用扩展卡尔曼滤波器（EKF）来实现对周围物体的稳健跟踪，设计了延迟补偿机制以降低感知软件的延迟影响。
技术框架：整体架构包括传感器数据采集、数据融合模块、运动跟踪模块和延迟补偿模块。首先收集来自不同传感器的数据，然后通过EKF进行融合，最后进行目标跟踪和更新。
关键创新：该方法的创新点在于首次在高速真实场景中验证了多模态传感器融合与跟踪的有效性，且不依赖于标记数据，显著提高了跟踪精度。
关键设计：在参数设置上，采用了适应性调整的滤波参数，损失函数设计为最小化跟踪残差，确保了高效的计算性能和实时性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在高速真实场景下的跟踪残差低于0.1米，显示出优于传统方法的鲁棒性和计算效率。与基线方法相比，性能提升显著，证明了其在高速度条件下的有效性。
🎯 应用场景
该研究的潜在应用领域包括自主驾驶、无人机导航和机器人技术等。通过提升物体检测与跟踪的可靠性，该方法能够显著增强自主系统在复杂环境中的决策能力，推动智能交通和自动化技术的发展。
📄 摘要（原文）
Reliable detection and tracking of surrounding objects are indispensable for comprehensive motion prediction and planning of autonomous vehicles. Due to the limitations of individual sensors, the fusion of multiple sensor modalities is required to improve the overall detection capabilities. Additionally, robust motion tracking is essential for reducing the effect of sensor noise and improving state estimation accuracy. The reliability of the autonomous vehicle software becomes even more relevant in complex, adversarial high-speed scenarios at the vehicle handling limits in autonomous racing. In this paper, we present a modular multi-modal sensor fusion and tracking method for high-speed applications. The method is based on the Extended Kalman Filter (EKF) and is capable of fusing heterogeneous detection inputs to track surrounding objects consistently. A novel delay compensation approach enables to reduce the influence of the perception software latency and to output an updated object list. It is the first fusion and tracking method validated in high-speed real-world scenarios at the Indy Autonomous Challenge 2021 and the Autonomous Challenge at CES (AC@CES) 2022, proving its robustness and computational efficiency on embedded systems. It does not require any labeled data and achieves position tracking residuals below 0.1 m. The related code is available as open-source software at https://github.com/TUMFTM/FusionTracking.