Radar-Camera Fused Multi-Object Tracking: Online Calibration and Common Feature

📄 arXiv: 2510.20794v1 📥 PDF

作者: Lei Cheng, Siyang Cao

分类: cs.CV, eess.SP

发布日期: 2025-10-23

备注: accepted to IEEE Transactions on Intelligent Transportation Systems (T-ITS)

DOI: 10.1109/TITS.2025.3624716

🔗 代码/项目: GITHUB

💡 一句话要点

提出一种雷达-相机融合的多目标跟踪框架，实现在线标定和通用特征利用。

🎯 匹配领域: 支柱六：视频提取与匹配 (Video Extraction)

关键词: 雷达相机融合 多目标跟踪 在线标定 通用特征 传感器融合

📋 核心要点

  1. 现有雷达-相机融合方法通常低估雷达的深度信息优势，且依赖人工标定，限制了跟踪效率。
  2. 该方法提出一种雷达-相机融合框架，利用通用特征实现雷达-相机的在线标定，简化传感器数据融合。
  3. 通过特征匹配和类别一致性检查，提升传感器关联精度，实验表明该框架能有效提高跟踪精度。

📝 摘要（中文）

本文提出了一种雷达-相机融合的多目标跟踪(MOT)框架，旨在提高跟踪效率并最大限度地减少人工干预。与许多研究低估雷达作用（尽管雷达能够提供目标在世界3D坐标系中的精确距离/深度信息）并将其作为辅助手段不同，我们的方法将雷达置于关键位置。同时，本文利用通用特征来实现在线标定，从而自主关联来自雷达和相机的检测结果。本工作的主要贡献包括：(1)开发了一种雷达-相机融合的MOT框架，该框架利用在线雷达-相机标定来简化来自这两种传感器的检测结果的集成；(2)利用雷达和相机数据之间的通用特征来准确推导检测到的物体的真实世界位置；(3)采用特征匹配和类别一致性检查来超越单纯的位置匹配的局限性，从而提高传感器关联的准确性。据我们所知，我们是第一个研究雷达-相机通用特征的集成及其在在线标定中用于实现MOT的研究。我们的框架的有效性通过其简化雷达-相机映射过程和提高跟踪精度的能力得到证明，这已通过在受控环境和实际交通场景中进行的真实世界实验得到证实。代码可在https://github.com/radar-lab/Radar_Camera_MOT获取。

🔬 方法详解

问题定义：现有的雷达-相机融合多目标跟踪方法通常将雷达作为辅助传感器，未能充分利用雷达提供的精确深度信息。此外，许多方法依赖于手动标定雷达和相机，这既耗时又容易出错，限制了系统的自动化和可扩展性。因此，需要一种能够自动标定雷达和相机，并有效融合两种传感器数据的多目标跟踪框架。

核心思路：本文的核心思路是利用雷达和相机之间的通用特征，实现雷达-相机的在线标定。通过提取两种传感器数据中共同存在的特征，例如物体的大小、形状等，可以建立雷达和相机之间的对应关系，从而自动估计它们的相对位姿。这种在线标定方法可以减少人工干预，提高系统的鲁棒性和适应性。同时，将雷达置于更重要的位置，充分利用其深度信息，可以提高跟踪的准确性。

技术框架：该雷达-相机融合MOT框架主要包含以下几个模块：1) 雷达和相机数据采集；2) 目标检测：分别使用雷达和相机检测场景中的目标；3) 特征提取：提取雷达和相机检测结果中的通用特征；4) 在线标定：利用通用特征进行雷达-相机在线标定，估计雷达和相机的相对位姿；5) 数据关联：将雷达和相机的检测结果进行关联，得到融合后的目标信息；6) 目标跟踪：使用卡尔曼滤波器等方法对目标进行跟踪。

关键创新：该方法最重要的技术创新点在于利用雷达和相机之间的通用特征进行在线标定。与传统的依赖于人工标定的方法相比，该方法可以自动估计雷达和相机的相对位姿，减少人工干预，提高系统的鲁棒性和适应性。此外，该方法还采用了特征匹配和类别一致性检查等策略，进一步提高了传感器关联的准确性。

关键设计：在特征提取方面，可以采用不同的特征提取器，例如HOG、SIFT等。在线标定可以采用迭代最近点(ICP)算法或扩展卡尔曼滤波器(EKF)等方法。数据关联可以采用匈牙利算法或联合概率数据关联(JPDA)等方法。损失函数的设计需要考虑标定精度和跟踪精度，可以采用加权损失函数，根据实际情况调整权重。

📊 实验亮点

该框架通过在真实交通场景和受控环境中进行实验，验证了其有效性。实验结果表明，该方法能够简化雷达-相机的映射过程，并显著提高跟踪精度。具体的性能数据（例如跟踪精度提升百分比、标定误差降低量等）需要在论文中查找。

🎯 应用场景

该研究成果可广泛应用于自动驾驶、智能交通、机器人等领域。在自动驾驶中，雷达-相机融合可以提高环境感知的准确性和鲁棒性，从而提高驾驶安全性。在智能交通中，该技术可以用于交通流量监测、车辆行为分析等。在机器人领域，该技术可以用于机器人导航、目标识别等。未来，该技术有望在更多领域得到应用，为人们的生活带来便利。

📄 摘要（原文）

This paper presents a Multi-Object Tracking (MOT) framework that fuses radar and camera data to enhance tracking efficiency while minimizing manual interventions. Contrary to many studies that underutilize radar and assign it a supplementary role--despite its capability to provide accurate range/depth information of targets in a world 3D coordinate system--our approach positions radar in a crucial role. Meanwhile, this paper utilizes common features to enable online calibration to autonomously associate detections from radar and camera. The main contributions of this work include: (1) the development of a radar-camera fusion MOT framework that exploits online radar-camera calibration to simplify the integration of detection results from these two sensors, (2) the utilization of common features between radar and camera data to accurately derive real-world positions of detected objects, and (3) the adoption of feature matching and category-consistency checking to surpass the limitations of mere position matching in enhancing sensor association accuracy. To the best of our knowledge, we are the first to investigate the integration of radar-camera common features and their use in online calibration for achieving MOT. The efficacy of our framework is demonstrated by its ability to streamline the radar-camera mapping process and improve tracking precision, as evidenced by real-world experiments conducted in both controlled environments and actual traffic scenarios. Code is available at https://github.com/radar-lab/Radar_Camera_MOT