EdgeCalib: Multi-Frame Weighted Edge Features for Automatic Targetless LiDAR-Camera Calibration
作者: Xingchen Li, Yifan Duan, Beibei Wang, Haojie Ren, Guoliang You, Yu Sheng, Jianmin Ji, Yanyong Zhang
分类: cs.CV, cs.RO
发布日期: 2023-10-25
💡 一句话要点
提出EdgeCalib以解决LiDAR与相机的自动标定问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: LiDAR标定 相机标定 边缘特征 多模态感知 自动驾驶 机器人导航 增强现实
📋 核心要点
- 现有的LiDAR与相机标定方法依赖特定目标或手动调整，导致效率低且成本高。
- 本文提出了一种基于边缘特征的自动在线标定方法，利用图像和点云中的边缘特征进行外部参数的确定。
- 实验结果显示，该方法在旋转精度和平移精度上均优于现有的边缘标定方法，具有更高的鲁棒性。
📝 摘要（中文）
在多模态感知系统中，实现LiDAR与相机之间的精确外部标定至关重要。以往的标定方法通常需要特定的标定目标或手动调整，导致其劳动强度大且成本高。虽然已有基于特征的在线标定方法被提出，但这些方法面临特征提取不精确、跨模态关联不可靠以及场景特定要求高等挑战。为此，本文提出了一种基于边缘特征的自动在线标定方法，能够在真实场景中有效工作。通过提取稳定且鲁棒的图像边缘特征，并利用多帧加权策略对点云中的边缘特征进行加权，最终基于边缘对应约束优化外部参数。实验结果表明，该方法在KITTI数据集及自建数据集上达到了0.086°的旋转精度和0.977 cm的平移精度，超越了现有的边缘标定方法。
🔬 方法详解
问题定义：本文旨在解决LiDAR与相机之间的自动外部标定问题。现有方法通常依赖于特定的标定目标或手动调整，导致标定过程繁琐且不够灵活。
核心思路：论文提出了一种基于边缘特征的在线标定方法，利用环境中普遍存在的边缘特征进行标定，避免了对特定目标的依赖。通过提取图像和点云中的边缘特征并进行对齐，来确定外部参数。
技术框架：整体方法包括边缘特征的提取、特征加权和外部参数优化三个主要模块。首先，使用基于SAM的方法提取图像中的稳定边缘特征；其次，通过多帧加权策略对点云中的边缘特征进行加权；最后，基于边缘对应关系优化外部参数。
关键创新：该方法的创新点在于引入了多帧加权策略来增强边缘特征的鲁棒性，并通过边缘对应约束来优化外部参数，显著提高了标定精度和稳定性。
关键设计：在特征提取过程中，采用了SAM算法以确保边缘特征的稳定性；在加权过程中，设计了多帧加权策略以过滤不可靠的特征；优化阶段则基于边缘对应关系构建损失函数，以提高外部参数的准确性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，本文方法在KITTI数据集和自建数据集上达到了0.086°的旋转精度和0.977 cm的平移精度，显著优于现有的边缘标定方法，展示了其在精度和鲁棒性上的优势。
🎯 应用场景
该研究的潜在应用领域包括自动驾驶、机器人导航和增强现实等多模态感知系统。通过实现高精度的LiDAR与相机标定，可以显著提升这些系统的环境感知能力和决策精度，进而推动相关技术的实际应用和发展。
📄 摘要（原文）
In multimodal perception systems, achieving precise extrinsic calibration between LiDAR and camera is of critical importance. Previous calibration methods often required specific targets or manual adjustments, making them both labor-intensive and costly. Online calibration methods based on features have been proposed, but these methods encounter challenges such as imprecise feature extraction, unreliable cross-modality associations, and high scene-specific requirements. To address this, we introduce an edge-based approach for automatic online calibration of LiDAR and cameras in real-world scenarios. The edge features, which are prevalent in various environments, are aligned in both images and point clouds to determine the extrinsic parameters. Specifically, stable and robust image edge features are extracted using a SAM-based method and the edge features extracted from the point cloud are weighted through a multi-frame weighting strategy for feature filtering. Finally, accurate extrinsic parameters are optimized based on edge correspondence constraints. We conducted evaluations on both the KITTI dataset and our dataset. The results show a state-of-the-art rotation accuracy of 0.086° and a translation accuracy of 0.977 cm, outperforming existing edge-based calibration methods in both precision and robustness.