EF-Calib: Spatiotemporal Calibration of Event- and Frame-Based Cameras Using Continuous-Time Trajectories

📄 arXiv: 2405.17278v2 📥 PDF

作者: Shaoan Wang, Zhanhua Xin, Yaoqing Hu, Dongyue Li, Mingzhu Zhu, Junzhi Yu

分类: cs.RO, cs.CV

发布日期: 2024-05-27 (更新: 2024-09-25)

备注: Accepted by IEEE Robotics and Automation Letters

期刊: IEEE Robotics and Automation Letters, 2024

DOI: 10.1109/LRA.2024.3474475

🔗 代码/项目: GITHUB

💡 一句话要点

EF-Calib：提出基于连续时间轨迹的事件相机与帧相机的时空标定方法

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 事件相机 帧相机 时空标定 连续时间轨迹 B样条

📋 核心要点

  1. 现有事件相机与帧相机联合标定方法面临挑战，尤其是在时空同步方面，限制了二者融合的潜力。
  2. EF-Calib利用事件相机的异步特性，通过连续时间轨迹表示相机位姿，实现内参、外参和时间偏移的精确标定。
  3. 实验表明，EF-Calib在内参标定精度上优于现有方法，外参精度与帧相机相当，并能准确估计时间偏移。

📝 摘要（中文）

本文提出了一种名为EF-Calib的时空标定框架，用于事件相机和帧相机的联合标定，该框架利用连续时间轨迹。设计了一种适用于两种相机的新型标定图案以及相应的事件识别算法。利用事件的异步特性，引入可导的分段B样条来连续表示相机位姿，从而实现对内参、外参和时间偏移的标定，并提供了分析雅可比矩阵。通过各种实验评估了EF-Calib的标定性能，包括内参、外参和时间偏移的标定实验。实验结果表明，与当前最先进的方法相比，EF-Calib实现了最准确的内参，外参精度与基于帧的结果接近，并且能够准确估计时间偏移。EF-Calib为融合事件和帧的系统提供了一个方便而准确的标定工具箱。该论文的代码将在https://github.com/wsakobe/EF-Calib开源。

🔬 方法详解

问题定义：事件相机和帧相机的联合标定是计算机视觉领域的一个重要问题，尤其是在需要高动态范围和低延迟的应用中。现有的标定方法通常难以处理事件相机的异步特性，并且在时空同步方面存在挑战，导致标定精度不高。此外，现有的标定图案可能不适用于两种相机，增加了标定过程的复杂性。

核心思路：EF-Calib的核心思路是利用事件相机的异步特性，并使用连续时间轨迹来表示相机的位姿。通过引入可导的分段B样条，可以对相机位姿进行连续建模，从而实现对内参、外参和时间偏移的精确标定。这种方法能够充分利用事件相机的时间分辨率，并提供分析雅可比矩阵，从而提高标定精度和效率。

技术框架：EF-Calib的整体框架包括以下几个主要步骤：1) 设计适用于事件相机和帧相机的新型标定图案；2) 使用事件识别算法提取事件数据；3) 利用分段B样条对相机位姿进行连续建模；4) 构建优化问题，同时标定内参、外参和时间偏移。该框架能够处理事件相机的异步特性，并提供精确的时空标定结果。

关键创新：EF-Calib的关键创新在于以下几个方面：1) 提出了一种适用于事件相机和帧相机的新型标定图案；2) 引入可导的分段B样条来连续表示相机位姿；3) 构建了一个统一的优化框架，能够同时标定内参、外参和时间偏移。这些创新使得EF-Calib能够实现更精确的时空标定，并为事件相机和帧相机的融合提供了便利。

关键设计：在EF-Calib中，分段B样条的控制点数量和节点分布是关键的设计参数。损失函数的设计需要考虑内参、外参和时间偏移之间的相互影响，并采用合适的权重进行平衡。此外，优化算法的选择也会影响标定结果的精度和效率。论文中提供了分析雅可比矩阵，这对于优化算法的收敛至关重要。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，EF-Calib在内参标定精度上优于当前最先进的方法，外参精度与基于帧的结果接近，并且能够准确估计时间偏移。具体来说，EF-Calib在内参标定方面的误差降低了XX%，在外参标定方面达到了与传统方法相当的精度，并且能够以XX毫秒的精度估计时间偏移。

🎯 应用场景

EF-Calib在机器人导航、自动驾驶、增强现实等领域具有广泛的应用前景。通过精确标定事件相机和帧相机，可以实现更鲁棒和精确的视觉感知，从而提高机器人的自主性和安全性。此外，EF-Calib还可以应用于运动捕捉、三维重建等领域，为相关研究提供更准确的数据。

📄 摘要（原文）

Event camera, a bio-inspired asynchronous triggered camera, offers promising prospects for fusion with frame-based cameras owing to its low latency and high dynamic range. However, calibrating stereo vision systems that incorporate both event and frame-based cameras remains a significant challenge. In this letter, we present EF-Calib, a spatiotemporal calibration framework for event- and frame-based cameras using continuous-time trajectories. A novel calibration pattern applicable to both camera types and the corresponding event recognition algorithm is proposed. Leveraging the asynchronous nature of events, a derivable piece-wise B-spline to represent camera pose continuously is introduced, enabling calibration for intrinsic parameters, extrinsic parameters, and time offset, with analytical Jacobians provided. Various experiments are carried out to evaluate the calibration performance of EF-Calib, including calibration experiments for intrinsic parameters, extrinsic parameters, and time offset. Experimental results show that EF-Calib achieves the most accurate intrinsic parameters compared to current SOTA, the close accuracy of the extrinsic parameters compared to the frame-based results, and accurate time offset estimation. EF-Calib provides a convenient and accurate toolbox for calibrating the system that fuses events and frames. The code of this paper will also be open-sourced at: https://github.com/wsakobe/EF-Calib.