eKalibr-Stereo: Continuous-Time Spatiotemporal Calibration for Event-Based Stereo Visual Systems
作者: Shuolong Chen, Xingxing Li, Liu Yuan
分类: cs.RO
发布日期: 2025-04-06 (更新: 2025-07-22)
🔗 代码/项目: GITHUB
💡 一句话要点
提出eKalibr-Stereo，用于事件相机双目视觉系统的连续时空标定
🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)
关键词: 事件相机 双目视觉 时空标定 连续时间 Bundle Adjustment
📋 核心要点
- 事件相机双目系统因其直接的尺度感知和深度恢复能力，在运动估计中被广泛采用，但精确的时空标定是实现最佳视觉融合的关键。
- eKalibr-Stereo通过引入基于运动先验的跟踪模块，增强了网格图案跟踪的连续性，并采用两步初始化和连续时间Bundle Adjustment进行优化。
- 大量真实实验验证了eKalibr-Stereo的有效性，该方法能够实现精确的事件相机双目时空标定，并已开源。
📝 摘要（中文）
本文提出eKalibr-Stereo，用于事件相机双目视觉系统的精确时空（外参和时间偏移）标定。针对现有事件相机双目标定器稀缺的问题，该方法基于我们之前的工作eKalibr（事件相机内参标定器）。为了提高网格图案跟踪的连续性，在eKalibr的网格图案识别方法基础上，eKalibr-Stereo设计了一个额外的基于运动先验的跟踪模块，以跟踪不完整的网格图案。基于跟踪的网格图案，执行两步初始化程序来恢复分段B样条和时空参数的初始猜测，然后进行连续时间批量Bundle Adjustment以优化初始状态。大量的真实实验结果表明，eKalibr-Stereo可以实现精确的基于事件的立体时空标定。eKalibr-Stereo的实现已在(https://github.com/Unsigned-Long/eKalibr)开源，以使研究社区受益。
🔬 方法详解
问题定义：事件相机双目视觉系统需要精确的时空标定才能实现最佳的视觉融合，但现有的事件相机双目标定器非常稀缺。现有的标定方法可能无法充分利用事件相机的高时间分辨率特性，并且在处理快速运动或遮挡时，网格图案的跟踪容易中断，导致标定精度下降。
核心思路：eKalibr-Stereo的核心思路是利用事件相机的高时间分辨率特性，通过连续时间建模来精确估计相机之间的外参和时间偏移。为了解决网格图案跟踪中断的问题，引入了基于运动先验的跟踪模块，从而提高了跟踪的鲁棒性和连续性。通过两步初始化和连续时间Bundle Adjustment，可以有效地优化标定参数。
技术框架：eKalibr-Stereo的整体框架包括以下几个主要阶段：1) 网格图案识别：使用改进的网格图案识别方法，检测事件流中的网格图案。2) 运动先验跟踪：基于运动先验的跟踪模块，用于跟踪不完整的网格图案，提高跟踪的连续性。3) 两步初始化：恢复分段B样条和时空参数的初始猜测。4) 连续时间Bundle Adjustment：使用连续时间模型，对初始化后的状态进行优化，得到最终的标定结果。
关键创新：eKalibr-Stereo的关键创新在于：1) 针对事件相机双目视觉系统，提出了完整的时空标定方案。2) 引入了基于运动先验的跟踪模块，提高了网格图案跟踪的鲁棒性和连续性。3) 采用了连续时间Bundle Adjustment，充分利用了事件相机的高时间分辨率特性，提高了标定精度。
关键设计：运动先验跟踪模块的设计细节未知，但可以推测其利用了事件流中的运动信息来预测网格图案的位置，从而在图案不完整或被遮挡时也能进行跟踪。连续时间Bundle Adjustment的具体实现细节未知，但可以推测其使用了B样条来表示相机位姿和时间偏移的连续变化，并通过优化B样条的控制点来估计标定参数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，eKalibr-Stereo能够实现精确的事件相机双目时空标定。虽然论文中没有提供具体的性能数据和对比基线，但强调了该方法在真实场景中的有效性。开源的实现代码将有助于研究社区进一步探索和改进事件相机的标定方法。
🎯 应用场景
eKalibr-Stereo可广泛应用于机器人导航、自动驾驶、无人机等领域，为基于事件相机的三维重建、SLAM、视觉里程计等应用提供精确的标定参数，从而提高系统的定位精度和环境感知能力。该研究有助于推动事件相机在实际场景中的应用，并为相关领域的研究提供有价值的工具。
📄 摘要（原文）
The bioinspired event camera, distinguished by its exceptional temporal resolution, high dynamic range, and low power consumption, has been extensively studied in recent years for motion estimation, robotic perception, and object detection. In ego-motion estimation, the stereo event camera setup is commonly adopted due to its direct scale perception and depth recovery. For optimal stereo visual fusion, accurate spatiotemporal (extrinsic and temporal) calibration is required. Considering that few stereo visual calibrators orienting to event cameras exist, based on our previous work eKalibr (an event camera intrinsic calibrator), we propose eKalibr-Stereo for accurate spatiotemporal calibration of event-based stereo visual systems. To improve the continuity of grid pattern tracking, building upon the grid pattern recognition method in eKalibr, an additional motion prior-based tracking module is designed in eKalibr-Stereo to track incomplete grid patterns. Based on tracked grid patterns, a two-step initialization procedure is performed to recover initial guesses of piece-wise B-splines and spatiotemporal parameters, followed by a continuous-time batch bundle adjustment to refine the initialized states to optimal ones. The results of extensive real-world experiments show that eKalibr-Stereo can achieve accurate event-based stereo spatiotemporal calibration. The implementation of eKalibr-Stereo is open-sourced at (https://github.com/Unsigned-Long/eKalibr) to benefit the research community.