iKalibr-RGBD: Partially-Specialized Target-Free Visual-Inertial Spatiotemporal Calibration For RGBDs via Continuous-Time Velocity Estimation

📄 arXiv: 2409.07116v2 📥 PDF

作者: Shuolong Chen, Xingxing Li, Shengyu Li, Yuxuan Zhou

分类: cs.RO

发布日期: 2024-09-11 (更新: 2024-10-31)

🔗 代码/项目: GITHUB

💡 一句话要点

iKalibr-RGBD：基于连续时间速度估计的RGBD相机无目标视觉惯性时空标定

🎯 匹配领域: 支柱八：物理动画 (Physics-based Animation)

关键词: 视觉惯性标定 RGBD相机 无目标标定 连续时间估计 自速度估计

📋 核心要点

  1. 现有视觉惯性标定方法在无目标场景下计算复杂度高，限制了其在资源受限平台上的应用。
  2. iKalibr-RGBD利用RGBD相机提供的深度信息，通过自速度估计代替位姿估计，降低了计算复杂度。
  3. 该方法继承了iKalibr的框架，包含初始化和连续时间批量优化，并在GitHub上开源。

📝 摘要（中文）

视觉惯性系统因其低成本、低功耗、小尺寸和高可用性而在过去二十年中得到广泛研究和应用。这种趋势也催生了大量的视觉惯性标定方法，因为传感器之间精确的时空参数是视觉惯性融合的先决条件。我们之前的工作iKalibr提出了一种基于连续时间的视觉惯性标定方法，作为一次性多传感器鲁棒时空标定的一部分。虽然不需要人工目标带来了相当大的便利，但初始化和批量优化中计算量大的位姿估计限制了其可用性。幸运的是，对于具有额外深度信息的RGBD相机，可以通过采用无地图的自速度估计而不是基于地图的位姿估计来大大改善这一点。在本文中，我们提出了一种基于连续时间自速度估计的RGBD惯性时空标定方法，称为iKalibr-RGBD，它也是无目标的但计算效率高。iKalibr-RGBD的总体流程继承自iKalibr，由严格的初始化程序和多个连续时间批量优化组成。iKalibr-RGBD的实现已在(https://github.com/Unsigned-Long/iKalibr)上开源，以使研究社区受益。

🔬 方法详解

问题定义：论文旨在解决RGBD相机和IMU之间时空参数的标定问题，尤其是在不需要人工标定板的情况下。现有方法，如iKalibr，虽然实现了无目标标定，但在初始化和批量优化阶段需要进行计算量大的位姿估计，这限制了其在计算资源有限的平台上的应用。

核心思路：论文的核心思路是利用RGBD相机提供的深度信息，直接估计相机的自速度，而不是像传统方法那样先进行位姿估计，再计算速度。通过避免复杂的位姿估计过程，可以显著降低计算复杂度，提高标定效率。

技术框架：iKalibr-RGBD的整体框架继承自iKalibr，主要包含两个阶段：1) 严格的初始化程序，用于获得标定参数的初始估计；2) 连续时间批量优化，用于进一步优化标定参数。在初始化阶段，利用RGBD数据进行自速度估计，并将其与IMU数据进行融合，得到初始的标定参数。在批量优化阶段，使用连续时间模型对相机和IMU的运动进行建模，并最小化重投影误差和IMU残差，以获得更精确的标定结果。

关键创新：该方法最重要的创新点在于使用无地图的自速度估计来代替基于地图的位姿估计。这种方法充分利用了RGBD相机提供的深度信息，避免了复杂的特征提取、匹配和位姿估计过程，从而显著降低了计算复杂度。

关键设计：论文中关键的设计包括：1) 使用连续时间B样条曲线对相机和IMU的运动进行建模，能够更准确地描述传感器的运动轨迹；2) 设计了合适的损失函数，包括重投影误差和IMU残差，用于优化标定参数；3) 采用了高效的优化算法，如Levenberg-Marquardt算法，以快速收敛到最优解。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

iKalibr-RGBD在计算效率上相比于iKalibr有显著提升，尤其是在初始化阶段。虽然论文中没有给出具体的性能数据，但强调了通过自速度估计代替位姿估计，极大地降低了计算复杂度。开源代码(https://github.com/Unsigned-Long/iKalibr)为研究人员提供了便利，可以进一步验证和改进该方法。

🎯 应用场景

iKalibr-RGBD可应用于机器人导航、增强现实、无人机等领域。在这些应用中，精确的RGBD相机和IMU之间的标定是实现高精度定位和建图的关键。该方法无需人工标定板，降低了标定成本，提高了标定效率，使其更易于部署在实际应用中。未来，该方法可以进一步扩展到其他类型的多传感器系统，如激光雷达和相机融合系统。

📄 摘要（原文）

Visual-inertial systems have been widely studied and applied in the last two decades (from the early 2000s to the present), mainly due to their low cost and power consumption, small footprint, and high availability. Such a trend simultaneously leads to a large amount of visual-inertial calibration methods being presented, as accurate spatiotemporal parameters between sensors are a prerequisite for visual-inertial fusion. In our previous work, i.e., iKalibr, a continuous-time-based visual-inertial calibration method was proposed as a part of one-shot multi-sensor resilient spatiotemporal calibration. While requiring no artificial target brings considerable convenience, computationally expensive pose estimation is demanded in initialization and batch optimization, limiting its availability. Fortunately, this could be vastly improved for the RGBDs with additional depth information, by employing mapping-free ego-velocity estimation instead of mapping-based pose estimation. In this paper, we present the continuous-time ego-velocity estimation-based RGBD-inertial spatiotemporal calibration, termed as iKalibr-RGBD, which is also targetless but computationally efficient. The general pipeline of iKalibr-RGBD is inherited from iKalibr, composed of a rigorous initialization procedure and several continuous-time batch optimizations. The implementation of iKalibr-RGBD is open-sourced at (https://github.com/Unsigned-Long/iKalibr) to benefit the research community.