LiFCal: Online Light Field Camera Calibration via Bundle Adjustment
作者: Aymeric Fleith, Doaa Ahmed, Daniel Cremers, Niclas Zeller
分类: eess.IV, cs.CV
发布日期: 2024-08-21
备注: Accepted to the German Conference on Pattern Recognition (GCPR) 2024
💡 一句话要点
提出LiFCal，通过光场相机在线标定实现无目标场景下的精确参数估计
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 光场相机标定 在线标定 Bundle Adjustment 无目标标定 微透镜阵列 深度估计 SLAM
📋 核心要点
- 传统光场相机标定依赖精确标定板，限制了其在无目标或难以架设标定板场景的应用。
- LiFCal通过Bundle Adjustment直接优化微图像点，实现无目标场景下的在线光场相机标定。
- 实验表明，LiFCal标定精度接近SOTA方法，并成功应用于深度估计和SLAM等下游任务。
📝 摘要（中文）
本文提出了一种名为LiFCal的针对基于微透镜阵列(MLA)的光场相机的新型几何在线标定流程。LiFCal能够从移动的相机序列中精确确定模型参数，无需精确的标定目标，并集成了任意的度量尺度约束。它在直接定义于微图像点上的单个Bundle Adjustment中，优化了光场相机模型的内部参数、稀疏场景点的3D坐标以及相机姿态。实验表明，LiFCal能够使用不同的输入序列可靠且可重复地标定聚焦式全光相机，提供的相机内部参数与最先进的方法非常接近，同时具有两个主要优点：它可以应用于无目标的场景，并且以完整且连续的流程在线实现。此外，我们还展示了获得的相机参数在深度估计和SLAM等下游任务中的质量。
🔬 方法详解
问题定义：论文旨在解决基于微透镜阵列的光场相机在无标定目标场景下的在线几何标定问题。现有方法通常需要精确的标定目标，这限制了光场相机在实际应用中的灵活性，尤其是在难以布置标定板或者动态变化的场景中。此外，离线标定方法无法适应相机参数随时间的变化。
核心思路：LiFCal的核心思路是通过Bundle Adjustment直接优化微图像点，从而避免对标定目标的依赖。它将光场相机的内部参数、稀疏场景点的3D坐标以及相机姿态同时进行优化，从而实现高精度的在线标定。通过集成任意的度量尺度约束，可以确保标定的结果具有正确的尺度。
技术框架：LiFCal的整体流程是一个在线的Bundle Adjustment过程。它首先从输入的相机序列中提取微图像点特征。然后，利用这些特征点构建Bundle Adjustment问题，该问题同时优化光场相机的内部参数、场景点的3D坐标和相机姿态。整个流程是连续的，可以随着新的图像帧的到来不断更新相机参数。
关键创新：LiFCal最关键的创新在于它能够在无标定目标的情况下进行在线标定。与传统方法相比，它不需要预先准备精确的标定板，从而大大提高了光场相机标定的灵活性和适用性。此外，通过直接优化微图像点，可以更精确地估计光场相机的内部参数。
关键设计：LiFCal的关键设计包括：1) 直接在微图像点上定义Bundle Adjustment问题，避免了对中间表示的依赖；2) 集成任意的度量尺度约束，确保标定结果的尺度正确；3) 使用稀疏的场景点表示，降低了计算复杂度；4) 采用在线优化策略，可以随着新的图像帧的到来不断更新相机参数。
🖼️ 关键图片
📊 实验亮点
LiFCal在不同输入序列下均能可靠标定聚焦式全光相机，其内部参数与SOTA方法结果非常接近。该方法无需标定目标，且能在线运行，显著提升了光场相机标定的便捷性。在深度估计和SLAM等下游任务中，使用LiFCal标定的相机参数表现出良好的性能。
🎯 应用场景
LiFCal适用于机器人导航、自动驾驶、增强现实等领域，尤其是在需要高精度三维重建和定位，但又难以使用传统标定方法的场景中。例如，在室内机器人导航中，LiFCal可以用于在线标定光场相机，从而提高机器人的定位精度和环境感知能力。该技术还可以应用于文物保护、医学成像等领域，为三维重建提供更精确的相机参数。
📄 摘要（原文）
We propose LiFCal, a novel geometric online calibration pipeline for MLA-based light field cameras. LiFCal accurately determines model parameters from a moving camera sequence without precise calibration targets, integrating arbitrary metric scaling constraints. It optimizes intrinsic parameters of the light field camera model, the 3D coordinates of a sparse set of scene points and camera poses in a single bundle adjustment defined directly on micro image points. We show that LiFCal can reliably and repeatably calibrate a focused plenoptic camera using different input sequences, providing intrinsic camera parameters extremely close to state-of-the-art methods, while offering two main advantages: it can be applied in a target-free scene, and it is implemented online in a complete and continuous pipeline. Furthermore, we demonstrate the quality of the obtained camera parameters in downstream tasks like depth estimation and SLAM. Webpage: https://lifcal.github.io/