ProBA: Probabilistic Bundle Adjustment with the Bhattacharyya Coefficient

📄 arXiv: 2505.20858v1 📥 PDF

作者: Jason Chui, Daniel Cremers

分类: cs.CV

发布日期: 2025-05-27

备注: 15 pages, 14 figures, 5 tables

💡 一句话要点

提出ProBA：一种基于Bhattacharyya系数的概率Bundle Adjustment方法，解决相机内参未知和初始估计不准的问题。

🎯 匹配领域: 支柱七：动作重定向 (Motion Retargeting)

关键词: Bundle Adjustment 概率模型 Bhattacharyya系数 SLAM 三维重建

📋 核心要点

  1. 传统BA方法依赖精确初始化和已知相机内参，限制了其在未知环境下的应用。
  2. ProBA通过显式建模和传播2D观测和3D场景结构中的不确定性，实现无需先验知识的优化。
  3. 实验表明，ProBA在真实场景中优于传统方法，增强了SLAM系统在非结构化环境中的实用性。

📝 摘要（中文）

传统的Bundle Adjustment (BA) 方法需要精确的初始估计才能收敛，并且通常假设相机内参已知，这限制了它们在信息不确定或不可用时的适用性。我们提出了一种新的概率BA公式 (ProBA)，它显式地建模和传播2D观测和3D场景结构中的不确定性，从而无需任何相机姿态或焦距的先验知识即可进行优化。我们的方法使用3D高斯分布代替点状地标，并通过将3D高斯分布投影到2D图像空间中引入不确定性感知重投影损失，并使用Bhattacharyya系数来强制多个3D高斯分布之间的几何一致性，以鼓励它们对应的概率分布之间的重叠。这种概率框架可以实现更鲁棒和可靠的优化，即使在对应关系集中存在异常值的情况下，也能降低收敛到较差局部最小值的可能性。实验结果表明，在具有挑战性的真实环境中，ProBA优于传统方法。通过消除对强初始化和已知内参的需求，ProBA增强了部署在非结构化环境中的SLAM系统的实用性。

🔬 方法详解

问题定义：传统Bundle Adjustment方法对初始位姿估计和相机内参的准确性要求较高，在初始估计较差或相机内参未知的情况下，容易陷入局部最优解，导致优化失败。这限制了其在未知或非结构化环境下的应用。

核心思路：ProBA的核心思路是将3D地标表示为高斯分布，而非传统的点状地标，从而能够显式地建模和传播3D场景结构的不确定性。同时，利用Bhattacharyya系数来度量不同高斯分布之间的相似性，鼓励它们之间的重叠，从而提高优化的鲁棒性。

技术框架：ProBA的整体框架包括以下几个主要步骤：1) 使用3D高斯分布表示场景中的地标；2) 将3D高斯分布投影到2D图像空间，得到2D高斯分布；3) 计算不确定性感知的重投影误差，该误差基于2D观测和2D高斯分布之间的差异；4) 使用Bhattacharyya系数来度量不同3D高斯分布之间的相似性，并将其作为约束条件加入到优化问题中；5) 使用非线性优化算法（如Levenberg-Marquardt算法）来最小化重投影误差和Bhattacharyya系数约束。

关键创新：ProBA的关键创新在于：1) 使用3D高斯分布来表示地标，从而能够显式地建模和传播不确定性；2) 引入Bhattacharyya系数来度量高斯分布之间的相似性，从而提高优化的鲁棒性；3) 提出了一种不确定性感知的重投影误差，该误差能够更好地处理观测中的噪声和异常值。与传统BA方法相比，ProBA不需要精确的初始估计和已知的相机内参，因此更适用于未知或非结构化环境。

关键设计：ProBA的关键设计包括：1) 3D高斯分布的协方差矩阵的初始化策略，通常使用一个较小的初始值，并在优化过程中逐渐调整；2) Bhattacharyya系数的权重设置，该权重控制了高斯分布之间相似性的重要程度；3) 重投影误差的计算方式，通常使用Mahalanobis距离来度量2D观测和2D高斯分布之间的差异。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ProBA在具有挑战性的真实环境中优于传统方法。具体来说，ProBA在相机内参未知和初始位姿估计不准确的情况下，能够更准确地重建场景结构，并降低收敛到较差局部最小值的可能性。与传统BA方法相比，ProBA的重投影误差更小，位姿估计的精度更高。

🎯 应用场景

ProBA适用于机器人导航、增强现实、三维重建等领域，尤其是在相机内参未知或初始位姿估计不准确的场景下。该方法能够提高SLAM系统的鲁棒性和可靠性，使其能够在更广泛的非结构化环境中部署。未来，ProBA可以进一步扩展到动态场景和大规模场景，并与其他传感器（如IMU、LiDAR）融合，以实现更精确和稳定的定位和建图。

📄 摘要（原文）

Classical Bundle Adjustment (BA) methods require accurate initial estimates for convergence and typically assume known camera intrinsics, which limits their applicability when such information is uncertain or unavailable. We propose a novel probabilistic formulation of BA (ProBA) that explicitly models and propagates uncertainty in both the 2D observations and the 3D scene structure, enabling optimization without any prior knowledge of camera poses or focal length. Our method uses 3D Gaussians instead of point-like landmarks and we introduce uncertainty-aware reprojection losses by projecting the 3D Gaussians onto the 2D image space, and enforce geometric consistency across multiple 3D Gaussians using the Bhattacharyya coefficient to encourage overlap between their corresponding Gaussian distributions. This probabilistic framework leads to more robust and reliable optimization, even in the presence of outliers in the correspondence set, reducing the likelihood of converging to poor local minima. Experimental results show that \textit{ProBA} outperforms traditional methods in challenging real-world conditions. By removing the need for strong initialization and known intrinsics, ProBA enhances the practicality of SLAM systems deployed in unstructured environments.