TESO: Online Tracking of Essential Matrix by Stochastic Optimization

📄 arXiv: 2604.19420v1 📥 PDF

作者: Jaroslav Moravec, Radim Šára, Akihiro Sugimoto

分类: cs.CV

发布日期: 2026-04-21

备注: Accepted at CVPR 2026 (Oral)

💡 一句话要点

TESO：基于随机优化的本质矩阵在线跟踪，用于立体相机长期标定。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 立体视觉 相机标定 本质矩阵 在线跟踪 随机优化

📋 核心要点

  1. 立体相机标定的长期精度对自动驾驶至关重要，但现有方法难以在资源受限的系统上实现。
  2. TESO通过核相关鲁棒损失函数和本质流形上的自适应随机优化，实现了高效的在线标定跟踪。
  3. 实验表明，TESO在多个数据集上实现了高精度的标定跟踪，并揭示了现有数据集的标定误差。

📝 摘要（中文）

本文提出了一种基于随机优化的本质矩阵在线跟踪方法（TESO），用于保持立体相机标定参数的长期精度，这对于自动驾驶系统的感知至关重要。TESO的核心机制包括：1) 基于核相关性的鲁棒损失函数，用于处理初步的对应关系；2) 在本质流形上的自适应在线随机优化。TESO具有较低的CPU和内存需求，依赖于少量的超参数，并且无需数据驱动的训练，使其能够在资源受限的在线感知系统中使用。我们在大规模的MAN TruckScenes数据集上评估了TESO对几何精度、图像校正质量和立体深度一致性的影响。在模拟漂移的序列上，跟踪精度与无漂移序列相似，表明跟踪器是无偏的。在KITTI数据集上，TESO揭示了立体图像对之间外参的系统性不一致，验证了先前发表的发现。校正参考标定后，TESO的Y轴旋转精度提高了20倍，达到0.025度，深度精度提高了50倍。尽管设计轻量级，但仅直接优化所提出的TESO损失函数即可实现与基于神经网络的单帧方法相当的精度。

🔬 方法详解

问题定义：论文旨在解决立体相机外参标定随时间漂移的问题，尤其是在自动驾驶等需要长期稳定感知的场景下。现有方法要么计算复杂度高，不适合在线应用；要么依赖大量数据进行训练，泛化性受限；或者无法在资源受限的平台上运行。这些痛点限制了立体视觉系统在实际应用中的可靠性。

核心思路：TESO的核心思路是在线估计本质矩阵，从而跟踪立体相机的外参变化。通过直接优化一个基于核相关性的鲁棒损失函数，避免了复杂的特征匹配和数据关联过程。同时，利用随机优化方法，降低了计算复杂度，使其能够在资源受限的平台上运行。本质流形上的优化保证了估计结果的物理可行性。

技术框架：TESO的整体流程如下：1) 输入左右图像对；2) 通过特征提取和匹配得到初步的对应关系；3) 使用核相关性计算对应关系的相似度，构建鲁棒损失函数；4) 在本质流形上使用自适应随机优化算法最小化损失函数，得到本质矩阵的估计值；5) 根据本质矩阵更新立体相机的外参。

关键创新：TESO的关键创新在于：1) 提出了基于核相关性的鲁棒损失函数，能够有效处理噪声和外点；2) 采用自适应在线随机优化算法，降低了计算复杂度，使其能够在资源受限的平台上运行；3) 直接在本质流形上进行优化，保证了估计结果的物理可行性。与现有方法相比，TESO无需数据驱动的训练，具有更好的泛化能力。

关键设计：TESO的关键设计包括：1) 核相关性损失函数：使用高斯核函数计算对应关系周围像素的相似度，从而构建鲁棒的损失函数。核函数的带宽是一个重要的超参数，需要根据实际场景进行调整。2) 自适应随机优化算法：使用Adam优化器，并根据损失函数的梯度自适应调整学习率。3) 本质流形约束：通过参数化本质矩阵，并将其约束在本质流形上，保证了估计结果的物理可行性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

在MAN TruckScenes数据集上，TESO在Y轴旋转方向上实现了0.12度的精度。在KITTI数据集上，通过校正参考标定，TESO的Y轴旋转精度提高了20倍，达到0.025度，深度精度提高了50倍。即使不使用神经网络，TESO的精度也与基于神经网络的单帧方法相当，证明了其高效性。

🎯 应用场景

TESO可应用于自动驾驶、机器人导航、增强现实等领域，用于提高立体视觉系统的长期稳定性和精度。通过在线跟踪相机外参变化，可以减少因标定误差导致的感知偏差，提高系统的可靠性和安全性。该方法尤其适用于资源受限的嵌入式平台，为低成本、高性能的立体视觉系统提供了解决方案。

📄 摘要（原文）

Maintaining long-term accuracy of stereo camera calibration parameters is important for autonomous systems' perception. This work proposes Online Tracking of Essential Matrix by Stochastic Optimization (TESO). The core mechanisms of TESO are: 1) a robust loss function based on kernel correlation over tentative correspondences, 2) an adaptive online stochastic optimization on the essential manifold. TESO has low CPU and memory requirements, relies on a few hyperparameters, and eliminates the need for data-driven training, enabling the usage in resource-constrained online perception systems. We evaluated the influence of TESO on geometric precision, rectification quality, and stereo depth consistency. On the large-scale MAN TruckScenes dataset, TESO tracks rotational calibration drift with 0.12 deg precision in the Y-axis (critical for stereo accuracy) while the X- and Z-axes are five times more precise. Tracking applied to sequences with simulated drift shows similar precision with respect to the reference as tracking applied to no-drift sequences, indicating the tracker is unbiased. On the KITTI dataset, TESO revealed systematic inconsistencies in extrinsic parameters across stereo pairs, confirming previous published findings. We verified that intrinsic decalibration affected these errors, as evidenced by the conflicting behavior of the rectification and depth metrics. After correcting the reference calibration, TESO improved its rotation precision around the Y-axis 20 times to 0.025 deg and its depth accuracy 50 times. Despite its lightweight design, direct optimization of the proposed TESO loss function alone achieves accuracy comparable to that of neural network-based single-frame methods.