XCalib Depth-Guided Geometric Optimization for Dense Thermal-Visible Video Registration

📄 arXiv: 2609.21770v1 📥 PDF

作者: Aurelien Godet, Gabriel Jobert, Mauro Dalla Mura

分类: cs.CV

发布日期: 2026-09-18

备注: 10 pages, 6 figures

💡 一句话要点

提出XCalib以解决热成像与可见光视频注册问题

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 图像配准 多模态感知 深度学习 高级驾驶辅助系统 红外成像 可见光图像 稠密光流 几何优化

📋 核心要点

  1. 现有方法在动态深度场景下无法有效处理可见光与红外图像之间的空间不对齐问题，导致配准精度不足。
  2. XCalib通过优化相对位姿和内参，结合预测的单目度量深度，提供了一种新的无监督稠密注册框架。
  3. 在公共ADAS数据集上的实验结果表明，XCalib在时间稳定性和对齐精度上显著优于传统的无约束稠密光流方法。

📝 摘要（中文）

图像配准是多模态感知任务中的重要预处理步骤，包括图像融合、目标检测和语义分割。在高级驾驶辅助系统（ADAS）中，由于可见光（RGB）和红外（IR）摄像头之间的空间不对齐，导致非均匀视差和视觉重影。传统的基于关键点的方法受限于全局单应性，无法处理动态深度，而无约束的稠密光流算法缺乏结构正则化，导致时间不稳定。本文提出了XCalib，一个无监督的热成像与可见光注册框架，利用虚拟针孔相机参数化作为几何约束空间，通过优化相对位姿和内参以及预测的单目度量深度，限制空间位移的搜索范围到物理有效的投影几何。我们的主要贡献包括：1）一种新的注册范式，使用相机参数化作为稠密跨模态变形的隐式正则化；2）归一化边缘相关性（NEC），一种针对跨光谱对齐的稳健结构相似性度量；3）在公共ADAS数据集上的广泛定量和定性评估，展示了优于无约束稠密光流基线的时间稳定性和对齐精度。

🔬 方法详解

问题定义：本文旨在解决可见光和红外摄像头之间由于光轴不重合和视场差异导致的空间不对齐问题。现有的基于关键点的方法和无约束稠密光流算法在动态深度场景下表现不佳，无法满足实际应用需求。

核心思路：XCalib通过将虚拟针孔相机参数化作为几何约束，优化相对位姿和内参，同时结合预测的单目度量深度，限制了空间位移的搜索范围，从而提高了配准的精度和稳定性。

技术框架：XCalib的整体架构包括数据输入、相机参数化、深度预测、位姿优化和稠密配准几个主要模块。通过这些模块的协同工作，实现了高效的跨模态图像注册。

关键创新：XCalib的主要创新在于将相机参数化作为隐式正则化器，提供了一种新的注册范式。这一设计使得配准过程更加稳健，能够有效应对动态场景中的深度变化。

关键设计：在技术细节上，XCalib采用了归一化边缘相关性（NEC）作为结构相似性度量，并在损失函数中引入了几何约束，以确保配准结果的物理合理性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，XCalib在公共ADAS数据集上的对齐精度和时间稳定性显著优于传统的无约束稠密光流方法，具体表现为对齐精度提升了XX%，时间稳定性提高了YY%。这些结果验证了XCalib在实际应用中的有效性和优势。

🎯 应用场景

该研究的潜在应用领域包括高级驾驶辅助系统（ADAS）、无人驾驶汽车、监控系统等多模态感知任务。通过提高可见光与红外图像的配准精度，XCalib能够显著提升这些系统在复杂环境下的感知能力和决策效率，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Image registration is a vital preprocessing step in multimodal perception tasks, including image fusion, object detection, and semantic segmentation. In Advanced Driver- Assistance Systems (ADAS), spatial misalignment between visible (RGB) and infrared (IR) cameras -caused by non-coincident optical axes and field-of-view differences- introduces non-uniform parallax and visual ghosting. Classical keypoint-based methods are restricted to global homographies that fail under dynamic depth, while unconstrained dense flow algorithms lack structural regularization and suffer from temporal instability. In this paper, we propose XCalib, an unsupervised dense thermal-visible registration framework that bridges this gap. Rather than serving as an absolute metric calibration tool, XCalib leverages virtual pinhole camera parameterization strictly as a geometric constraint space. By optimizing effective relative pose and intrinsics alongside predicted monocular metric depth, XCalib restricts the search space of spatial displacements to physically valid projection geometries. Our key contributions are: (1) a novel registration paradigm that uses camera parameterization as an implicit regularizer for dense cross-modal warping; (2) Normalized Edges Correlation (NEC), a robust structural similarity metric tailored to cross- spectral alignment; and (3) extensive quantitative and qualitative evaluations across public ADAS datasets, demonstrating superior temporal stability and alignment accuracy over unconstrained dense flow baselines.