RGB-Thermal Infrared Fusion for Robust Depth Estimation in Complex Environments

📄 arXiv: 2503.04821v2 📥 PDF

作者: Zelin Meng, Takanori Fukao

分类: eess.IV, cs.AI, cs.CV

发布日期: 2025-03-05 (更新: 2025-04-29)

备注: 7 pages, 2 figures

💡 一句话要点

提出RTFusion模型，通过RGB-热红外融合提升复杂环境下的深度估计鲁棒性。

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 深度估计 RGB-热红外融合 多模态学习 互补注意力 边缘增强

📋 核心要点

  1. 单模态深度估计在复杂光照条件下表现不佳，RGB易受光照影响，热红外缺乏纹理信息。
  2. RTFusion模型融合RGB和热红外数据，利用互补注意力机制对齐特征，增强边缘细节。
  3. 实验表明，RTFusion在夜间、雨天和高眩光等复杂环境下，能生成高质量的深度图。

📝 摘要（中文）

本文提出了一种新颖的多模态深度估计模型RTFusion，旨在通过融合RGB和热红外(THR)数据的互补优势，提高复杂真实场景下的深度估计精度和鲁棒性。RGB模态提供丰富的纹理和颜色信息，而THR模态捕获热模式，确保在极端光照条件下的稳定性。该模型包含独特的融合机制EGFusion，由用于跨模态特征对齐的互补注意力(MCA)模块和用于改善边缘细节保留的边缘显著性增强模块(ESEM)组成。在MS2和ViViD++数据集上的综合实验表明，所提出的模型在各种具有挑战性的环境中（包括夜间、雨天和高眩光条件）始终产生高质量的深度图。实验结果突出了该方法在需要可靠深度估计的应用中的潜力，例如自动驾驶、机器人和增强现实。

🔬 方法详解

问题定义：论文旨在解决复杂环境下深度估计的鲁棒性问题。现有方法，如仅依赖RGB或热红外图像的深度估计方法，在光照变化剧烈、缺乏纹理等情况下表现不佳。RGB图像易受光照条件影响，而热红外图像虽然对光照不敏感，但缺乏纹理信息，导致深度估计精度下降。

核心思路：论文的核心思路是融合RGB和热红外两种模态的互补信息，利用RGB图像的纹理信息和热红外图像的光照不变性，从而提高深度估计的鲁棒性和精度。通过设计特定的融合机制，有效地将两种模态的特征进行对齐和融合，克服了单模态方法的局限性。

技术框架：RTFusion模型主要包含特征提取、跨模态特征融合和深度估计三个阶段。首先，分别使用卷积神经网络提取RGB和热红外图像的特征。然后，通过EGFusion模块进行跨模态特征融合，该模块包含MCA（Mutual Complementary Attention）模块和ESEM（Edge Saliency Enhancement Module）。MCA模块用于跨模态特征对齐，ESEM模块用于增强边缘细节。最后，使用深度估计网络从融合后的特征中预测深度图。

关键创新：论文的关键创新在于EGFusion融合机制，特别是MCA模块和ESEM模块的设计。MCA模块通过互补注意力机制，自适应地学习两种模态之间的相关性，实现更有效的特征对齐。ESEM模块通过增强边缘显著性，提高深度图的边缘细节质量。与传统的特征融合方法相比，EGFusion能够更好地利用两种模态的互补信息，从而提高深度估计的精度和鲁棒性。

关键设计：MCA模块使用自注意力机制学习RGB和热红外特征之间的相关性，并使用互补的方式进行特征融合。ESEM模块使用边缘检测算子提取边缘信息，并将其与融合后的特征进行融合，从而增强边缘细节。损失函数包括深度回归损失和边缘损失，用于优化深度估计的精度和边缘质量。具体的网络结构和参数设置在论文中有详细描述，但此处不便赘述。

📊 实验亮点

实验结果表明，RTFusion模型在MS2和ViViD++数据集上均取得了显著的性能提升。在各种具有挑战性的环境中，包括夜间、雨天和高眩光条件，RTFusion模型始终能够生成高质量的深度图。与现有方法相比，RTFusion模型在深度估计精度和鲁棒性方面均有明显优势，具体性能数据和对比结果可在论文中查阅。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人和增强现实等领域。在自动驾驶中，可靠的深度估计对于环境感知至关重要，尤其是在夜间、雨天等恶劣天气条件下。在机器人领域，深度估计可用于三维重建、物体识别和导航。在增强现实领域，深度估计可用于虚拟物体的精确放置和交互。该研究的潜在价值在于提高这些应用在复杂环境下的可靠性和安全性。

📄 摘要（原文）

Depth estimation in complex real-world scenarios is a challenging task, especially when relying solely on a single modality such as visible light or thermal infrared (THR) imagery. This paper proposes a novel multimodal depth estimation model, RTFusion, which enhances depth estimation accuracy and robustness by integrating the complementary strengths of RGB and THR data. The RGB modality provides rich texture and color information, while the THR modality captures thermal patterns, ensuring stability under adverse lighting conditions such as extreme illumination. The model incorporates a unique fusion mechanism, EGFusion, consisting of the Mutual Complementary Attention (MCA) module for cross-modal feature alignment and the Edge Saliency Enhancement Module (ESEM) to improve edge detail preservation. Comprehensive experiments on the MS2 and ViViD++ datasets demonstrate that the proposed model consistently produces high-quality depth maps across various challenging environments, including nighttime, rainy, and high-glare conditions. The experimental results highlight the potential of the proposed method in applications requiring reliable depth estimation, such as autonomous driving, robotics, and augmented reality.