MonoTher-Depth: Enhancing Thermal Depth Estimation via Confidence-Aware Distillation
作者: Xingxing Zuo, Nikhil Ranganathan, Connor Lee, Georgia Gkioxari, Soon-Jo Chung
分类: cs.CV, cs.RO
发布日期: 2025-04-21
备注: 8 Pages; The code will be available at https://github.com/ZuoJiaxing/monother_depth
期刊: IEEE Robotics and Automation Letters (RA-L), 2025
💡 一句话要点
提出基于置信度感知的知识蒸馏方法，提升热成像单目深度估计精度。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 热成像深度估计 单目深度估计 知识蒸馏 置信度感知 机器人视觉
📋 核心要点
- 热成像单目深度估计在雾、烟、弱光等恶劣环境下对机器人系统至关重要，但缺乏标注数据限制了其泛化能力。
- 论文提出一种置信度感知的知识蒸馏方法，利用RGB深度估计模型的置信度来指导热成像深度估计模型的训练。
- 实验表明，该方法在无标签深度的新场景中，显著降低了热成像深度估计的绝对相对误差，提升幅度达22.88%。
📝 摘要（中文）
本文提出了一种新颖的流水线方法，通过从通用的RGB单目深度估计（MDE）模型中进行知识蒸馏，来增强热成像单目深度估计。该方法采用了一种置信度感知的蒸馏策略，利用RGB MDE模型预测的置信度，有选择性地强化热成像MDE模型，从而利用RGB模型的优势并减轻其弱点。该方法显著提高了热成像MDE的精度，且不依赖于带标签的深度监督，并大大扩展了其在新场景中的适用性。在没有标签深度的新场景实验中，与没有蒸馏的基线相比，所提出的置信度感知蒸馏方法将热成像MDE的绝对相对误差降低了22.88%。
🔬 方法详解
问题定义：论文旨在解决热成像单目深度估计（MDE）在缺乏大量标注数据的情况下，泛化能力不足的问题。现有的热成像MDE模型难以像RGB MDE模型那样，受益于大规模数据集，导致其在复杂或未见过的场景中表现不佳。
核心思路：论文的核心思路是利用知识蒸馏，将训练有素的RGB MDE模型的知识迁移到热成像MDE模型。特别地，论文提出了一种置信度感知的蒸馏方法，根据RGB模型预测结果的置信度，有选择性地加强热成像模型的学习，避免引入RGB模型的错误信息。
技术框架：整体框架包含两个主要部分：预训练的RGB MDE模型（教师模型）和待训练的热成像MDE模型（学生模型）。首先，RGB模型对热成像图像进行深度预测，并输出相应的置信度。然后，根据置信度，对RGB模型的深度预测进行加权，作为热成像模型的训练目标。整个过程无需热成像图像的真实深度标签。
关键创新：最关键的创新点在于置信度感知的蒸馏策略。传统知识蒸馏方法通常直接将教师模型的预测结果作为学生模型的训练目标，而忽略了教师模型预测的质量。论文提出的方法通过引入置信度，能够更加有效地利用教师模型的知识，避免负迁移。
关键设计：置信度的计算方式未知，论文中可能未详细描述。损失函数的设计可能包含两部分：一部分是基于置信度加权的深度回归损失，另一部分可能是正则化项，用于约束热成像模型的输出。具体的网络结构未知，但学生模型通常会采用与教师模型相似的结构，以便更好地学习知识。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的置信度感知蒸馏方法能够显著提升热成像单目深度估计的精度。在没有标签深度的新场景中，该方法将绝对相对误差降低了22.88%，相较于没有蒸馏的基线模型。这表明该方法能够有效地利用RGB模型的知识，提高热成像模型的泛化能力。
🎯 应用场景
该研究成果可广泛应用于机器人、自动驾驶、安防监控等领域。在这些领域中，热成像技术能够在恶劣的光照和天气条件下提供可靠的感知能力。通过提高热成像深度估计的精度，可以增强机器人在复杂环境中的导航、避障和目标识别能力，具有重要的实际应用价值和潜在的商业前景。
📄 摘要（原文）
Monocular depth estimation (MDE) from thermal images is a crucial technology for robotic systems operating in challenging conditions such as fog, smoke, and low light. The limited availability of labeled thermal data constrains the generalization capabilities of thermal MDE models compared to foundational RGB MDE models, which benefit from datasets of millions of images across diverse scenarios. To address this challenge, we introduce a novel pipeline that enhances thermal MDE through knowledge distillation from a versatile RGB MDE model. Our approach features a confidence-aware distillation method that utilizes the predicted confidence of the RGB MDE to selectively strengthen the thermal MDE model, capitalizing on the strengths of the RGB model while mitigating its weaknesses. Our method significantly improves the accuracy of the thermal MDE, independent of the availability of labeled depth supervision, and greatly expands its applicability to new scenarios. In our experiments on new scenarios without labeled depth, the proposed confidence-aware distillation method reduces the absolute relative error of thermal MDE by 22.88\% compared to the baseline without distillation.