A Comparative Study on Multi-task Uncertainty Quantification in Semantic Segmentation and Monocular Depth Estimation

📄 arXiv: 2405.17097v2 📥 PDF

作者: Steven Landgraf, Markus Hillemann, Theodor Kapler, Markus Ulrich

分类: cs.CV, cs.AI, cs.LG

发布日期: 2024-05-27 (更新: 2025-01-16)

备注: This manuscript is an extended version of a previously published conference paper and is currently in review for a journal

💡 一句话要点

多任务学习不确定性量化：深度集成模型提升语义分割和单目深度估计

🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)

关键词: 多任务学习 不确定性量化 语义分割 单目深度估计 深度集成 领域外数据 自动驾驶

📋 核心要点

  1. 深度学习模型在感知任务中面临过度自信和可解释性差的问题，尤其是在处理领域外数据时，限制了其在安全关键领域的应用。
  2. 论文探索了在多任务学习框架下，利用 Monte Carlo Dropout、Deep Sub-Ensembles 和 Deep Ensembles 进行不确定性量化的方法。
  3. 实验结果表明，Deep Ensembles 在领域外数据上表现最佳，并且多任务学习能够提升不确定性量化的质量。

📝 摘要（中文）

深度神经网络在语义分割和单目深度估计等感知任务中表现出色，使其在自动驾驶和工业检测等安全关键应用中不可或缺。然而，它们常常表现出过度自信和较差的可解释性，尤其是在处理领域外数据时。不确定性量化已成为解决这些挑战的一种有前景的方案，但多任务设置尚未得到充分探索。为了阐明这一点，我们评估了 Monte Carlo Dropout、Deep Sub-Ensembles 和 Deep Ensembles 在联合语义分割和单目深度估计中的应用。结果表明，Deep Ensembles 是首选，尤其是在领域外场景中，并且与单独解决这两个任务相比，多任务学习在不确定性质量方面具有潜在优势。此外，我们强调了使用不同的不确定性阈值来将像素分类为确定或不确定像素的影响，其中中位数不确定性成为一种稳健的默认选择。

🔬 方法详解

问题定义：论文旨在解决深度神经网络在多任务学习（特别是语义分割和单目深度估计）中，不确定性量化不足的问题。现有方法在处理领域外数据时，往往表现出过度自信，导致在安全关键应用中存在风险。因此，如何有效量化模型的不确定性，并提高其鲁棒性，是本研究的核心问题。

核心思路：论文的核心思路是探索不同的不确定性量化方法（Monte Carlo Dropout、Deep Sub-Ensembles 和 Deep Ensembles）在多任务学习框架下的性能，并比较它们在领域内和领域外数据上的表现。通过实验分析，找出最适合多任务学习的不确定性量化方法，并研究多任务学习是否能够提升不确定性量化的质量。

技术框架：论文采用一个共享编码器的多任务学习框架，该编码器提取图像的特征，然后分别输入到语义分割和单目深度估计的解码器中。针对不确定性量化，论文主要评估了三种方法：Monte Carlo Dropout，通过在推理时多次随机dropout来估计不确定性；Deep Sub-Ensembles，训练多个子网络并集成它们的预测；Deep Ensembles，训练多个独立的网络并集成它们的预测。

关键创新：论文的创新点在于首次在多任务学习的背景下，对不同的不确定性量化方法进行了比较研究。通过实验，论文揭示了 Deep Ensembles 在多任务学习中表现最佳，尤其是在处理领域外数据时。此外，论文还发现，与单独解决每个任务相比，多任务学习能够提升不确定性量化的质量。

关键设计：论文的关键设计包括：1) 采用共享编码器的多任务学习框架，以实现特征共享和知识迁移；2) 评估了三种不同的不确定性量化方法，并比较了它们的性能；3) 使用不同的不确定性阈值来将像素分类为确定或不确定像素，并研究了阈值对性能的影响；4) 采用了常见的数据集和评估指标，以保证实验结果的可比性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Deep Ensembles 在多任务学习中表现最佳，尤其是在处理领域外数据时，其性能优于 Monte Carlo Dropout 和 Deep Sub-Ensembles。此外，多任务学习能够提升不确定性量化的质量，与单独解决每个任务相比，可以获得更准确的不确定性估计。论文还发现，使用中位数不确定性作为阈值，可以获得较为稳健的性能。

🎯 应用场景

该研究成果可应用于自动驾驶、机器人导航、工业检测等安全关键领域。通过有效量化模型的不确定性，可以提高系统对环境变化的适应性和鲁棒性，降低因模型误判而造成的风险。未来的研究可以进一步探索更先进的不确定性量化方法，并将其应用于更复杂的感知任务中。

📄 摘要（原文）

Deep neural networks excel in perception tasks such as semantic segmentation and monocular depth estimation, making them indispensable in safety-critical applications like autonomous driving and industrial inspection. However, they often suffer from overconfidence and poor explainability, especially for out-of-domain data. While uncertainty quantification has emerged as a promising solution to these challenges, multi-task settings have yet to be explored. In an effort to shed light on this, we evaluate Monte Carlo Dropout, Deep Sub-Ensembles, and Deep Ensembles for joint semantic segmentation and monocular depth estimation. Thereby, we reveal that Deep Ensembles stand out as the preferred choice, particularly in out-of-domain scenarios, and show the potential benefit of multi-task learning with regard to the uncertainty quality in comparison to solving both tasks separately. Additionally, we highlight the impact of employing different uncertainty thresholds to classify pixels as certain or uncertain, with the median uncertainty emerging as a robust default.