HybridFlow: Quantification of Aleatoric and Epistemic Uncertainty with a Single Hybrid Model
作者: Peter Van Katwyk, Karianne J. Bergen
分类: cs.LG, cs.AI
发布日期: 2025-10-06 (更新: 2025-10-14)
备注: Reviewed and published in TMLR at https://openreview.net/forum?id=xRiEdSyVjY
期刊: Transactions on Machine Learning Research, 2025
💡 一句话要点
HybridFlow：提出混合模型，统一量化不确定性，提升回归任务性能
🎯 匹配领域: 支柱三：空间感知与语义 (Perception & Semantics)
关键词: 不确定性量化 偶然不确定性 认知不确定性 归一化流 贝叶斯深度学习
📋 核心要点
- 现有方法难以同时准确量化偶然不确定性和认知不确定性，限制了模型在高风险场景的应用。
- HybridFlow通过结合归一化流和概率预测器，在一个统一框架中建模两种不确定性，提升量化精度。
- 实验表明，HybridFlow在多个回归任务中优于现有方法，量化的不确定性与模型误差更吻合。
📝 摘要（中文）
本文提出了一种名为HybridFlow的模块化混合架构，用于统一建模偶然不确定性（aleatoric uncertainty）和认知不确定性（epistemic uncertainty），以确保高风险机器学习应用的鲁棒性。HybridFlow结合了条件掩码自回归归一化流（Conditional Masked Autoregressive normalizing flow）来估计偶然不确定性，以及一个灵活的概率预测器来估计认知不确定性。该框架支持与任何概率模型类的集成，允许用户轻松地将HybridFlow适配到现有架构，而不会牺牲预测性能。在深度估计、回归基准测试和冰盖模拟等一系列回归任务中，HybridFlow优于以往的不确定性量化框架。实验结果表明，HybridFlow量化的不确定性经过校准，并且比现有的偶然和认知不确定性量化方法更符合模型误差。HybridFlow解决了贝叶斯深度学习中的一个关键挑战，即在一个鲁棒的框架中统一了偶然和认知不确定性建模。
🔬 方法详解
问题定义：论文旨在解决机器学习模型中不确定性量化的问题，特别是如何同时准确地估计偶然不确定性（数据本身的噪声）和认知不确定性（模型对自身预测的不确定性）。现有方法通常将这两种不确定性分开处理，或者在估计其中一种时忽略另一种，导致不准确的量化结果，影响模型在安全关键领域的应用。
核心思路：HybridFlow的核心思路是将偶然不确定性和认知不确定性建模解耦，分别使用不同的模型进行估计，然后将它们整合到一个统一的框架中。具体来说，使用条件掩码自回归归一化流（Conditional Masked Autoregressive normalizing flow）来估计偶然不确定性，因为它能够灵活地建模复杂的数据分布。同时，使用一个概率预测器来估计认知不确定性，该预测器可以根据具体任务选择合适的模型。
技术框架：HybridFlow的整体架构包含两个主要模块：偶然不确定性估计模块和认知不确定性估计模块。偶然不确定性估计模块使用条件掩码自回归归一化流，该模块接收输入数据并输出一个概率分布，该分布反映了数据中的噪声。认知不确定性估计模块使用一个概率预测器，该预测器接收输入数据和偶然不确定性估计模块的输出，并输出一个概率分布，该分布反映了模型对自身预测的不确定性。这两个模块的输出被组合起来，形成最终的不确定性估计。
关键创新：HybridFlow的关键创新在于它将偶然不确定性和认知不确定性建模解耦，并使用不同的模型进行估计。这种解耦使得模型能够更准确地量化两种不确定性，并且允许用户根据具体任务选择合适的模型。此外，HybridFlow的模块化设计使得它可以很容易地集成到现有的机器学习架构中。
关键设计：HybridFlow的关键设计包括：1) 使用条件掩码自回归归一化流来估计偶然不确定性，这种流能够灵活地建模复杂的数据分布；2) 使用一个概率预测器来估计认知不确定性，该预测器可以根据具体任务选择合适的模型；3) 使用一个损失函数来训练模型，该损失函数同时考虑了预测的准确性和不确定性的校准。
🖼️ 关键图片
📊 实验亮点
HybridFlow在深度估计、回归基准测试和冰盖模拟等多个回归任务上进行了评估，结果表明HybridFlow优于现有的不确定性量化方法。例如，在深度估计任务中，HybridFlow能够更准确地量化图像中不同区域的不确定性，从而提高深度估计的精度。在回归基准测试中，HybridFlow在多个数据集上取得了state-of-the-art的结果。在冰盖模拟中，HybridFlow能够更准确地量化冰盖模型的不确定性，从而提高冰盖预测的可靠性。
🎯 应用场景
HybridFlow在需要高可靠性和安全性的领域具有广泛的应用前景，例如自动驾驶、医疗诊断、金融风险评估等。准确的不确定性量化可以帮助模型做出更明智的决策，并为用户提供更可靠的预测结果。未来，HybridFlow可以进一步扩展到其他类型的机器学习任务，例如分类和强化学习，并与其他不确定性量化方法相结合，以提高模型的鲁棒性和可靠性。
📄 摘要（原文）
Uncertainty quantification is critical for ensuring robustness in high-stakes machine learning applications. We introduce HybridFlow, a modular hybrid architecture that unifies the modeling of aleatoric and epistemic uncertainty by combining a Conditional Masked Autoregressive normalizing flow for estimating aleatoric uncertainty with a flexible probabilistic predictor for epistemic uncertainty. The framework supports integration with any probabilistic model class, allowing users to easily adapt HybridFlow to existing architectures without sacrificing predictive performance. HybridFlow improves upon previous uncertainty quantification frameworks across a range of regression tasks, such as depth estimation, a collection of regression benchmarks, and a scientific case study of ice sheet emulation. We also provide empirical results of the quantified uncertainty, showing that the uncertainty quantified by HybridFlow is calibrated and better aligns with model error than existing methods for quantifying aleatoric and epistemic uncertainty. HybridFlow addresses a key challenge in Bayesian deep learning, unifying aleatoric and epistemic uncertainty modeling in a single robust framework.