A Hierarchy of Entropy-Shapley Games for Multivariate Predictive Uncertainty
作者: Niklas Koenen, Claudia Battistin, Jeriek Van den Abeele, Martin Jullum
分类: stat.ML, cs.LG
发布日期: 2026-09-28
💡 一句话要点
提出基于熵-沙普利博弈的层次模型以解决多变量预测不确定性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 熵-沙普利博弈 多变量预测 不确定性分析 风险管理 模型解释性
📋 核心要点
- 现有方法通过聚合输出为标量，导致无法明确特征对边际不确定性和依赖结构的影响。
- 本文提出三层次的熵-沙普利博弈，明确处理多变量输出的依赖关系，提供更全面的归因分析。
- 实验结果表明，该框架能够捕捉不同概率模型之间学习的联合结构差异，提升了模型的解释性。
📝 摘要（中文）
现代概率机器学习模型越来越多地生成具有复杂依赖结构的多变量输出，从多步时间序列预测到样本路径预测。理解哪些输入特征驱动预测不确定性对于风险意识决策、模型诊断以及决定是否应减轻或对冲不确定性至关重要。现有方法通过聚合或投影将输出简化为标量，模糊了特征对边际不确定性和依赖结构的影响。本文提出三种基于熵的沙普利博弈的层次结构，明确处理输出侧选择，捕捉特征如何影响输出组件之间的依赖关系，提供了联合归因的链式规则分解及条件总相关的表征。
🔬 方法详解
问题定义：本文旨在解决多变量预测中输入特征对输出不确定性的归因问题。现有方法通过简化输出为标量，无法有效捕捉特征对依赖结构的影响。
核心思路：提出三层次的熵-沙普利博弈，分别针对边际熵、条件熵和联合熵进行归因分析，明确特征对输出组件之间依赖关系的影响。
技术框架：整体框架包括三个主要模块：1) 边际熵计算；2) 条件熵计算；3) 联合熵计算，结合链式规则分解实现输出归因。
关键创新：引入交叉组件归因项，捕捉特征如何影响输出组件之间的依赖关系，这是现有方法所忽视的。
关键设计：采用条件总相关来表征交叉组件项，提供闭式解和基于样本的估计器，确保方法的有效性和可操作性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，本文提出的方法在不同概率模型中能够有效捕捉到联合结构的差异，相较于传统方法，提升了归因分析的准确性和解释性，具体性能提升幅度未知。
🎯 应用场景
该研究具有广泛的应用潜力，尤其在金融风险管理、医疗决策支持和气候预测等领域。通过更好地理解输入特征对预测不确定性的影响，决策者可以做出更为精准的风险评估和应对策略，提升模型的实用价值。
📄 摘要（原文）
Modern probabilistic machine learning models increasingly produce multivariate outputs with complex dependence structure, from multi-step time-series forecasts to sample path predictions. Understanding which input features drive the predictive uncertainty is important for risk-aware decisions, model diagnostics, and deciding whether the uncertainty should be mitigated or hedged against. This attribution problem requires a choice of how dependencies between output components are treated. Existing approaches reduce the output to a scalar through aggregation or projection before attribution, thereby obscuring whether features affect marginal uncertainty, dependence structure, or both, while component-wise analyses can miss dependence effects entirely. We close this gap by introducing a hierarchy of three entropy-based Shapley games that make this output-side choice explicit for any ordered multivariate outcome, ranging from per-component marginal entropy to fully joint entropy. The hierarchy isolates a cross-component attribution term that captures how each feature shifts the dependence between output components, a quantity invisible to component-wise methods. We establish a chain-rule decomposition of the joint attribution and characterize the cross-component term through conditional total correlation, providing both closed-form and sample-based estimators. Finally, we demonstrate how the framework captures differences in learned joint structure across probabilistic models from distributional regression to a zero-shot time series foundation model.