Target leakage, not model class, explains reported accuracy in survey-based cardiovascular screening: a leakage-tiered audit of glass-box and tabular foundation models
作者: Raad Bin Tareaf, Murad Al-Rajab, Samia Loucif, Samer Ellaham, Cedric Schmitz
分类: cs.CL
发布日期: 2026-09-10
💡 一句话要点
提出漏斗审计方法以解决心血管筛查模型准确性问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 心血管筛查 目标泄漏 模型审计 可解释性 公平性 机器学习 健康管理
📋 核心要点
- 现有心血管筛查模型在准确性报告中存在目标泄漏问题，导致结果不可靠。
- 论文通过对多种分类器进行漏斗审计，评估其在不同特征层级下的表现，提出了一种新的评估框架。
- 实验结果显示，去除后诊断特征对模型AUROC影响显著，且可解释的增强机器在速度和准确性上优于其他模型。
📝 摘要（中文）
本研究探讨了心血管筛查模型在国家健康调查中报告的高准确性是否反映了学习能力或目标泄漏。通过对442,067名受访者的十种分类器进行基准测试，研究发现去除两个后诊断特征会导致每个模型AUROC下降0.049-0.051，且透明性使得公平性修复和不确定性条件直接可审计。结果表明，文献中报告的头部空间是特征集的属性，而非学习者的能力。
🔬 方法详解
问题定义：本研究旨在解决心血管筛查模型在准确性报告中可能存在的目标泄漏问题，现有方法未能有效区分学习能力与目标泄漏的影响。
核心思路：通过对不同分类器在多个特征层级下的表现进行审计，评估其在真实世界应用中的可靠性，确保模型的公平性和可解释性。
技术框架：整体流程包括数据收集、分类器选择与基准测试、特征层级划分、模型审计（包括区分度、校准、公平性等），以及最终的模型应用与评估。
关键创新：本研究的创新在于引入了漏斗审计方法，强调特征集的属性对模型性能的影响，而非单纯依赖模型的学习能力。
关键设计：在实验中，采用了十种不同类型的分类器，设置了明确的评估标准，并通过去除特征来观察对AUROC的影响，确保了实验的严谨性。
🖼️ 关键图片
📊 实验亮点
实验结果显示，去除两个后诊断特征导致每个模型AUROC下降0.049-0.051，且可解释的增强机器在速度上比最强基础模型快约104倍。此外，模型在不同性别的心肌梗死检测中表现出显著差异，公平性修复措施有效缩小了这一差距。
🎯 应用场景
该研究的潜在应用领域包括公共卫生、临床决策支持系统和健康管理平台。通过提高心血管筛查模型的可靠性和透明度，能够更好地服务于患者，降低误诊率，提升健康管理效率。未来，该方法还可推广至其他疾病筛查模型的评估与优化。
📄 摘要（原文）
Cardiovascular screening models trained on national health surveys routinely report areas under the receiver operating characteristic curve (AUROC) near 0.89. We asked whether that accuracy reflects learning or target leakage, whether tabular foundation models change the answer, and whether the properties deployment requires survive joint examination. We benchmarked ten classifiers spanning linear, tree-ensemble, neural, glass-box, and tabular foundation classes for prevalent myocardial infarction in 442,067 respondents of the 2022 Behavioral Risk Factor Surveillance System across five feature tiers of decreasing leakage risk. Each was audited for discrimination, calibration, fairness at an explicit screening threshold, conformal coverage, explanation faithfulness, and inference cost, then applied -- models and thresholds frozen -- to 430,755 respondents of 2023. Removing two post-diagnostic features cost every model 0.049-0.051 AUROC, collapsing the field into a 0.0045-wide band. The glass-box explainable boosting machine was non-inferior to every alternative within a pre-specified 0.005 margin while scoring the cohort roughly 104 times faster than the strongest foundation model. One threshold detected 75.4% of women's infarctions against 89.0% of men's; editing the model's shape functions reduced the gap to 0.010. Marginal conformal prediction gave 0.86 coverage to men and 0.82 to adults over 60; Mondrian calibration repaired every stratum. Frozen models transported within 0.002 AUROC. Reported headroom in this literature is a property of the feature set, not the learner. Transparency cost nothing measurable and made fairness repair and uncertainty conditioning directly auditable. Evaluation practice, not model capacity, is the binding constraint.