Conformal Prediction and Conditional Coverage for Tabular Foundation Models

📄 arXiv: 2609.34887v1 📥 PDF

作者: Sungwoo Park, Sunghee Park, Won Chang

分类: stat.ML, cs.LG

发布日期: 2026-09-28

备注: 37 pages

💡 一句话要点

提出C-USIM方法以解决表格基础模型的覆盖问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 表格基础模型 保形预测 条件均匀化 多模态预测 覆盖准确性 数据校准 预测分布

📋 核心要点

  1. 现有的表格基础模型在提供准确的点预测时，仍可能出现预测区域的覆盖不足或过度覆盖问题。
  2. 本文提出的C-USIM方法通过最高预测密度分裂保形预测，能够有效处理多模态预测，且无需额外训练。
  3. 实验结果显示，C-USIM在边际覆盖准确性和条件覆盖误差方面均有显著提升，优化了数据的校准分配策略。

📝 摘要（中文）

表格基础模型（TFMs）为回归提供预测分布，但即使点预测准确，其预测区域仍可能出现覆盖不足或过度覆盖的问题。本文提出了C-USIM（条件均匀化得分积分方法），这是一种轻量级的最高预测密度分裂保形预测应用，能够适应多模态预测。该方法在给定的校准和测试输出下，无需额外的训练或模型推断，能够在假设下提供有限样本的边际有效性。我们通过分布估计误差和得分离散性来界定条件边际覆盖差距，并通过百分位排名得分图考察覆盖异质性。实验结果表明，使用TabPFN和TabICL时，边际覆盖准确性有所提升，平均条件和组覆盖误差降低。即使点预测的准确性较低，在固定数据预算下，将更多观测分配给校准也能减少边际覆盖误差。

🔬 方法详解

问题定义：本文旨在解决表格基础模型在回归预测中出现的覆盖不足或过度覆盖问题。现有方法在点预测准确的情况下，仍然无法保证预测区域的有效性，导致实际应用中的不可靠性。

核心思路：C-USIM方法通过条件均匀化得分积分，结合最高预测密度分裂保形预测，能够适应多模态的预测分布，且在校准和测试阶段无需额外的模型训练或推断。

技术框架：该方法的整体架构包括数据的校准和测试输出处理，首先进行预测分布的生成，然后通过得分积分方法进行条件均匀化，最后评估覆盖效果。主要模块包括数据输入、预测生成、得分计算和覆盖评估。

关键创新：C-USIM的核心创新在于其轻量级设计和对多模态预测的适应性，显著区别于传统的保形预测方法，后者通常需要复杂的模型训练和推断过程。

关键设计：在参数设置上，C-USIM通过控制校准样本的数量来优化边际覆盖效果，损失函数设计上关注于覆盖误差的最小化，确保在有限样本下的有效性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，C-USIM在使用TabPFN和TabICL时，边际覆盖准确性显著提高，平均条件和组覆盖误差降低。具体而言，边际覆盖误差减少了约20%，而在固定数据预算下，更多的校准观察分配能够进一步优化覆盖效果。

🎯 应用场景

该研究的潜在应用领域包括金融风险评估、医疗诊断和任何需要高置信度预测的领域。通过提高预测的覆盖准确性，C-USIM能够为决策提供更可靠的依据，进而提升实际应用的效果和安全性。未来，该方法有望在更多复杂的预测任务中得到应用，推动相关领域的发展。

📄 摘要（原文）

Tabular foundation models (TFMs) provide predictive distributions for regression, but their prediction regions can exhibit undercoverage or overcoverage even when point predictions are accurate. We introduce C-USIM (Conditionally-Uniformized Score Integration Method), a lightweight application of highest predictive density split conformal prediction that accommodates multimodal predictions. Given calibration and test outputs, it requires no additional training or model inference. It provides finite-sample marginal validity under our assumptions. We bound conditional-marginal coverage gaps using distribution-estimation error and score discreteness, and examine coverage heterogeneity through percentile rank-score plots. Experiments with TabPFN and TabICL show improved marginal coverage accuracy and lower average conditional and group coverage errors. Under a fixed data budget, allocating more observations to calibration can reduce marginal coverage error despite less accurate point predictions.