When Is Accuracy Evidence? A Unified Theory of Generalisation, Validation, and Information Fusion

📄 arXiv: 2610.03465v1 📥 PDF

作者: JM Gorriz

分类: stat.ML, cs.LG, physics.data-an

发布日期: 2026-10-02

备注: 52 pages, 30 figures

💡 一句话要点

提出统一理论以改进K折交叉验证的风险评估

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: K折交叉验证 风险评估 交叉上界验证 泛化能力 异构数据 神经影像 小样本学习 信息融合

📋 核心要点

  1. 现有的K折交叉验证方法在处理异构数据时，折叠之间的依赖性导致评估结果不可靠。
  2. 论文提出的交叉上界验证（CUBV）通过控制泛化差距的矩生成函数，提供了一种更为保守的风险评估方法。
  3. 实验结果显示，CUBV在小样本情况下能有效降低不确定性，相较于传统K折交叉验证，提供了更紧凑的风险界限。

📝 摘要（中文）

K折交叉验证（CV）广泛用于评估样本外性能，但由于折叠之间缺乏独立性和信息不均，可能导致不准确的风险评估。本文提出了交叉上界验证（CUBV），通过单一指数框架推广CUBV，控制泛化差距的矩生成函数，形成涵盖多种风险界限的风险评估方法。研究表明，在小样本异构数据中，CUBV提供了更为稳健的风险评估，尤其在神经影像等应用中具有重要意义。

🔬 方法详解

问题定义：本文旨在解决K折交叉验证在异构数据中因折叠依赖性导致的风险评估不准确问题。现有方法未能充分考虑折叠之间的信息差异和依赖性，可能导致对模型性能的误判。

核心思路：论文提出的交叉上界验证（CUBV）通过引入单一指数框架，控制泛化差距的矩生成函数，从而提供更为保守的风险界限。这种设计旨在提高风险评估的稳健性，尤其是在小样本和异构数据的情况下。

技术框架：整体架构包括风险界限的推导、折叠间依赖性的建模以及对预测器后验分布的扩展。主要模块包括风险界限计算、依赖性建模和多源融合加权。

关键创新：最重要的创新在于通过控制泛化差距的矩生成函数，形成了一系列涵盖不同风险界限的评估方法。这一方法与传统K折交叉验证的本质区别在于考虑了折叠间的依赖性和信息不均。

关键设计：在模型设计中，使用了联合子高斯代理矩阵来建模折叠间的依赖性，并在等相关性假设下推导出有效折叠数K_eff。此外，权重选择通过最小化未来风险的上界而非仅依赖经验误差，从而提高了模型的稳健性。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在低维小样本设置下，CUBV相比传统K折交叉验证显著降低了不确定性，尤其在处理少数模式时表现更为优越。具体而言，经过风险校正的全样本重置方法在小样本情况下提供了更紧凑的风险界限，且随着样本量增加，该效果逐渐消失。

🎯 应用场景

该研究的潜在应用领域包括神经影像、医疗数据分析及其他需要处理异构小样本数据的领域。通过提供更为稳健的风险评估方法，能够帮助研究人员和工程师在实际应用中更准确地评估模型性能，进而提升决策质量。未来，该理论框架有望在更多复杂数据环境中得到推广和应用。

📄 摘要（原文）

K-fold cross-validation (CV) is widely used as evidence of out-of-sample performance, although folds are neither independent experiments nor equally informative under heterogeneous data. Cross Upper-Bound Validation (CUBV) replaces point-wise CV accuracy by conservative upper bounds on true risk. Here we generalise CUBV through a single exponential framework in which the moment-generating function of the generalisation gap is controlled by a cumulant envelope gamma(lambda). This yields a family of risk bounds covering Hoeffding-, Bernstein-, dependency-aware, PAC-Bayesian, and heterogeneous source-fusion settings. For K-fold CV, dependence between fold-wise gaps is modelled through a joint sub-Gaussian proxy matrix. Under equicorrelation, this gives an effective number of folds, Keff = K/[1+(K-1)rho], showing that increasing K does not necessarily increase statistical evidence when folds are strongly dependent. The framework is also extended to posterior distributions over predictors and weighted multi-source fusion, where weights are selected by minimising an upper bound on future risk rather than empirical error alone. Experiments with trained linear classifiers on heterogeneous multimodal Gaussian mixtures compare K-fold CV with full-sample resubstitution plus risk correction. Bounds are evaluated by coverage and tightness. In low-dimensional small-sample settings, K-fold partitioning can increase uncertainty because individual folds under-represent minority modes, while corrected resubstitution can remain valid and tighter; this effect disappears as sample size increases. Overall, gamma-CUBV separates observed performance, uncertainty, dependence, model complexity, and confidence into explicit terms, providing a unified route from CV scores to risk statements and a principled validation criterion for heterogeneous small-sample applications such as neuroimaging.