Two Sample Sizes in Test-Time LLM Ensembling: Buffered ERM and Minimax Theory
作者: Zhi Zhang, Arash A. Amini
分类: math.ST, cs.LG, stat.ML
发布日期: 2026-10-15
💡 一句话要点
提出缓冲ERM与极小极大理论以优化测试时LLM集成
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 集成学习 经验风险最小化 超额风险 自然语言处理 模型优化 测试时缩放
📋 核心要点
- 现有方法在测试时生成多个答案的过程中，如何有效利用不同模型的输出仍然是一个挑战。
- 论文提出了一种缓冲经验风险最小化（ERM）方法，通过调整样本大小来优化模型权重学习。
- 研究表明，在特定条件下，缓冲ERM能够显著降低超额风险，尤其是在问题数量较少的情况下。
📝 摘要（中文）
测试时缩放可以通过生成多个答案并进行聚合来提升大型语言模型的性能。加权集成进一步扩展了这一思路，通过从多个模型中抽取答案，权重决定了每个模型的使用频率。本文研究了训练数据集中两个样本大小的相互作用，提出缓冲经验风险最小化（ERM）在特定条件下能够达到的超额风险界限。通过分析简化的子模型，论文揭示了在不同问题稀缺程度下的学习行为，并探讨了在生成数量充足时的极小极大超额风险特征。
🔬 方法详解
问题定义：本文旨在解决在测试时如何有效集成多个大型语言模型生成的答案的问题。现有方法在样本大小和模型权重学习上存在不足，导致性能未能达到最佳。
核心思路：论文提出通过缓冲经验风险最小化（ERM）来优化模型的权重学习，特别是在样本数量不均衡的情况下，利用边际条件来提升集成效果。
技术框架：整体框架包括两个主要阶段：首先是生成多个答案，其次是通过加权集成这些答案。模型的权重通过训练数据集中的样本大小进行调整，以实现最佳的聚合效果。
关键创新：最重要的技术创新在于提出了缓冲ERM方法，该方法在样本数量较少时能够有效降低超额风险，与传统方法相比具有显著优势。
关键设计：论文中设置了特定的参数和损失函数，采用了边际缓冲的设计，以确保在不同样本大小下的学习效果最优。
🖼️ 关键图片
📊 实验亮点
实验结果表明，缓冲ERM在问题数量较少的情况下，超额风险降低至$Q^{-1/2}$，在生成数量充足时，超额风险达到$N^{-β}$的识别下限。与基线方法相比，性能提升显著，尤其在样本稀缺的情况下表现优异。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理中的问答系统、对话生成以及其他需要集成多个模型输出的任务。通过优化模型的集成策略，能够显著提升系统的整体性能，具有重要的实际价值和未来影响。
📄 摘要（原文）
Test-time scaling can improve the performance of large language models by generating multiple answers to a question and aggregating them. Weighted ensembles extend this idea by drawing answers from several models, with the weights determining how often each model is used. Learning these weights from a training dataset involves two sample sizes: $Q$ labeled questions and $N$ generations per model and question. We study their interplay through the clean risk, the population error of the ensemble's infinite-generation voting rule. Under a margin condition with exponent $β$, we show that empirical risk minimization (ERM) with a calibrated margin buffer achieves excess risk of order $Q^{-1/2}+N^{-β/2}$, up to logarithmic factors, for fixed numbers of models and candidate answers. To investigate the optimality of this dependence on $Q$ and $N$, we analyze a simplified submodel with two models and two possible answers per question. We characterize its minimax excess risk up to constants by a Hellinger modulus for a binomial-mixture experiment. Polynomial approximation and spectral analysis reveal three regimes. When questions are relatively scarce, the $Q^{-1/2}$ term governs learning and the general buffered ERM is optimal. In an intermediate regime, pooling generation counts across questions improves upon estimating each answer distribution separately, with only logarithmic gains from additional questions. With sufficiently many questions, the minimax excess risk reaches an $N^{-β}$ identification floor that persists even with infinitely many questions. The submodel's lower bounds also apply to general ensembles, matching the buffered-ERM upper bound up to logarithmic factors when questions are scarce and in parts of the intermediate regime. Questions remain about the transitions between regimes and the construction of matching pooled estimators for general ensembles.