Compute-Optimal LLMs Provably Generalize Better With Scale

📄 arXiv: 2504.15208v1 📥 PDF

作者: Marc Finzi, Sanyam Kapoor, Diego Granziol, Anming Gu, Christopher De Sa, J. Zico Kolter, Andrew Gordon Wilson

分类: cs.LG, cs.AI

发布日期: 2025-04-21

备注: ICLR 2025

💡 一句话要点

提出基于Freedman不等式的LLM泛化界限，揭示计算最优模型扩展优势

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 泛化能力 计算最优 缩放定律 Freedman不等式

📋 核心要点

  1. 现有研究缺乏对计算最优LLM泛化能力随规模增长的理论解释，难以指导模型设计。
  2. 论文提出基于Freedman不等式的泛化界限，将泛化误差分解为参数量、损失方差和量化误差。
  3. 理论分析表明，计算最优LLM扩展时，损失方差和量化误差降低，从而缩小泛化差距，并推导出泛化差距的缩放定律。

📝 摘要（中文）

本文旨在探究大型语言模型(LLM)为何在规模扩大时泛化能力更强。为此，我们针对Chinchilla缩放定律描述的计算最优状态下的LLM预训练目标，提出了泛化界限。我们引入了一种新颖的、完全经验性的Freedman型鞅集中不等式，通过考虑损失函数的方差来收紧现有的界限。该泛化界限可分解为三个可解释的组成部分：每个token的参数数量、损失方差以及固定比特率下的量化误差。随着计算最优语言模型的扩展，每个数据点的参数数量保持不变；然而，损失方差和量化误差都会减小，这意味着更大的模型应该具有更小的泛化差距。我们从信息论的角度考察了为什么更大的模型更容易量化，表明它们整合新信息的速度比计算最优边界上的容量增长得更慢。基于这些发现，我们得出了泛化差距的缩放定律，其界限随着规模的扩大而变得更强。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）为何随着规模的扩大，其泛化能力会得到提升的问题。现有的研究缺乏对这种现象的理论解释，无法有效指导LLM的设计和优化。尤其是在计算资源有限的情况下，如何设计出更高效、泛化能力更强的LLM是一个重要的挑战。

核心思路：论文的核心思路是建立一个更精确的泛化误差上界，并将其分解为可解释的组成部分，从而揭示模型规模、损失方差和量化误差之间的关系。通过分析这些组成部分在计算最优状态下的变化趋势，来解释LLM泛化能力提升的原因。论文特别关注Chinchilla缩放定律所描述的计算最优状态，因为这代表了在给定计算资源下，模型性能的最佳配置。

技术框架：论文的技术框架主要包括以下几个步骤：1) 引入一种新的、完全经验性的Freedman型鞅集中不等式，用于更紧密地估计泛化误差。2) 将泛化误差上界分解为三个关键组成部分：每个token的参数数量、损失方差以及固定比特率下的量化误差。3) 分析在计算最优状态下，这三个组成部分随模型规模的变化趋势。4) 从信息论的角度解释为什么更大的模型更容易量化。5) 基于以上分析，推导出泛化差距的缩放定律。

关键创新：论文的关键创新在于：1) 提出了一个更紧密的泛化误差上界，该上界基于一种新的Freedman型鞅集中不等式，考虑了损失函数的方差，从而改进了现有的泛化界限。2) 将泛化误差分解为三个可解释的组成部分，从而揭示了模型规模、损失方差和量化误差之间的关系。3) 从信息论的角度解释了为什么更大的模型更容易量化，为理解LLM的泛化能力提供了新的视角。

关键设计：论文的关键设计包括：1) 使用Freedman型鞅集中不等式来推导泛化误差上界，这种不等式能够更好地捕捉损失函数的方差，从而得到更紧密的界限。2) 将泛化误差分解为每个token的参数数量、损失方差和量化误差，这种分解方式使得可以更容易地分析不同因素对泛化能力的影响。3) 从信息论的角度分析量化误差，并将其与模型的容量和信息整合速度联系起来，从而为理解LLM的泛化能力提供了新的视角。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过理论分析表明，在计算最优状态下，随着LLM规模的扩大，损失方差和量化误差会减小，从而缩小泛化差距。论文还推导出了泛化差距的缩放定律，并证明其界限随着规模的扩大而变得更强。这些结果为理解LLM的泛化能力提供了重要的理论依据。

🎯 应用场景

该研究成果可应用于指导大型语言模型的训练和优化，尤其是在计算资源受限的情况下，可以帮助选择合适的模型规模和训练策略，以获得更好的泛化性能。此外，该研究还可以促进对LLM泛化能力的理论理解，为未来的模型设计提供理论基础。

📄 摘要（原文）

Why do larger language models generalize better? To investigate this question, we develop generalization bounds on the pretraining objective of large language models (LLMs) in the compute-optimal regime, as described by the Chinchilla scaling laws. We introduce a novel, fully empirical Freedman-type martingale concentration inequality that tightens existing bounds by accounting for the variance of the loss function. This generalization bound can be decomposed into three interpretable components: the number of parameters per token, the loss variance, and the quantization error at a fixed bitrate. As compute-optimal language models are scaled up, the number of parameters per data point remains constant; however, both the loss variance and the quantization error decrease, implying that larger models should have smaller generalization gaps. We examine why larger models tend to be more quantizable from an information theoretic perspective, showing that the rate at which they can integrate new information grows more slowly than their capacity on the compute-optimal frontier. From these findings we produce a scaling law for the generalization gap, with bounds that become predictably stronger with scale.