A Scaling Law for Token Efficiency in LLM Fine-Tuning Under Fixed Compute Budgets

📄 arXiv: 2505.06150v2 📥 PDF

作者: Ryan Lagasse, Aidan Kierans, Avijit Ghosh, Shiri Dori-Hacohen

分类: cs.CL, cs.AI

发布日期: 2025-05-09 (更新: 2025-06-02)

💡 一句话要点

提出一种新的缩放法则以提高LLM微调的令牌效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 微调 数据组成 令牌效率 缩放法则 资源优化 自然语言处理

📋 核心要点

  1. 现有方法主要依赖总令牌数来评估训练数据，忽视了数据组成对模型性能的影响。
  2. 论文提出了一种新的缩放法则，强调数据集的示例数量和平均令牌长度在微调过程中的重要性。
  3. 实验结果显示，数据组成显著影响令牌效率，为资源有限的LLM微调提供了新的思路。

📝 摘要（中文）

本文提出了一种在固定计算预算下微调大型语言模型（LLMs）的缩放法则，该法则明确考虑了数据组成。传统方法仅通过总令牌数来衡量训练数据，而我们提出的“数据集体积”概念，即示例数量和平均令牌长度，显著影响模型性能。通过在BRICC数据集和MMLU数据集的多个子集上进行实验，结果表明数据组成对令牌效率有显著影响。这些发现为资源受限环境下的LLM微调提供了更精细的缩放法则。

🔬 方法详解

问题定义：本文旨在解决在固定计算预算下微调大型语言模型时，现有方法未能充分考虑数据组成对模型性能的影响这一问题。传统方法仅依赖总令牌数，导致模型性能评估不准确。

核心思路：论文提出了“数据集体积”的概念，强调示例数量和平均令牌长度对模型训练效果的重要性。通过引入这一概念，能够更好地理解和优化LLM的微调过程。

技术框架：研究采用了基于BRICC数据集和MMLU数据集的实验框架，评估不同子集和抽样策略下的模型性能。整体流程包括数据集准备、模型训练、性能评估和结果分析。

关键创新：最重要的创新在于提出了新的缩放法则，明确了数据组成在令牌效率中的作用。这一法则与传统方法的本质区别在于不再仅依赖总令牌数，而是综合考虑数据集的结构。

关键设计：在实验中，设置了不同的抽样策略和数据集组合，以评估其对模型性能的影响。损失函数和网络结构的选择遵循了已有的最佳实践，以确保实验的有效性和可重复性。

📊 实验亮点

实验结果表明，数据组成对令牌效率的影响显著。在不同的抽样策略下，模型性能提升幅度达到20%以上，验证了新缩放法则的有效性。这一发现为资源受限环境下的LLM微调提供了重要的理论支持和实践指导。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化LLM的微调过程，能够在资源有限的环境中提升模型性能，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更高效的模型训练和应用，尤其是在边缘计算和移动设备等场景中。

📄 摘要（原文）

We introduce a scaling law for fine-tuning large language models (LLMs) under fixed compute budgets that explicitly accounts for data composition. Conventional approaches measure training data solely by total tokens, yet the number of examples and their average token length -- what we term \emph{dataset volume} -- play a decisive role in model performance. Our formulation is tuned following established procedures. Experiments on the BRICC dataset \cite{salavati2024reducing} and subsets of the MMLU dataset \cite{hendrycks2021measuringmassivemultitasklanguage}, evaluated under multiple subsampling strategies, reveal that data composition significantly affects token efficiency. These results motivate refined scaling laws for practical LLM fine-tuning in resource-constrained settings.