Advantageous Parameter Expansion Training Makes Better Large Language Models

📄 arXiv: 2505.24241v1 📥 PDF

作者: Naibin Gu, Yilong Chen, Zhenyu Zhang, Peng Fu, Zheng Lin, Shuohuan Wang, Yu Sun, Hua Wu, Weiping Wang, Haifeng Wang

分类: cs.CL

发布日期: 2025-05-30

💡 一句话要点

APEX：通过优势参数扩展训练提升大语言模型性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 参数扩展 优势参数 指令调优 持续预训练 模型训练 计算效率

📋 核心要点

  1. 现有大语言模型依赖参数规模提升性能，但计算成本随之增加，存在效率瓶颈。
  2. APEX方法的核心在于逐步将模型中起关键作用的优势参数扩展到劣势参数的空间，提升优势参数占比。
  3. 实验表明，APEX在指令调优和持续预训练中均表现出色，能以更少的参数或数据达到甚至超越全参数训练的效果。

📝 摘要（中文）

扩展预训练和微调中可训练参数的数量可以有效提升大型语言模型的性能，但也会增加计算开销。通过深入研究参数差异，我们发现一个名为优势参数的子集在决定模型性能方面起着关键作用。进一步的分析表明，更强大的模型往往拥有更多的此类参数。在本文中，我们提出了优势参数扩展训练（APEX），该方法逐步将优势参数扩展到劣势参数的空间中，从而增加它们的比例并提高训练效果。从矩阵有效秩的角度进行的进一步理论分析解释了APEX的性能提升。在指令调优和持续预训练方面的大量实验表明，在指令调优中，APEX优于全参数调优，同时仅使用52%的可训练参数。在持续预训练中，APEX仅用传统训练33%的训练数据即可达到相同的困惑度水平，并在下游任务中产生显著的改进。

🔬 方法详解

问题定义：论文旨在解决大语言模型训练过程中，参数规模增大带来的计算开销问题。现有方法虽然可以通过增加参数量提升模型性能，但训练成本也显著增加，效率较低。论文观察到并非所有参数都同等重要，一部分“优势参数”对模型性能起着关键作用。

核心思路：论文的核心思路是，与其盲目增加所有参数，不如专注于增加优势参数的比例。通过将劣势参数转化为优势参数，可以在不显著增加计算开销的前提下，提升模型性能。这种方法类似于“好钢用在刀刃上”，将有限的计算资源集中在对模型性能提升最有效的参数上。

技术框架：APEX方法的整体框架包含以下几个关键步骤：1. 优势参数识别：在训练过程中，通过某种指标（具体指标未知）识别出对模型性能贡献较大的优势参数。2. 参数扩展：将一部分劣势参数转化为优势参数。具体转化方式未知，可能涉及到参数的复制、初始化或梯度更新策略的调整。3. 迭代训练：重复上述步骤，逐步扩大优势参数的比例，直到达到预定的目标或训练停止条件。

关键创新：APEX方法的关键创新在于其参数扩展的策略。它打破了传统训练方法中所有参数同等对待的模式，而是有选择性地增加优势参数的比例。这种方法能够更有效地利用计算资源，从而在相同的计算预算下，训练出性能更优的模型。此外，论文还从矩阵有效秩的角度对APEX的性能提升进行了理论分析，为该方法的有效性提供了理论支撑。

关键设计：论文中关于优势参数识别的具体指标、参数扩展的具体方式以及训练过程中的超参数设置等关键设计细节并未详细描述。这些细节对于APEX方法的实际应用至关重要，需要在后续研究中进一步探索和完善。损失函数和网络结构与传统方法相同，关键在于参数的更新策略。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

APEX在指令调优任务中，仅使用52%的可训练参数就超越了全参数调优的性能。在持续预训练任务中，APEX仅使用传统训练33%的训练数据就达到了相同的困惑度水平，并在下游任务中取得了显著的性能提升。这些实验结果表明，APEX方法能够显著提高大语言模型的训练效率和性能。

🎯 应用场景

APEX方法可应用于各种需要训练大型语言模型的场景，例如自然语言处理、机器翻译、文本生成等。该方法能够以更低的计算成本训练出性能更优的模型，从而降低模型部署和维护的成本。此外，APEX方法还可以促进大语言模型在资源受限环境下的应用，例如移动设备或边缘计算设备。

📄 摘要（原文）

Although scaling up the number of trainable parameters in both pre-training and fine-tuning can effectively improve the performance of large language models, it also leads to increased computational overhead. When delving into the parameter difference, we find that a subset of parameters, termed advantageous parameters, plays a crucial role in determining model performance. Further analysis reveals that stronger models tend to possess more such parameters. In this paper, we propose Advantageous Parameter EXpansion Training (APEX), a method that progressively expands advantageous parameters into the space of disadvantageous ones, thereby increasing their proportion and enhancing training effectiveness. Further theoretical analysis from the perspective of matrix effective rank explains the performance gains of APEX. Extensive experiments on both instruction tuning and continued pre-training demonstrate that, in instruction tuning, APEX outperforms full-parameter tuning while using only 52% of the trainable parameters. In continued pre-training, APEX achieves the same perplexity level as conventional training with just 33% of the training data, and yields significant improvements on downstream tasks.