Linearization Explains Fine-Tuning in Large Language Models

📄 arXiv: 2602.08239v1 📥 PDF

作者: Zahra Rahimi Afzal, Tara Esmaeilbeig, Mojtaba Soltanalian, Mesrob I. Ohannessian

分类: cs.LG, cs.AI

发布日期: 2026-02-09

期刊: Afzal, Z.R., Esmaeilbeig, T., Soltanalian, M. and Ohannessian, M.I., 2025. Linearization Explains Fine-Tuning in Large Language Models. In The Thirty-ninth Annual Conference on Neural Information Processing Systems

💡 一句话要点

通过线性化解释大语言模型微调机制，揭示NTK谱与性能关联

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 参数高效微调 线性化 神经正切核 谱分析 低秩适应 微调机制

📋 核心要点

  1. 现有参数高效微调方法(PEFT)的训练性能和泛化能力背后的机制尚不明确，缺乏理论解释。
  2. 论文核心思想是将微调过程线性化，并引入欧几里得距离归纳偏置，将微调动态等价于基于神经正切核(NTK)的学习。
  3. 通过分析NTK的特征值谱与模型性能的相关性，并结合谱扰动界限，为理解和改进PEFT技术提供了理论基础，并在LoRA上进行了验证。

📝 摘要（中文）

参数高效微调(PEFT)是一类流行的技术，旨在以可扩展且资源高效的方式调整大型模型。然而，其训练性能和泛化背后的机制仍未被充分探索。本文通过线性化的视角，对这种微调提供了一些见解。微调后的模型通常被隐式地鼓励保持接近预训练模型。通过显式地使用参数空间中的欧几里得距离归纳偏置，我们表明微调动态等价于使用正定神经正切核(NTK)进行学习。我们特别分析了完全线性和线性化微调优化之间的接近程度，基于正则化的强度。这使我们能够务实地了解在微调大型语言模型(LLM)时模型线性化的效果。当线性化是一个好的模型时，我们的发现揭示了NTK的特征值谱与模型适应性能之间的强相关性。受此启发，我们给出了由选择用于微调的层引起的NTK的谱扰动界限。我们在LLM上的低秩适应(LoRA)上实证地验证了我们的理论。这些见解不仅描述了微调，而且还具有增强PEFT技术的潜力，为LLM中更明智和更灵活的适应铺平了道路。

🔬 方法详解

问题定义：论文旨在解决大型语言模型(LLM)微调过程中，参数高效微调(PEFT)方法背后的机制不明确的问题。现有方法缺乏对微调过程的理论解释，难以指导PEFT技术的改进和优化。

核心思路：论文的核心思路是将微调过程进行线性化近似，并假设微调后的模型参数与预训练模型参数保持接近。通过引入参数空间中的欧几里得距离归纳偏置，将微调过程等价于使用神经正切核(NTK)进行学习。这种线性化视角能够简化分析，并揭示微调过程中的关键因素。

技术框架：论文的技术框架主要包括以下几个步骤：1) 对微调过程进行线性化近似，得到线性化的微调优化问题。2) 引入欧几里得距离归纳偏置，将微调过程与NTK联系起来。3) 分析完全线性和线性化微调优化之间的接近程度，评估线性化模型的有效性。4) 研究NTK的特征值谱与模型性能之间的关系，并给出谱扰动界限。5) 在LLM上使用LoRA进行实验验证，验证理论分析的有效性。

关键创新：论文最重要的技术创新点在于将线性化方法引入到LLM微调的理论分析中。通过线性化，可以将复杂的非线性优化问题转化为线性问题，从而更容易进行分析和理解。此外，论文还揭示了NTK的特征值谱与模型性能之间的强相关性，为PEFT技术的设计提供了新的视角。

关键设计：论文的关键设计包括：1) 使用欧几里得距离作为正则化项，鼓励微调后的模型参数接近预训练模型参数。2) 分析NTK的特征值谱，并将其与模型性能联系起来。3) 推导NTK的谱扰动界限，用于评估不同层选择对微调性能的影响。4) 使用LoRA作为PEFT方法的代表，在LLM上进行实验验证。

📊 实验亮点

论文通过实验验证了理论分析的有效性，表明NTK的特征值谱与模型性能之间存在强相关性。具体来说，论文在LLM上使用LoRA进行微调，并观察到NTK的谱特性能够预测微调后的模型性能。此外，论文还验证了谱扰动界限的有效性，表明可以通过选择合适的层进行微调来优化NTK的谱特性。

🎯 应用场景

该研究成果可应用于大型语言模型的参数高效微调，例如，可以根据NTK的谱特性选择合适的层进行微调，从而提高微调效率和性能。此外，该研究还可以为设计新的PEFT技术提供理论指导，促进LLM在各种下游任务中的应用。

📄 摘要（原文）

Parameter-Efficient Fine-Tuning (PEFT) is a popular class of techniques that strive to adapt large models in a scalable and resource-efficient manner. Yet, the mechanisms underlying their training performance and generalization remain underexplored. In this paper, we provide several insights into such fine-tuning through the lens of linearization. Fine-tuned models are often implicitly encouraged to remain close to the pretrained model. By making this explicit, using an Euclidean distance inductive bias in parameter space, we show that fine-tuning dynamics become equivalent to learning with the positive-definite neural tangent kernel (NTK). We specifically analyze how close the fully linear and the linearized fine-tuning optimizations are, based on the strength of the regularization. This allows us to be pragmatic about how good a model linearization is when fine-tuning large language models (LLMs). When linearization is a good model, our findings reveal a strong correlation between the eigenvalue spectrum of the NTK and the performance of model adaptation. Motivated by this, we give spectral perturbation bounds on the NTK induced by the choice of layers selected for fine-tuning. We empirically validate our theory on Low Rank Adaptation (LoRA) on LLMs. These insights not only characterize fine-tuning but also have the potential to enhance PEFT techniques, paving the way to better informed and more nimble adaptation in LLMs.