How LoRA Remembers? A Parametric Memory Law for LLM Finetuning

📄 arXiv: 2605.30260v1 📥 PDF

作者: Ziwen Xu, Haiwen Hong, Linsong Yu, Benglei Cui, Longtao Huang, Hui Xue, Ningyu Zhang

分类: cs.CL, cs.AI, cs.CV, cs.LG

发布日期: 2026-05-28

备注: Ongoing work

🔗 代码/项目: GITHUB

💡 一句话要点

提出参数记忆定律，量化LoRA微调中LLM的记忆容量，并提出MemFT优化策略。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 低秩适应 参数记忆 微调 知识更新 优化策略 记忆容量 幂律

📋 核心要点

  1. 现有研究缺乏对LoRA微调中LLM参数记忆容量的定量分析，主要依赖下游任务的定性评估。
  2. 论文提出参数记忆定律，通过LoRA作为探针，量化损失减少与有效参数和序列长度之间的关系。
  3. 实验表明，基于参数记忆定律提出的MemFT优化策略，能够提升LLM在微调过程中的记忆保真度和效率。

📝 摘要（中文）

大型语言模型(LLM)必须不断学习和更新知识，以在动态的现实世界环境中保持有效性。虽然低秩适应(LoRA)被广泛用于这种记忆更新，但现有的研究主要依赖于定性的下游评估，而对精确参数记忆的定量容量限制和潜在动态的探索仍然不足。为了弥合这一差距，我们采用LoRA作为潜在空间中的受控记忆容量探针，以系统地量化精确的参数记忆。我们引入了参数记忆定律，这是一个将损失减少量Delta L与有效参数和序列长度联系起来的鲁棒幂律。在token级别，细粒度分析揭示了一个确定性的相变，表明p > 0.5的预测概率构成了贪婪解码下逐字回忆的充分条件。在这些见解的驱动下，我们引入了MemFT，一种阈值引导的优化策略，它动态地将训练预算重新分配给低于阈值的token。经验评估表明，MemFT可以提高记忆的保真度和效率。代码将在https://github.com/zjunlp/ParametricMemoryLaw发布。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在持续学习和知识更新过程中，如何更有效地利用参数记忆的问题。现有方法，特别是基于LoRA的微调，缺乏对参数记忆容量的定量分析，难以指导训练过程，导致记忆效率低下。现有研究主要依赖下游任务的定性评估，无法深入理解参数记忆的内在动态。

核心思路：论文的核心思路是将LoRA作为一种受控的记忆容量探针，通过系统地改变LoRA的参数量，观察模型在学习新知识时的损失变化。通过这种方式，可以量化损失减少与有效参数和序列长度之间的关系，从而揭示参数记忆的内在规律。基于此规律，设计更有效的训练策略，提升记忆效率。

技术框架：论文的技术框架主要包含以下几个阶段：1) 使用LoRA进行LLM的微调，并控制LoRA的参数量；2) 测量微调过程中损失的减少量Delta L；3) 分析Delta L与LoRA参数量、序列长度等因素之间的关系，建立参数记忆定律；4) 基于参数记忆定律，设计MemFT优化策略，动态调整训练预算；5) 通过实验验证MemFT的有效性。

关键创新：论文最重要的技术创新点在于提出了参数记忆定律，这是一个将损失减少量Delta L与有效参数和序列长度联系起来的鲁棒幂律。该定律为理解LLM的参数记忆机制提供了新的视角，并为设计更有效的微调策略提供了理论基础。此外，MemFT优化策略能够动态地将训练预算重新分配给低于阈值的token，从而提高记忆的保真度和效率。

关键设计：论文的关键设计包括：1) 使用LoRA进行低秩适应，控制参数更新的规模；2) 精确测量微调过程中的损失变化，并将其与LoRA参数量、序列长度等因素进行关联；3) 提出MemFT优化策略，该策略基于token级别的预测概率，动态调整训练预算。具体来说，MemFT会优先关注预测概率低于阈值的token，从而提高模型对这些token的记忆能力。阈值的选择和训练预算的分配比例是MemFT的关键参数。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

论文通过实验验证了参数记忆定律的有效性，并证明了MemFT优化策略能够显著提升LLM的记忆保真度和效率。具体来说，MemFT在多个数据集上取得了优于基线方法的性能，尤其是在需要精确记忆的任务上，提升幅度更为明显。实验结果表明，MemFT能够更有效地利用训练预算，提高模型对关键信息的记忆能力。

🎯 应用场景

该研究成果可应用于各种需要持续学习和知识更新的LLM应用场景，例如：智能客服、知识图谱更新、机器翻译等。通过参数记忆定律和MemFT优化策略，可以更有效地利用有限的计算资源，提升LLM在特定领域的性能和适应能力。未来，该研究可以扩展到其他类型的模型和微调方法，进一步提升LLM的记忆效率和泛化能力。

📄 摘要（原文）

Large Language Models (LLMs) must continuously learn and update knowledge to remain effective in dynamic real-world environments. While Low-Rank Adaptation (LoRA) is widely used for such memory updates, existing studies mainly rely on qualitative downstream evaluations, leaving the quantitative capacity limits and underlying dynamics of exact parametric memory largely unexplored. To bridge this gap, we employ LoRA as a controlled memory capacity probe within the latent space to systematically quantify exact parametric memory. We introduce the Parametric Memory Law, a robust power law linking loss reduction Delta L to effective parameters and sequence length. At the token level, fine-grained analysis reveals a deterministic phase transition, demonstrating that a prediction probability of p > 0.5 constitutes a sufficient condition for verbatim recall under greedy decoding. Driven by these insights, we introduce MemFT, a threshold-guided optimization strategy that dynamically redistributes the training budget toward sub-threshold tokens. Empirical evaluations demonstrate that MemFT can enhance memory fidelity and efficiency. Code will be released at https://github.com/zjunlp/ParametricMemoryLaw.