Early Detection and Reduction of Memorisation for Domain Adaptation and Instruction Tuning
作者: Dean L. Slack, Noura Al Moubayed
分类: cs.CL, cs.AI
发布日期: 2025-10-13
备注: Accepted to Transactions of the ACL (TACL), 2025. 15 pages, 6 figures, 3 tables
💡 一句话要点
提出基于n-gram的早停和正则化方法，减少领域自适应和指令调优中的模型记忆
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 语言模型 领域自适应 指令调优 模型记忆 n-gram 早停策略 损失正则化 隐私保护
📋 核心要点
- 大型语言模型存在记忆训练数据的风险，尤其是在领域自适应和指令调优的微调阶段，这方面的研究相对不足。
- 论文提出基于n-gram记忆得分的早停策略，以及n-gram感知的损失正则化项，旨在减少微调过程中的模型记忆。
- 实验表明，所提出的方法能够在减少模型记忆的同时，最大限度地减少对模型性能的影响，并在多个模型系列上验证了有效性。
📝 摘要（中文）
大型语言模型在许多任务中表现出色，但它们会记忆训练数据，从而暴露私人或受版权保护的文本。大多数防御措施都针对预训练阶段，使得微调期间的记忆，特别是对于领域自适应和指令调优，缺乏深入理解。本文在常见评估数据集上对Pythia、Llama3和Mistral模型（参数规模从1.4B到70B）进行微调，并跟踪整个训练过程中的逐字记忆。研究发现，记忆在最初的几个epoch中急剧增加，通常明显早于验证困惑度或评估性能的优化。本文使用一个简单但有效的n-gram记忆得分，该得分可靠地先于逐字记忆；将其用作早停标准可以减轻记忆，同时最大限度地减少性能损失。此外，本文引入了一个n-gram感知的损失正则化项，并表明它可以减少所有测试模型系列的记忆，最多可减少40%，同时与现有的记忆缓解策略相比，最大限度地减少评估性能的权衡。这些结果为语言模型微调期间的记忆动态提供了实用且可扩展的见解。
🔬 方法详解
问题定义：论文旨在解决大型语言模型在领域自适应和指令调优等微调过程中，过度记忆训练数据的问题。现有方法主要集中在预训练阶段的记忆缓解，而忽略了微调阶段的记忆风险，导致模型可能泄露隐私或版权信息。现有方法缺乏对微调阶段记忆动态的深入理解和有效的缓解策略。
核心思路：论文的核心思路是利用n-gram记忆得分作为早期指标，提前发现并阻止模型的过度记忆。同时，引入n-gram感知的损失正则化项，在训练过程中直接抑制模型的记忆行为。这样设计的目的是在不显著降低模型性能的前提下，有效减少模型对训练数据的记忆。
技术框架：论文的技术框架主要包括以下几个阶段：1) 使用Pythia、Llama3和Mistral等不同规模的语言模型进行微调；2) 在微调过程中，计算n-gram记忆得分，并将其作为早停的标准；3) 引入n-gram感知的损失正则化项，以抑制模型的记忆行为；4) 在常见评估数据集上评估模型的性能和记忆水平。
关键创新：论文的关键创新在于：1) 提出了基于n-gram记忆得分的早停策略，能够提前发现并阻止模型的过度记忆；2) 引入了n-gram感知的损失正则化项，能够在训练过程中直接抑制模型的记忆行为；3) 对比了多种模型和数据集，验证了所提出方法的有效性和泛化能力。
关键设计：n-gram记忆得分的计算方式是统计模型生成的文本中，与训练数据集中n-gram重叠的比例。早停策略的具体实现是，当n-gram记忆得分超过预设阈值时，停止训练。n-gram感知的损失正则化项的设计目标是惩罚模型生成与训练数据集中n-gram过于相似的文本。损失函数的具体形式为：L = L_CE + λ * L_ngram，其中L_CE是交叉熵损失，L_ngram是n-gram正则化项，λ是正则化系数。
🖼️ 关键图片
📊 实验亮点
实验结果表明，基于n-gram记忆得分的早停策略和n-gram感知的损失正则化项能够有效减少模型记忆，最多可减少40%。与现有的记忆缓解策略相比，所提出的方法能够在最大限度地减少评估性能损失的同时，显著降低模型记忆。实验在Pythia、Llama3和Mistral等多个模型系列上进行了验证，证明了该方法的泛化能力。
🎯 应用场景
该研究成果可应用于各种需要对大型语言模型进行微调的场景，例如领域自适应、指令调优等。通过减少模型对训练数据的记忆，可以降低模型泄露隐私或版权信息的风险，提高模型的安全性和可靠性。该研究对于构建更加安全、可信赖的语言模型具有重要意义。
📄 摘要（原文）
Although large language models excel across many tasks, they can memorise training data and thereby expose private or copyrighted text. Most defences target the pre-training stage, leaving memorisation during fine-tuning, especially for domain adaptation and instruction tuning, poorly understood. We fine-tune Pythia, Llama3, and Mistral models spanning 1.4B-70B parameters on common evaluation datasets and track verbatim memorisation throughout training. We find that memorisation increases dramatically in the first few epochs, often significantly before either validation perplexity or evaluation performance is optimised. We use a simple but effective n-gram memorisation score which reliably precedes verbatim memorisation; using it as an early-stopping criterion mitigates memorisation with minimal performance loss. Further, we introduce an n-gram-aware loss regulariser and show that it reduces memorisation across all model families tested by up to 40% while minimising evaluation performance trade-offs when compared to an existing memorisation mitigation strategy. These results yield practical, scalable insights into memorisation dynamics during language model fine-tuning.