Exploring Memorization in Fine-tuned Language Models

📄 arXiv: 2310.06714v2 📥 PDF

作者: Shenglai Zeng, Yaxin Li, Jie Ren, Yiding Liu, Han Xu, Pengfei He, Yue Xing, Shuaiqiang Wang, Jiliang Tang, Dawei Yin

分类: cs.AI, cs.CL, cs.LG

发布日期: 2023-10-10 (更新: 2024-02-22)

💡 一句话要点

探讨微调语言模型中的记忆化现象以应对隐私问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 记忆化 微调 隐私保护 稀疏编码 注意力机制 自然语言处理

📋 核心要点

  1. 现有研究主要集中在预训练阶段的记忆化，而微调阶段的记忆化研究相对不足，导致对隐私风险的认识不全面。
  2. 本研究通过对多种任务的微调语言模型进行全面分析，探讨了记忆化现象的差异性及其原因。
  3. 实验结果显示，不同微调任务的记忆化程度差异显著，并与注意力得分分布存在强相关性，提供了新的理解视角。

📝 摘要（中文）

大型语言模型（LLMs）在多种任务中展现出强大的能力，但也暴露出对训练数据的记忆化现象，引发了隐私和版权方面的重大担忧。尽管已有研究关注预训练阶段的记忆化，但对微调阶段的探索相对有限。微调通常涉及更敏感的数据和多样化的目标，因此可能带来不同的隐私风险和独特的记忆行为。本研究首次全面分析了语言模型在微调过程中的记忆化现象，结果表明不同微调任务之间的记忆化存在显著差异，并通过稀疏编码理论提供了直观解释，同时揭示了记忆化与注意力得分分布之间的强相关性。

🔬 方法详解

问题定义：本论文旨在解决微调阶段语言模型的记忆化现象，现有方法对这一问题的探讨较少，导致隐私风险评估不足。

核心思路：通过对微调过程中语言模型的记忆化进行全面分析，揭示不同任务间的记忆化差异及其背后的原因，利用稀疏编码理论进行解释。

技术框架：研究采用开放源代码和自定义微调的语言模型，分析不同任务下的记忆化表现，主要模块包括数据收集、模型训练和记忆化评估。

关键创新：首次系统性地分析了微调阶段的记忆化现象，提出了任务间记忆化差异的直观解释，并揭示了记忆化与注意力得分的关系。

关键设计：在实验中，设置了多种微调任务，采用不同的损失函数和模型架构，重点关注注意力机制的设计，以评估其对记忆化的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，不同微调任务的记忆化程度差异显著，某些任务的记忆化程度高达预训练阶段的两倍。同时，注意力得分分布与记忆化程度之间存在强相关性，提供了新的研究方向。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、数据隐私保护和模型优化等。通过深入理解微调阶段的记忆化现象，可以为开发更安全的语言模型提供理论基础，降低隐私泄露风险，推动相关技术的应用与发展。

📄 摘要（原文）

Large language models (LLMs) have shown great capabilities in various tasks but also exhibited memorization of training data, raising tremendous privacy and copyright concerns. While prior works have studied memorization during pre-training, the exploration of memorization during fine-tuning is rather limited. Compared to pre-training, fine-tuning typically involves more sensitive data and diverse objectives, thus may bring distinct privacy risks and unique memorization behaviors. In this work, we conduct the first comprehensive analysis to explore language models' (LMs) memorization during fine-tuning across tasks. Our studies with open-sourced and our own fine-tuned LMs across various tasks indicate that memorization presents a strong disparity among different fine-tuning tasks. We provide an intuitive explanation of this task disparity via sparse coding theory and unveil a strong correlation between memorization and attention score distribution.