Learning Dynamics of LLM Finetuning
作者: Yi Ren, Danica J. Sutherland
分类: cs.LG, cs.AI, cs.CL
发布日期: 2024-07-15 (更新: 2025-06-29)
💡 一句话要点
研究LLM微调的学习动态，揭示幻觉和偏好优化现象，并提出改进对齐方法。
🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大型语言模型 微调 学习动态 幻觉 偏好优化 对齐 深度学习
📋 核心要点
- 现有LLM微调方法在理解模型行为和解决幻觉问题方面存在不足，缺乏对学习动态的深入分析。
- 本文提出通过分析学习动态，研究LLM在微调过程中不同响应之间的影响累积，从而理解模型行为。
- 该研究解释了幻觉现象和DPO中的“挤压效应”，并启发了一种改进对齐性能的简单有效方法。
📝 摘要（中文）
学习动态描述了特定训练样本的学习如何影响模型对其他样本的预测，为理解深度学习系统的行为提供了一个强大的工具。本文通过分析不同潜在响应之间影响累积的逐步分解，研究了大型语言模型在不同类型微调过程中的学习动态。该框架能够统一解释指令调优和偏好调优中流行算法训练的许多有趣观察结果。特别地，本文提出了一个假设性的解释，说明了为什么特定类型的幻觉在微调后会得到加强，例如，模型可能使用问题B中的短语或事实来回答问题A，或者模型在生成响应时可能不断重复类似的简单短语。此外，本文扩展了该框架，并强调了一种独特的“挤压效应”，以解释先前在离线直接偏好优化（DPO）中观察到的现象，即运行DPO时间过长甚至会降低所需输出的可能性。该框架还提供了对在线DPO和其他变体优势的见解。该分析不仅为理解LLM的微调提供了一个新的视角，而且启发了一种简单有效的改进对齐性能的方法。
🔬 方法详解
问题定义：现有的大型语言模型（LLM）微调方法，例如指令微调和偏好微调，虽然在提升模型性能方面取得了显著进展，但对于模型内部的学习机制和行为模式，特别是幻觉现象的产生原因，缺乏深入的理解。此外，离线直接偏好优化（DPO）中存在的“挤压效应”也需要更清晰的解释。
核心思路：本文的核心思路是通过研究LLM微调过程中的学习动态，即分析特定训练样本的学习如何影响模型对其他样本的预测。通过分解不同潜在响应之间的影响累积过程，可以更深入地理解模型在微调过程中的行为模式，从而解释幻觉现象和“挤压效应”。
技术框架：本文构建了一个分析LLM微调学习动态的框架，该框架主要包含以下几个阶段：1) 定义学习动态：将学习动态定义为训练样本对模型预测的影响函数。2) 分解影响累积：将不同潜在响应之间的影响累积过程进行逐步分解，从而分析模型在微调过程中的行为模式。3) 解释现象：利用分解后的影响累积过程，解释幻觉现象和DPO中的“挤压效应”。4) 改进对齐：基于对学习动态的理解，提出一种改进对齐性能的方法。
关键创新：本文最重要的技术创新点在于将学习动态的概念引入到LLM微调的研究中，并构建了一个分析LLM微调学习动态的框架。与现有方法相比，该框架能够更深入地理解模型在微调过程中的行为模式，从而解释幻觉现象和“挤压效应”。
关键设计：本文的关键设计包括：1) 定义了一个能够量化训练样本对模型预测影响的影响函数。2) 设计了一种分解不同潜在响应之间影响累积过程的方法。3) 基于对学习动态的理解，提出了一种简单有效的改进对齐性能的方法，具体的技术细节未知。
🖼️ 关键图片
📊 实验亮点
论文通过学习动态分析，解释了特定类型幻觉在微调后增强的原因，并揭示了离线DPO中“挤压效应”的机制。研究还启发了一种改进对齐性能的简单方法，但具体的实验数据和提升幅度未知。
🎯 应用场景
该研究成果可应用于提升大型语言模型的安全性和可靠性，减少幻觉现象的产生，提高模型在各种应用场景中的性能表现。此外，该研究对于理解和改进其他深度学习系统的训练过程也具有一定的借鉴意义。
📄 摘要（原文）
Learning dynamics, which describes how the learning of specific training examples influences the model's predictions on other examples, gives us a powerful tool for understanding the behavior of deep learning systems. We study the learning dynamics of large language models during different types of finetuning, by analyzing the step-wise decomposition of how influence accumulates among different potential responses. Our framework allows a uniform interpretation of many interesting observations about the training of popular algorithms for both instruction tuning and preference tuning. In particular, we propose a hypothetical explanation of why specific types of hallucination are strengthened after finetuning, e.g., the model might use phrases or facts in the response for question B to answer question A, or the model might keep repeating similar simple phrases when generating responses. We also extend our framework and highlight a unique "squeezing effect" to explain a previously observed phenomenon in off-policy direct preference optimization (DPO), where running DPO for too long makes even the desired outputs less likely. This framework also provides insights into where the benefits of on-policy DPO and other variants come from. The analysis not only provides a novel perspective of understanding LLM's finetuning but also inspires a simple, effective method to improve alignment performance.