Unveiling and Addressing Pseudo Forgetting in Large Language Models
作者: Huashan Sun, Yizhe Yang, Yinghao Li, Jiawei Li, Yang Gao
分类: cs.LG, cs.AI, cs.CL
发布日期: 2024-11-18 (更新: 2025-06-09)
备注: ACL 2025 Findings
💡 一句话要点
揭示并解决大语言模型中的伪遗忘现象，提升持续学习能力
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 大语言模型 持续学习 灾难性遗忘 伪遗忘 理由生成 指令依赖性 重放机制 RGD-R框架
📋 核心要点
- 现有持续学习方法在缓解灾难性遗忘方面存在不足，对模型遗忘的内在机制理解不够深入。
- 论文提出“伪遗忘”概念，认为性能下降并非能力丧失，而是指令未能有效激活模型已有能力。
- 提出RGD-R框架，通过理由引导难度动态分配重放数据，有效缓解伪遗忘并保持模型可塑性。
📝 摘要（中文）
尽管在持续学习中已经投入了大量精力来缓解灾难性遗忘，但其内在机制尚未得到充分理解。本文揭示了一种“伪遗忘”现象：先前任务的性能下降并非源于能力的丧失，而是由于指令未能激活适当的模型能力。通过两种简单的干预措施，可以恢复模型在先前任务上的性能：(1) 提供部分外部正确理由；(2) 在原始指令后附加语义上无意义的后缀，以引导生成正确的理由。通过对理由生成内部机制的实证分析，我们发现表现出伪遗忘的模型在理由生成过程中表现出指令依赖性降低，导致其固有能力未能得到最佳激活。基于此，我们提出了基于理由引导难度（Rationale-Guidance Difficulty based Replay，RGD-R）的重放框架，该框架根据模型正确利用固有能力的能力动态分配重放数据。实验结果表明，RGD-R有效地缓解了伪遗忘，同时保持了模型的可塑性。
🔬 方法详解
问题定义：论文旨在解决大语言模型在持续学习过程中出现的“伪遗忘”问题。现有方法主要关注模型参数的更新和记忆，但忽略了指令在激活模型已有能力中的作用。当模型无法正确理解或响应指令时，即使其具备解决问题的能力，也会表现出性能下降，即“伪遗忘”。现有方法未能有效区分真正的能力丧失和指令激活失败，导致资源分配不合理。
核心思路：论文的核心思路是，通过分析模型生成“理由”（Rationale）的过程，来判断模型是否真正丧失了解决问题的能力。如果模型在生成理由时对指令的依赖性降低，说明模型可能存在“伪遗忘”。通过外部干预，例如提供正确的理由或添加无意义后缀来引导理由生成，可以恢复模型在先前任务上的性能。
技术框架：论文提出的Rationale-Guidance Difficulty based Replay (RGD-R)框架包含以下几个主要步骤：1. 理由生成分析：分析模型在当前任务和先前任务上生成理由的过程，评估模型对指令的依赖程度。2. 难度评估：基于理由生成分析的结果，评估先前任务的难度，即模型正确利用固有能力解决先前任务的难易程度。3. 重放数据分配：根据难度评估的结果，动态分配重放数据。对于模型难以正确利用固有能力的任务，分配更多的重放数据。4. 模型训练：使用重放数据和当前任务的数据训练模型，缓解伪遗忘，同时保持模型的可塑性。
关键创新：论文最重要的技术创新点在于提出了“伪遗忘”的概念，并将其与指令激活模型能力联系起来。通过分析理由生成过程，可以更准确地判断模型是否真正丧失了能力。RGD-R框架能够根据模型对指令的依赖程度动态分配重放数据，从而更有效地缓解伪遗忘。
关键设计：RGD-R框架的关键设计包括：1. 指令依赖性评估指标：用于衡量模型在生成理由时对指令的依赖程度。具体评估方法未知，论文可能使用了某种相似度或注意力机制来衡量。2. 难度评估函数：用于根据指令依赖性评估结果计算任务难度。难度越高，说明模型越难以正确利用固有能力。3. 重放数据分配策略：根据任务难度分配重放数据。具体分配策略未知，可能使用了某种比例或阈值来确定重放数据的数量。
🖼️ 关键图片
📊 实验亮点
实验结果表明，RGD-R框架能够有效缓解大语言模型中的伪遗忘现象，并在保持模型可塑性的同时，显著提升模型在先前任务上的性能。具体的性能提升数据和对比基线未知，但论文强调RGD-R能够更有效地利用模型已有的能力。
🎯 应用场景
该研究成果可应用于持续学习场景下的大语言模型训练，尤其是在任务类型多样、数据分布变化频繁的场景中。通过缓解伪遗忘，可以提升模型在先前任务上的性能，减少对大量历史数据的依赖，降低训练成本，并提高模型的泛化能力和适应性。未来可应用于智能客服、对话系统、机器翻译等领域。
📄 摘要（原文）
Although substantial efforts have been made to mitigate catastrophic forgetting in continual learning, the intrinsic mechanisms are not well understood. In this work, we demonstrate the existence of "pseudo forgetting": the performance degradation on previous tasks is not attributed to a loss of capabilities, but rather to the failure of the instructions to activate the appropriate model abilities. We show that the model's performance on previous tasks can be restored through two simple interventions: (1) providing partial external correct rationale, and (2) appending semantically meaningless suffixes to the original instructions, to guide the generation of correct rationales. Through empirical analysis of the internal mechanisms governing rationale generation, we reveal that models exhibiting pseudo forgetting show reduced instruction dependence during rationale generation, leading to suboptimal activation of their inherent capabilities. Based on this insight, we propose Rationale-Guidance Difficulty based Replay (RGD-R) framework that dynamically allocates replay data based on the model's ability to correctly leverage the intrinsic capabilities. Experimental results demonstrate that RGD-R effectively mitigates pseudo forgetting while maintaining model plasticity.