A Deafening Silence: Catastrophic Forgetting Lives in the Output Embeddings of Tokens the Data Never Speaks
作者: Jonghyun Han, Younghoon Song, Jongyoul Park
分类: cs.CL, cs.AI
发布日期: 2026-10-07
💡 一句话要点
提出一种优化方法以减少大语言模型中的灾难性遗忘问题
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 灾难性遗忘 大语言模型 持续学习 优化器调整 输出嵌入 自然语言处理 在线学习
📋 核心要点
- 现有方法在大语言模型的持续学习中面临灾难性遗忘的问题，尤其是在新语料中稀有词汇的输出嵌入上。
- 论文提出通过提高Adam优化器的epsilon值来专门针对输出投影进行干预，从而减少遗忘现象。
- 实验结果显示，该方法在多个模型设置中有效减少了39.4%至67.9%的遗忘，且未降低模型的学习效果。
📝 摘要（中文）
在大语言模型（LLMs）的持续预训练和微调过程中，灾难性遗忘不可避免，通常通过重放原始数据来缓解。本文分析了遗忘发生的原因和位置，发现遗忘主要集中在新语料中很少见的输出嵌入上，而模型的其他部分保持不变。通过对五个设置的系统性参数冻结，提出了一种干预措施：在训练期间专门提高Adam优化器的epsilon值，以减少遗忘。实验表明，该方法在不同参数规模和模型家族中有效减少了39.4%至67.9%的遗忘，同时不影响目标学习。
🔬 方法详解
问题定义：本文旨在解决大语言模型在持续学习过程中出现的灾难性遗忘问题，尤其是针对新语料中稀有词汇的输出嵌入部分。现有方法通常依赖于重放原始数据，但在数据不可用的情况下效果不佳。
核心思路：论文的核心思路是通过调整Adam优化器的参数，特别是提高其epsilon值，以增强对输出投影的更新，从而减轻遗忘现象。这样的设计是基于对遗忘发生机制的深入分析，发现遗忘主要集中在稀有词汇的输出嵌入上。
技术框架：整体架构包括对模型参数的系统性冻结和对输出嵌入的特定优化。研究通过对比不同设置下的遗忘情况，分析了不同词汇在新语料中的表现。
关键创新：最重要的技术创新在于提出了一种简单的优化器调整方法，能够有效减少灾难性遗忘，而不需要对每个模型进行单独调优。这与传统依赖重放数据的方法有本质区别。
关键设计：在实验中，作者对多个模型（从160M到12B参数）进行了测试，发现通过提高Adam的epsilon值，能够显著减少遗忘。此外，该方法与重放策略结合使用时，效果更佳，显示出良好的兼容性。
🖼️ 关键图片
📊 实验亮点
实验结果表明，提出的方法在八个设置中有效减少了39.4%至67.9%的遗忘，且在与重放策略结合时，性能提升达到79.8%。该方法在不同模型家族中均表现出色，显示出广泛的适用性。
🎯 应用场景
该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等，能够帮助提升大语言模型在动态环境中的学习能力和适应性。未来，该方法可能为持续学习和在线学习提供新的思路，推动相关技术的发展。
📄 摘要（原文）
Continual pre-training and fine-tuning in Large Language Models (LLMs) inevitably induce catastrophic forgetting, typically mitigated by replay using often-inaccessible original data. In this data-free regime, we analyze where forgetting occurs and why. Systematic parameter freezing across five settings up to 1.4B reveals that forgetting concentrates selectively in the output embeddings of tokens rarely seen in the new corpus, whereas the same sqrt(v-hat) band of the body is inert and new learning resides elsewhere. This localization is governed by the vocabulary deficiency of the corpus rather than the training mode, allowing pre-retraining risk ranking from token counts alone within a fixed base model. Mechanistically, absent tokens receive persistent one-sided softmax gradients that Adam's second-moment (sqrt(v-hat)) normalization amplifies into full-sized updates. We therefore propose an intervention: raising Adam's epsilon exclusively for the output projection during training. Across eight settings spanning 160M to 12B parameters and four model families, this removes 39.4% to 67.9% of forgetting across all seven stable configurations without degrading target learning or requiring per-model tuning. The defense combines additively or better with replay (79.8% on Qwen/Korean) and rescues released-head LoRA from a 23-fold forgetting surge. Because post-hoc editing of the drifted rows recovers under 5% of forgetting, the intervention must operate during training. Our findings indicate that a single-line optimizer adjustment may serve as the primary defense against catastrophic forgetting where the corpus starves the vocabulary.