Towards Continual Learning: Mitigating Forgetting With Subspace Tuning

📄 arXiv: 2610.22293v1 📥 PDF

作者: Arnav Chavan, Kusha Sareen, Rishabh Tiwari, Abhranil Chandra, Johan Obando-Ceron, Kurt Keutzer, Scott Niekum, Inderjit S Dhillon, Devvrit Khatri

分类: cs.LG, cs.AI

发布日期: 2026-10-15

💡 一句话要点

提出子空间调优以解决大语言模型的遗忘问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 持续学习 灾难性遗忘 子空间调优 大语言模型 微调方法 知识保留 机器学习

📋 核心要点

  1. 灾难性遗忘是大语言模型在持续学习中的主要障碍，现有方法如SFT容易导致遗忘。
  2. 提出的子空间调优（SST）方法通过限制权重更新在底部奇异子空间内，避免沿主方向的变化。
  3. 实验结果表明，SST在大模型环境下几乎消除了遗忘，并且相较于基线方法，KL漂移减少了2到4倍。

📝 摘要（中文）

大语言模型（LLMs）通过微调获得新技能，但这可能会破坏其已有能力，导致灾难性遗忘。近期研究将遗忘与微调过程中权重的移动方向和距离联系起来。现有的基于策略的方法如强化学习和策略蒸馏能够减少遗忘，而SFT则容易导致灾难性遗忘。本文提出的子空间调优（SST）方法限制每次权重更新仅在底部奇异子空间内进行，从而消除沿主方向的变化。SST与微调方法兼容，结合了紧密的子空间保护、密集的梯度估计和简单的刷新机制，显著提高了学习效果。通过这些机制，SST能够保护高达99%的权重子空间，显著改善保留能力，同时保持强大的目标任务性能。

🔬 方法详解

问题定义：本文旨在解决大语言模型在持续学习中面临的灾难性遗忘问题。现有的微调方法，尤其是SFT，容易导致模型遗忘之前学习的知识。

核心思路：子空间调优（SST）通过限制权重更新仅在底部奇异子空间内进行，从而避免对主方向的更新，减少遗忘现象。这样的设计使得模型在学习新任务时能够更好地保留已有能力。

技术框架：SST的整体架构包括三个主要模块：子空间保护模块、梯度估计模块和刷新机制。子空间保护模块确保更新仅限于底部奇异子空间，梯度估计模块提供密集的梯度信息，而刷新机制则用于定期更新模型状态。

关键创新：SST的核心创新在于其优化过程的设计，特别是通过限制更新方向来显著减少遗忘。这与传统的微调方法形成鲜明对比，后者往往会沿主方向进行更新，导致知识丢失。

关键设计：SST在参数设置上保持优化器无关，能够与多种微调方法（如SFT和自蒸馏）兼容。损失函数设计上，SST强调保护底部奇异子空间的权重更新，确保模型在新任务学习时尽量保持与基础分布的接近。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果显示，SST能够保护高达99%的权重子空间，显著改善模型的知识保留能力。在大模型环境下，SST几乎消除了遗忘现象，并且相较于基线方法，KL漂移减少了2到4倍，展示了其优越的性能。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能助手等。通过有效地减少遗忘，SST能够提升模型在多任务学习中的表现，具有重要的实际价值。未来，SST可能会在更广泛的机器学习领域中应用，推动持续学习的进展。

📄 摘要（原文）

Large language models (LLMs) acquire new skills through fine-tuning, but it can destroy capabilities they already have: catastrophic forgetting remains a central obstacle to continual learning in LLMs. Recent works connect forgetting to how far, and along which directions, fine-tuning moves the weights. On-policy methods such as reinforcement learning and on-policy distillation avoid updating the principal singular directions of weight matrices and thus forget less. In contrast, SFT concentrates updates along these directions and is susceptible to catastrophic forgetting. In this work, we introduce Subspace Tuning (SST), which restricts each weight update to the bottom singular subspace, eliminating changes along the principal directions. SST is optimizer-agnostic and composes well with fine-tuning recipes including SFT and self-distillation. SST combines tight subspace protection, dense gradient estimation, and a simple refresh mechanism, enabling stronger learning than prior orthogonal fine-tuning methods. With these mechanisms, protecting as much as 99\% of the weight subspace substantially improves retention while preserving strong target-task performance. This behavior strengthens with model and data size and nearly eliminates forgetting in the large-model regime. SST also keeps the model close to its base distribution, inducing $2$--$4\times$ less KL drift than the baseline recipes. Overall, SST advances the learning--forgetting Pareto frontier, making it a practical default for fine-tuning pre-trained language models.