Neutral Residues: Revisiting Adapters for Model Extension

📄 arXiv: 2410.02744v3 📥 PDF

作者: Franck Signe Talla, Edouard Grave, Hervé Jégou

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-10-03 (更新: 2025-07-31)

备注: Accepted at ICML 2025

💡 一句话要点

提出中性残差适配器，解决LLM领域迁移中的灾难性遗忘问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 语言模型 领域自适应 适配器 灾难性遗忘 迁移学习

📋 核心要点

  1. 现有领域自适应方法（如微调和LoRA）虽有效，但未增加模型容量，导致在新领域性能提升的同时，原始领域性能下降。
  2. 论文提出“中性残差”适配器，通过数据、架构和训练程序三方面改进，使适配器在原始领域输出接近零，避免灾难性遗忘。
  3. 实验表明，中性残差适配器在英语到其他语言的迁移任务中，显著优于微调、LoRA和原始适配器，实现了更好的性能权衡。

📝 摘要（中文）

本文研究了将预训练的大型语言模型扩展到训练期间未见过的新领域的问题。微调或低秩适应(LoRA)等标准技术在领域适应方面是成功的，但并没有正式地增加模型的容量。这通常导致一种权衡，即在新领域表现良好与降低原始领域的性能之间。本文重新审视并改进了适配器，从数据、架构和训练程序三个角度扩展LLM，并将它们有利地结合起来。由此产生的方法，称为中性残差，以一种方式修改适配器，使得每个新的残差块在原始领域上输出接近零。当将最初在英语上训练的最先进模型适应到一种新语言时，该解决方案会产生强大的结果。在中性残差在学习新语言和不忘记英语之间的权衡方面，显著优于微调、LoRA或原始适配器等竞争方法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLM）在领域自适应，特别是语言迁移时出现的灾难性遗忘问题。现有方法如微调（Fine-tuning）和低秩适应（LoRA）虽然能使模型适应新领域，但往往会降低模型在原始领域上的性能，无法在学习新知识的同时保持原有能力。

核心思路：论文的核心思路是设计一种新型适配器，称为“中性残差”（Neutral Residues），其目标是在模型适应新领域时，尽量不影响模型在原始领域上的表现。具体而言，通过修改适配器的结构和训练方式，使得适配器在处理原始领域的数据时，输出接近于零的残差，从而避免对原始模型的参数产生显著扰动。

技术框架：整体框架是在预训练的LLM中插入适配器模块。每个适配器模块包含一个前馈网络，其输入是原始LLM的隐藏层输出，输出是一个残差连接，加回到原始LLM的隐藏层输出。关键在于适配器的设计和训练方式，使其在原始领域数据上输出接近零。

关键创新：最重要的创新点在于“中性残差”的设计理念，即通过约束适配器的输出，使其对原始领域的影响最小化。这与传统的适配器方法不同，后者通常旨在学习新领域的知识，而忽略了对原始领域的影响。

关键设计：关键设计包括：1) 数据方面，使用原始领域的数据来训练适配器，目标是使适配器输出接近零；2) 架构方面，适配器采用残差连接，保证模型在最坏情况下也能保持原始性能；3) 训练程序方面，使用特定的损失函数来约束适配器的输出，使其在原始领域数据上尽可能接近零。具体的损失函数可能包括L1或L2正则化项，用于惩罚适配器的输出。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，中性残差适配器在英语到其他语言的迁移任务中，显著优于微调、LoRA和原始适配器。具体而言，在学习新语言的同时，中性残差适配器对原始英语性能的损害最小，实现了更好的性能权衡。量化指标显示，中性残差适配器在保持原始英语性能的同时，在新语言上的性能提升幅度接近甚至超过了其他方法。

🎯 应用场景

该研究成果可广泛应用于多语言模型开发、跨领域知识迁移、以及个性化模型定制等场景。例如，可以将一个在通用领域训练的LLM快速迁移到医疗、金融等特定领域，同时保持其在通用领域的性能。这有助于降低模型开发成本，提高模型在各种实际应用中的可用性，并促进人工智能技术在更广泛领域的应用。

📄 摘要（原文）

We address the problem of extending a pretrained large language model to a new domain that was not seen during training. Standard techniques, such as finetuning or low-rank adaptation (LoRA) are successful at domain adaptation, but do not formally add capacity to the model. This often leads to a trade-off, between performing well on the new domain vs. degrading performance on the original domain. Here, we revisit and improve adapters to extend LLMs from three angles: data, architecture and training procedure, which are advantageously considered jointly. The resulting method, called neutral residues, modifies adapters in a way that leads each new residual block to output near-zeros on the original domain. This solution leads to strong results when adapting a state-of-the-art model originally trained on English to a new language. Neutral residues significantly outperform competing approaches such as finetuning, LoRA or vanilla adapters in terms of the trade-off between learning the new language and not forgetting English.