How to Teach Large Multimodal Models New Skills

📄 arXiv: 2510.08564v1 📥 PDF

作者: Zhen Zhu, Yiming Gong, Yao Xiao, Yaoyao Liu, Derek Hoiem

分类: cs.AI, cs.CV, cs.LG

发布日期: 2025-10-09

备注: In submission. Code is available at https://github.com/jessemelpolio/LMM_CL

🔗 代码/项目: GITHUB

💡 一句话要点

提出两种高效微调策略，提升大型多模态模型新技能学习能力并缓解灾难性遗忘

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 多模态学习 持续学习 灾难性遗忘 参数高效微调 大型语言模型

📋 核心要点

  1. 大型多模态模型在学习新技能时，容易遗忘已掌握的知识，即发生灾难性遗忘，这是一个重要挑战。
  2. 论文核心思想是，通过分析模型输出token分布的变化，找到对模型性能影响最小的关键参数进行微调。
  3. 实验表明，仅更新自注意力投影层或MLP的Gate&Up层，能在学习新技能的同时，显著降低灾难性遗忘。

📝 摘要（中文）

本文研究如何在不损失原有能力的前提下，使大型多模态模型(LMMs)学习新的技能。通过在五个目标技能上进行序列微调，并监测三个模型家族在八个预留基准上的通用能力，我们发现，在窄域微调后，预留任务上出现的“遗忘”现象可以在后续阶段部分恢复。我们通过一种简单的计数偏差探针来追踪这种行为，该探针与遗忘现象共同变化，并体现为输出token分布的可测量变化。在此基础上，我们确定了两种简单而稳健的微调方法，可以在学习新技能的同时限制模型漂移：（i）仅更新自注意力投影层，以及（ii）仅更新MLP的Gate&Up层，同时冻结Down投影层。在不同的模型和任务中，这些选择在很大程度上保留了预留性能的同时，实现了强大的目标增益。

🔬 方法详解

问题定义：大型多模态模型在学习新任务时，容易遗忘之前学习到的知识，即灾难性遗忘问题。现有的微调方法通常会更新所有参数，导致模型在学习新技能的同时，显著降低在原有任务上的性能。因此，如何在学习新技能的同时，尽可能保留模型的原有能力是一个关键问题。

核心思路：论文的核心思路是通过分析模型在微调过程中输出token分布的变化，找到对模型性能影响最小的关键参数子集进行更新。作者发现，模型在微调后出现的“遗忘”现象与输出token分布的特定变化（计数偏差）相关。基于此，作者提出只更新模型中对这种分布变化影响较小的参数，从而在学习新技能的同时，尽可能保留原有能力。

技术框架：论文采用序列微调的方式，即依次在多个目标技能上对模型进行微调。在微调过程中，作者监测模型在预留的通用能力基准上的表现，以评估灾难性遗忘的程度。同时，作者使用计数偏差探针来分析模型输出token分布的变化。基于分析结果，作者提出了两种微调策略：(1)仅更新自注意力投影层；(2)仅更新MLP的Gate&Up层，同时冻结Down投影层。

关键创新：论文的关键创新在于发现了模型“遗忘”现象与输出token分布变化之间的关联，并基于此提出了两种参数高效的微调策略。与传统的全参数微调相比，这两种策略能够在学习新技能的同时，显著降低灾难性遗忘的程度。此外，论文还提出了一种简单的计数偏差探针，用于量化模型输出token分布的变化。

关键设计：论文的关键设计包括：(1)选择合适的自注意力投影层和MLP Gate&Up层作为微调对象，这些层对模型性能的影响相对较小，能够有效降低灾难性遗忘；(2)使用序列微调的方式，逐步学习多个目标技能，并监测模型在预留基准上的表现，以评估微调策略的有效性；(3)设计计数偏差探针，用于量化模型输出token分布的变化，从而更好地理解模型“遗忘”现象的本质。

📊 实验亮点

实验结果表明，仅更新自注意力投影层或MLP的Gate&Up层，能够在学习新技能的同时，显著降低灾难性遗忘。具体来说，与全参数微调相比，这两种策略在预留基准上的性能下降幅度更小，同时在目标技能上的性能提升相当。这表明，通过选择性地更新模型参数，可以在学习新技能的同时，更好地保留模型的原有能力。

🎯 应用场景

该研究成果可应用于各种需要持续学习和适应新环境的大型多模态模型，例如智能助手、自动驾驶系统、医疗诊断系统等。通过选择性地更新模型参数，可以在学习新技能的同时，保持模型在原有任务上的性能，从而提高模型的泛化能力和鲁棒性。这对于构建可靠且适应性强的AI系统至关重要。

📄 摘要（原文）

How can we teach large multimodal models (LMMs) new skills without erasing prior abilities? We study sequential fine-tuning on five target skills while monitoring general ability on eight held-out benchmarks across three model families. We observe that apparent "forgetting" on held-out tasks after narrow fine-tuning can partly recover at later stages. We trace this behavior to a measurable shift in the output token distribution, manifested through a simple counting-bias probe that co-varies with forgetting. Guided by this picture, we identify two simple, robust tuning recipes that learn strongly while limiting drift: (i) updating only the self-attention projection layers, and (ii) updating only the MLP Gate&Up while freezing the Down projection. Across models and tasks, these choices deliver strong target gains while largely preserving held-out performance. Code is available at https://github.com/jessemelpolio/LMM_CL