Layer-Aware Task Arithmetic: Disentangling Task-Specific and Instruction-Following Knowledge

📄 arXiv: 2502.20186v1 📥 PDF

作者: Yan-Lun Chen, Yi-Ru Wei, Chia-Yi Hsu, Chia-Mu Yu, Chun-Ying Huang, Ying-Dar Lin, Yu-Sung Wu, Wei-Bin Lee

分类: cs.CL, cs.LG

发布日期: 2025-02-27

💡 一句话要点

提出层感知任务算术(LATA)，解耦任务特定知识和指令遵循知识，提升模型合并与编辑效果。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 任务算术 模型合并 知识解耦 多任务学习

📋 核心要点

  1. 现有任务算术方法难以有效分离任务特定知识和通用指令遵循行为，导致模型合并后性能下降。
  2. LATA通过分析每一层对任务特定和指令遵循的贡献，动态调整层权重，从而实现更精细的知识解耦。
  3. 实验表明，LATA在多任务学习和选择性任务遗忘方面优于现有方法，同时保持了模型整体性能。

📝 摘要（中文）

大型语言模型(LLM)通过微调展现出强大的任务特定能力，但合并多个微调模型常常因指令遵循组件的重叠而导致性能下降。任务算术(TA)通过组合来自微调的任务向量来实现多任务学习和任务遗忘，但难以将任务特定知识与通用指令遵循行为隔离。为了解决这个问题，我们提出了层感知任务算术(LATA)，这是一种新颖的方法，它根据任务向量与指令遵循或任务特定组件的对齐程度，为任务向量分配层特定的权重。通过放大任务相关的层并衰减指令遵循层，LATA提高了任务学习和遗忘性能，同时保持了整体模型效用。在包括WikiText-2、GSM8K和HumanEval在内的多个基准上的实验表明，LATA在多任务学习和选择性任务遗忘方面均优于现有方法，实现了更高的任务准确性和对齐性，同时对输出质量的降级最小。我们的研究结果突出了层级分析在解耦任务特定知识和通用知识方面的重要性，为高效的模型合并和编辑提供了一个强大的框架。

🔬 方法详解

问题定义：现有任务算术方法在合并多个微调后的LLM时，由于不同任务的指令遵循部分相互干扰，导致合并后的模型在各个任务上的性能下降。核心问题在于无法有效区分和隔离任务特定知识和通用的指令遵循能力，从而影响了模型合并的效果。现有方法无法针对不同层进行区分处理，导致任务向量的简单叠加会引入噪声。

核心思路：LATA的核心思路是利用不同层对任务特定知识和指令遵循知识的贡献程度不同这一特性，通过学习每一层的权重，来放大任务相关的层，衰减指令遵循相关的层。这样可以更有效地提取和利用任务特定知识，同时减少指令遵循带来的干扰。这种层级的权重调整使得模型合并更加精细化。

技术框架：LATA的整体框架包括以下几个步骤：1) 对LLM进行多个任务的微调，得到每个任务的微调模型。2) 计算每个任务的Task Vector，即微调后模型参数与原始模型参数的差值。3) 针对每个任务，计算每一层与指令遵循和任务特定部分的对齐程度，并据此学习每一层的权重。4) 将加权后的Task Vector叠加到原始模型上，得到合并后的模型。5) 在验证集上评估合并后模型的性能，并进行微调。

关键创新：LATA最关键的创新在于引入了层感知的权重分配机制。与传统的任务算术方法直接叠加任务向量不同，LATA能够根据每一层对任务的贡献程度动态调整权重，从而更有效地提取任务特定知识，并抑制指令遵循带来的干扰。这种层级的权重调整使得模型合并更加精细化，提高了合并后模型的性能。

关键设计：LATA的关键设计包括：1) 使用余弦相似度来衡量每一层与指令遵循和任务特定部分的对齐程度。2) 使用可学习的权重参数来调整每一层的贡献。3) 使用验证集来评估合并后模型的性能，并进行微调。具体的损失函数设计未知。网络结构方面，LATA可以应用于各种Transformer结构的LLM。

📊 实验亮点

实验结果表明，LATA在WikiText-2、GSM8K和HumanEval等多个基准测试中，均优于现有的任务算术方法。LATA在多任务学习和选择性任务遗忘方面都取得了显著的性能提升，同时对输出质量的降级最小。具体性能提升数据未知，但总体趋势表明LATA能够更有效地解耦任务特定知识和指令遵循知识。

🎯 应用场景

LATA可应用于高效的模型编辑和知识迁移，例如快速定制LLM以适应新的专业领域，或在不影响模型通用能力的前提下，移除模型中的有害知识。该技术还有助于构建更灵活、可扩展的多任务学习系统，降低模型维护和更新的成本。

📄 摘要（原文）

Large language models (LLMs) demonstrate strong task-specific capabilities through fine-tuning, but merging multiple fine-tuned models often leads to degraded performance due to overlapping instruction-following components. Task Arithmetic (TA), which combines task vectors derived from fine-tuning, enables multi-task learning and task forgetting but struggles to isolate task-specific knowledge from general instruction-following behavior. To address this, we propose Layer-Aware Task Arithmetic (LATA), a novel approach that assigns layer-specific weights to task vectors based on their alignment with instruction-following or task-specific components. By amplifying task-relevant layers and attenuating instruction-following layers, LATA improves task learning and forgetting performance while preserving overall model utility. Experiments on multiple benchmarks, including WikiText-2, GSM8K, and HumanEval, demonstrate that LATA outperforms existing methods in both multi-task learning and selective task forgetting, achieving higher task accuracy and alignment with minimal degradation in output quality. Our findings highlight the importance of layer-wise analysis in disentangling task-specific and general-purpose knowledge, offering a robust framework for efficient model merging and editing.