Where to Adapt Matters: Layer-Selective Fine-Tuning for Capability Retention

📄 arXiv: 2610.11620v1 📥 PDF

作者: Zhiqiang Pang, Zihong Sun, Qi Xie, Jun Shu, Deyu Meng, Zongben Xu

分类: cs.AI

发布日期: 2026-10-08

💡 一句话要点

提出层选择性微调以解决能力保留问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 层选择性微调 Transformer LoRA适配器 能力保留 自然语言处理 数学推理 代码生成

📋 核心要点

  1. 现有的参数高效微调方法在适应特定任务时，常常导致预训练获得的通用能力下降，难以平衡两者。
  2. 本文提出层选择性LoRA（LS-LoRA），通过分析不同Transformer层的适应性，选择性地在低相似度层中进行微调。
  3. 实验结果显示，LS-LoRA在数学推理和代码生成任务中显著提高了性能，同时保留了更多的常识推理能力。

📝 摘要（中文）

参数高效微调（PEFT）使大型语言模型（LLMs）能够适应特定任务，但往往会导致预训练期间获得的通用能力下降。现有方法主要通过数据重放或正则化来缓解这种权衡，依赖于额外的数据或显式的优化约束。本文关注适应应用的层次，发现不同的Transformer层在目标任务的增益和能力退化程度上存在差异。为此，使用层级经验Fisher信息来测量目标任务的敏感性。由于计算Fisher分数需要反向计算，且对于大型模型成本逐渐增加，因此引入输入-输出余弦相似度作为轻量级的前向代理。基于这一观察，提出了层选择性LoRA（LS-LoRA），仅在低输入-输出相似度的层中放置可训练的LoRA适配器。实验表明，LS-LoRA在数学推理和代码生成任务中提高了目标任务的平均性能，同时保留了更多的常识推理能力。

🔬 方法详解

问题定义：本文旨在解决大型语言模型在特定任务微调时，通用能力下降的问题。现有方法依赖于数据重放或正则化，未能有效平衡任务适应与能力保留。

核心思路：论文提出通过分析Transformer不同层的适应性，选择性地在低输入-输出相似度的层中进行微调，以提高目标任务性能并保留通用能力。

技术框架：整体流程包括计算层级的输入-输出余弦相似度，基于此选择适合微调的层，并在这些层中应用LoRA适配器。

关键创新：引入输入-输出余弦相似度作为层敏感性的轻量级代理，避免了计算Fisher分数的高成本，提供了一种新的层选择机制。

关键设计：在LS-LoRA中，仅在低输入-输出相似度的层中放置可训练的LoRA适配器，优化了参数使用效率，同时通过实验验证了其在不同任务上的有效性。

🖼️ 关键图片

fig_0
img_1
img_2

📊 实验亮点

实验结果表明，LS-LoRA在数学推理和代码生成任务中，平均性能提升显著，相较于标准的全层LoRA，保留了更多的常识推理能力，展示了选择性微调的有效性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的特定任务适应，如数学推理、代码生成等。通过优化微调策略，能够在保持模型通用能力的同时，提升特定任务的性能，具有重要的实际价值和未来影响。

📄 摘要（原文）

Parameter-efficient fine-tuning (PEFT) enables large language models (LLMs) to adapt to specialized tasks, but often at the cost of degrading general capabilities acquired during pretraining. Existing approaches primarily mitigate this trade-off through data replay or regularization, relying on additional data or explicit optimization constraints. We instead focus on a different question: where should adaptation be applied? We find that fine-tuning different Transformer layers produces different target-task gains and degrees of capability degradation, suggesting that not all layers are equally suitable for adaptation. To characterize this difference, we use layer-wise empirical Fisher information to measure target-task sensitivity. However, computing Fisher scores requires backward computation and becomes increasingly expensive for large models. We therefore introduce input--output cosine similarity as a lightweight, forward-only proxy for ranking layer sensitivity. Across models and tasks, layers with lower input--output similarity consistently exhibit higher empirical Fisher scores. Building on this observation, we propose Layer-Selective LoRA (LS-LoRA), which places trainable LoRA adapters only in layers with low input--output similarity. Experiments on mathematical reasoning and code generation show that LS-LoRA improves average target-task performance while retaining substantially more commonsense reasoning capability than standard all-layer LoRA, demonstrating that carefully choosing where to adapt can provide a simple and effective way to balance target-task adaptation and general capability retention.