Where Should LoRA Go? Component-Type Placement in Hybrid Language Models

📄 arXiv: 2604.22127v1 📥 PDF

作者: Hector Borobia, Elies Seguí-Mas, Guillermina Tormo-Carbó

分类: cs.CL, cs.LG

发布日期: 2026-04-24

备注: 21 pages, 5 figures, 7 tables. Code and data: https://github.com/hecboar/lora-placement-hybrid

💡 一句话要点

混合语言模型中组件类型LoRA放置策略研究，显著提升微调效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 混合语言模型 LoRA 参数高效微调 组件适配 迁移学习

📋 核心要点

  1. 现有LoRA方法在混合语言模型中未考虑不同组件类型的差异，导致微调效率低下。
  2. 论文提出组件感知的LoRA放置策略，针对混合架构的不同组件进行选择性适配。
  3. 实验表明，注意力路径的适配优于全模型适配，且循环组件的适配效果依赖于混合拓扑结构。

📝 摘要（中文）

混合语言模型将注意力机制与循环组件相结合，在性能上日益逼近纯Transformer模型。然而，标准的LoRA实践通常采用统一的适配器应用方式，忽略了不同组件类型的功能差异。本文针对两种混合架构——Qwen3.5-0.8B（顺序结构，GatedDeltaNet + softmax注意力）和Falcon-H1-0.5B（并行结构，Mamba-2 SSM + 注意力），系统地研究了组件类型LoRA放置策略。实验在三个领域进行微调，并在五个基准上进行评估。结果表明，尽管注意力路径是少数组件，但其性能始终优于全模型适配，且所需训练参数减少5-10倍。关键发现是，适配循环骨干网络在顺序混合模型中具有破坏性（GSM8K上-14.8 pp），但在并行模型中具有建设性（+8.6 pp）。此外，本文还记录了一种迁移不对称性：并行混合模型表现出积极的跨任务迁移，而顺序混合模型遭受灾难性遗忘。这些结果表明，混合拓扑从根本上决定了适配响应，并且组件感知的LoRA放置是混合架构的一个必要设计维度。

🔬 方法详解

问题定义：现有的大型语言模型微调方法，如LoRA，通常对模型的所有组件进行统一适配，忽略了混合语言模型中不同组件（如注意力机制和循环组件）的功能差异。这种统一适配可能导致资源浪费，甚至降低模型性能，尤其是在混合架构中，不同组件的相互作用复杂。

核心思路：论文的核心思路是根据混合语言模型中不同组件类型的功能，有选择性地应用LoRA适配器。通过实验分析不同组件的适配效果，确定最佳的LoRA放置策略，从而提高微调效率和模型性能。论文假设不同类型的组件对微调的响应不同，因此需要区别对待。

技术框架：论文主要研究两种混合语言模型架构：Qwen3.5-0.8B（顺序结构，GatedDeltaNet + softmax注意力）和Falcon-H1-0.5B（并行结构，Mamba-2 SSM + 注意力）。针对这两种架构，分别在注意力模块、循环模块以及全模型上应用LoRA适配器，并比较它们的微调效果。实验流程包括：选择预训练模型、确定微调数据集、应用LoRA适配器、进行微调训练、在多个基准测试集上评估模型性能。

关键创新：论文的关键创新在于发现了混合语言模型中组件类型与LoRA适配效果之间的依赖关系。具体来说，论文发现注意力路径的适配通常优于全模型适配，且循环组件的适配效果受到混合拓扑结构的影响：在顺序结构中具有破坏性，而在并行结构中具有建设性。此外，论文还揭示了不同混合架构之间的迁移学习不对称性。

关键设计：论文的关键设计包括：1) 针对不同组件类型（注意力、循环）的LoRA适配器放置策略；2) 选择具有代表性的顺序和并行混合架构（Qwen3.5-0.8B和Falcon-H1-0.5B）；3) 使用多个领域的数据集进行微调，并在多个基准测试集上进行评估，以保证结果的泛化性；4) 详细分析不同适配策略对模型性能、迁移学习能力和灾难性遗忘的影响。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，在Qwen3.5-0.8B和Falcon-H1-0.5B上，注意力路径的LoRA适配通常优于全模型适配，参数量减少5-10倍。在GSM8K数据集上，顺序混合模型适配循环骨干网络导致性能下降14.8 pp，而并行混合模型则提升8.6 pp。并行混合模型表现出积极的跨任务迁移，而顺序混合模型遭受灾难性遗忘。

🎯 应用场景

该研究成果可应用于各种混合语言模型的微调优化，尤其是在资源受限的场景下。通过选择性地适配关键组件，可以显著降低微调成本，提高模型性能。此外，该研究对于混合架构的设计和选择也具有指导意义，有助于开发更高效、更适应特定任务的语言模型。

📄 摘要（原文）

Hybrid language models that interleave attention with recurrent components are increasingly competitive with pure Transformers, yet standard LoRA practice applies adapters uniformly without considering the distinct functional roles of each component type. We systematically study component-type LoRA placement across two hybrid architectures -- Qwen3.5-0.8B (sequential, GatedDeltaNet + softmax attention) and Falcon-H1-0.5B (parallel, Mamba-2 SSM + attention) -- fine-tuned on three domains and evaluated on five benchmarks. We find that the attention pathway -- despite being the minority component -- consistently outperforms full-model adaptation with 5-10x fewer trainable parameters. Crucially, adapting the recurrent backbone is destructive in sequential hybrids (-14.8 pp on GSM8K) but constructive in parallel ones (+8.6 pp). We further document a transfer asymmetry: parallel hybrids exhibit positive cross-task transfer while sequential hybrids suffer catastrophic forgetting. These results establish that hybrid topology fundamentally determines adaptation response, and that component-aware LoRA placement is a necessary design dimension for hybrid architectures.