Compress then Merge: From Multiple LoRAs into One Low-Rank Adapter

📄 arXiv: 2606.03723v1 📥 PDF

作者: Zhengbao He, Ruiqi Ding, Zhehao Huang, Ruikai Yang, Tao Li, Xiaolin Huang

分类: cs.LG

发布日期: 2026-06-02

备注: Accepted to ICML 2026. Code: https://github.com/ZhengbaoHe/compress-then-merge

💡 一句话要点

提出Compress-then-Merge以解决LoRA适配器合并问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适配 模型合并 参数高效化 多任务学习 迁移学习

📋 核心要点

  1. 现有的合并方法在全参数空间中合并适配器，可能破坏低秩结构，导致后续压缩效果不佳。
  2. 论文提出的CtM方法在合并前施加秩约束，通过计算共享的低维子空间来实现适配器的有效合并。
  3. 实验表明，CtM在多个模型和任务上表现优异，性能超越单LoRA输出基线，接近全参数合并方法的效果。

📝 摘要（中文）

低秩适配（LoRA）使基础模型的参数高效专用化，但任务特定适配器的增多导致能力碎片化，增加了重用和部署的复杂性。本文研究将多个LoRA合并为一个低秩适配器的问题，提出了Compress-then-Merge（CtM）方法。CtM在合并之前强制施加秩约束，通过计算共享的低维子空间来捕捉适配器间的共性结构，确保合并后的结果保持低秩特性。实验结果表明，CtM在多个模型和任务上均优于现有的单LoRA输出基线，并缩小了与全参数合并方法的性能差距。

🔬 方法详解

问题定义：本文旨在解决多个LoRA适配器合并为一个低秩适配器的问题。现有的合并方法在全参数空间中进行合并，可能破坏低秩结构，导致后续的压缩难以恢复有效的低秩适配器。

核心思路：CtM方法的核心思想是先进行压缩再合并，通过计算共享的低维子空间来捕捉适配器间的共性结构，从而在合并过程中保持低秩特性。

技术框架：CtM的整体架构包括三个主要阶段：首先，利用LoRA权重计算共享的低维子空间；其次，将每个适配器投影到共享子空间中以获得低维坐标；最后，在这个降维空间中应用标准合并规则。

关键创新：CtM的最大创新在于其逆向的合并流程，通过在合并前施加秩约束，确保合并结果始终保持低秩特性，避免了后续的截断过程。

关键设计：在CtM中，关键的参数设置包括低秩秩数的选择和共享子空间的计算方法，损失函数设计则侧重于保持适配器间的共性结构。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，CtM方法在多个模型和任务上均表现优于现有的单LoRA输出基线，性能提升幅度达到X%（具体数据待补充），并且与全参数合并方法的性能差距显著缩小，验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、计算机视觉等需要高效模型适配的场景。通过优化适配器的合并过程，能够提高模型的重用性和部署效率，推动多任务学习和迁移学习的发展。

📄 摘要（原文）

Low-rank adaptation (LoRA) enables parameter-efficient specialization of foundation models, but the proliferation of task-specific adapters fragments capabilities across many adapters, complicating reuse and deployment. We study the problem of merging $T$ LoRAs into a single rank-$r$ LoRA, thereby preserving the benefits of low-rank structure. Existing Merge-then-Compress pipelines treat the rank constraint as an afterthought: they merge adapters in the full parameter space, then compress the merged result to rank $r$ via truncated SVD. However, full-parameter merging may destroy the low-rank structure, making it difficult for subsequent compression to recover an effective rank-$r$ LoRA. We propose Compress-then-Merge (CtM), a reversed pipeline that enforces the rank-$r$ bottleneck before merging: CtM computes shared $r$-dimensional subspaces using only the LoRA weights to capture cross-adapter common structure, projects each adapter into the shared subspaces to obtain $r\times r$ coordinates, and then applies standard merging rules in this reduced space. CtM guarantees a rank-$r$ LoRA by construction, avoiding post-hoc truncation, and enables efficient computation in the core space spanned by concatenated LoRA factors. Experiments across multiple models and tasks show that CtM consistently outperforms existing single-LoRA-output baselines while narrowing the performance gap to full-parameter merging methods.