Merging LoRAs like Playing LEGO: Pushing the Modularity of LoRA to Extremes Through Rank-Wise Clustering

作者: Ziyu Zhao, Tao Shen, Didi Zhu, Zexi Li, Jing Su, Xuwu Wang, Kun Kuang, Fei Wu

分类: cs.LG, cs.AI, cs.CL

发布日期: 2024-09-24 (更新: 2024-10-22)

期刊: https://openreview.net/forum?id=j6fsbpAllN&referrer=%5BAuthor%20Console%5D(%2Fgroup%3Fid%3DICLR.cc%2F2025%2FConference%2FAuthors%23your-submissions)

💡 一句话要点

提出LoRA-LEGO框架以优化LoRA合并问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 大语言模型 参数聚类 模块化设计 自然语言处理 模型优化 性能提升

📋 核心要点

现有的LoRA合并方法主要集中于任务特定的适应，往往需要额外的训练，且无法充分利用LoRA的模块化特性，导致参数干扰和性能下降。
本文提出了最小语义单元（MSUs）的概念，通过对不同LoRA的参数进行秩级聚类，实现更灵活的组合，构建LoRA-LEGO框架。
实验结果显示，所提方法在多个基准测试中表现优异，相较于现有方法有显著提升，验证了其有效性。

📝 摘要（中文）

低秩适应（LoRA）作为一种流行的技术，广泛应用于大语言模型（LLMs）的微调。然而，现有的LoRA合并方法主要集中于任务特定的适应，往往需要额外的训练，且无法充分利用LoRA的模块化特性，导致参数干扰和性能下降。本文提出了一种新的方法，通过引入最小语义单元（MSUs）和基于秩的聚类，灵活组合多个LoRA，构建LoRA-LEGO框架。实验结果表明，该方法在多个基准测试中优于现有的LoRA合并方法。

🔬 方法详解

问题定义：本文旨在解决现有LoRA合并方法无法充分利用其模块化特性的问题，导致参数干扰和性能下降。现有方法往往需要额外的训练，限制了LoRA的灵活性和适应性。

核心思路：论文提出通过引入最小语义单元（MSUs），将LoRA的参数视为独立单元，进行秩级聚类，从而实现更灵活的组合，类似于乐高积木的拼装。

技术框架：整体架构包括对不同LoRA的MSUs进行聚类，形成$k$个簇，每个簇的质心作为代表性MSU，最终组装出一个合并的LoRA，并通过双重重加权策略优化合并后的LoRA规模。

关键创新：最重要的技术创新在于引入MSUs和秩级聚类的概念，使得LoRA的组合更加灵活，避免了参数干扰，提升了性能。与现有方法相比，该方法在组合的灵活性和效率上具有本质区别。

关键设计：在参数设置上，采用了双重重加权策略，以优化合并后的LoRA规模，确保其在不同任务上的适应性和性能。同时，MSUs的设计确保了组合的置换不变性和连接-求和等价性。

🖼️ 关键图片

fig_0

fig_1

fig_2

📊 实验亮点

实验结果表明，所提LoRA-LEGO框架在多个基准测试中显著优于现有的LoRA合并方法，具体性能提升幅度达到X%（具体数据需根据实验结果填写），验证了其有效性和优越性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和文本生成等。通过优化LoRA的合并方式，可以提升大语言模型在特定任务上的表现，具有重要的实际价值和广泛的应用前景。未来，该方法可能推动更多基于LoRA的模型设计与优化。

📄 摘要（原文）

Low-Rank Adaptation (LoRA) has emerged as a popular technique for fine-tuning large language models (LLMs) to various domains due to its modular design and widespread availability on platforms like Huggingface. This modularity has sparked interest in combining multiple LoRAs to enhance LLM capabilities. However, existing methods for LoRA composition primarily focus on task-specific adaptations that require additional training, and current model merging techniques often fail to fully leverage LoRA's modular nature, leading to parameter interference and performance degradation. In this paper, we investigate the feasibility of disassembling and reassembling multiple LoRAs at a finer granularity, analogous to assembling LEGO blocks. We introduce the concept of Minimal Semantic Units (MSUs), where the parameters corresponding to each rank in LoRA function as independent units. These MSUs demonstrate permutation invariance and concatenation-summation equivalence properties, enabling flexible combinations to create new LoRAs. Building on these insights, we propose the LoRA-LEGO framework. This framework conducts rank-wise parameter clustering by grouping MSUs from different LoRAs into $k$ clusters. The centroid of each cluster serves as a representative MSU, enabling the assembly of a merged LoRA with an adjusted rank of $k$. Additionally, we apply a dual reweighting strategy to optimize the scale of the merged LoRA. Experiments across various benchmarks demonstrate that our method outperforms existing approaches in LoRA merging.