Unlocking the Global Synergies in Low-Rank Adapters

📄 arXiv: 2406.14956v1 📥 PDF

作者: Zixi Zhang, Cheng Zhang, Xitong Gao, Robert D. Mullins, George A. Constantinides, Yiren Zhao

分类: cs.LG, cs.CL

发布日期: 2024-06-21

备注: Accepted at ICML2024 ES-FoMo-II Workshop

💡 一句话要点

HeteroLoRA：利用零成本代理搜索，优化LoRA参数分配以提升大模型微调性能。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 参数高效微调 大语言模型 零成本代理 模型优化

📋 核心要点

  1. 现有LoRA方法对参数分配策略缺乏优化，导致模型微调性能受限。
  2. HeteroLoRA利用零成本代理进行参数分配搜索，在有限预算下优化LoRA模块的配置。
  3. 实验表明，HeteroLoRA在相同参数预算下能有效提升模型性能，例如在MRPC数据集上准确率提升1.6%。

📝 摘要（中文）

低秩适应(LoRA)已成为大型语言模型中参数高效微调的事实标准技术。我们提出了HeteroLoRA，一种轻量级的搜索算法，它利用零成本代理来在模型中分配有限的LoRA可训练参数，从而获得更好的微调性能。除了标准LoRA适配模型的分配之外，我们还通过在更具挑战性的搜索空间中执行分配来证明HeteroLoRA的有效性，该搜索空间包括LoRA模块和LoRA适配的快捷连接。实验表明，在相同的参数预算下，HeteroLoRA能够提高模型性能。例如，在MRPC上，我们在相似的训练参数预算下看到了1.6%的准确率提升。一旦论文被接受，我们将开源我们的算法。

🔬 方法详解

问题定义：论文旨在解决大型语言模型微调过程中，如何更有效地利用有限的LoRA可训练参数，以提升模型性能的问题。现有的LoRA方法通常采用均匀分配或启发式分配策略，忽略了不同LoRA模块对模型性能的贡献差异，导致参数利用率不高，模型性能提升受限。

核心思路：HeteroLoRA的核心思路是利用零成本代理（Zero-cost proxy）来评估不同LoRA配置对模型性能的影响，从而指导参数分配。通过搜索算法，找到在给定参数预算下，最优的LoRA模块参数分配方案，实现更高效的参数利用和更高的模型性能。

技术框架：HeteroLoRA的整体框架包含以下几个主要步骤：1) 定义搜索空间，包括LoRA模块的位置和秩（rank）等参数；2) 使用零成本代理评估不同LoRA配置的性能；3) 使用搜索算法（如进化算法、强化学习等）搜索最优的LoRA配置；4) 使用搜索到的最优配置进行模型微调。该框架可以灵活地扩展到更复杂的搜索空间，例如包括LoRA适配的快捷连接等。

关键创新：HeteroLoRA的关键创新在于利用零成本代理来指导LoRA参数分配。与传统的基于梯度或验证集的参数搜索方法相比，零成本代理计算量小，速度快，可以在有限的计算资源下搜索更大的参数空间。此外，HeteroLoRA还探索了更复杂的搜索空间，包括LoRA模块和LoRA适配的快捷连接，进一步提升了模型性能。

关键设计：HeteroLoRA的关键设计包括：1) 选择合适的零成本代理，例如SNIP、GraSP等，以准确评估不同LoRA配置的性能；2) 设计高效的搜索算法，以在有限的计算资源下找到最优的LoRA配置；3) 定义合适的搜索空间，以平衡搜索的复杂度和模型性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

HeteroLoRA在MRPC数据集上取得了显著的性能提升，在相似的训练参数预算下，准确率提高了1.6%。该结果表明，通过优化LoRA参数分配，可以更有效地利用有限的参数资源，提升模型微调性能。此外，HeteroLoRA还验证了在更复杂的搜索空间（包括LoRA模块和LoRA适配的快捷连接）中进行参数分配的有效性。

🎯 应用场景

HeteroLoRA可应用于各种大型语言模型的参数高效微调场景，尤其适用于资源受限的边缘设备或移动端部署。该方法能够在有限的计算资源和参数预算下，显著提升模型性能，降低部署成本，加速大模型在实际应用中的落地。未来，HeteroLoRA有望扩展到其他参数高效微调技术，例如Adapter、Prefix-tuning等。

📄 摘要（原文）

Low-rank Adaption (LoRA) has been the de-facto parameter-efficient fine-tuning technique for large language models. We present HeteroLoRA, a light-weight search algorithm that leverages zero-cost proxies to allocate the limited LoRA trainable parameters across the model for better fine-tuned performance. In addition to the allocation for the standard LoRA-adapted models, we also demonstrate the efficacy of HeteroLoRA by performing the allocation in a more challenging search space that includes LoRA modules and LoRA-adapted shortcut connections. Experiments show that HeteroLoRA enables improvements in model performance given the same parameter budge. For example, on MRPC, we see an improvement of 1.6% in accuracy with similar training parameter budget. We will open-source our algorithm once the paper is accepted.