RaSA: Rank-Sharing Low-Rank Adaptation

📄 arXiv: 2503.12576v1 📥 PDF

作者: Zhiwei He, Zhaopeng Tu, Xing Wang, Xingyu Chen, Zhijie Wang, Jiahao Xu, Tian Liang, Wenxiang Jiao, Zhuosheng Zhang, Rui Wang

分类: cs.CL

发布日期: 2025-03-16

备注: ICLR 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出RaSA：通过层间秩共享增强LoRA在代码生成和数学推理中的性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 参数高效微调 大型语言模型 秩共享 代码生成 数学推理 模型优化

📋 核心要点

  1. LoRA虽然参数高效，但其低秩约束限制了模型表达能力，尤其是在复杂任务中。
  2. RaSA通过跨层共享秩信息，在不增加参数量的前提下，有效提升LoRA的表达能力。
  3. 实验表明，RaSA在代码生成和数学推理任务上显著优于传统LoRA方法。

📝 摘要（中文）

低秩适应(LoRA)已广泛应用于大型语言模型(LLM)的参数高效微调。然而，LoRA的表达能力受限于低秩约束，这在代码生成和数学推理等严格任务中被认为是瓶颈。为了解决这个限制，我们引入了秩共享低秩适应(RaSA)，这是一种创新的扩展，通过利用跨层的部分秩共享来增强LoRA的表达能力。通过形成一个共享的秩池并应用特定于层的权重，RaSA有效地增加了秩的数量，而无需增加参数开销。我们的方法在理论上是合理的，并且经过了经验验证，表明RaSA不仅保持了LoRA的核心优势，而且显著提高了在具有挑战性的代码和数学任务中的性能。代码、数据和脚本可在https://github.com/zwhe99/RaSA获取。

🔬 方法详解

问题定义：LoRA在参数高效微调大型语言模型方面表现出色，但其固有的低秩约束限制了模型的表达能力，尤其是在需要复杂推理的任务（如代码生成和数学问题求解）中。现有方法难以在参数效率和模型性能之间取得平衡。

核心思路：RaSA的核心思想是通过在不同层之间共享一部分秩信息，从而在不增加额外参数的情况下，增加模型的有效秩。这种秩共享允许模型在不同层之间传递和重用信息，从而提高模型的表达能力和泛化能力。

技术框架：RaSA在LoRA的基础上进行改进。首先，所有层共享一个秩池。然后，每一层使用特定的权重从这个共享秩池中选择一部分秩。具体来说，对于每一层，RaSA引入了一个可学习的权重向量，该向量用于对共享秩池中的秩进行加权。加权后的秩被用于构建该层的低秩矩阵。

关键创新：RaSA的关键创新在于引入了跨层秩共享机制。与传统的LoRA方法不同，RaSA允许不同层之间共享一部分秩信息，从而在不增加参数量的情况下，提高了模型的有效秩。这种秩共享机制使得模型能够更好地捕捉不同层之间的依赖关系，从而提高模型的表达能力。

关键设计：RaSA的关键设计包括共享秩池的大小、层特定权重的初始化方法以及训练过程中的正则化策略。共享秩池的大小决定了模型可以使用的最大秩数。层特定权重的初始化方法会影响模型的收敛速度和最终性能。训练过程中的正则化策略可以防止模型过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，RaSA在代码生成和数学推理任务上显著优于传统的LoRA方法。例如，在代码生成任务中，RaSA的性能提升了X%。在数学推理任务中，RaSA的准确率提高了Y%。这些结果表明，RaSA能够有效地提高LoRA的表达能力，并在复杂任务中取得更好的性能。

🎯 应用场景

RaSA可广泛应用于大型语言模型的参数高效微调，尤其是在计算资源有限的场景下。其在代码生成、数学推理等复杂任务上的优越性能，使其在软件开发、科学计算等领域具有潜在的应用价值。未来，RaSA有望进一步扩展到其他自然语言处理任务，并与其他参数高效微调技术相结合。

📄 摘要（原文）

Low-rank adaptation (LoRA) has been prominently employed for parameter-efficient fine-tuning of large language models (LLMs). However, the limited expressive capacity of LoRA, stemming from the low-rank constraint, has been recognized as a bottleneck, particularly in rigorous tasks like code generation and mathematical reasoning. To address this limitation, we introduce Rank-Sharing Low-Rank Adaptation (RaSA), an innovative extension that enhances the expressive capacity of LoRA by leveraging partial rank sharing across layers. By forming a shared rank pool and applying layer-specific weighting, RaSA effectively increases the number of ranks without augmenting parameter overhead. Our theoretically grounded and empirically validated approach demonstrates that RaSA not only maintains the core advantages of LoRA but also significantly boosts performance in challenging code and math tasks. Code, data and scripts are available at: https://github.com/zwhe99/RaSA.