LoRA-Mini : Adaptation Matrices Decomposition and Selective Training

📄 arXiv: 2411.15804v1 📥 PDF

作者: Ayush Singh, Rajdeep Aher, Shivank Garg

分类: cs.CL, cs.AI, cs.LG

发布日期: 2024-11-24

备注: 11 pages

💡 一句话要点

LoRA-Mini：通过分解和选择性训练自适应矩阵，实现更高效的参数微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 参数高效微调 低秩适应 大型语言模型 矩阵分解 选择性训练

📋 核心要点

  1. 传统LLM微调计算成本高、内存占用大，LoRA虽然减少了可训练参数，但存储压力依然显著。
  2. LoRA-Mini将LoRA的低秩矩阵分解为四部分，仅训练中间两部分，显著减少可训练参数。
  3. 实验表明，LoRA-Mini在保持性能的同时，可将可训练参数数量减少高达20倍。

📝 摘要（中文）

大型语言模型（LLMs）的快速发展彻底改变了自然语言处理领域，对高效、特定于任务的微调方法的需求日益增长。传统的LLM微调涉及更新大量参数，这在计算上既昂贵又耗费内存。低秩适应（LoRA）已成为一种有前途的解决方案，通过减少可训练参数的数量来实现参数高效的微调。然而，虽然LoRA减少了可训练参数的数量，但LoRA模块仍然带来了巨大的存储挑战。我们提出了LoRA-Mini，这是一种优化的LoRA变体，通过将低秩矩阵分成四个部分来提高参数效率，其中只有两个内部矩阵是可训练的。与标准LoRA相比，这种方法在可训练参数的数量上实现了高达20倍的减少，同时保持了与标准LoRA相当的性能水平，从而解决了LLM微调中的计算和存储效率问题。

🔬 方法详解

问题定义：论文旨在解决大型语言模型（LLMs）微调过程中计算资源和存储空间需求过高的问题。现有方法，如全参数微调，需要更新大量参数，导致计算成本高昂。LoRA虽然通过低秩分解降低了参数量，但引入的LoRA模块仍然占用大量存储空间。因此，如何在保持模型性能的同时，进一步降低微调所需的参数量和存储空间，是本论文要解决的核心问题。

核心思路：LoRA-Mini的核心思路是在LoRA的基础上，进一步分解低秩矩阵，并仅训练分解后的部分矩阵。具体来说，将LoRA中的低秩矩阵分解为四个部分，然后只训练中间的两个矩阵。这样可以在不显著降低模型性能的前提下，大幅减少需要训练的参数数量，从而降低计算成本和存储需求。

技术框架：LoRA-Mini的技术框架与LoRA类似，都是在预训练语言模型的原有权重基础上，添加可训练的低秩矩阵。不同之处在于，LoRA-Mini对低秩矩阵进行了进一步的分解。具体流程如下：1. 选择需要微调的预训练模型层；2. 在选定的层中，添加LoRA模块；3. 将LoRA模块中的低秩矩阵分解为四个部分；4. 仅训练分解后的中间两个矩阵；5. 使用微调后的模型进行下游任务的推理。

关键创新：LoRA-Mini最关键的创新点在于对LoRA中低秩矩阵的分解和选择性训练。与LoRA直接训练整个低秩矩阵不同，LoRA-Mini只训练分解后的部分矩阵，从而实现了更高效的参数利用。这种方法在保持模型性能的同时，显著降低了可训练参数的数量，从而降低了计算成本和存储需求。

关键设计：LoRA-Mini的关键设计在于如何选择分解后的矩阵进行训练。论文选择训练分解后的中间两个矩阵，可能是因为这两个矩阵包含了更重要的信息，或者对模型性能的影响更大。具体的分解方式和矩阵维度需要根据实际情况进行调整。此外，LoRA-Mini还可以与其他参数高效微调方法结合使用，以进一步提高参数效率。

🖼️ 关键图片

fig_0

📊 实验亮点

LoRA-Mini在实验中表现出显著的参数效率提升。与标准LoRA相比，LoRA-Mini在保持相当性能水平的同时，可将可训练参数的数量减少高达20倍。这意味着在相同的硬件条件下，可以使用LoRA-Mini微调更大的模型，或者在资源受限的设备上部署微调后的模型。这些结果表明，LoRA-Mini是一种非常有前景的参数高效微调方法。

🎯 应用场景

LoRA-Mini适用于各种需要对大型语言模型进行微调的场景，例如自然语言处理、文本生成、机器翻译等。它特别适用于资源受限的环境，如移动设备或边缘计算设备。通过减少微调所需的计算资源和存储空间，LoRA-Mini可以加速模型开发和部署，并降低使用成本。未来，LoRA-Mini有望成为一种通用的参数高效微调方法，被广泛应用于各种LLM应用中。

📄 摘要（原文）

The rapid advancements in large language models (LLMs) have revolutionized natural language processing, creating an increased need for efficient, task-specific fine-tuning methods. Traditional fine-tuning of LLMs involves updating a large number of parameters, which is computationally expensive and memory-intensive. Low-Rank Adaptation (LoRA) has emerged as a promising solution, enabling parameter-efficient fine-tuning by reducing the number of trainable parameters. However, while LoRA reduces the number of trainable parameters, LoRA modules still create significant storage challenges. We propose LoRA-Mini, an optimized adaptation of LoRA that improves parameter efficiency by splitting low-rank matrices into four parts, with only the two inner matrices being trainable. This approach achieves upto a 20x reduction compared to standard LoRA in the number of trainable parameters while preserving performance levels comparable to standard LoRA, addressing both computational and storage efficiency in LLM fine-tuning.