ScaLoRA: Optimally Scaled Low-Rank Adaptation for Efficient High-Rank Fine-Tuning

📄 arXiv: 2510.23818v1 📥 PDF

作者: Yilang Zhang, Xiaodong Yang, Yiwei Cai, Georgios B. Giannakis

分类: cs.LG

发布日期: 2025-10-27

💡 一句话要点

ScaLoRA：优化缩放的低秩适配，实现高效高秩微调

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适配 参数高效微调 大型语言模型 优化缩放 高效微调

📋 核心要点

  1. 现有LoRA方法虽然降低了计算成本，但由于低秩约束，可能影响微调效果和收敛速度。
  2. ScaLoRA通过累积连续的低秩增量来构建高秩权重更新，并优化每次更新的低秩矩阵。
  3. 实验结果表明，ScaLoRA在多种任务上优于现有LoRA变体，实现了性能提升和更快的收敛。

📝 摘要（中文）

随着大型语言模型（LLM）规模的持续增长，计算开销已成为特定任务微调的主要瓶颈。低秩适配（LoRA）通过将权重更新限制在低维子空间内，有效地降低了这种成本，但这种限制可能会阻碍有效性并减慢收敛速度。本文通过从连续的低秩增量中逐步累积高秩权重更新来解决这些限制。具体而言，确定每次更新的最佳低秩矩阵，以最小化损失函数并紧密近似完全微调。为了在不重启的情况下实现高效且无缝的优化，通过适当缩放原始低秩矩阵的列来形成此最佳选择。严格的性能保证表明，可以分析地找到最佳缩放。对高达 120 亿参数的流行 LLM 进行的大量数值测试表明，在包括自然语言理解、常识推理和数学问题解决等各种任务上，相对于最先进的 LoRA 变体，性能始终如一地提高且收敛速度更快。

🔬 方法详解

问题定义：大型语言模型微调的计算开销巨大，LoRA等低秩方法虽然降低了计算成本，但由于秩的限制，可能导致微调效果不佳，收敛速度慢。现有方法难以在计算效率和模型性能之间取得平衡。

核心思路：ScaLoRA的核心思想是通过连续的低秩更新来逼近高秩更新，并优化每次低秩更新的缩放因子，使得每次更新都能最大程度地减小损失函数，从而更有效地进行微调。通过优化缩放因子，可以避免重启优化器，实现无缝优化。

技术框架：ScaLoRA方法在LoRA的基础上，引入了缩放因子。整体流程如下：首先，初始化低秩矩阵；然后，在每次迭代中，计算梯度并更新低秩矩阵；关键在于，在更新低秩矩阵之前，会计算一个最优的缩放因子，并将其应用于低秩矩阵的列。这个缩放因子是解析解，可以直接计算得到。

关键创新：ScaLoRA的关键创新在于提出了最优缩放的概念，并找到了缩放因子的解析解。与传统的LoRA方法不同，ScaLoRA不是简单地更新低秩矩阵，而是通过缩放低秩矩阵的列来更好地逼近全秩更新，从而提高微调效果和收敛速度。

关键设计：ScaLoRA的关键设计包括：1) 最优缩放因子的计算公式，该公式基于损失函数的梯度和低秩矩阵的列向量；2) 缩放因子的解析解，避免了额外的优化过程；3) 与现有LoRA方法的兼容性，可以方便地集成到现有的微调流程中。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，ScaLoRA在多种任务上均优于现有的LoRA变体。例如，在自然语言理解任务上，ScaLoRA相比LoRA取得了显著的性能提升，并且收敛速度更快。在参数规模为120亿的LLM上，ScaLoRA依然表现出良好的性能。

🎯 应用场景

ScaLoRA可广泛应用于各种大型语言模型的微调任务，尤其适用于计算资源受限的场景。该方法能够提升模型在自然语言理解、常识推理、数学问题求解等任务上的性能，具有重要的实际应用价值。未来，ScaLoRA可以进一步扩展到其他类型的模型和任务中。

📄 摘要（原文）

As large language models (LLMs) continue to scale in size, the computational overhead has become a major bottleneck for task-specific fine-tuning. While low-rank adaptation (LoRA) effectively curtails this cost by confining the weight updates to a low-dimensional subspace, such a restriction can hinder effectiveness and slow convergence. This contribution deals with these limitations by accumulating progressively a high-rank weight update from consecutive low-rank increments. Specifically, the per update optimal low-rank matrix is identified to minimize the loss function and closely approximate full fine-tuning. To endow efficient and seamless optimization without restarting, this optimal choice is formed by appropriately scaling the columns of the original low-rank matrix. Rigorous performance guarantees reveal that the optimal scaling can be found analytically. Extensive numerical tests with popular LLMs scaling up to 12 billion parameters demonstrate a consistent performance gain and fast convergence relative to state-of-the-art LoRA variants on diverse tasks including natural language understanding, commonsense reasoning, and mathematical problem solving.