MLorc: Momentum Low-rank Compression for Memory Efficient Large Language Model Adaptation

📄 arXiv: 2506.01897 📥 PDF

作者: Wei Shen, Zhang Yaxiang, Minhui Huang, Mengfan Xu, Jiawei Zhang, Cong Shen

分类: cs.LG, cs.IT, math.OC

发布日期: 2026-04-07

💡 一句话要点

提出MLorc：一种用于大语言模型高效微调的动量低秩压缩方法

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 参数高效微调 低秩压缩 动量优化 内存优化

📋 核心要点

  1. 全参数微调大型语言模型面临巨大的内存需求，现有方法如LoRA存在秩约束，GaLore压缩梯度而非动量。
  2. MLorc通过压缩和重构矩阵参数的动量来减少内存消耗，实现高效的全参数学习，并保留训练动态。
  3. 实验表明，MLorc在内存效率和性能上优于其他方法，在小秩下可媲美全参数微调，且具有良好的泛化性。

📝 摘要（中文）

随着大型语言模型（LLMs）规模的不断增大，全参数微调对内存提出了巨大的需求。为了缓解这个问题，我们提出了一种新的内存高效训练范式，称为动量低秩压缩（MLorc）。MLorc 的核心思想是在训练过程中压缩和重构矩阵参数的动量，从而减少内存消耗。与 LoRA 相比，MLorc 避免了对权重更新矩阵施加固定秩约束，从而实现了全参数学习。与 GaLore 相比，MLorc 直接压缩动量而不是梯度，从而更好地保留了全参数微调的训练动态。我们为 MLorc 在温和的假设下提供了收敛性的理论保证。实验结果表明，MLorc 始终优于其他内存高效的训练方法，在小秩（例如，r=4）下匹配甚至超过了全参数微调的性能，并且在不同的优化器上具有良好的泛化能力，同时不影响时间和内存效率。

🔬 方法详解

问题定义：大型语言模型（LLMs）的全参数微调需要大量的内存，这限制了其在资源受限环境中的应用。现有的低秩适应方法，如LoRA，通过引入低秩矩阵来减少参数量，但对权重更新矩阵施加了固定的秩约束，可能限制模型的表达能力。GaLore则通过压缩梯度来减少内存占用，但直接压缩梯度可能会影响训练的动态过程。

核心思路：MLorc的核心思想是压缩和重构矩阵参数的动量，而不是直接压缩梯度或权重更新。动量包含了历史梯度信息，能够更好地反映训练的动态过程。通过低秩压缩动量，MLorc可以在减少内存消耗的同时，尽可能地保留全参数微调的训练动态。

技术框架：MLorc的整体框架是在标准的优化算法（如Adam）中，对参数的动量进行低秩压缩和重构。具体流程如下：1. 计算参数的梯度；2. 更新参数的动量；3. 对动量进行低秩分解，得到两个低秩矩阵；4. 存储低秩矩阵，释放原始动量占用的内存；5. 在需要使用动量时，通过低秩矩阵重构动量。

关键创新：MLorc的关键创新在于直接压缩动量而非梯度或权重更新。与LoRA相比，MLorc避免了固定秩约束，实现了全参数学习。与GaLore相比，MLorc更好地保留了训练动态。此外，MLorc还提供了一个收敛性的理论保证。

关键设计：MLorc的关键设计包括：1. 使用低秩分解（如SVD）来压缩动量；2. 选择合适的秩的大小，以平衡内存消耗和性能；3. 在优化算法中集成动量压缩和重构的步骤。论文中没有明确提及特定的损失函数或网络结构，表明该方法可以应用于各种模型和任务。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

MLorc在多个实验中表现出色，在小秩（如r=4）下，性能匹配甚至超过了全参数微调，同时显著降低了内存消耗。实验结果表明，MLorc优于LoRA和GaLore等其他内存高效的训练方法，并且在不同的优化器上具有良好的泛化能力。这些结果验证了MLorc在内存效率和性能方面的优势。

🎯 应用场景

MLorc适用于各种需要高效微调大型语言模型的场景，例如在资源受限的设备上进行模型部署，或者在数据量有限的情况下进行快速模型定制。该方法可以降低微调的硬件成本，加速模型迭代，并促进LLM在更广泛领域的应用。

📄 摘要（原文）

With increasing size of large language models (LLMs), full-parameter fine-tuning imposes substantial memory demands. To alleviate this, we propose a novel memory-efficient training paradigm called Momentum Low-rank compression (MLorc). The key idea of MLorc is to compress and reconstruct the momentum of matrix parameters during training to reduce memory consumption. Compared to LoRA, MLorc avoids enforcing a fixed-rank constraint on weight update matrices and thus enables full-parameter learning. Compared to GaLore, MLorc directly compress the momentum rather than gradients, thereby better preserving the training dynamics of full-parameter fine-tuning. We provide a theoretical guarantee for its convergence under mild assumptions. Empirically, MLorc consistently outperforms other memory-efficient training methods, matches or even exceeds the performance of full fine-tuning at small ranks (e.g., $r=4$), and generalizes well across different optimizers, all while not compromising time or memory efficiency.