PoLoRA: A Preconditioned Orthogonalized LoRA Optimizer

📄 arXiv: 2607.17620v1 📥 PDF

作者: Nikhil Ghosh, Tetiana Parshakova, Robert M. Gower

分类: cs.LG, cs.CL, math.OC

发布日期: 2026-07-20

💡 一句话要点

提出PoLoRA优化器以提升LoRA模型微调效率

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 优化器 深度学习 模型微调 高效训练 机器学习 语言模型

📋 核心要点

  1. 现有的LoRA方法在使用Adam优化器时，未能充分利用其矩阵和乘积结构，导致效率低下。
  2. PoLoRA通过引入产品感知的谱更新方向和曲率预处理，优化了LoRA的训练过程，提升了微调效率。
  3. 实验结果显示，PoLoRA在多个模型上显著减少了训练步骤，同时对学习率的敏感性降低，表现出更好的稳定性。

📝 摘要（中文）

低秩适应（LoRA）通过向每个权重矩阵添加可训练的低秩更新来降低大型语言模型的微调成本。这些矩阵通常使用Adam优化器进行训练，但Adam忽略了LoRA的矩阵和乘积结构。为了解决这一问题，本文提出了PoLoRA，一个基于三种成分的预条件正交化LoRA优化器，包括产品感知的谱更新方向、基于控制每个样本损失变化的曲率预处理，以及控制因子和合并更新大小的幅度规则。实验表明，PoLoRA在指令微调数据集上表现优异，达到与调优后的Adam相同的最终损失时，所需步骤减少了1.2到1.7倍，且每步开销最多为3%。

🔬 方法详解

问题定义：论文旨在解决现有LoRA方法在使用Adam优化器时未能充分利用矩阵和乘积结构的问题，导致微调效率低下。

核心思路：PoLoRA通过引入产品感知的谱更新方向、曲率预处理和幅度控制规则，优化了LoRA的训练过程，从而提高了微调效率。

技术框架：PoLoRA的整体架构包括三个主要模块：产品感知的谱更新方向、基于每个样本损失变化的曲率预处理，以及控制更新大小的幅度规则。这些模块协同工作，以实现更高效的训练。

关键创新：PoLoRA的主要创新在于其预条件正交化的设计，能够有效地结合矩阵结构和产品结构，从而在微调过程中实现更快的收敛速度和更低的步骤需求。

关键设计：在参数设置上，PoLoRA引入了控制因子和合并更新大小的幅度规则，确保了更新的稳定性和有效性。此外，优化器对学习率的敏感性降低，使得最佳学习率在不同秩下保持稳定。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果显示，PoLoRA在指令微调数据集上相较于调优后的Adam，所需步骤减少了1.2到1.7倍，且每步开销最多为3%。此外，PoLoRA对学习率的敏感性降低，最佳学习率在不同秩下保持稳定，进一步提升了训练效率。

🎯 应用场景

PoLoRA的研究成果在大型语言模型的微调中具有广泛的应用潜力，尤其是在需要快速适应新任务的场景中。其高效的训练过程能够显著降低计算资源消耗，适用于教育、科研和工业界的多种应用，推动智能系统的快速发展。

📄 摘要（原文）

Low-rank adaptation (LoRA) makes finetuning large language models cheaper by adding to each weight matrix a trainable low-rank update parameterized as the product of two matrices. These matrices are usually trained with Adam, which treats them as a single flat vector of parameters and ignores both the matrix and product structure of LoRA. Applying a matrix-aware optimizer such as Muon to each factor does not consistently improve over Adam, and neither do the product-aware Muon variants proposed in concurrent works. To realize consistent gains, we introduce PoLoRA, a Preconditioned Orthogonalized LoRA optimizer built from three ingredients: a product-aware spectral update direction, curvature preconditioning derived from controlling the per-sample loss change, and a magnitude rule that controls the sizes of both the factor and merged updates. We evaluate PoLoRA on instruction-tuning datasets for code and math across models from 1B to 8B parameters, and find that it reaches the final held-out loss achieved by tuned Adam in 1.2-1.7 times fewer steps, while adding at most 3% per-step overhead. Compared to Adam, PoLoRA is also less sensitive to the learning rate, and its optimal learning rate is stable across ranks.