OSoRA: Output-Dimension and Singular-Value Initialized Low-Rank Adaptation

📄 arXiv: 2505.14350v2 📥 PDF

作者: Jialong Han, Si Zhang, Ke Zhang

分类: cs.CL

发布日期: 2025-05-20 (更新: 2025-05-21)

💡 一句话要点

OSoRA：一种输出维度和奇异值初始化的低秩自适应方法，用于高效微调大型语言模型。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩自适应 参数高效微调 大型语言模型 奇异值分解 模型微调

📋 核心要点

  1. 大型语言模型微调面临计算资源挑战，现有参数高效微调方法仍需大量资源。
  2. OSoRA方法通过奇异值分解和可学习缩放向量，在低秩自适应框架下减少可训练参数。
  3. 实验表明，OSoRA在多个基准测试中达到与LoRA等方法相当或更优的性能，且参数缩放呈线性。

📝 摘要（中文）

由于大型语言模型（LLMs）的巨大规模和相关的计算成本，微调LLMs变得越来越具有挑战性。参数高效微调（PEFT）方法被提出作为计算替代方案；然而，它们的实现仍然需要大量的资源。在本文中，我们提出了一种新的LLMs的PEFT方法OSoRA（输出维度和奇异值初始化的低秩自适应）。OSoRA通过将奇异值分解（SVD）与可学习的缩放向量集成到一个统一的框架中来扩展低秩自适应（LoRA）。它首先对预训练的权重矩阵执行SVD，然后在训练期间优化输出维度向量，同时保持相应的奇异向量矩阵冻结。OSoRA通过最小化微调期间的可训练参数数量，大大降低了计算资源需求。在数学推理、常识推理和其他基准上的综合评估表明，OSoRA实现了与最先进的方法（如LoRA和VeRA）相当或更优越的性能，同时即使在秩增加到更高维度时也保持线性参数缩放。我们的消融研究进一步证实，联合训练奇异值和输出维度向量对于获得最佳性能至关重要。

🔬 方法详解

问题定义：论文旨在解决大型语言模型微调过程中计算资源消耗过大的问题。现有的参数高效微调方法（PEFT）虽然减少了参数量，但仍然需要大量的计算资源，限制了其在资源受限环境下的应用。

核心思路：OSoRA的核心思路是在LoRA的基础上，利用奇异值分解（SVD）对预训练权重矩阵进行分解，并只训练输出维度向量，而冻结奇异向量矩阵。通过这种方式，进一步减少了需要训练的参数数量，从而降低了计算资源需求。

技术框架：OSoRA方法首先对预训练的权重矩阵进行SVD分解。然后，引入一个可学习的输出维度向量，该向量在训练过程中进行优化。同时，SVD分解得到的奇异向量矩阵保持冻结状态。通过联合训练输出维度向量和奇异值，模型能够学习到更有效的低秩表示。

关键创新：OSoRA的关键创新在于将SVD分解与可学习的缩放向量集成到一个统一的框架中，并只训练输出维度向量。这与传统的LoRA方法不同，LoRA方法需要训练两个低秩矩阵。OSoRA通过冻结奇异向量矩阵，进一步减少了可训练参数的数量，从而降低了计算资源需求。

关键设计：OSoRA的关键设计包括：1) 使用SVD分解预训练权重矩阵；2) 引入可学习的输出维度向量；3) 冻结奇异向量矩阵；4) 联合训练输出维度向量和奇异值。具体的参数设置和损失函数选择取决于具体的任务和数据集，但通常会采用标准的交叉熵损失函数和Adam优化器。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，OSoRA在数学推理、常识推理等多个基准测试中取得了与LoRA和VeRA等先进方法相当甚至更优越的性能。例如，在某些任务上，OSoRA的性能超过了LoRA，同时保持了线性参数缩放，即使在秩增加到更高维度时也是如此。消融实验进一步验证了联合训练奇异值和输出维度向量对于获得最佳性能至关重要。

🎯 应用场景

OSoRA方法适用于各种需要微调大型语言模型的场景，尤其是在计算资源有限的情况下。例如，可以在移动设备或边缘设备上部署微调后的模型，或者在资源受限的实验室环境中进行研究。该方法还可以应用于各种自然语言处理任务，如文本分类、情感分析、机器翻译等，具有广泛的应用前景。

📄 摘要（原文）

Fine-tuning Large Language Models (LLMs) has become increasingly challenging due to their massive scale and associated computational costs. Parameter-Efficient Fine-Tuning (PEFT) methodologies have been proposed as computational alternatives; however, their implementations still require significant resources. In this paper, we present OSoRA (Output-Dimension and Singular-Value Initialized Low-Rank Adaptation), a novel PEFT method for LLMs. OSoRA extends Low-Rank Adaptation (LoRA) by integrating Singular Value Decomposition (SVD) with learnable scaling vectors in a unified framework. It first performs an SVD of pre-trained weight matrices, then optimizes an output-dimension vector during training, while keeping the corresponding singular vector matrices frozen. OSoRA substantially reduces computational resource requirements by minimizing the number of trainable parameters during fine-tuning. Comprehensive evaluations across mathematical reasoning, common sense reasoning, and other benchmarks demonstrate that OSoRA achieves comparable or superior performance to state-of-the-art methods like LoRA and VeRA, while maintaining a linear parameter scaling even as the rank increases to higher dimensions. Our ablation studies further confirm that jointly training both the singular values and the output-dimension vector is critical for optimal performance.