DenseLoRA: Dense Low-Rank Adaptation of Large Language Models

📄 arXiv: 2505.23808v1 📥 PDF

作者: Lin Mu, Xiaoyu Wang, Li Ni, Yang Li, Zhize Wu, Peiquan Jin, Yiwen Zhang

分类: cs.CL, cs.AI

发布日期: 2025-05-27

🔗 代码/项目: GITHUB

💡 一句话要点

DenseLoRA：通过密集低秩矩阵提升大语言模型参数效率与性能

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 低秩适应 大语言模型 参数效率 表征学习 模型微调

📋 核心要点

  1. LoRA虽然减少了可训练参数，但其低秩矩阵存在大量冗余权重，导致参数利用率不高。
  2. DenseLoRA通过Encoder-Decoder结构压缩和提炼隐藏层表征，并使用单个密集低秩矩阵进行模型适配。
  3. 实验表明，DenseLoRA在参数效率和模型性能上均优于LoRA，在LLaMA3-8B上仅用0.01%参数达到83.8%准确率。

📝 摘要（中文）

低秩适应(LoRA)通过微调两个低秩矩阵来调整大型语言模型(LLM)，从而减少可训练参数的数量，已被开发为一种有效的方法。然而，先前的研究表明，这些矩阵中的许多权重是冗余的，导致参数利用效率低下。为了解决这个限制，我们引入了密集低秩适应(DenseLoRA)，这是一种新方法，它提高了参数效率，同时实现了优于LoRA的性能。DenseLoRA建立在表征微调的概念之上，整合了一个单一的Encoder-Decoder来细化和压缩所有适应层的隐藏表征，然后再进行适应。DenseLoRA不是像LoRA那样依赖于两个冗余的低秩矩阵，而是通过一个密集的低秩矩阵来适应LLM，从而提高参数利用率和适应效率。我们在各种基准上评估了DenseLoRA，结果表明，在LLaMA3-8B上，它仅用0.01%的可训练参数就达到了83.8%的准确率，而LoRA用0.70%的可训练参数达到了80.8%的准确率。此外，我们进行了广泛的实验，以系统地评估DenseLoRA的组件对整体模型性能的影响。

🔬 方法详解

问题定义：LoRA等低秩适应方法虽然减少了微调LLM的参数量，但其使用的两个低秩矩阵存在大量冗余权重，导致参数利用率低下，限制了模型性能的进一步提升。因此，如何更有效地利用有限的参数进行模型适配是需要解决的问题。

核心思路：DenseLoRA的核心思路是通过表征微调，在进行低秩适应之前，先利用一个Encoder-Decoder结构对隐藏层表征进行压缩和提炼，去除冗余信息，从而提高后续低秩适应的效率。同时，使用单个密集的低秩矩阵代替LoRA中的两个冗余矩阵，进一步提升参数利用率。

技术框架：DenseLoRA的整体框架是在LLM的每一层适配层之前，加入一个Encoder-Decoder模块。Encoder负责将原始的隐藏层表征压缩到一个低维空间，Decoder则将压缩后的表征重构回原始维度。然后，使用一个密集的低秩矩阵对重构后的表征进行适配。整个过程可以看作是对LLM的隐藏层表征进行预处理，然后再进行低秩适应。

关键创新：DenseLoRA的关键创新在于引入了Encoder-Decoder结构进行表征微调，以及使用单个密集的低秩矩阵。与LoRA相比，DenseLoRA不再直接对原始隐藏层表征进行低秩分解，而是先通过Encoder-Decoder进行信息提炼，去除冗余信息，从而提高了低秩适应的效率。同时，单个密集矩阵的使用避免了LoRA中两个矩阵可能存在的冗余。

关键设计：Encoder和Decoder可以使用各种网络结构，论文中未明确说明具体结构，但强调了其作用是压缩和重构隐藏层表征。低秩矩阵的秩(rank)是一个重要的超参数，需要根据具体任务进行调整。损失函数方面，除了任务相关的损失函数外，可能还需要加入一些正则化项，以防止Encoder-Decoder过拟合。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

DenseLoRA在LLaMA3-8B模型上取得了显著的性能提升。仅使用0.01%的可训练参数，DenseLoRA达到了83.8%的准确率，而LoRA使用0.70%的参数仅达到80.8%的准确率。这表明DenseLoRA在参数效率方面具有显著优势，能够在更少的参数下实现更好的性能。

🎯 应用场景

DenseLoRA适用于各种需要高效微调大型语言模型的场景，例如自然语言处理、文本生成、机器翻译等。其高参数效率使得在资源受限的设备上进行模型适配成为可能。未来，DenseLoRA可以进一步扩展到其他模态的模型微调，例如图像、语音等。

📄 摘要（原文）

Low-rank adaptation (LoRA) has been developed as an efficient approach for adapting large language models (LLMs) by fine-tuning two low-rank matrices, thereby reducing the number of trainable parameters. However, prior research indicates that many of the weights in these matrices are redundant, leading to inefficiencies in parameter utilization. To address this limitation, we introduce Dense Low-Rank Adaptation (DenseLoRA), a novel approach that enhances parameter efficiency while achieving superior performance compared to LoRA. DenseLoRA builds upon the concept of representation fine-tuning, incorporating a single Encoder-Decoder to refine and compress hidden representations across all adaptation layers before applying adaptation. Instead of relying on two redundant low-rank matrices as in LoRA, DenseLoRA adapts LLMs through a dense low-rank matrix, improving parameter utilization and adaptation efficiency. We evaluate DenseLoRA on various benchmarks, showing that it achieves 83.8% accuracy with only 0.01% of trainable parameters, compared to LoRA's 80.8% accuracy with 0.70% of trainable parameters on LLaMA3-8B. Additionally, we conduct extensive experiments to systematically assess the impact of DenseLoRA's components on overall model performance. Code is available at https://github.com/mulin-ahu/DenseLoRA.