DoTA: Weight-Decomposed Tensor Adaptation for Large Language Models

📄 arXiv: 2412.20891v1 📥 PDF

作者: Xiaolin Hu, Xiang Cheng, Peiyu Liu, Wei Liu, Jian Luan, Bin Wang, Yong Liu

分类: cs.CL, cs.LG

发布日期: 2024-12-30

备注: 12 pages, 6 figures

💡 一句话要点

提出DoTA以解决大语言模型微调中的初始化问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 低秩适应 张量分解 微调 初始化策略 量化模型 常识推理 算术推理

📋 核心要点

  1. 现有的低秩适应方法在高维结构捕捉上存在不足，随机初始化对微调效果影响较大。
  2. 提出的DoTA方法通过矩阵乘积算子分解实现有效初始化，改善了微调过程中的性能。
  3. 实验结果显示，DoTA在常识和算术推理任务上表现优于随机初始化，且QDoTA在内存消耗上更具优势。

📝 摘要（中文）

低秩适应（LoRA）通过低秩矩阵近似更新来减少大语言模型（LLMs）微调的计算和内存需求。然而，二维空间的低秩近似无法捕捉目标矩阵中的高维结构。近期，张量分解方法被探索用于微调LLMs，但这些方法主要依赖随机初始化，且初始化对张量适应的影响尚未深入研究。本文揭示随机初始化与完全微调所达到的验证损失之间存在显著差异。为此，我们提出了权重分解张量适应（DoTA），利用预训练权重的矩阵乘积算子（MPO）分解进行有效初始化。此外，我们还引入了QDoTA，一个针对4位量化的DoTA量化版本。实验结果表明，DoTA在常识和算术推理任务上优于随机初始化方法，并且参数更少。QDoTA进一步减少了内存消耗，并在常识推理任务上与DoTA表现相当。我们将发布代码以支持未来的研究。

🔬 方法详解

问题定义：本文旨在解决大语言模型微调过程中，随机初始化导致的性能不稳定问题。现有方法在高维结构的捕捉上存在不足，影响了模型的微调效果。

核心思路：论文提出的DoTA方法利用预训练权重的矩阵乘积算子（MPO）分解，作为初始化策略，以提高微调的有效性和稳定性。通过这种方式，可以更好地捕捉到目标矩阵的高维结构。

技术框架：DoTA的整体架构包括初始化阶段和微调阶段。在初始化阶段，使用MPO分解对预训练权重进行处理；在微调阶段，采用低秩适应策略进行参数更新。

关键创新：DoTA的主要创新在于引入了权重分解的张量适应方法，显著改善了随机初始化带来的性能波动。这一方法与传统的随机初始化方法本质上不同，能够更有效地利用预训练模型的信息。

关键设计：在DoTA中，关键的参数设置包括MPO分解的维度选择和微调过程中使用的损失函数设计。此外，QDoTA的设计考虑了4位量化的需求，以进一步降低内存消耗，同时保持性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，DoTA在常识推理和算术推理任务上优于随机初始化方法，且参数量更少。具体而言，DoTA在验证损失上显著低于随机初始化，QDoTA在内存消耗上减少了约50%，同时在常识推理任务上与DoTA的性能相当。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、对话系统和智能问答等。通过改进大语言模型的微调过程，DoTA和QDoTA能够在资源受限的环境中实现高效的模型部署，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Low-rank adaptation (LoRA) reduces the computational and memory demands of fine-tuning large language models (LLMs) by approximating updates with low-rank matrices. However, low-rank approximation in two-dimensional space fails to capture high-dimensional structures within the target matrix. Recently, tensor decomposition methods have been explored for fine-tuning LLMs, leveraging their ability to extract structured information. Yet, these approaches primarily rely on random initialization, and the impact of initialization on tensor adaptation remains underexplored. In this paper, we reveal that random initialization significantly diverges from the validation loss achieved by full fine-tuning. To address this, we propose Weight-Decomposed Tensor Adaptation (DoTA), which leverages the Matrix Product Operator (MPO) decomposition of pre-trained weights for effective initialization in fine-tuning LLMs. Additionally, we introduce QDoTA, a quantized version of DoTA designed for 4-bit quantization. Experiments on commonsense and arithmetic reasoning tasks show that DoTA outperforms random initialization methods with fewer parameters. QDoTA further reduces memory consumption and achieves comparable performance to DoTA on commonsense reasoning tasks. We will release our code to support future research.