LoftQ: LoRA-Fine-Tuning-Aware Quantization for Large Language Models

📄 arXiv: 2310.08659v4 📥 PDF

作者: Yixiao Li, Yifan Yu, Chen Liang, Pengcheng He, Nikos Karampatziakis, Weizhu Chen, Tuo Zhao

分类: cs.CL, cs.AI, cs.LG

发布日期: 2023-10-12 (更新: 2023-11-28)

🔗 代码/项目: GITHUB

💡 一句话要点

提出LoftQ以解决量化与LoRA微调结合的性能差距问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 量化 LoRA微调 大型语言模型 自然语言处理 模型压缩 性能优化

📋 核心要点

  1. 现有的量化与LoRA微调结合方法在下游任务中表现不如全微调，存在性能差距。
  2. LoftQ通过同时量化LLM并找到合适的低秩初始化来解决上述问题，从而提高下游任务的性能。
  3. 实验结果显示，LoftQ在自然语言处理任务中表现优异，尤其在2位和2/4位混合精度下显著超越现有方法。

📝 摘要（中文）

量化是服务大型语言模型（LLMs）不可或缺的技术，最近也被应用于LoRA微调。本文关注量化与LoRA微调共同应用于预训练模型的场景。在这种情况下，通常会观察到全微调与量化加LoRA微调方法在下游任务上的性能存在一致的差距。为此，我们提出了LoftQ（LoRA微调感知量化），这是一个新颖的量化框架，能够同时对LLM进行量化并找到合适的低秩初始化以进行LoRA微调。这种初始化减轻了量化模型与全精度模型之间的差异，并显著提高了下游任务的泛化能力。我们在自然语言理解、问答、摘要生成和自然语言生成任务上评估了我们的方法，实验结果表明我们的方法非常有效，尤其在具有挑战性的2位和2/4位混合精度条件下，超越了现有的量化方法。

🔬 方法详解

问题定义：本文旨在解决量化与LoRA微调结合时，模型在下游任务中性能不如全微调的问题。现有方法在量化后，模型性能下降明显，影响实际应用效果。

核心思路：LoftQ的核心思路是通过量化LLM的同时，找到合适的低秩初始化，以减小量化模型与全精度模型之间的性能差距，从而提升下游任务的泛化能力。

技术框架：LoftQ的整体架构包括两个主要模块：量化模块和LoRA微调模块。量化模块负责将模型参数转化为低精度表示，而LoRA微调模块则在此基础上进行低秩适应。

关键创新：LoftQ的创新点在于提出了一种新的量化框架，能够在量化过程中考虑LoRA微调的需求，从而实现更好的性能。这一方法与传统的量化方法不同，后者通常不考虑微调的影响。

关键设计：在设计中，LoftQ采用了特定的低秩初始化策略，并结合了适当的损失函数以优化量化过程，确保在量化后模型仍能保持较高的性能。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，LoftQ在自然语言理解、问答、摘要生成等任务中表现优异，尤其在2位和2/4位混合精度下，性能显著超越现有的量化方法，提升幅度达到XX%（具体数据未知）。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理、智能问答系统、文本摘要生成等。通过提升量化模型的性能，LoftQ可以在资源受限的环境中有效部署大型语言模型，具有重要的实际价值和广泛的应用前景。

📄 摘要（原文）

Quantization is an indispensable technique for serving Large Language Models (LLMs) and has recently found its way into LoRA fine-tuning. In this work we focus on the scenario where quantization and LoRA fine-tuning are applied together on a pre-trained model. In such cases it is common to observe a consistent gap in the performance on downstream tasks between full fine-tuning and quantization plus LoRA fine-tuning approach. In response, we propose LoftQ (LoRA-Fine-Tuning-aware Quantization), a novel quantization framework that simultaneously quantizes an LLM and finds a proper low-rank initialization for LoRA fine-tuning. Such an initialization alleviates the discrepancy between the quantized and full-precision model and significantly improves generalization in downstream tasks. We evaluate our method on natural language understanding, question answering, summarization, and natural language generation tasks. Experiments show that our method is highly effective and outperforms existing quantization methods, especially in the challenging 2-bit and 2/4-bit mixed precision regimes. The code is available on https://github.com/yxli2123/LoftQ.