QLESS: A Quantized Approach for Data Valuation and Selection in Large Language Model Fine-Tuning

📄 arXiv: 2502.01703v1 📥 PDF

作者: Moses Ananta, Muhammad Farid Adilazuarda, Zayd Muhammad Kawakibi Zuhri, Ayu Purwarianti, Alham Fikri Aji

分类: cs.LG, cs.AI, cs.CL

发布日期: 2025-02-03

💡 一句话要点

QLESS：一种量化方法，用于大语言模型微调中的数据估值与选择

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型 微调 数据估值 数据选择 梯度量化 低秩近似 内存优化

📋 核心要点

  1. 大型语言模型微调面临海量数据处理的计算成本挑战，现有方法内存效率较低。
  2. QLESS通过梯度量化和低秩近似，在保证数据估值质量的前提下，显著降低内存占用。
  3. 实验表明，QLESS在多个LLM和基准测试上，实现了与LESS相当的性能，内存占用降低高达16倍。

📝 摘要（中文）

微调大型语言模型（LLMs）通常受到处理海量数据集的计算成本限制。我们提出了QLESS（量化低秩梯度相似度搜索），它将梯度量化与LESS框架集成，以实现内存高效的数据估值和选择。QLESS采用两步压缩过程：首先，通过基于LoRA的随机投影获得低维梯度表示；然后，将这些梯度量化为低比特宽度表示。在多个LLM架构（LLaMA、Mistral、Qwen）和基准测试（MMLU、BBH、TyDiQA）上的实验表明，QLESS实现了与LESS相当的数据选择性能，同时将内存使用量降低了高达16倍。即使是1比特梯度量化也能保持数据估值质量。这些发现强调了QLESS作为一种实用、可扩展的方法，可以在严格的内存约束下识别信息丰富的示例。

🔬 方法详解

问题定义：论文旨在解决大型语言模型微调过程中，由于数据集过大导致的内存消耗问题。现有方法在数据估值和选择时，需要存储大量的梯度信息，导致内存占用过高，限制了模型微调的可扩展性。

核心思路：论文的核心思路是通过梯度量化和低秩近似来压缩梯度信息，从而降低内存占用。具体来说，首先使用LoRA进行低秩投影，降低梯度维度；然后对低维梯度进行量化，进一步压缩数据。这样可以在保证数据估值质量的前提下，显著减少内存需求。

技术框架：QLESS框架主要包含两个阶段：1) 低秩梯度表示：使用LoRA进行随机投影，将高维梯度映射到低维空间。2) 梯度量化：将低维梯度量化为低比特宽度表示，例如1比特。然后，使用压缩后的梯度信息进行数据估值和选择。整体流程与LESS框架类似，但核心在于梯度压缩模块的改进。

关键创新：最重要的技术创新点在于将梯度量化与LESS框架相结合，实现了在严格内存约束下的数据估值和选择。与现有方法相比，QLESS能够在保证数据估值质量的前提下，显著降低内存占用，提高了模型微调的可扩展性。

关键设计：QLESS的关键设计包括：1) LoRA的秩的选择：需要根据具体任务和数据集进行调整，以平衡压缩率和信息损失。2) 量化比特宽度的选择：实验表明，即使是1比特量化也能保持较好的数据估值质量，但更低的比特宽度可能会导致信息损失。3) 相似度度量：使用量化后的梯度计算数据之间的相似度，用于数据选择。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，QLESS在多个LLM架构（LLaMA、Mistral、Qwen）和基准测试（MMLU、BBH、TyDiQA）上，实现了与LESS相当的数据选择性能，同时将内存使用量降低了高达16倍。即使使用1比特梯度量化，也能保持较好的数据估值质量，这表明QLESS具有很高的实用价值。

🎯 应用场景

QLESS可应用于各种需要对大型语言模型进行微调的场景，尤其是在计算资源受限的环境下。例如，在边缘设备上进行模型微调，或者在内存容量有限的服务器上处理大规模数据集。该方法可以帮助用户在有限的资源下，高效地选择信息量大的数据进行微调，从而提高模型性能。

📄 摘要（原文）

Fine-tuning large language models (LLMs) is often constrained by the computational costs of processing massive datasets. We propose \textbf{QLESS} (Quantized Low-rank Gradient Similarity Search), which integrates gradient quantization with the LESS framework to enable memory-efficient data valuation and selection. QLESS employs a two-step compression process: first, it obtains low-dimensional gradient representations through LoRA-based random projection; then, it quantizes these gradients to low-bitwidth representations. Experiments on multiple LLM architectures (LLaMA, Mistral, Qwen) and benchmarks (MMLU, BBH, TyDiQA) show that QLESS achieves comparable data selection performance to LESS while reducing memory usage by up to 16x. Even 1-bit gradient quantization preserves data valuation quality. These findings underscore QLESS as a practical, scalable approach to identifying informative examples within strict memory constraints.