LEAD: Iterative Data Selection for Efficient LLM Instruction Tuning

📄 arXiv: 2505.07437v1 📥 PDF

作者: Xiaotian Lin, Yanlin Qi, Yizhang Zhu, Themis Palpanas, Chengliang Chai, Nan Tang, Yuyu Luo

分类: cs.LG, cs.AI, cs.DB

发布日期: 2025-05-12

💡 一句话要点

LEAD：一种高效的LLM指令调优迭代数据选择框架，无需额外模型推理。

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大型语言模型 指令调优 数据选择 主动学习 高效训练

📋 核心要点

  1. 现有迭代数据选择方法需重复进行全数据集推理，计算开销巨大，成为效率瓶颈。
  2. LEAD在标准训练循环内估计样本效用，无需额外推理，核心是实例级动态不确定性（IDU）。
  3. 实验表明，LEAD仅用2.5%数据，性能提升6.1%-10.8%，训练时间减少5-10倍。

📝 摘要（中文）

指令调优已成为提升大型语言模型（LLM）能力和对齐的关键范式。然而，现有的迭代式模型感知数据选择方法会产生巨大的计算开销，因为它们依赖于重复执行全数据集模型推理来估计样本效用，从而为后续训练迭代提供依据，这造成了根本的效率瓶颈。在本文中，我们提出了LEAD，一个高效的迭代数据选择框架，它完全在标准训练循环中准确估计样本效用，从而消除了对昂贵的额外模型推理的需求。LEAD的核心是引入了实例级动态不确定性（IDU），这是一个理论上可靠的效用函数，它结合了瞬时训练损失、基于梯度的损失变化近似和历史损失信号的指数平滑。为了进一步有效地扩展到大型数据集，LEAD采用了一种两阶段、由粗到精的选择策略，通过多臂老虎机机制自适应地优先考虑信息丰富的集群，然后使用IDU精确地进行高实用性样本的细粒度选择。在四个不同的基准测试中进行的大量实验表明，LEAD显著优于最先进的方法，仅使用2.5%的训练数据，平均模型性能提高了6.1%-10.8%，并减少了5-10倍的总体训练时间。

🔬 方法详解

问题定义：现有基于模型的数据选择方法在指令调优LLM时，需要对整个数据集进行多次推理以评估每个样本的效用，这导致了巨大的计算开销，尤其是在处理大规模数据集时，严重限制了训练效率。因此，如何高效地选择对模型训练最有价值的数据子集，同时避免昂贵的额外推理，是本文要解决的核心问题。

核心思路：LEAD的核心思路是在标准训练循环中，利用已有的训练信息（如损失、梯度等）来估计样本的效用，从而避免额外的模型推理。通过结合瞬时损失、梯度近似的损失变化以及历史损失信号，构建一个名为实例级动态不确定性（IDU）的效用函数，该函数能够更准确地反映样本对模型学习的贡献。

技术框架：LEAD采用两阶段选择策略。第一阶段是粗粒度的聚类选择，使用多臂老虎机（MAB）机制自适应地选择信息量大的数据簇。第二阶段是细粒度的样本选择，在选定的簇内，使用IDU函数对样本进行排序，选择效用最高的样本。整个框架嵌入到标准的LLM指令调优流程中，无需额外的模型推理步骤。

关键创新：LEAD的关键创新在于提出了实例级动态不确定性（IDU）这一效用函数，它能够在标准训练循环中准确估计样本的效用，避免了传统方法中昂贵的额外模型推理。此外，两阶段的选择策略，先通过MAB选择信息簇，再在簇内进行细粒度选择，提高了数据选择的效率和准确性。

关键设计：IDU函数的设计是关键。它结合了瞬时训练损失，梯度近似的损失变化和历史损失信号的指数平滑。瞬时损失反映了模型对当前样本的学习情况，梯度近似的损失变化预测了样本对未来模型学习的影响，历史损失信号则提供了样本学习难度的长期趋势。MAB机制用于自适应地调整不同数据簇的选择概率，从而优先选择信息量大的簇。具体参数设置和损失函数细节在论文中有更详细的描述，此处未知。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

LEAD在四个不同的基准测试中显著优于现有方法，平均模型性能提升了6.1%-10.8%，同时仅使用了2.5%的训练数据，并将总体训练时间减少了5-10倍。这些结果表明，LEAD是一种高效且有效的数据选择方法，能够显著提升LLM指令调优的效率和性能。

🎯 应用场景

LEAD框架可广泛应用于各种LLM的指令调优场景，尤其是在计算资源有限或数据集规模庞大的情况下。通过高效的数据选择，LEAD能够显著降低训练成本，缩短训练时间，并提升模型性能，从而加速LLM的开发和部署。该方法还可应用于其他机器学习任务，例如主动学习和数据挖掘。

📄 摘要（原文）

Instruction tuning has emerged as a critical paradigm for improving the capabilities and alignment of large language models (LLMs). However, existing iterative model-aware data selection methods incur significant computational overhead, as they rely on repeatedly performing full-dataset model inference to estimate sample utility for subsequent training iterations, creating a fundamental efficiency bottleneck. In this paper, we propose LEAD, an efficient iterative data selection framework that accurately estimates sample utility entirely within the standard training loop, eliminating the need for costly additional model inference. At its core, LEAD introduces Instance-Level Dynamic Uncertainty (IDU), a theoretically grounded utility function combining instantaneous training loss, gradient-based approximation of loss changes, and exponential smoothing of historical loss signals. To further scale efficiently to large datasets, LEAD employs a two-stage, coarse-to-fine selection strategy, adaptively prioritizing informative clusters through a multi-armed bandit mechanism, followed by precise fine-grained selection of high-utility samples using IDU. Extensive experiments across four diverse benchmarks show that LEAD significantly outperforms state-of-the-art methods, improving average model performance by 6.1%-10.8% while using only 2.5% of the training data and reducing overall training time by 5-10x.