LESSER: Post-Training Data Selection with Output-Layer Gradients

📄 arXiv: 2610.03702v1 📥 PDF

作者: Lyuxin David Zhang, Eric Wong, Surbhi Goel, Anton Xue

分类: cs.LG

发布日期: 2026-10-02

💡 一句话要点

提出LESSER以降低后训练数据选择的计算成本

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 后训练数据选择 输出层梯度 计算效率 大型语言模型 深度学习

📋 核心要点

  1. 现有的基于梯度的数据选择方法在处理大型候选池时计算成本过高，难以应用。
  2. 本文提出LESSER，通过利用输出层梯度来近似全梯度特征，从而降低计算复杂度。
  3. LESSER在SFT和RL基准上分别将特征提取的计算成本降低了9.7倍和3.0倍，同时保持了良好的下游任务性能。

📝 摘要（中文）

后训练数据的选择对大型语言模型的下游性能有显著影响。基于梯度的数据选择方法通过评估训练数据的梯度与小型验证集的对齐程度来进行排序。然而，使用全参数梯度进行排序需要对每个样本进行昂贵的反向传播，这在大候选池中计算上不可行。本文提出LESSER，利用输出层梯度进行有效的数据选择，仅需前向传播，从而将特征提取的计算成本降低了9.7倍（SFT基准）和3.0倍（RL基准），同时在下游任务中保持全梯度性能。实验证明，即使输出层梯度与全梯度在个别样本的排序上存在差异，它们仍能选择具有对齐梯度的批次。

🔬 方法详解

问题定义：本文旨在解决后训练数据选择中计算成本过高的问题。现有方法依赖全参数梯度进行排序，导致在大候选池中计算不可行。

核心思路：论文提出通过输出层梯度来进行数据选择，这样可以仅依赖前向传播，显著降低计算成本，同时保持选择效果。

技术框架：LESSER作为一个封装器，集成到现有选择方法中，主要流程包括前向传播计算输出层梯度、根据梯度对数据进行排序和选择。

关键创新：最重要的创新在于使用输出层梯度替代全梯度进行数据选择，这一方法在计算效率上有显著提升，且在选择效果上保持一致性。

关键设计：在实现中，LESSER通过优化前向传播过程，减少了特征提取的FLOP成本，具体参数设置和损失函数设计未详细披露，需进一步研究。

🖼️ 关键图片

img_0
img_1
img_2

📊 实验亮点

LESSER在SFT和RL基准上分别将特征提取的计算成本降低了9.7倍和3.0倍，显著提升了数据选择的效率。尽管输出层梯度与全梯度在个别样本的排序上存在差异，但仍能有效选择具有对齐梯度的批次，保持了下游任务的性能。

🎯 应用场景

LESSER的研究成果可广泛应用于大型语言模型的训练和优化，尤其是在需要处理海量数据时。其降低计算成本的能力使得在资源有限的环境中进行高效训练成为可能，未来可推动更多实际应用的落地，如智能对话系统和文本生成等领域。

📄 摘要（原文）

The choice of post-training data for large language models substantially affects downstream performance. Gradient-based data selection is a popular approach that ranks training data by how well their gradients align with those of a small validation set. However, ranking with full-parameter gradients requires an expensive backward pass on every sample, making computation intractable for large candidate pools. This raises a natural question: can we approximate full-gradient features at a fraction of the cost? Conveniently, we find that output-layer gradients suffice for effective data selection, yet require only the cheaper forward pass. We implement this as LESSER, a drop-in wrapper for selection methods that reduces the feature-extraction FLOP cost by $9.7\times$ for SFT and $3.0\times$ for RL benchmarks, while tracking full-gradient performance on downstream tasks. Empirically, we find that even when output-layer and full gradients rank individual samples differently, they select batches with aligned gradients.