D3: Diversity, Difficulty, and Dependability-Aware Data Selection for Sample-Efficient LLM Instruction Tuning

📄 arXiv: 2503.11441v2 📥 PDF

作者: Jia Zhang, Chen-Xi Zhang, Yao Liu, Yi-Xuan Jin, Xiao-Wen Yang, Bo Zheng, Yi Liu, Lan-Zhe Guo

分类: cs.LG

发布日期: 2025-03-14 (更新: 2025-05-19)

备注: IJCAI'25

💡 一句话要点

提出D3方法以解决大规模数据集中的样本选择问题

🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 数据选择 指令调优 大型语言模型 多样性 难度评估 可靠性 样本效率 机器学习

📋 核心要点

  1. 现有方法在大规模数据集中难以自动识别出有价值的样本，导致指令调优的效率低下。
  2. 本文提出D3方法，通过多样性、难度和可靠性三个维度对数据进行评分和选择，优化指令调优效果。
  3. 实验结果显示，D3方法在使用不到10%数据的情况下，能显著提升LLMs的指令跟随能力，效果优于传统方法。

📝 摘要（中文）

近年来，大型语言模型（LLMs）在指令调优方面的进展表明，小规模高质量数据集能显著提升LLMs的指令跟随能力，优于常因质量和冗余问题而受限的大规模数据集。然而，自动识别大数据集中有价值的子集以提高指令调优的有效性和效率仍然是一个挑战。本文首先基于数据价值的多样性、难度和可靠性三个方面建立数据选择标准，提出D3方法，包括评分和选择两个关键步骤。在评分步骤中，定义了多样性函数来衡量样本的独特性，并引入基于不确定性的预测难度来评估样本的难度。此外，集成外部LLM进行可靠性评估。在选择步骤中，制定了D3加权核心集目标，联合优化数据价值的三个方面以求解最有价值的子集。D3的两个步骤可以多轮迭代，结合反馈自适应地优化选择重点。实验结果表明，D3在公共数据集和真实场景下均能以不到10%的数据集获得竞争甚至更优的指令跟随能力。

🔬 方法详解

问题定义：本文旨在解决如何从大规模数据集中自动选择有价值样本的问题。现有方法往往无法有效识别出高质量样本，导致指令调优效率低下。

核心思路：D3方法通过建立多样性、难度和可靠性三个维度的评分标准，旨在优化数据选择过程，从而提升指令调优的效果和效率。

技术框架：D3方法包括两个主要步骤：评分和选择。在评分步骤中，定义多样性函数和基于不确定性的难度评估；在选择步骤中，制定加权核心集目标，联合优化三个数据价值方面。

关键创新：D3方法的创新点在于综合考虑了数据的多样性、难度和可靠性，形成了一个多维度的评分体系，与传统单一维度的选择方法有本质区别。

关键设计：在评分过程中，采用外部LLM进行可靠性评估，并通过迭代反馈机制不断优化选择重点，确保选择的样本在指令调优中具有更高的价值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，D3方法在公共数据集和真实应用中均能以不到10%的数据集实现竞争甚至更优的指令跟随能力，显著提升了模型的效率和效果，展示了其在实际应用中的巨大潜力。

🎯 应用场景

该研究在大型语言模型的指令调优中具有广泛的应用潜力，尤其适用于需要高效数据利用的场景，如智能客服、自动化内容生成等。通过优化数据选择，能够显著降低训练成本，提高模型性能，推动相关领域的发展。

📄 摘要（原文）

Recent advancements in instruction tuning for large language models (LLMs) suggest that a small, high-quality dataset can significantly equip LLMs with instruction-following capabilities, outperforming large datasets often burdened by quality and redundancy issues. However, the challenge lies in automatically identifying valuable subsets from large datasets to boost both the effectiveness and efficiency of instruction tuning. In this paper, we first establish data selection criteria based on three distinct aspects of data value: diversity, difficulty, and dependability, and then propose the D3 method comprising two key steps of scoring and selection. Specifically, in the scoring step, we define the diversity function to measure sample distinctiveness and introduce the uncertainty-based prediction difficulty to evaluate sample difficulty by mitigating the interference of context-oriented generation diversity. Additionally, we integrate an external LLM for dependability assessment. In the selection step, we formulate the D3 weighted coreset objective, which jointly optimizes three aspects of data value to solve for the most valuable subset. The two steps of D3 can iterate multiple rounds, incorporating feedback to refine the selection focus adaptively. Experiments on both public datasets and the real-world Taobao Live application demonstrate the effectiveness of D3 in endowing LLMs with competitive or even superior instruction-following capabilities using less than 10\% of the entire dataset.