Diversify and Conquer: Diversity-Centric Data Selection with Iterative Refinement
作者: Simon Yu, Liangyu Chen, Sara Ahmadian, Marzieh Fadaee
分类: cs.CL, cs.AI
发布日期: 2024-09-17
备注: 21 pages, 6 figures
🔗 代码/项目: GITHUB
💡 一句话要点
提出基于迭代优化的多样性数据选择方法，提升LLM微调效果
🎯 匹配领域: 支柱九：具身大模型 (Embodied Foundation Models)
关键词: 数据选择 大型语言模型 微调 多样性 迭代优化 k-means聚类 主动学习
📋 核心要点
- 现有数据选择方法侧重局部实例质量，忽略了数据全局多样性的重要性，导致微调效果受限。
- 提出基于k-means聚类的迭代优化方法，通过重采样和权重调整，提升数据子集的多样性和质量。
- 实验结果表明，该方法在多个任务上显著优于现有方法，最高提升7%，验证了多样性优先策略的有效性。
📝 摘要（中文）
本文研究了如何为大型语言模型（LLM）的微调选择最优数据子集，以提升其指令遵循能力。现有方法侧重于实例质量等局部标准，而本文认为数据多样性更为关键。论文提出一种基于k-means聚类的迭代优化方法，确保所选子集能有效代表完整数据集。该方法通过主动学习思想，在每次训练迭代中重采样聚类实例，重新评估每个聚类的权重，从而减少异常值的影响并自动过滤低质量数据。在自然语言推理、通用世界知识、代码和数学推理等任务上的大量评估表明，该方法始终优于随机选择，并比现有最佳采样方法提升了3.8%。研究强调了在微调LLM时，多样性优先采样对于提升各种评估任务性能的重要性。
🔬 方法详解
问题定义：论文旨在解决大型语言模型微调过程中，如何从海量指令数据集中选择最具代表性和多样性的子集，以提升模型性能的问题。现有方法通常侧重于选择高质量的单个样本，忽略了数据集整体的多样性，导致模型泛化能力受限，且容易受到低质量数据的影响。
核心思路：论文的核心思路是采用“多样性优先”的策略进行数据选择。通过选择具有代表性和多样性的数据子集，可以更有效地覆盖整个数据空间，提升模型的泛化能力和鲁棒性。迭代优化机制能够动态调整样本权重，过滤低质量数据，进一步提升微调效果。
技术框架：该方法主要包含以下几个阶段：1) 使用k-means聚类将整个数据集划分为多个簇，每个簇代表数据空间的一个区域。2) 初始化每个簇的采样权重，可以根据簇的大小或密度进行初始化。3) 在每个训练迭代中，根据簇的采样权重，从每个簇中重采样一定数量的实例。4) 使用重采样后的数据子集对LLM进行微调。5) 根据微调后的模型在每个簇上的表现（例如，损失函数值），更新每个簇的采样权重。表现较差的簇的权重降低，表现较好的簇的权重增加。重复步骤3-5，直到达到预定的迭代次数或收敛条件。
关键创新：该方法最重要的创新点在于其迭代优化的数据选择机制。通过在每次训练迭代中动态调整簇的采样权重，该方法能够自适应地选择更具代表性和高质量的数据子集，从而提升模型的微调效果。与传统的静态数据选择方法相比，该方法能够更好地适应数据的分布变化和模型的需求。
关键设计：关键设计包括：1) k-means聚类的簇的数量k的选择，需要根据数据集的大小和复杂度进行调整。2) 簇的采样权重的初始化方法，可以使用均匀分布或根据簇的大小进行初始化。3) 簇的采样权重的更新策略，可以使用基于损失函数的梯度下降方法或基于性能的指数平滑方法。4) 重采样实例的数量，需要根据计算资源和训练时间进行调整。
🖼️ 关键图片
📊 实验亮点
实验结果表明，该方法在自然语言推理、通用世界知识、代码和数学推理等多个任务上均取得了显著的性能提升。与随机选择相比，该方法平均提升了7%；与现有最佳采样方法相比，平均提升了3.8%。这些结果充分验证了该方法在LLM微调中的有效性。
🎯 应用场景
该研究成果可广泛应用于各种大型语言模型的微调场景，尤其是在指令数据资源丰富但质量参差不齐的情况下。通过选择最具代表性和多样性的数据子集，可以显著提升模型的性能和泛化能力，降低训练成本，加速模型迭代。该方法还可应用于其他机器学习任务的数据选择和主动学习领域。
📄 摘要（原文）
Finetuning large language models on instruction data is crucial for enhancing pre-trained knowledge and improving instruction-following capabilities. As instruction datasets proliferate, selecting optimal data for effective training becomes increasingly important. This work addresses the question: How can we determine the optimal subset of data for effective training? While existing research often emphasizes local criteria like instance quality for subset selection, we argue that a global approach focused on data diversity is more critical. Our method employs k-means clustering to ensure the selected subset effectively represents the full dataset. We propose an iterative refinement method inspired by active learning techniques to resample instances from clusters, reassessing each cluster's importance and sampling weight in every training iteration. This approach reduces the effect of outliers and automatically filters out clusters containing low-quality data. Through extensive evaluation across natural language reasoning, general world knowledge, code and math reasoning tasks, and by fine-tuning models from various families, we observe consistent improvements, achieving a 7% increase over random selection and a 3.8% improvement over state-of-the-art sampling methods. Our work highlights the significance of diversity-first sampling when finetuning LLMs to enhance performance across a broad array of evaluation tasks. Our code is available at https://github.com/for-ai/iterative-data-selection.