Principled Data Selection for Alignment: The Hidden Risks of Difficult Examples

📄 arXiv: 2502.09650v2 📥 PDF

作者: Chengqian Gao, Haonan Li, Liu Liu, Zeke Xie, Peilin Zhao, Zhiqiang Xu

分类: cs.CL, cs.AI, cs.LG

发布日期: 2025-02-11 (更新: 2025-05-13)

备注: Accepted at ICML 2025

🔗 代码/项目: GITHUB

💡 一句话要点

提出Selective DPO，通过数据选择提升大语言模型对齐效果

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 大语言模型对齐 偏好学习 数据选择 模型容量 困难样本

📋 核心要点

  1. 现有LLM对齐方法忽略了数据难度与模型容量的匹配，可能因引入过多困难样本而降低性能。
  2. 论文提出Selective DPO，核心思想是过滤掉超出模型容量的过度困难样本，从而提升对齐效果。
  3. 实验表明，Selective DPO在AlpacaEval 2上胜率提升9-16%，优于DPO基线和其他DPO变体。

📝 摘要（中文）

大语言模型（LLM）的对齐通常假设使用更多高质量数据会带来更好的结果，但忽略了模型容量与样本难度的匹配问题。本文提出一个新原则：偏好数据难度各异，过度困难的样本会因超出模型容量而阻碍对齐。通过系统性实验，验证了该原则，得到三个关键发现：（1）偏好样本难度各异，对齐过程的学习顺序一致；（2）过度困难的样本会显著降低四个LLM在两个数据集上的性能；（3）模型容量决定了其处理困难样本的阈值，强调了数据选择和模型容量之间的关键关系。基于此，本文提出了Selective DPO，过滤掉过度困难的样本。与DPO基线相比，这种简单调整在AlpacaEval 2基准测试中将胜率提高了9-16%，优于一系列具有不同算法调整的DPO变体。这些结果表明，对齐数据难度与模型容量的重要性，为改进LLM对齐策略提供了变革性的视角。

🔬 方法详解

问题定义：现有的大语言模型对齐方法，例如DPO（Direct Preference Optimization），通常认为使用更多高质量的偏好数据能够提升模型的对齐效果。然而，这种方法忽略了不同偏好数据的难度差异，以及模型本身的学习能力限制。当数据中包含大量超出模型能力范围的“困难”样本时，反而会损害模型的对齐效果，导致性能下降。

核心思路：本文的核心思路是，并非所有数据都对模型对齐有益，过度困难的样本反而会阻碍模型学习。因此，需要根据模型自身的容量，选择合适的难度样本进行训练。通过过滤掉那些超出模型能力范围的困难样本，可以提升模型的对齐效果。这种思路类似于课程学习，先学习简单的知识，再逐步学习复杂的知识。

技术框架：Selective DPO的整体框架与DPO类似，主要区别在于数据预处理阶段增加了一个难度过滤模块。该模块用于评估每个偏好样本的难度，并根据设定的阈值，过滤掉那些被认为过于困难的样本。剩余的样本则用于DPO的训练过程，优化模型的策略。具体流程如下：1. 收集偏好数据；2. 评估偏好数据的难度；3. 根据难度阈值过滤数据；4. 使用过滤后的数据进行DPO训练。

关键创新：本文最重要的创新点在于提出了“数据难度与模型容量匹配”的原则，并基于此设计了Selective DPO方法。与传统的DPO方法相比，Selective DPO不再盲目地使用所有偏好数据，而是有选择地使用那些与模型能力相匹配的数据。这种数据选择策略能够更有效地提升模型的对齐效果。

关键设计：Selective DPO的关键设计在于如何评估偏好数据的难度，以及如何设定难度阈值。论文中采用了一种基于学习顺序的难度评估方法，即通过观察模型在不同样本上的学习速度来判断样本的难度。具体来说，如果一个样本在多个训练轮次后仍然难以被模型正确预测，则认为该样本难度较高。难度阈值的设定则需要根据具体的模型和数据集进行调整，可以通过实验来确定最佳阈值。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，Selective DPO在AlpacaEval 2基准测试中，相对于DPO基线，胜率提升了9-16%。此外，Selective DPO的性能优于一系列具有不同算法调整的DPO变体，证明了数据选择策略的有效性。实验还验证了模型容量与数据难度之间的关系，即模型容量越大，能够处理的困难样本越多。

🎯 应用场景

该研究成果可应用于提升各种大语言模型的对齐效果，尤其是在数据质量参差不齐的情况下。通过选择合适的训练数据，可以提高模型在对话生成、文本摘要、代码生成等任务中的性能和安全性。此外，该方法还可以用于评估和诊断模型的学习能力，为模型优化提供指导。

📄 摘要（原文）

The alignment of large language models (LLMs) often assumes that using more clean data yields better outcomes, overlooking the match between model capacity and example difficulty. Challenging this, we propose a new principle: Preference data vary in difficulty, and overly difficult examples hinder alignment, by exceeding the model's capacity. Through systematic experimentation, we validate this principle with three key findings: (1) preference examples vary in difficulty, as evidenced by consistent learning orders across alignment runs; (2) overly difficult examples significantly degrade performance across four LLMs and two datasets; and (3) the capacity of a model dictates its threshold for handling difficult examples, underscoring a critical relationship between data selection and model capacity. Building on this principle, we introduce Selective DPO, which filters out overly difficult examples. This simple adjustment improves alignment performance by 9-16% in win rates on the AlpacaEval 2 benchmark compared to the DPO baseline, suppressing a series of DPO variants with different algorithmic adjustments. Together, these results illuminate the importance of aligning data difficulty with model capacity, offering a transformative perspective for improving alignment strategies in LLMs. Code is available at https://github.com/glorgao/SelectiveDPO.