Clear Preferences Leave Traces: Reference Model-Guided Sampling for Preference Learning

📄 arXiv: 2501.15109v1 📥 PDF

作者: Nirav Diwan, Tolga Ergen, Dongsub Shim, Honglak Lee

分类: cs.LG, cs.AI

发布日期: 2025-01-25

💡 一句话要点

提出参考模型引导采样策略，提升偏好学习数据质量和效率

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture)

关键词: 偏好学习 直接偏好优化 参考模型 采样策略 语言模型对齐

📋 核心要点

  1. DPO方法依赖高质量训练数据，但现有方法获取高质量样本成本高昂。
  2. 利用参考模型概率空间检测高质量样本，提出高效的采样策略。
  3. 实验表明，该策略在减少数据用量同时，显著提升模型在MT-Bench和技术任务上的性能。

📝 摘要（中文）

直接偏好优化（DPO）已成为对齐语言模型与人类偏好的主流方法。最近的研究表明，DPO的有效性依赖于训练数据的质量，特别是首选响应和拒绝响应之间明显的质量差异。目前用于识别和获取此类高质量样本的方法需要额外的资源或外部模型。我们发现参考模型概率空间可以自然地检测高质量的训练样本。基于这一发现，我们提出了一种采样策略，该策略在使用不到一半（30-50%）的训练数据的情况下，在MT-Bench上实现了持续的改进（+0.1到+0.4）。我们观察到在多个模型和超参数设置下，技术任务（编码、数学和推理）的显著改进（+0.4到+0.98）。

🔬 方法详解

问题定义：DPO训练依赖于高质量的偏好数据，即明确区分优劣的样本。然而，现有方法在获取此类数据时，要么需要额外的人工标注，要么依赖复杂的外部模型，增加了训练成本和难度。论文旨在解决如何在不引入额外资源的情况下，高效地筛选或生成高质量的DPO训练数据。

核心思路：论文的核心在于发现参考模型（reference model）的概率空间能够自然地反映训练样本的质量。具体来说，高质量的样本在参考模型下的概率分布与训练模型下的概率分布差异更大，这表明参考模型能够区分好坏样本。因此，可以通过分析参考模型概率空间的信息来指导样本的选择，从而提高训练数据的质量。

技术框架：该方法的核心是利用参考模型对候选样本进行评估，并根据评估结果进行采样。具体流程如下：1）使用语言模型生成多个候选响应；2）使用参考模型计算每个候选响应的概率；3）基于参考模型概率，设计采样策略，选择高质量的样本用于DPO训练。整体框架简单高效，易于集成到现有的DPO训练流程中。

关键创新：该方法最重要的创新点在于利用参考模型概率空间来指导DPO训练数据的采样。与现有方法相比，该方法无需额外的人工标注或复杂的外部模型，而是直接利用已有的参考模型信息，降低了训练成本。此外，该方法能够更有效地识别高质量的训练样本，从而提高DPO训练的效率和性能。

关键设计：论文的关键设计在于如何利用参考模型的概率信息来设计采样策略。具体来说，论文可能使用了某种形式的概率差异度量（例如KL散度）来衡量候选响应在参考模型和训练模型下的概率分布差异。然后，基于这个差异度量，设计一个采样函数，使得概率差异较大的样本更容易被选中。具体的损失函数和网络结构与标准的DPO方法保持一致，重点在于采样策略的设计。

🖼️ 关键图片

fig_0
fig_1

📊 实验亮点

实验结果表明，该方法在使用不到一半（30-50%）的训练数据的情况下，在MT-Bench上实现了持续的改进（+0.1到+0.4）。在技术任务（编码、数学和推理）上，该方法在多个模型和超参数设置下实现了显著的改进（+0.4到+0.98）。这些结果表明，该方法能够有效地提高DPO训练的效率和性能。

🎯 应用场景

该研究成果可广泛应用于各种需要对齐语言模型与人类偏好的场景，例如对话系统、文本生成、代码生成等。通过提升训练数据的质量和效率，可以降低模型训练成本，提高模型性能，并最终提升用户体验。该方法尤其适用于资源受限的场景，例如在计算资源有限的情况下，可以使用更少的数据训练出更好的模型。

📄 摘要（原文）

Direct Preference Optimization (DPO) has emerged as a de-facto approach for aligning language models with human preferences. Recent work has shown DPO's effectiveness relies on training data quality. In particular, clear quality differences between preferred and rejected responses enhance learning performance. Current methods for identifying and obtaining such high-quality samples demand additional resources or external models. We discover that reference model probability space naturally detects high-quality training samples. Using this insight, we present a sampling strategy that achieves consistent improvements (+0.1 to +0.4) on MT-Bench while using less than half (30-50%) of the training data. We observe substantial improvements (+0.4 to +0.98) for technical tasks (coding, math, and reasoning) across multiple models and hyperparameter settings.