Sharpe Ratio-Guided Active Learning for Preference Optimization in RLHF

📄 arXiv: 2503.22137v1 📥 PDF

作者: Syrine Belakaria, Joshua Kazdan, Charles Marx, Chris Cundy, Willie Neiswanger, Sanmi Koyejo, Barbara E. Engelhardt, Stefano Ermon

分类: cs.AI, cs.LG

发布日期: 2025-03-28

💡 一句话要点

提出基于夏普比率指导的主动学习方法，高效优化RLHF中的偏好学习。

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 主动学习 人类反馈强化学习 偏好优化 夏普比率 直接偏好优化

📋 核心要点

  1. RLHF中偏好数据标注成本高昂，需要更高效的数据选择策略。
  2. 利用夏普比率评估潜在标注的风险，指导主动学习选择信息量大的数据。
  3. 实验证明，该方法在有限数据下显著提升了模型性能，胜率提升高达5%。

📝 摘要（中文）

从人类反馈中强化学习（RLHF）已成为大型语言模型（LLMs）训练和对齐流程的基石。直接偏好优化（DPO）等最新进展简化了偏好学习步骤。然而，收集偏好数据仍然是一个具有挑战性且成本高昂的过程，通常需要专家标注。通过仔细选择用于标注的数据点，可以降低这种成本。本文提出了一种主动学习方法，使用基于夏普比率的风险评估策略，高效地选择提示和偏好对。为了解决标注前偏好未知的问题，我们的方法评估所有潜在偏好标注的梯度，以评估它们对模型更新的影响。这种基于梯度的评估使得数据点的风险评估与标注结果无关。通过利用DPO损失推导，我们推导出一个闭式表达式，用于计算每个元组的夏普比率，确保我们的方法在计算上是易于处理和高效的。我们还介绍了我们方法的两个变体，每个变体都对先验信息做出不同的假设。实验结果表明，在有限的人类偏好数据下，我们的方法在多个语言模型和真实世界数据集中，针对所选完成的胜率比基线提高了高达5%。

🔬 方法详解

问题定义：论文旨在解决RLHF中偏好数据标注成本高昂的问题。现有方法通常采用随机或简单的启发式方法选择数据，效率低下，导致需要大量人工标注才能获得满意的模型性能。因此，如何高效地选择信息量最大的数据进行标注，是本研究要解决的核心问题。

核心思路：论文的核心思路是利用主动学习，通过风险评估来指导数据选择。具体而言，论文提出使用夏普比率来衡量每个数据点（prompt和completion对）的潜在价值。夏普比率越高，表示该数据点在考虑风险的情况下，能够带来的潜在收益越大，因此更应该优先选择该数据点进行标注。这样可以最大限度地利用有限的标注资源，提高模型训练效率。

技术框架：该方法的技术框架主要包含以下几个步骤：1) 对于每个未标注的数据点，计算其所有可能的偏好标注（例如，completion A优于completion B，或者completion B优于completion A）；2) 对于每种可能的标注，计算其对模型参数更新的影响（通过计算DPO损失的梯度）；3) 利用这些梯度信息，计算每个数据点的夏普比率，作为其风险评估指标；4) 根据夏普比率选择一批数据点进行标注；5) 使用标注数据更新模型；6) 重复以上步骤，直到达到预定的训练目标。

关键创新：该方法最重要的技术创新点在于使用夏普比率来指导主动学习。与传统的基于不确定性或多样性的主动学习方法不同，该方法同时考虑了数据点的潜在收益和风险，能够更准确地评估数据点的价值。此外，论文还推导出了DPO损失的闭式解，使得夏普比率的计算更加高效。

关键设计：论文的关键设计包括：1) 使用DPO损失函数进行偏好学习；2) 推导DPO损失的闭式解，用于高效计算梯度；3) 使用夏普比率作为数据点价值的评估指标，平衡收益和风险；4) 提出了两种不同的夏普比率计算变体，分别适用于不同的先验信息假设。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，该方法在多个语言模型和真实世界数据集中，相对于基线方法，在有限的人类偏好数据下，胜率提高了高达5%。这表明该方法能够更有效地利用标注数据，提高模型性能。此外，该方法计算效率高，易于实现，具有很强的实用价值。

🎯 应用场景

该研究成果可广泛应用于需要从人类反馈中学习的各种场景，例如大型语言模型的对齐、对话系统、推荐系统等。通过降低人工标注成本，可以加速这些系统的开发和部署，并提高其性能和用户体验。此外，该方法还可以应用于其他强化学习任务，例如机器人控制和游戏AI。

📄 摘要（原文）

Reinforcement learning from human feedback (RLHF) has become a cornerstone of the training and alignment pipeline for large language models (LLMs). Recent advances, such as direct preference optimization (DPO), have simplified the preference learning step. However, collecting preference data remains a challenging and costly process, often requiring expert annotation. This cost can be mitigated by carefully selecting the data points presented for annotation. In this work, we propose an active learning approach to efficiently select prompt and preference pairs using a risk assessment strategy based on the Sharpe Ratio. To address the challenge of unknown preferences prior to annotation, our method evaluates the gradients of all potential preference annotations to assess their impact on model updates. These gradient-based evaluations enable risk assessment of data points regardless of the annotation outcome. By leveraging the DPO loss derivations, we derive a closed-form expression for computing these Sharpe ratios on a per-tuple basis, ensuring our approach remains both tractable and computationally efficient. We also introduce two variants of our method, each making different assumptions about prior information. Experimental results demonstrate that our method outperforms the baseline by up to 5% in win rates against the chosen completion with limited human preference data across several language models and real-world datasets.