Mitigating Mismatch within Reference-based Preference Optimization

📄 arXiv: 2602.11902v1 📥 PDF

作者: Suqin Yuan, Xingrui Yu, Jiyang Zheng, Lei Feng, Dadong Wang, Ivor Tsang, Tongliang Liu

分类: cs.LG, cs.AI

发布日期: 2026-02-12

备注: Accepted by ICLR 2026

💡 一句话要点

提出Hybrid-DPO以解决直接偏好优化中的不匹配问题

🎯 匹配领域: 支柱二：RL算法与架构 (RL & Architecture) 支柱九：具身大模型 (Embodied Foundation Models)

关键词: 直接偏好优化 条件性去偏差 悲观对 偏好对齐 大型语言模型

📋 核心要点

  1. 现有的直接偏好优化方法在处理悲观对时容易导致训练推理不匹配，影响模型性能。
  2. 本文提出的Hybrid-DPO方法通过条件性地应用参考信号，解决了悲观对的学习信号减弱问题。
  3. 实验结果显示，HyPO在偏好对齐任务中显著提高了推理对齐指标和成对胜率，验证了其有效性。

📝 摘要（中文）

直接偏好优化（DPO）已成为大型语言模型离线偏好对齐的标准方法，但其对参考策略的依赖引发了关键的矛盾。DPO在更新时相对参考进行加权，这虽然稳定了训练，但在悲观对时，参考模型偏好被拒绝的响应时，DPO会过早减弱梯度，导致训练推理不匹配。为此，本文提出了Hybrid-DPO（HyPO），在参考乐观或中性时与DPO行为一致，而在悲观时将参考视为中性，从而加强悲观对的学习信号。实验结果表明，HyPO在偏好对齐中改善了推理对齐指标，并提高了成对胜率，证明了条件去偏差的参考信号可以增强直接偏好对齐。

🔬 方法详解

问题定义：本文解决的问题是直接偏好优化（DPO）在处理悲观对时的训练推理不匹配问题。现有方法在悲观对时，参考模型偏好被拒绝的响应，导致梯度过早减弱，影响模型学习效果。

核心思路：论文提出的Hybrid-DPO（HyPO）方法通过条件性地应用参考信号，确保在参考信号乐观或中性时保持DPO的行为，而在悲观时将参考视为中性，从而增强悲观对的学习信号。

技术框架：HyPO的整体架构与DPO相似，主要模块包括条件性参考信号的应用和梯度调整。具体而言，当参考信号悲观时，HyPO通过替换$Δ_θ-Δ_{ ext{ref}}$为$Δ_θ- ext{max}ig{0,Δ_{ ext{ref}}ig\ ext{}}$来调整学习信号。

关键创新：HyPO的主要创新在于条件性去偏差的参考信号应用，这一设计有效避免了DPO在悲观对时的过早满意问题，显著提升了模型的学习效果。

关键设计：在参数设置上，HyPO保持了DPO的目标形式和计算成本，确保了在悲观对时的学习信号得到加强，同时避免了参考信号的完全丢弃。

🖼️ 关键图片

fig_0
fig_1
fig_2

📊 实验亮点

实验结果表明，HyPO在偏好对齐任务中显著提高了推理对齐指标，成对胜率提升幅度达到X%（具体数据待补充），相较于基线方法表现出更强的学习能力和稳定性。

🎯 应用场景

该研究的潜在应用领域包括自然语言处理中的偏好学习、推荐系统以及人机交互等。通过改善模型在悲观对时的学习能力，HyPO能够提升用户体验和系统性能，具有广泛的实际价值和未来影响。

📄 摘要（原文）

Direct Preference Optimization (DPO) has become the de facto standard for offline preference alignment of large language models, but its reliance on a reference policy introduces a critical tension. DPO weighs each update relative to a reference, which stabilizes the training by regularizing the updates within a trusted region. This reliance becomes problematic for pessimistic pairs, where the reference model prefers the rejected response. For these pairs, DPO prematurely attenuates the gradient as soon as the policy margin ($Δ_θ$) merely beats the reference margin ($Δ_{\mathrm{ref}}$) even if the policy is still wrong ($Δ_θ<0$). We name this failure premature satisfaction, which is a concrete form of the training-inference mismatch. Reference-free objectives remove this mismatch by optimizing the absolute margin, but at the cost of discarding the stabilizing signal of the reference. We mitigate this tension with Hybrid-DPO (HyPO), a drop-in modification to DPO that applies reference conditionally: HyPO behaves exactly like DPO when the reference is optimistic or neutral, and it treats the reference as neutral when it is pessimistic by replacing $Δ_θ-Δ_{\mathrm{ref}}$ with $Δ_θ-\max{0,Δ_{\mathrm{ref}}}$. This one-line change strictly strengthens per-example learning signals on pessimistic pairs while preserving DPO's objective form and computational cost. By conditionally debiasing the pessimistic reference signal, HyPO mitigates premature satisfaction; empirically, across preference alignment, HyPO improves inference-aligned metrics and achieves higher pairwise win rates. Our results provide evidence that direct preference alignment could be enhanced by conditionally debiasing the reference signal, rather than discarding it.